====== Uitgangspunten bij visie op toetsen en leren met betrekking tot het toetsplan van iedere opleiding ====== ===== 1. Visie op toetsen en leren met betrekking tot het toetsplan van elke opleiding ===== **Uitgangspunt 1: het geheel van toetsen (toetsprogramma) dekt de opleidingskwalificaties.** \\ Toetsen moeten van kwalitatief hoog niveau zijn. Beslissingen over slagen of zakken worden genomen op basis van toetsen en studenten sturen hun leerproces op basis van wat zij verwachten te moeten laten zien in een toets. De kwaliteit van toetsing wordt niet alleen bepaald door het niveau van een afzonderlijke toets, maar ook door het niveau van een toetsprogramma. Een juiste beslissing nemen over het toekennen van het diploma is alleen mogelijk als deze gebaseerd is op een samenhangend geheel van meerdere toetsen. In een kwalitatief goed toetsprogramma kan de ontwikkeling van de student gevolgd en bijgestuurd worden. Het totaal aan toetsen moet die informatie opleveren waardoor een valide en betrouwbare beslissing genomen kan worden. Voor docenten betekent dit dat er afstemming en samenwerking binnen het docententeam nodig is, want kwaliteit op programmaniveau vereist overzicht over alle modules en toetsen van de opleiding (van Berkel, e.a. 2014). **Uitgangspunt 2: Toetsen moeten zo betrouwbaar en valide als mogelijk zijn.** \\ Kleine veranderingen in de onderlinge afstemming van onderwijs en toetsing leiden soms tot grote veranderingen in de leerprestaties van studenten. Voor de ontwikkeling van onderwijs betekent dit dat het verstandig is om al in een vroeg stadium – dus zodra de leeruitkomsten van een studieonderdeel zijn vastgesteld – na te denken over de wijze van toetsen. Pas daarna volgt de selectie van de meest geschikte werkvormen. Het op een lijn plaatsen van de leeruitkomsten, de wijze van toetsing en de inhoud en werkvormen van een studieonderdeel noemen we constructive alignment(Biggs & Tang, 2011). De herziene taxonomie van Bloom (Anderson & Krathwohl e.a., 2001) kan als uitgangspunt dienen bij de ontwikkeling van rijke lessen en projecten. De vragen en opdrachten dienen dan zowel een beroep te doen op het 'hogere orde denken' (creëren, evalueren en/of analyseren) als op het 'lagere orde denken' (onthouden, begrijpen 11 Toets Fontys Lerarenopleiding Tilburg - Toetsbeleid FLOT vastgesteld in MT-overleg 20-10-2021 en/of toepassen). De taxonomie biedt een handige structuur waarmee een onderwerp kan worden benaderd en is een praktisch hulpmiddel bij de formulering van leeruitkomsten {{:beleid:herzienen_taxonomie_van_bloom_toetsbeleid.png?nolink&662x216}} Figuur 1 Herziene taxonomie van Bloom. Er zijn meerdere perspectieven als het gaat om de inzet van toetsvormen om opleidingskwalificaties afzonderlijk en integratief te kunnen beoordelen (Baartman, e.a. 2005). Een schriftelijke kennistoets is bijvoorbeeld een efficiënte manier om de kennisbasis van de student te toetsen, maar het is niet mogelijk om met deze toets te kunnen beoordelen of de student ook daadwerkelijk de kennis inzet in concrete beroepssituaties, daar afwegingen te maken, de juiste beslissingen te kunnen nemen en de juiste strategieën te kunnen kiezen om het gewenste resultaat te bereiken (Roelofs, 2006). Voor het combineren van verschillende toetsvormen voor een inhoudelijk toetsprogramma geeft de Piramide van Miller (1990) handvatten (zie Figuur 2) {{:beleid:piramide_van_miller.png?nolink&499x213}} Figuur 2. Piramide van Miller (1990). De betrouwbaarheid van toetsen ofwel de mate waarin de toetsscores gelijk zijn ongeacht het moment van afname of de beoordelaar is voorwaardelijk voor validiteit. Het betreft daarbij niet alleen de betrouwbaarheid van afzonderlijke toetsen, maar tevens de betrouwbaarheid van het geheel aan toetsen op basis waarvan beslissingen worden genomen. De betrouwbaarheid van een toets is afhankelijk van veel factoren zoals vergelijkbare toetscondities voor kandidaten, de omvang van de toets (bijvoorbeeld het aantal en de kwaliteit van de toetsvragen, het aantal bewijzen in het portfolio), de mate waarin het beoordelingsmodel (antwoordsleutel, rubrics, beoordelingscriteria) en normering eenduidig zijn en de kwaliteit van de beoordelaars (inhoudelijke expertise, kennis van de beroepscontext en deskundigheid m.b.t. de specifieke toetsvorm). FLOT vergroot de betrouwbaarheid van toetsen door tijdens de toetsconstructie gebruik te maken van het vierogenprincipe (met de mogelijkheid van ondersteuning van de toetscommissie) en via het onderwijs- en examenreglement (OER). De interbeoordelaarsbetrouwbaarheid wordt bevorderd door het aanwijzen van beoordelaars op basis van de profielen examinatoren en via kalibreersessies. Afstudeeronderdelen worden door twee examinatoren beoordeeld. Een terugkerende vraag bij betrouwbaar beoordelen is of de docent-begeleider ook een van de examinatoren mag zijn omdat er sprake kan zijn van subjectiviteit: de begeleider beoordeelt immers ook het resultaat van zijn begeleiding en de begeleider weet namelijk hoe het proces is verlopen. In veel opleidingen is de begeleider de tweede examinator. Bij FLOT is de (inhoudelijk) begeleider van OPH, VDO en de IO-er bij professioneel handelen tevens examinator. Beide examinatoren van OPH en VDO komen echter eerst onafhankelijk tot een oordeel komen voor ze tot een gezamenlijk eindoordeel komen en dit vastleggen in een beoordelingsformulier. Indien er geen sprake is van consensus schakelen ze gericht een expert in. Andere begeleiders die geen examinator zijn, kunnen wel feedback geven in het portfolio en advies uitbrengen over beoordelingscriteria of indicatoren die met de kwaliteit van het proces te maken hebben. Om de interbeoordelaarsbetrouwbaarheid te bevorderen wordt gebruik gemaakt van: * Scholing en training van examinatoren bijvoorbeeld in het CGI, kalibratiesessies en intercollegiaal overleg over toepassen van beoordelingscriteria. * Heldere en duidelijke rubrics, beoordelingscriteria, beoordelingsformulieren en handleidingen. * Helderheid over cesuur en normering. * Steekproefsgewijze herbeoordelingen met daaruit eventueel volgende verbeteradviezen. Bij beoordelen dient worden gekozen tussen analytisch en holistisch beoordelen. Aangezien FLOT kiest voor de praktijk als uitgangspunt voor leren vindt geïntegreerde beoordeling van kennis, vaardigheden en houding in professioneel handelen (doen of tonen) plaats, waarbij het holistische beoordelen het beste aansluit. Voor de beoordeling van complexe beroepstaak, een complex proces, product of werkwijze, waarvoor meer dan een oplossing mogelijk is of de toepassingscontexten verschillen is een voldoende score op afzonderlijke beoordelingsaspecten niet voldoende voor de validiteit van de toets. Deze beoordelingssituaties, zoals de afstudeertoetsen, vragen om een holistische rubric waarbij de prestatie als geheel wordt beoordeeld. De beoordeling van dergelijke toetsen vraagt bij een analytische beoordeling om een groot aantal beoordelingsaspecten die bij het afvinken ervan leiden tot een onwenselijke oppervlakkige beoordeling, ook al lijkt volledigheid geborgd. Bij holistische beoordelen past de driepuntschaal (onvoldoende, voldoende excellent) beter dan een tienpuntschaal die slechts een betrouwbare grote differentiatie in beoordeling suggereert. T.b.v. de interbeoordelaarsbetrouwbaarheidis training van beoordelaars nodig en zijn kalibreersessies noodzakelijk zoals aangegeven in het Protocol Afstudeerfase Bachelor( FLOT, 2020, paragraaf 4.3.) Analytisch beoordelen houdt in dat alle beoordelingsaspecten van een vaardigheid of beroepstaak onderscheiden en afzonderlijk beoordeeld worden. Analytisch beoordelen is passend wanneer nauwkeurig moet worden vastgesteld of studenten kritische kennis of deelvaardigheden beheersen of wanneer er sprake is van één juiste aanpak of oplossing. Bij het beoordelen met een analytisch rubric worden er eenduidige en enkelvoudige criteria gebruikt waarbij ieder beoordelingsaspecten afzonderlijk van een kwalificatie worden voorzien, dat kan beperkt bijdragen aan de betrouwbaarheid. (Bos, P. van den, 2017, p. 205-206; Bruijns, V. en Kok, M., 2013, p. 31-32; Bouwer & Koster, 2016. P.298) ===== 2. Visie op toetsen en leren met betrekking tot de functie van toetsing voor de ontwikkling van de student ===== **Uitgangspunt 3 Toetsing wordt gekenmerkt door de balans tussen de summatieve functie van toetsing op basis waarvan valide en betrouwbare beslissingen genomen kunnen worden en de formatieve functie van toetsing gericht op de bevordering van het leerproces van de student (assessment for learning) en de zelfregie van de lerende (assessment as learning).** \\ Hattie en Timperly hebben aangetoond dat feedback een van de krachtigste middelen is om tot leren te komen, met name de feedback op het leerproces en op de zelfregulatie draagt bij aan hoge leerprestaties. Effectieve feedback dient drie belangrijke vragen voor de student te beantwoorden (Hattie & Timperley, 2007): * Feed up: waar ga ik naar toe? (Wat is het doel, het resultaat?) * Feedback: hoe doe ik het tot nu toe? (Welke voortgang heb ik gemaakt naar dat resultaat?) * Feed forward: wat kan ik verder doen? (Welke activiteiten moet ik ondernemen om dichter bij het resultaat te komen?) De formatieve functie van toetsing, ook wel formatief evalueren of formatief handelen genoemd, moet helpen deze drie vragen te beantwoorden. De formatieve functie van toetsing is het proces van zoeken, ordenen en interpreteren van informatie die studenten en docenten gebruiken om te bepalen waar studenten staan in hun leerproces, waar zij naar toe moeten werken en op welke manier (ARG, 2002). Studenten laten hun leerproces vooral leiden door wat zij verwachten te moeten laten zien in de toetsen met een summatieve functie, omdat deze toetsen meetellen. Een toetsprogramma moet beide functies vervullen: de toetsing dient de gewenste leerprocessen te stimuleren én betekenisvolle feedback op te leveren (formatief) evenals valide en betrouwbare beslissingen op te leveren (summatief). Beide functies dienen in balans te zijn. Naast de kwaliteitscriteria validiteit en betrouwbaarheid, wordt ook gelet op aandacht voor aansluiting tussen leren, instructie en toetsing en de mate waarin de student betrokken is bij de toetsing (Baartman, e.a. 2005). De formatieve functie van toetsing geeft de student betekenisvolle informatie en dit helpt de student het leerproces mede te sturen. Het onderwijs is zo ingericht dat de student (steeds meer) eigen regie heeft op het verzamelen van bewijs tijdens het leerproces. De regie van de student op het organiseren van het eigen leren via feed up, feedback en feed forward neemt toe. De student maakt daarvoor gebruik van diverse bronnen: leerlingen, peers, collega’s, docenten en andere experts. Daarmee verschuift de toetsing gedurende de opleiding van assessment for learning naar assessment as learning. Hierbij past de toetsvorm van het portfolioassessment, waarbij studenten de ruimte krijgen om het eigen leerproces te leren sturen en leeruitkomsten te onderbouwen op basis van (begeleide) zelfbeoordeling. Daar waar portfolioassessment uiteindelijk ook een summatieve functie heeft mag die beoordeling voor de student geen verrassing meer zijn. De formatieve functie van toetsing speelt een rol voor de docent die onderwijs wil evalueren om het optimaal bij de studenten te laten aansluiten (assessment for learning) en verschaft de student informatie voor het sturen van zijn leerproces. Het is een stap naar assessment as learning waarin de lerende centraal staat. De ondersteuning van de student in zijn ontwikkeling naar assessment as learning kan op vele manieren. * Door in het onderwijs de formatieve functie van toetsing een plaats te geven kan de docent model zijn voor het hanteren van de diverse vormen van feedback en expliciteren hoe hij zijn eigen handelen stuurt. * Door gebruik te maken van peerfeedback en studenten daarin te trainen. Dat heeft bij FLOT meerdere functies: het draagt bij aan de beroepsbekwaamheden waarvoor wordt opgeleid, het bevordert de kwaliteit van peerfeedback, het draagt bij aan zelfsturing en leidt tot betere resultaten. * Door ook samen met studenten beoordelingscriteria te ontwikkelen. * Door gebruik te maken van zelfbeoordeling. * Door studenten individueel of groepsgewijs te coachen als docent in het geven van betekenis aan de ontvangen feedback en het leren sturen van zijn eigen leerproces. Bij programmatisch toetsen is een constante dialoog over het gebruik van feedback voor zelfsturing een van de uitgangspunten (Baartman L., Schilt-Mol, T. en van de Vleuten, C., 2020). * Door een dialoog, met aandacht voor waar de student staat t.o.v. het gewenste resultaat, het leerproces, de cognitieve en metacognitieve strategieën, het reflecteren op de ontvangen of opgehaalde feedback en het bespreken van de vervolgstappen wordt de kritisch reflectieve onderzoekende houding bevordert. De dialoog kan zowel gevoerd worden n.a.v. van toetsen als gebruik maken van dagelijkse leeractiviteiten waarin studenten concrete en authentieke informatie krijgen over hun leerproces en leeropbrengsten (Segers M. en Sluijsmans, D., 2018 p. 13) zoals tijdens: het werkplekleren; de deelname aan een workshop, practicum, project, debat of discussie; het houden van een presentatie; het werken aan een opdracht of een bespreking de vorderingen in het portfolio. Assessment as learning dient dus (aan)geleerd te worden. Het is dus zeker niet nodig aparte toetsen af te nemen en er zijn verschillende methoden om van een assessment een leerervaring te maken. Van belang is het evalueren zoveel mogelijk te integreren in het onderwijsleerproces. De formatieve functie van toetsing dient de student continue feedback op te leveren en niet nog meer stress of een verzameling van scores die leiden toe een summatieve score (Dochy F. e.a., 2018a; Dochy F. e.a., 2020). Assessment as learning sluit aan bij de visie van FLOT op onderzoek als professionele leerstrategie en dient (aan)geleerd te worden. Om diepgaand leren en assessment as learning mogelijk te maken dient de student zelf de regie over zijn leren te kunnen voeren. De leeruitkomsten van het afstudeerniveau geven ook aan dat FLOT dit van startbekwame leraren verwacht. Studenten worden geacht te reflecteren op hun eigen onderwijs en professionaliteit. Zij dienen hun pedagogisch, didactisch en vakdidactisch uitdagingen op te pakken en vanuit een eigen praktijktheorie, op basis van theoretische input en (eigen) ervaringen, nieuwe strategieën te ontwikkelen en uit te proberen. Daarbij organiseren ze de noodzakelijke feed up, feedback en feed forward via leerlingen, collega’s, experts. In bijlage 6 vindt is een vergelijking te vinden voor assessment of learning, assessment for learning en assessment op volgende aspecten: de functie, het assessmentmoment, de norm of standaard, waarop het gericht is, wie betrokken is en het waarom en hoe. \\ \\ **Uitgangspunt 4: Lerarenopleiders hebben een voorbeeldfunctie in toetsen en beoordelen.** \\ De lerarenopleiders van FLOT zijn voorbeeld voor het didactisch en pedagogisch handelen van leraren in opleiding in hun (toekomstige) beroepspraktijken: het voortgezet onderwijs en het beroepsonderwijs. De opleiding moet het goede voorbeeld geven aan studenten wat betreft de inrichting en vormgeving van het eigen toetsbeleid, de toetsing en het beoordelen van en het reflecteren op het eigen handelen. Opleiders moeten studenten zowel het goede voorbeeld geven (impliciet laten leren) als ook (expliciet) inwijden in de vraag hoe je als leraar en als school(team) goed gefundeerd gebruik maakt van vormen van toetsen en beoordelen, aangepast aan leerlingen en leerdoelen. De toetsing moet voor hen transparant zijn. Studenten leren hierdoor impliciet hoe kwalitatief goed toetsen en beoordelen eruitziet (Joosten-ten Brinke, 2011). Bovendien is het belangrijk voor de FLOT-lerarenopleidingen dat de studenten in de opleiding zelf getoetst worden en feedback ontvangen ten aanzien van hun eigen leerproces. De houding en perceptie van studenten ten aanzien van assessment wordt gevormd door hun eigen ervaringen. Ook eerdere ervaringen met toetsing in het voortgezet en/of beroepsonderwijs waar zij zelf deel van uitgemaakt hebben is hiervoor bepalend (FLOT, 2018b). **Uitgangspunt 5: Het ontwikkelen van toetsbekwaamheid vraagt om een professionele leergemeenschap** \\ Een toetsbekwame docent is niet alleen bekwaam om een oordeel te geven, maar ook bekwaam in het beslissen welke criteria van belang zijn in de onderbouwing van het oordeel. De kwaliteit van de docent bepaalt in hoge mate het succes van de formatieve functie van toetsing (Birenbaum e.a., 2011). Docenten bepalen zelf, vanuit een bepaalde visie, op welke manier vorm wordt gegeven aan de formatieve functie van toetsing. Kennis over leerdoelen, leerprocessen, toetsing, beoordeling en feedback en interpretatie van kwantitatieve resultaten is van belang. Door de resultaten van toetsing te analyseren krijgt de docent inzicht in de beheersing van de verschillende leerdoelen en kan daarmee adequate feedback geven. De wijze waarop een docent het effect van zijn onderwijs en het leren van de student toetst wordt in hoge mate beïnvloed door de eigen opvattingen en overtuigingen die docenten zelf hebben over leren en toetsing (Birenbaum, e.a. 2011). Een onderzoekende houding naar de eigen overtuigingen is voorwaardelijk voor structurele verandering in toetspraktijken. Het samenwerken in een leergemeenschap (bijvoorbeeld een toetscommissie of kenniskring) waarin toetsing op de agenda staat verhoogt draagvlak voor werken aan kwaliteit van toetsing en het vanuit een gemeenschappelijk referentiekader communiceren naar studenten.