Onderzoek

Het onderzoek dat het lectoraat Assessment heeft uitgevoerd was in de eerste plaats gericht op het verbeteren van de toetspraktijk binnen hbo-opleidingen. Vragen van examinatoren en/of leden van toets- of examencommissies zijn steeds het uitgangspunt geweest bij deze onderzoeksactiviteiten. Het uitgevoerde onderzoek is het best getypeerd als evaluatie-onderzoek: 'De systematische verwerving en beoordeling van informatie met het oog op het geven van bruikbare feedback over het onderzochte object.' Het belangrijkste motief voor dit type onderzoek in het kader van de missie van het lectoraat is om met eenvoudig toepasbare onderzoeksdesigns betrouwbare informatie te verzamelen in de context van het reguliere onderwijs, met als doel de toetspraktijk te verbeteren. Verder heeft het lectoraat onderzoek uitgevoerd ten behoeve van productontwikkeling (flankerend onderzoek). Zo werden diverse onderzoeken opgezet om bewijs te vergaren voor de validering van de test voor toetsangst die door het lectoraat ontwikkeld is. 

1. Evaluatie-onderzoek Saxion EVC Centrum
In het Saxion EVC Centrum worden mensen beoordeeld op hun verworven competenties. Deze beoordelingen kunnen voor de kandidaten verstrekkende gevolgen hebben. Daarom is het van belang dat dit zorgvuldig, of in wetenschappelijke termen valide en betrouwbaar, gebeurt. Het Lectoraat Assessment heeft in 2008 een evaluatieonderzoek uitgevoerd om de huidige kwaliteit van beoordelingen van het EVC Centrum te bekijken en om suggesties te kunnen doen die de kwaliteit verder vergroten.

2. Ontwikkeling en validering van een test voor toetsangst HO
Er is in de afgelopen jaren een groot aantal studies uitgevoerd waaruit blijkt dat toetsangst een negatieve invloed uitoefent op toetsprestaties van onderwijsdeelnemers in allerlei onderwijstypen. Ook in het Nederlands hoger onderwijs speelt dit probleem. Gelet op het magere interne rendement van het hoger onderwijs en de ambities om steeds meer mensen aan een hoger onderwijs diploma te helpen, is elke student die vanwege toetsangst de opleiding voortijdig afbreekt er één teveel. Reden om toetsangst tijdig op te sporen en te bestrijden.

Meetinstrument voor toetsangst
Voor het diagnosticeren van (vormen van) angst worden vaak tests ingezet, meestal in de vorm van stellingen waarop de geteste moet reageren door aan te geven in welke mate die op hem/haar van toepassing zijn. Ook voor toetsangst bestaan dergelijke instrumenten. Zo kennen we in Nederland de Situatie Specifieke Angst Test, te gebruiken bij jongeren van 11 tot 16 jaar. Maar voor gebruik bij studenten in het hoger onderwijs is in Nederland tot op heden geen gevalideerd instrument voor toetsangst beschikbaar. Voor het lectoraat Assessment was dit een reden om de ontwikkeling van zo’n test ter hand te nemen.

Rapport: Ontwikkeling en validering test voor toetsangst 

3. Ontwikkeling van een app voor toetsangst
De door het lectoraat ontwikkelde test voor toetsangst wordt direct vóór en na een toetsafname gemaakt door een student die symptomen heeft die toetsangst doen vermoeden. Omdat maar weinig studenten in aanmerking komen om getest te worden, is gekozen voor self-assessement. Het gaat om een gedigitaliseerde vragenlijst die als app verkrijgbaar is voor gebruik op een ipad, iphone of pc. Deze app kan gedownload worden op de website van het Saxion studiesuccescentrum.

Artikel: Smartphone meet toetsangst 
Brochure: Toetsangst in beeld

4. Evaluatie van de kwaliteit van competentiegericht beoordelen
Als competentiegericht beroepsonderwijs wil bewerkstelligen dat studenten competenties verwerven, dan zullen moeten de zak-/slaagbeslissingen in dat onderwijs gebaseerd moeten worden op competentiebeoordelingen. Dit impliceert een shift in de beoordelingspraktijk van traditionele kennis- en vaardigheidstoetsing naar alternatieve assessmentvormen. Voor de toetsing en examinering betekent dit een verschuiving van het toetsen van voorwaardelijke kennis en vaardigheden naar het beoordelen van processen en producten waaruit competentie kan blijken.

Onderwijsinspectie: gebrek aan deskundigheid m.b.t. toetsing
Naar aanleiding van een onderzoek in het hoger onderwijs concludeerde de Onderwijsinspectie dat het gebrek aan deskundigheid op het gebied van toetsing een belemmerende factor is bij de vernieuwing van het onderwijs. In haar rapportage maakte de Onderwijsinspectie daarbij geen onderscheid tussen de traditionele toetsvormen en de meer moderne vormen van assessment, zoals computersimulaties, gedragsproeven en portfolio’s, maar zeker is dat de gemiddelde docent beter op de hoogte is van de traditionele toetsvormen dan van de moderne technieken en instrumenten op het gebied van performance assessment.
De conclusies van de Onderwijsinspectie waren voor het lectoraat Assessment aanleiding om een onderzoek in te stellen naar de kwaliteit van de competentiebeoordelingen binnen Saxion.

Bij tien Saxion-academies werd in 2008 de kwaliteit onderzocht van competentiegerichte beoordeling. Gekeken werd naar de relatie tussen de opleidingsdoelen en de toetsing, de beschikbare informatie over de toetsing voor studenten en beoordelaars (assessoren), de wijze waarop de toetsing werd ontwikkeld binnen opleidingen en de eisen die aan assessoren werden gesteld.

5. Evaluatie van de kwaliteit van stages en stagebeoordeling
Het Lectoraat Assessment heeft de praktijk onderzocht van de (beoordeling van de) extramurale opleidingstrajecten, met name stages. Aan de hand van vragenlijsten voor studenten en interviews met docenten en praktijkbegeleiders is geprobeerd een beeld te krijgen van de status-quo. Op grond daarvan zijn voorstellen geformuleerd ter verbetering van de opzet en beoordeling van stage-activiteiten.

Rapport: leren en beoordelen op de werkplek 
Artikel: Vaststellen van didactische bekwaamheid van LIO’s

6. Periodieke evaluatie van de kwaliteit van toetsen.
De conclusies uit het onderzoek naar de kwaliteit van het competentiegericht beoordelen (zie punt 4 hierboven) en de aanscherping van de criteria voor toetsing en beoordeling bij de accreditatie zijn voor het directeurenoverleg van Saxion aanleiding geweest om verbetering van toetsing tot prioriteit te verheffen.

Checklist en steekproef
Op instellingsniveau werd een checklist ontwikkeld om academies te ondersteunen bij het ontwikkelen van verbetertrajecten. Tevens werd  afgesproken om jaarlijks een steekproef van uitgevoerde toetsen en assessments te nemen om de kwaliteit ervan te bepalen. Het Lectoraat Assessment werd gevraagd om hiervoor een procedure te ontwikkelen en die voor de eerste keer uit te voeren.

7. Ontwikkeling van een leertoets Onderwijskundig Meten
Het lectoraat Assessment heeft een zogeheten Leertoets samengesteld waarmee leden van toets- en examencommissies (en eventuele andere geïnteresseerden) kunnen nagaan of hun kennis van het vakgebied Onderwijskundig meten toereikend is om toezicht te kunnen houden op de kwaliteit van beslissingen over studenten. De Leertoets is daarnaast, zoals de naam al aangeeft, een instrument dat personen in de gelegenheid stelt om ontbrekende kennis of misconcepties direct bij te werken. Daartoe wordt na elke beantwoording van een opgave onmiddellijk uitgelegd waarom het gekozen antwoord fout of correct was. De Leertoets is een instrument voor self-assessment. De kandidaat bepaalt zelf of hij/zij zich wil toetsen en concludeert op basis van het toetsresultaat zelf of het kennisniveau voldoende is of dat het nodig is om een cursus te gaan volgen, dan wel door middel van zelfstudie kennishiaten weg te nemen.

Klik hier om de leertoets te maken.

8. Ontwikkeling van een instrument voor collegiale screening kennistoetsen
De kwaliteitscontrole op grond van psychometrische criteria, zoals gegenereerd door statistische analyse van item- en toetsscores, komt te laat voor de kandidaten van wie de scores op deze wijze geanalyseerd zijn. Problematisch is ook dat de in psychometrisch opzicht goed functionerende toetsvragen niet per se ook vakinhoudelijk goede vragen hoeven te zijn. Eén van de manieren om de psychometrische én vakinhoudelijke kwaliteit van kennistoetsen vóór afname te bevorderen is collegiale screening. Door 'vreemde ogen' te laten meekijken verkleint men het risico op meetfout als gevolg van slechte items. Niet voor niets wordt het mee laten kijken door relevante derden door de Commissie Bruijn min of meer afgedwongen door middel van de formulering ‘Pas toe of leg uit’ (Hbo-raad, 2012). ["vreemde ogen dwingen”] 

Het lectoraat Assessment is echter van mening dat ‘meekijken’ pas echt zin heeft als dit gebeurt aan de hand van een gestandaardiseerde lijst met criteria, die zowel de toetstechnische als de vakinhoudelijke kwaliteit van items betreffen. Op grond van een literatuurstudie is een lijst met criteria opgesteld, die vervolgens beproefd is door docenten van verschillende hbo-opleidingen. Er is gebleken dat de betreffende docenten de criteria relevant vinden en dat de interbeoordelaarsbetrouwbaarheid van hun beoordelingen goed is. Er wordt nu gewerkt aan een app en een daaraan gekoppelde database waarin de beoordelingen worden opgeslagen met het oog op professionalisering en accreditatie.


9. Formulering van kwaliteitseisen voor het beoordelen van beroepsbekwaamheid
Omdat toezichthouders, aangemoedigd door de adviezen in de rapporten ‘Vreemde ogen dwingen’ en ‘Beoordelen is mensenwerk’, steeds vaker expliciet zullen vragen naar de wijze waarop de beroepsbekwaamheid van kandidaten is vastgesteld, is het belangrijk dat examinatoren en leden van toets- en examencommissies weten aan welke voorwaarden voldaan moet worden om op deugdelijke wijze vast te stellen wie over voldoende beroepsbekwaamheid of –competentie beschikt. Het lectoraat heeft daartoe een eisenpakket opgesteld en daarvoor is een motivatie geschreven in een apart gepubliceerd document.

Klik hier voor het eisenpakket.