Meerkeuzevragen filteren zwakke geneeskundestudenten
Zwakke studenten vallen bij geneeskunde eerder door de mand als ze tentamens met meerkeuzevragen maken dan wanneer ze een toets doen volgens de systematiek van Extended Matching Questions, waarbij de student antwoorden kiest uit veel meer opties. Volgens Thijs Eijsvogels, een van de onderzoekers, is die conclusie belangrijk in relatie tot het bindend studie-advies (bsa). Is de studie iets voor jou of niet? Net als op andere faculteiten, krijgen studenten geneeskunde al in hun eerste jaar antwoord op die vraag. Heb je niet voldoende studiepunten gehaald, dan kun je vertrekken, zal de studieadviseur je meedelen. Het advies (bsa) is bindend. Belangrijk is hierbij dat de methodiek om studenten te testen op hun kwaliteiten, deugt. Met die gedachte in het achterhoofd riep Thijs Eijsvogels, postdoc op de afdeling fysiologie, een onderzoek in het leven. De resultaten zijn gisteren gepubliceerd in het open access-magazine Perspectives on Medical Education. Wat blijkt? Bij een tentamen met meerkeuzevragen vallen zwakke studenten eerder door de mand dan wanneer ze een toets doen volgens de systematiek van Extended Matching Questions. Bij die laatste variant, die aan populariteit wint onder docenten geneeskunde, kan de student antwoorden kiezen uit tussen de 9 en 26 opties. Er zijn ook meerdere antwoorden mogelijk. Uit een lijst met verschillende spieren moet de student bij een tentamen anatomie bijvoorbeeld selecteren welke spieren er in de onderarm zitten. ‘Dit resultaat hadden we niet verwacht’, vertelt Thijs Eijsvogels, post-doc op de afdeling fysiologie en hoofdauteur van het artikel. ‘Het idee bij Extended Matching Questions is juist dat studenten meer inzicht moeten hebben. Ze moeten actief aangeven welke antwoorden bij een vraag horen. Sommige antwoorden in een rijtje gebruik je nooit, anderen kun je vaker aankruisen. Bij multiple choice, waarbij een vraag meestal vier antwoordopties heeft, kan een student gemakkelijker gokken.’ Correctie De uitkomsten van het onderzoek onder 450 eerstejaars geneeskundestudenten, gedaan in het studiejaar 2011-2012, zijn echter evident. ‘Het systeem van meerkeuzevragen haalde drie keer zo goed de slechte studenten eruit.’ De vraag is nu hoe dat kan. Eijsvogels en zijn mede-onderzoekers Maria Hopman en Tessa van den Brand denken dat het antwoord te vinden is in de manier waarop tentamens worden gecorrigeerd. Bij examinering met multiple choice wordt de student direct gestraft als hij of zij gokt, want een verkeerd antwoord betekent puntenaftrek. Dit heet correction for guessing. Een correctie voor de student die maar wat probeert, bestaat nog niet in de systematiek van Extended Matching Questions, die relatief nieuw is. Eijsvogels pleit voor vervolgonderzoek, want hij vindt het belangrijk dat studenten die niet geschikt zijn voor hun studie, via het bsa zo goed mogelijk worden gefilterd. ‘Zonde voor de universiteit én voor de student als zo iemand te lang blijft zitten.’ Het aantal opleidingsplaatsen bij geneeskunde is beperkt, sinds jaar en dag wordt gewerkt met een numerus fixus. Opmerkelijk is dat de excellente studenten juist beter boven kwamen drijven bij tentamens die met Extended Matching Questions waren samengesteld. Ook een belangrijke conclusie, vindt Eijsvogels, want die studenten zouden zich bijvoorbeeld kunnen aanmelden voor de Radboud Honours Academy. / Annemarie Haverkamp
manon bonefaas schreef op 25 juli 2013 om 18:08
Wellicht is voor de Extended Matching Questions hier een oplossing te vinden http://onlineexamineren.nl/polytoom-of-dichotoom/ het is mogelijk op verschillende manieren antwoorden te scoren. De Nederlandse Vereniging voor Examens heeft daar ook aanbevelingen voor gedaan. Misschien is de productregel goed toe te passen.
Anco schreef op 29 juli 2013 om 10:02
Bij het lezen hiervan vroeg ik me af hoe je met de scores van de verschillende toetsen in de hand gaat discrimineren wie de ‘slechte’ en wie de ‘goede’ student is. Je hebt immers een meetlat nodig waarlangs je de resultaten van de twee toetsen legt. Maar als ik de methoden- en resultatenparagrafen in het artikel goed begrijp, dan worden de resultaten van de toetsen met elkaar vergeleken. Het gemiddelde van beide toetsen geeft dan aan of iemand ‘slecht’ of ‘goed’ is.
Hier lijkt de verwachting aan ten grondslag te liggen dat beide toetsen vergelijkbaar zijn. Maar de EMQ lijkt iets heel anders te toetsen dan de traditionele meerkeuzevragen. De interpretatie van de resultaten lijkt me dan ook niet zo eenduidig als in de discussieparagraaf wordt gesteld. Is het bijvoorbeeld slecht dat een kleiner percentage studenten zakt bij de EMQ in vergelijking met meerkeuzevragen? Misschien test de EMQ-toets de kennis van studenten wel beter. Zeker met dit methodologische onderzoek van de de werking van de toetsen, zou ik meer reflectie verwachten op wat een goede student is en of de toetsen aansluiten bij dit beeld. Nu lijkt de redenering andersom te gaan: als je goed scoort op beide toetsen, ben je goed en de toetsen moeten zo worden aangepast dat ze deze verschillen uitvergroten.