Het dilemma van online toetsen: is de student te vertrouwen of niet?
Later deze maand neemt de Radboud Universiteit een beslissing: worden de laatste tentamens van dit jaar wel of niet met ‘proctoring’ software afgenomen? De weerstand tegen deze vorm van online surveillance is groot onder studenten, de vraag is wat docenten ervan vinden. Zien zij een alternatief?
Bij de juridische faculteit worden studenten sinds het uitbreken van de coronacrisis radicaal anders getoetst. In plaats van dat ze zwetend, met zeshonderd tegelijk in een collegezaal zitten, maken ze het tentamen thuis. Studenten klappen hun laptop open, loggen in, en beginnen aan de eerste vragen. Misschien dat moederlief zelfs een kopje thee heeft gezet.
Tot zover weinig bijzonders – door al het fysieke onderwijs ging immers een dikke streep. Wat de tentamens bij rechten anders maakt, is dat studenten op geen enkele manier worden gecontroleerd. Een surveillant die meekijkt via de webcam, luistert via de microfoon of zelfs de kijkrichting via eye tracking volgt? Niets van dat alles.
‘Alle kennisvragen zijn uit het tentamen gehaald’
Om te voorkomen dat studenten de antwoorden simpelweg kunnen googelen, of via WhatsApp de opdrachten met elkaar bediscussiëren, heeft de faculteit een nieuw systeem opgetuigd. Het oorspronkelijke idee ervoor kwam van universitair docent Simon Tans, die het verder uitwerkte met een team van onderwijsinnovators. ‘Ik was alleen maar op zoek naar een oplossing voor mijn eigen cursus, maar de faculteit heeft ervoor gekozen om de methode voor de hele faculteit te gebruiken.’
Tijdsdruk
Tans wil niet te diep ingaan op de methode – dat vergroot het risico dat studenten gaten in het systeem gaan schieten. In de kern komt het erop neer dat deelnemers niet op hetzelfde moment met dezelfde vraag bezig zijn. De volgorde van vragen wordt door elkaar gehusseld en studenten kunnen niet terugkeren naar een vorige vraag. Dat, samen met een hogere tijdsdruk, maakt het volgens Tans moeilijker om te frauderen.
Zitten er dan geen haken en ogen aan deze manier van toetsen? Zeker wel, geeft Tans direct toe. ‘Studenten waarderen het niet dat zij niet kunnen terugkeren naar een eerdere vraag, bijvoorbeeld. Bovendien zijn alle kennisvragen uit het tentamen gehaald – die kunnen studenten immers heel simpel opzoeken.’ Volgens Tans is dat voor sommige tentamens in het eerste jaar een gebrek.
Maar de ‘methode Tans’ maakt het voor de juridische faculteit wel mogelijk om het gebruik van ‘proctoring’ software te vermijden. Deze vorm van online surveillance is omstreden – de SP stelde Kamervragen en op de Radboud Universiteit gaat een petitie rond tegen het gebruik ervan, die meer dan duizend keer is getekend.
Eind deze maand neemt het college van bestuur een besluit over het gebruik van proctoring in het laatste tentamenblok van dit collegejaar. De pilot, waarin de software van het bedrijf Proctorio wordt onderzocht, is bijna afgerond. Aspecten die daarin worden meegenomen zijn onder meer de privacy van studenten, en of het systeem functioneel is in het opsporen van fraude.
WhatsApp-groep
Een docent die kan meepraten over fraude is breinwetenschapper Eric Maris. Begin april – kort na het begin van de lockdown – hadden eerstejaars psychologiestudenten een herkansing voor een gevreesde cursus van hem. Al op de dag van de toets kreeg Maris schermafbeeldingen doorgestuurd van een WhatsApp-groep waarin tijdens het tentamen vragen werden besproken. Maris schakelde de examencommissie in en de frauderende studenten zijn inmiddels gestraft.
Het tentamen nam Maris af met behulp van online proctoring. Studenten werden in een virtual classroom-omgeving van Brightspace in de gaten gehouden via hun webcam (de software van het bedrijf Proctorio werd toen nog niet aangeboden door de universiteit). Hoewel die methode niet waterdicht is – wat wel blijkt uit het feit dat de fraude aan het licht kwam door tips van studenten – zag Maris weinig andere keus dan het inzetten van proctoring. ‘Het was een herkansing, en in het examenreglement staat dat de toetsvorm hetzelfde moet zijn als de eerste kans, die uit meerkeuzevragen bestond.’
Tweehonderd studenten
Maar ook los daarvan, zag Maris een alternatieve manier van toetsen, zoals een essay-opdracht, niet zitten. ‘Dit is een basisvak voor eerstejaarsstudenten dat vooral over weten gaat. Wat zijn de eigenschappen van een neuron? Hoe worden signalen doorgegeven in het brein? Hoe werkt de koppeling tussen sensorische input en motorische output? Dat soort vragen toets je niet door studenten een open vraag te stellen over een wetenschappelijk of praktisch probleem. Dit soort opdrachten komt nog te vroeg voor onze eerstejaars.’
‘Objectiviteit in de beoordeling is een groot goed’
Bovendien ging het om tweehonderd studenten. ‘Die laat je niet allemaal even een mondeling doen of een essay schrijven. Bij tentamens bied ik altijd de mogelijkheid om achteraf inzage te krijgen. Hoe opener een vraag, hoe complexer de beoordeling.’ Dat betekent volgens Maris ook meer discussie achteraf met studenten. ‘Zij komen terecht op voor hun belangen, maar het mag niet zo zijn dat de docent in een positie komt waarin zijn interpretatie van een stuk tekst bepalend is voor het al dan niet halen van een tentamen. Objectiviteit in de beoordeling is een groot goed.’
Hoeveel studenten frauderen tijdens online tentamens? Een poll op de anonieme berichten-app Jodel, populair onder studenten, biedt een niet-wetenschappelijke indicatie. Onder de 281 stemmers geeft ruim 9 procent aan weleens te hebben gefraudeerd. 44 procent zegt dat niet te hebben gedaan. De overige 47 procent ging voor ‘niet van toepassing’.
De bewezen fraude in april zorgde nog voor een kleine discussie tussen Maris en de examencommissie. ‘Mijn collega’s in de examencommissie doen hun werk bijzonder zorgvuldig, maar ik begrijp niet waarom er vanuit de opleiding niet naar buiten wordt gecommuniceerd over de straf voor de frauderende studenten. Daar gaat een enorme preventieve werking vanuit. Rechtszaken zijn in Nederland toch niet voor niks grotendeels openbaar? Vergaderingen van de examencommissie hoeven natuurlijk niet openbaar te zijn, maar een zorgvuldige berichtgeving over de gevolgen van frauduleus gedrag heeft mijns inziens alleen maar voordelen.’
Vertrouwen
Waar Maris hamert op bewustwording onder studenten over de consequenties van niet-integer handelen, klinkt op universiteiten en andere onderwijsinstellingen steeds luider het geluid om studenten te vertrouwen in plaats van te wantrouwen. Ook het pas opgerichte Teaching and Learning Centre van de Radboud Universiteit hamert daarop.
“Wij zouden graag toetsvormen ontwikkelen waarin niet de regels en de controle centraal staan, maar juist respect en vertrouwen”, schrijft het centrum in een visiedocument over toetsen in tijden van corona.
Dat zou een ommekeer betekenen in tijden dat docenten hun toevlucht zoeken in manieren van online surveillance. Sinds steeds meer schandalen rondom wetenschappers – met Diederik Stapel als koploper – in de media verschenen, ligt ook de aandacht voor fraude en plagiaat onder studenten in toenemende mate onder een vergrootglas, ziet universitair hoofddocent Jochem Tolsma. ‘Niet alleen uit negatieve overwegingen – “mensen zijn niet te vertrouwen” – maar ook uit positieve overwegingen – “laten we studenten opvoeden tot integere wetenschappers”.’
Socioloog Tolsma volgt echter de lijn van het Teaching and Learning Centre, dat pleit voor “integriteit en vertrouwen als cruciale bouwstenen voor een goede, leerzame relatie tussen docent en student”. Tolsma: ‘Bij toetsen met een grote groep studenten, waar vooral gevraagd wordt naar het reproduceren van kennis, kan proctoring een effectieve oplossing zijn die niet te veel tijd vraagt van docenten. Maar online proctoring gaat uit van wantrouwen in plaats van vertrouwen. Willen we studenten echt zo opvoeden?’
Zelfde kansen
Proctoring zou in Tolsma’s ogen zo min mogelijk ingezet moeten worden. En dat er daardoor wat vaker fraude zal worden gepleegd, moet de universiteit op de koop toenemen, vindt hij. Wie daar meer moeite mee heeft, is docent economie Jana Vyrastekova.
‘Ik vind het heel belangrijk om een gelijk speelveld te creëren voor alle studenten. Het zou onrechtvaardig zijn richting de studenten die hun tentamen wel eerlijk willen maken, om alles vrij te laten en niet te controleren. Daar moeten we hen tegen beschermen.’
Zelf nam Vyrastekova haar tentamen tijdens het vorige tentamenblok af terwijl ze haar studenten in de gaten hield via hun webcam. ‘Je ziet heel snel welke twee studenten iets anders aan het doen zijn dan de rest. Daarmee bewijs je nog niks, maar het gaat er vooral om dat het duidelijk is wat de regels zijn en dat daarop wordt toegezien. Studenten weten wat de bedoeling is en wij doen ons best om iedereen dezelfde kansen te bieden.’
En als er dan toch nog een student een manier weet te vinden om vals te spelen, dan kan Vyrastekova zich daarbij neerleggen. ‘Dan hebben wij in ieder geval het maximale gedaan om dat te voorkomen.’
Jochem Tolsma wijst nog op een andere mogelijkheid. Mochten er achteraf vermoedens zijn van spieken of ander onheus gedrag, dan kan daar altijd alsnog iets mee worden gedaan. ‘Laten we leren van een tak van sport waar bij uitstek wordt valsgespeeld: de wielersport. Er worden steeds meer online fietswedstrijden georganiseerd. Als tijdens zo’n wedstrijd opeens onrealistische wattages worden getrapt, moeten deelnemers achteraf bewijzen dat zij die in real life kunnen reproduceren. Ook wij kunnen, bij de zeldzame vermoedens van fraude, aan studenten vragen om op een later moment hetzelfde kunstje nog eens te herhalen.’
L.J. Lekkerkerk (Hans) schreef op 20 mei 2020 om 14:37
Ik ben wel blij met het bovenstaande. het is in lijn met de titel ‘De meeste mensen deugen’ van Rutger Bregman en mijn eigen overtuiging dat wantrouwen juist fraude uitlokt.
Natuurlijk wil je dat studenten zelf iets kunnen en inzicht tonen en zijn kennisvragen niet geschikt voor take-home-tentamens.
Voor mijn tentamens heb ik doelbewust te grote opgaven gemaakt die meer tijd zouden kunnen vergen dan beschikbaar was. Daarmee voorkom je dat er nog een half uur voor inlevertijd over is waarin de kandidaat eens wat rond gaat ‘appen’. We hebben niet voor niets spreekwoorden als: Je moet de kat niet op het spek binden en de gelegenheid maakt de dief/fraudeur.
Na hun afstuderen zullen ze overigens in de meeste gevallen samen met anderen en in korte tijd tot resultaten moeten komen. Daaruit zou je kunnen afleiden dat wie tijdens een tentamen onder extra tijdsdruk ook nog weet samen te werken een relevante vaardigheid laat zien.
Bart Zonneveld schreef op 21 mei 2020 om 12:06
Helemaal mee eens!
Ik denk dat we het ook meer moeten hebben over de redenen waarom sommige studenten toch verleid worden om fraude te plegen. Volgens mij is een belangrijk aspect daarin de torenhoge prestatiedruk. Dit komt in meerdere vormen: angst voor het bindend studieadvies, angst voor het oordeel van je ouders, angst voor studieschuld.
Ik denk dat het verminderen van deze prestatiedruk het beste middel is tegen fraude.
Op zich verschillen studenten daarin niet zo veel van onderzoekers. Ook daar kan de moordende werk- en publicatiedruk ertoe leiden dat onderzoekers verleid worden om te plagiëren.
Eric Maris schreef op 20 mei 2020 om 15:37
Dat is een goed punt, Hans. Bij mijn online herkansing heb ik de studenten evenveel tijd moeten geven als bij de (niet-online) eerste kans. Ik kreeg zoveel tegenwind van de studenten toen bleek dat ik geen essay opdracht wou geven, dat ik hiervoor gezwicht ben. Jammer genoeg had ik de studenten voor de eerste kans veel te veel tijd gegeven (2.45 uur voor 40 MC vragen). Op die manier was er geen gemopper meer over tijdsdruk, en mij maakte het niets uit omdat ik vind dat het voor het toetsen van kennis niet uitmaakt hoelang een student erover doet. Van die beslissing had ik bij de herkansing wel spijt.
Tessa Lansu schreef op 28 mei 2020 om 14:42
Ik ben voorstander van het weglaten van online surveilleren (organisatorische nachtmerrie, studenten voelen zich er vanwege privacy onprettig bij, wat kun je echt hard maken op basis van wat je live aanschouwt -want opnames mogen niet gemaakt worden-), en het tentamen zo construeren dat ‘gewoon het tentamen maken’ waarschijnlijk tot betere resultaten leidt dan gaan overleggen en opzoeken terwijl je het tentamen maakt.
Ik heb dit aan het eind van blok 3 in een MC tentamen vorm gegeven door 1) de totale toetstijd korter te maken: 1.5 uur voor 40 MC vragen, 2) vraag volgorde en antwoordoptie volgorde te randomiseren -heen en terug gaan tussen vragen wel toegestaan- 3) veel verschillende combinaties van vragen sets te maken zodat als studenten in een groepje willen overleggen, niet iedereen in het groepje die vraag uberhaupt krijgt, 4) meerdere versies van vragen te maken die op het eerste gezicht erg op elkaar lijken, maar wel van elkaar verschillen. Maak je de vraag zelf/alleen, dan is er geen probleem. Ga je overleggen en vergelijken met anderen, dan merk je de verschillen tussen de vragen wellicht niet op en is de kans op een fout antwoord groter.
Voor mij en de studenten leek dit goed te werken. Helaas is nu vanuit de opleiding/examencommissie opgelegd dat persé in een bepaald online systeem getoetst moet worden inclusief de online surveillance opties van dat systeem.
Ik had gehoopt dat met de combinatie ‘studenten vertrouwen’ en ‘niet de kat op het spek binden’ (i.e. opzoeken/overleggen onaantrekkelijk maken) voldoende zou zijn nu.
In ieder geval interessant om te lezen hoe verschillende docenten en verschillende opleidingen tegen de ‘anti-fraude’ maatregelen aankijken nu er digitaal getoetst moet worden 🙂
Eric Maris schreef op 3 juni 2020 om 09:27
@Tessa Jouw aanpak lijkt erg op die van mij, en dat heeft fraude niet kunnen voorkomen.
Jij bent strenger op het punt van de tentamentijd (bij mij 2.45 uur voor 40 vragen). Ik ben strenger op het punt van heen-en-terug-gaan (dat was bij mij niet toegestaan). Wij hadden beiden meerdere tentamenvormen (ik had er 9: 3 verschillende volgordes van 3 niet-overlappende vragensets) die op toevallige wijze toegewezen werden.
Online surveilleren is inderdaad een organisatorische nachtmerrie.
Ik heb moeite met het uit-principe vertrouwen van de studenten. Ik laat mijn deur wel eens open als ik naar de buurtsuper ga, maar dat zou ik niet meer doen als (1) mijn buren niets zouden doen als er onbekenden mijn huis binnenlopen, en (2) eventuele dieven onbestraft zouden blijven.
Vertrouwen is een resultaat van een goed georganiseerde samenleving met integere burgers. Het is niet iets wat je zomaar kunt vragen.
HV schreef op 7 juni 2020 om 12:38
In ‘Niet alleen de gelegenheid maakt de dief: toetsen op afstand en fraude’ bespreekt Evelyn van der Veen de ‘fraudedriehoek’: https://www.linkedin.com/pulse/niet-alleen-de-gelegenheid-maakt-dief-toetsen-op-en-van-de-veen/?trackingId=P1gmA8WL%2BXqC0ZGRhguAkw%3D%3D.
‘De fraudedriehoek stelt dat de kans dat mensen gaan frauderen groter is als aan drie voorwaarden wordt voldaan. Eén daarvan is ‘mogelijkheid’. Deze voorwaarde gaat over wat we net benoemden: hoe makkelijk is het om te frauderen, hoe groot is de kans dat je gepakt wordt. Maar er zijn er nog twee. Namelijk ‘druk’ en ‘rationalisatie’. ‘
… ‘Rationalisatie is óók gemakkelijker naarmate je minder moeite hoeft te doen om te frauderen. Als niemand de moeite neemt om te handhaven, waarom zou jij dan de moeite nemen om je aan de regels te houden? Hier zien we dat de factor ‘mogelijkheid’ de factor ‘rationalisatie’ beïnvloedt. Alleen al daarom is het geen goed idee om de controlemechanismes af te schaffen. Maar het is wel de moeite waard om óók naar de andere twee factoren te kijken.’
Frauderen omdat er wantrouwen is? Afkijken omdat het je verboden wordt? Is daar onderzoek over bekend? Ik denk dat we toch eerder moeten kijken naar de punten die Evelyn noemt: mogelijkheid, druk en rationalisatie..