‘Die bril kan écht niet meer’
-
Creative Commons
Het zal je maar gebeuren als docent: heb je je wekenlang uit de naad gewerkt, krijg je als enige feedback van een student terug dat je broek niet deugt. Keihard. Maar, erger nog, het helpt ook helemaal niet om het onderwijs te verbeteren - en juist daarvoor zijn de online studentenevaluaties bedoeld. Sociale wetenschappen heeft de open vragen maar geschrapt.
‘Die bril kan écht niet meer’ of ‘haar jurken zijn net hobbezakken’. Sommige studenten lijken de onderwijsevaluaties te gebruiken om hun hart eens te lekker te luchten. Vooral de open vragen aan het einde van de evaluatie, zoals ‘Heb je suggesties voor verbetering?’, lijken daartoe uit te nodigen.
Peer Scheepers, vice-decaan onderwijs bij sociale wetenschappen, kreeg regelmatig opmerkingen over zijn rode broeken. ‘Doe eens een andere kleur broek aan’, schreef een student dan. Met name jonge docenten raken van zulke opmerkingen van streek, merkt Scheepers. ‘Denk je eens in: je hebt je zeven weken uit de naad gewerkt voor je studenten en dan krijg je zo’n opmerking naar je hoofd. Ronduit kwetsend.’
Het is het einde van het studiejaar. Tijd om te inventariseren hoe de studenten de colleges en de docent hebben geëvalueerd. Ze doen dat online, meestal na het tentamen of na afloop van de collegereeks thuis. Vaak is de toon serieus, soms dus niet. Er zitten doorgaans ‘zoveel onfrisse opmerkingen’ bij de ingevulde beoordelingsformulieren, dat de drie onderwijsdirecteuren van sociale wetenschappen onlangs besloten maatregelen te nemen. De open vragen worden geschrapt. Vanaf september krijgen studenten sociale wetenschappen bij de evaluatie van een collegereeks alleen meerkeuzevragen voor hun neus.
‘Eén zo’n opmerking kan een grote impact hebben op docenten’
Feedback is de laatste jaren alleen maar belangrijker geworden, zeker nu de didactische kant van het onderwijs meer aandacht krijgt dan ooit. ‘Dat betekent dat we onze colleges regelmatig moeten evalueren’, zegt onderwijsdirecteur Edwin van Meerkerk van de letterenfaculteit. ‘En het kan niet anders dan dat we onze studenten daarin betrekken.’ Studenten kunnen in enquêtes flink van leer trekken, is ook Van Meerkerks ervaring. Hoe groter de groepen zijn, hoe makkelijker studenten geneigd zijn om allerlei persoonlijke grieven te uiten. Over het uiterlijk van docenten, of de spreekstijl. ‘Het zijn gelukkig wel uitzonderingen, maar één zo’n opmerking kan een grote impact hebben op docenten.’
Studenten willen wel eens vergeten waar we het voor doen, zegt Van Meerkerk . ‘Het gaat ons er natuurlijk om het onderwijs beter te maken.’ De letterenfaculteit raadt haar docenten daarom aan de enquêtes in te leiden, met een praatje tijdens het laatste college, om studenten te laten weten dat de beoordelingen belangrijk zijn voor de docent. Ruim tijdens het laatste college tien á vijftien minuten in voor het invullen van de evaluatie, is een ander advies. Dat blijkt de respons ten goede te komen.
Beledigingen
Amber Walraven, docent aan de docentenacademie, relativeert de waarde van de online gegeven opmerkingen. ‘Ik heb wel eens gehoord dat de correlatie tussen het weer en negatieve feedback groter is dan tussen het gegeven onderwijs en de feedback daarover. Het is ook zo makkelijk om, als je een slechte dag hebt, beledigende taal te gebruiken.’
Zouden we die beledigingen niet uitlokken met onze anonieme evaluaties, vraagt ze zich af. Toch raadt ze haar studenten, die straks voor de middelbare school staan, wel aan om hun onderwijs te laten evalueren door scholieren. ‘Want je moet toch weten wat de leerlingen van jouw les hebben opgestoken? Maar ook: hoe kijken ze aan tegen jou als docent.’
Zelf vindt ze het belangrijk om regelmatig tussendoor te peilen wat haar studenten van de lessen vinden. Dan kan ze tijdens de collegereeks nog bijsturen. ‘Wat wij ook wel eens doen is een evaluatielunch. Je nodigt een klein groepje van je studenten uit om over het onderwijs te praten in de pauze. Dan krijg je een genuanceerder beeld dan bij een anonieme online enquête.’
‘Als wij willen dat we serieus worden genomen, moeten we ook serieuze feedback geven’
Ook op de bètafaculteit wilden sommige studenten nog wel eens ongenuanceerd uit de hoek komen als ze de beoordelingsformulieren invulden. Zo’n drie jaar geleden trok decaan Lutgarde Buydens aan de bel. Ze organiseerde een meeting met de studentbestuurders binnen de faculteit. De bestuurders maakten daarna de achterban duidelijk dat er iets aan het taalgebruik moest veranderen. ‘Als wij willen dat we serieus worden genomen, moeten we ook serieuze feedback geven’, luidde de boodschap.
Volgens onderwijsdirecteur van wiskunde, natuur- en sterrenkunde Peter Christianen zijn de beledigende opmerkingen sindsdien geslonken. Wat een rol kan spelen zijn de regelmatig terugkerende lunchmeetings op de faculteit, waarbij studenten de gelegenheid krijgen hun grieven te uiten. ‘Het werkt bij ons nu heel goed. We zien de onderwijsevaluaties als een prima instrument om de kwaliteit van het onderwijs te verbeteren.’
Scheikundedocent Hugo Meekes, die in twee opleidingscommissies zit, ziet de onderwijsenquêtes als een dialoog tussen docent en student, over wat aanspreekt in het onderwijs en wat niet. Hij zou dan ook geen voorstander zijn van het schrappen van de open vragen, zelfs al zijn de antwoorden soms stuitend. ‘Het zou toch zonde zijn als je op die manier ook al die positieve suggesties misloopt.’
Wat doen docenten eigenlijk met de onderwijsevaluaties?
De uitkomsten van de onderwijsevaluaties worden standaard opgestuurd naar de docenten en naar de opleidingscommissies. Als een beoordeling negatief uitvalt, dan heeft de opleidingscommissie of onderwijscoördinator daarover contact met de docent. ‘We rekenen er mensen niet op af’, zegt vice-decaan onderwijs van de rechtenfaculteit Johan van de Gronden. Dat mag ook niet op basis van de uitslag van een onderwijsevaluatie, vindt hij. ‘Het is geen natuurwetenschappelijk instrument. Het is niet zo dat je met de scores in de hand kunt zeggen: dit is de kwaliteit van deze docent. Het is meer een vinger aan de pols.’
Als de scores van een docent voor langere tijd laag zijn, wordt er actie ondernomen, zegt Van de Gronden. ‘Dan gaan we kijken wat er zou kunnen spelen. Misschien helpt het bijvoorbeeld om een ervaren collega te laten kijken naar het onderwijs van de docent in kwestie.’
Evaluaties worden door meer factoren beïnvloed dan alleen de kwaliteit van de docent. Over het algemeen beoordelen studenten grootschalige colleges negatiever dan kleinschalige onderwijsvormen, is Van de Grondens ervaring. ‘Maar dat betekent niet dat het onderwijs slecht is. Het is gewoon moeilijker om een grote groep te boeien met een verhaal van twee keer drie kwartier, dan een kleine groep waarin je discussies kunt aangaan.’
Een docent hoeft bij een positieve evaluatie niet meteen in de handjes te knijpen, waarschuwt ook Amber Walraven van de docentenacademie. ‘Dat betekent namelijk nog niet dat je studenten veel hebben geleerd. Leuk, hip onderwijs krijgt vaak een positieve evaluatie, maar daar gaat het helemaal niet om. Je moet studenten niet alleen maar geven wat ze willen, het gaat erom dat ze veel opsteken van je vak. Ik durf best te stellen dat bij minder goede evaluaties de kans groter is dat studenten veel van het vak hebben geleerd.’
tim schreef op 28 juni 2018 om 13:56
Beste Amber, wellicht is het interessant om eens kennis te nemen van het MET-project. Goed opgezette evaluaties blijken de beste voorspeller voor onderwijsprestaties.
“Student perceptions of a given teacher’s strengths and weaknesses are consistent across the different groups of students they teach. Moreover, students seem to know e effective teaching when they experience it: student perceptions in one class are related to the achievement gains in other classes taught by the same teacher. Most important are students’ perception of a teacher’s ability to control a classroom and to challenge students with rigorous work.”
http://k12education.gatesfoundation.org/download/?Num=2537&filename=Preliminary_Findings-Research_Paper.pdf
Gisbert van Ginkel schreef op 28 juni 2018 om 15:48
Ik zie in dat onderzoek geen open vragen voor leerlingen, maar gerichte items mbt effectiviteit, en het is de vraag of dit van VO zomaar gegeneraliseerd kan worden naar HO. En het zijn ‘preliminary’ findings: al bevestigd? Want er is een ook grote bak literatuur die veel correlatie tussen student evaluatie en allerlei zaken behalve onderwijs kwaliteit/effectiviteit laat zien.
Amber Walraven schreef op 28 juni 2018 om 17:10
Interessant!
Deze vragen (ik heb heel kort gescand!) lijken me een stuk gerichter dan de vragen in onze ru-evaluaties. Bovendien vraag ik me af of je deze vragen af kan nemen als je een docent voor 1 vak gehad hebt, slecht een paar colleges. De opzet van MET vereist denk ik dat docenten en leerlingen elkaar goed kennen en langer met elkaar werken dan het geval is in het HO. Wij vragen onze studenten de vragenlijst interpersoonlijk leraarsgedrag ook pas na een tijd af te nemen en alleen in een klas die ze langere tijd lesgeven.
Overigens vind ik ‘value added’ bij docentbeoordelingen een weg die ook heel verkeerd kan gaan.
Overigens lijken goed opgezette evaluaties me an sich geen voorspeller van prestaties, maar ik begrijp wel wat je bedoelt 🙂 En laat ik daarbij zeggen dat in het vo dergelijke evaluaties dus beter gaan (maar misschien ook kunnen) dan in het ho.
Amber Walraven schreef op 28 juni 2018 om 22:02
Ik had gereageerd, maar zie helaas mijn reactie niet. Kennelijk toch iets fout gedaan. Ik herhaal even kort:
Interessant rapport, maar wel eea op aan te merken. Value added is een schimmige weg van docentbeoordelingen die ik niet zou willen bewandelen….
De vragen die gesteld worden zijn heel gericht en op sommige punten vergelijkbaar met de vragenlijst die wij onze studenten laten invullen door hun leerlingen. Echter, dit doen we pas en alleen bij klassen die gedurende zeker 6 weken regelmatig les hebben gehad van de student. Pas dan ontstaat een solide beeld. Je kunt je dus afvragen of dit wel kan in het HO, waar we vaak te maken hebben met korte periode, een college per week, en een heel ander contact hebben tussen docent en student dan in het vo.
Ik denk overigens niet dat goed opgezette evaluaties correleren met resultaten, maar ik begrijp wat je wil zeggen 🙂
L.J. Lekkerkerk (Hans) schreef op 28 juni 2018 om 14:40
Tja, die evaluaties:
– de respons is laag bij ‘papier na tentamen’ en bij online nog lager: representativiteit?
– het oordeel over het tentamen (heel veel en moeilijk) leidt vermoedelijk tot negatievere scores en opmerkingen dan wanneer het cijfer al bekend is (al is het maar een zes-min),
– als je ‘constructief feedback kunnen geven’ als leerdoel stelt, dan past anoniem invullen van evaluaties er niet bij,
– met een naam op formulier kan je als docent ook met de betreffende in gesprek gaan over het waarom van de opmerking of suggestie,
– opmerkingen + en – over boek/docent balanceren elkaar (goed versus saai boek, of bevlogen docent versus saaie man),
– in jaar 1 doe je A en krijg je suggestie ‘doe B’. in jaar 2 doe je dat en krijg je suggestie ‘doe C’ en in jaar 3 doe je C en krijg je … inderdaad: ‘doe A’. Al dat aanpassen kost tijd die boven de normtijd uitgaat. Wie deze cyclus een keer heeft meegemaakt, krijgt de neiging die suggesties voor kennisgeving aan te nemen.
Het mag duidelijk zijn dat ik geen fan meer ben van jaarlijks evalueren in deze vorm (een standaardlijst na tentamen of digitaal rond tentamendatum maar voor tentamenuitslag).
Stijn schreef op 28 juni 2018 om 14:49
Ik vind het jammer dat er wordt gekozen om de open vragen te schrappen. Na in de opleidingscommissie een jaar naar cursusevaluaties te hebben zitten turen, concludeer ik juist dat het geven van cijfers weinig bijdraagt aan de verbetering van het onderwijs. Het idee van Walraven is volgens mij veel beter: in een fysieke bijeenkomst met studenten in gesprek gaan
.
Gisbert van Ginkel schreef op 28 juni 2018 om 15:50
Dat deel ik. Feedback zou niet anoniem moeten zijn, studenten zijn ook aanspreekbaar op hoe ze feedback geven.
assessor schreef op 28 juni 2018 om 14:52
Ik vraag mij af of de FGV heeft ingestemd met deze wijziging van de kwaliteitszorg
Johan Kwisthout schreef op 28 juni 2018 om 22:34
Erg jammer dit. Ik heb als docent (kunstmatige intelligentie) juist de open vragen altijd als erg informatief ervaren. Natuurlijk zit daar soms flauwekul tussen maar nog vaker constructieve suggesties waar ik echt wat van opsteek, meer dan van nummerieke scores. Die zeggen wel dát er iets beter kan, maar niet hoé.
Natuurlijk zijn er ook andere manieren om die feedback te organiseren maar bij KI proberen we studenten vanaf hun eerste dag op de universiteit duidelijk te maken dat ook zij een grote verantwoordelijkheid hebben om het onderwijs zo goed mogelijk te maken door serieus en constructief opbouwende feedback te geven. En dat lukt meestal vrij aardig, zeker wanneer de docent ook terugkoppeling geeft over de evaluatie en laat zien wat er met de feedback is gedaan.
Henk schreef op 6 juli 2018 om 14:18
“…kreeg regelmatig opmerkingen over zijn rode broeken. ‘Doe eens een andere kleur broek aan’, schreef een student dan. Met name jonge docenten raken van zulke opmerkingen van streek, merkt Scheepers. ‘Denk je eens in: je hebt je zeven weken uit de naad gewerkt voor je studenten en dan krijg je zo’n opmerking naar je hoofd. Ronduit kwetsend.’”
Ik vind het wel een jolige opmerking en geenszins kwetsend om een docent die louter rode broeken draagt voor te stellen eens van kleur te veranderen. Waarom wordt er meteen gezegd dat dit “ronduit kwetsend” is? Dat is het niet, het is gewoon een opmerking over de kleur van je broek. Dat iemand zich gekwetst voelt door zo’n opmerking, tsja dat kan altijd. Sommige mensen zijn nu eenmaal erg snel gekwetst. Ik zou zeggen, haal diep adem en laat het los. Geen reden tot actie. En misschien volgende keer de tenen een beetje intrekken bij het lezen van het evaluatierapport.