Columnist Frits Vaandrager schreef eind mei op Voxweb dat de beoordelingssystematiek van NWO 'absurd bureaucratisch' is. Een onterechte claim, mailde Jos Engelen, de voorzitter van NWO. Met onderstaand opiniestuk reageert Vaandrager daar weer op en zet hij uiteen waar de NWO nog wel degelijk winst kan behalen.

Afgelopen week ontving ik een uitgebreide inhoudelijke reactie op mijn laatste column van Jos Engelen, de huidige voorzitter van NWO. Mede aanleiding voor zijn reactie was een onzorgvuldige formulering in mijn column. Ik schreef: “De beoordelingssystematiek van NWO is absurd bureaucratisch en heeft weinig meer van doen met kwaliteit.” Dit is aantoonbaar onjuist. Opeenvolgende evaluatiecommissies hebben vastgesteld dat NWO er in slaagt om efficiënt op kwaliteit te selecteren, en hebben NWO hiervoor terecht geprezen.

Wat ik wilde zeggen is dat aspecten in de beoordelingssystematiek absurd bureaucratisch zijn en weinig van doen hebben met kwaliteit. Om gehoord te worden in de huidige kakafonie van het Internet vinden sommige columnisten het noodzakelijk om te overdrijven en dingen te roepen die niet kloppen. Maar dit is niet mijn stijl en ik bied Engelen excuses aan voor mijn onzorgvuldige formulering. Hieronder wil ik de opmerkingen van Engelen nader bespreken.

Wat ik dus absurd bureaucratisch vind, is dat je bij een aanvraag voor de Vernieuwingsimpuls een gedetailleerde berekening moet toevoegen (tot op de honderdste maand nauwkeurig) van de tijd die sinds de promotie aan onderzoek is besteed op het werk. Als Gedankenexperiment stel ik mij Albert Einstein voor die, als werknemer van het patentbureau in Bern, een Veni-aanvraag schrijft tijdens zijn wonderjaar. Omdat Einstein niet geacht wordt wetenschappelijk onderzoek te doen tijdens werktijd is zijn onderzoeksinput nul. Zou Einstein zijn Veni-aanvraag desondanks indienen?

Impact

Als kwaliteit gelijk is aan onderzoeksoutput gedeeld door onderzoeksinput dan is Einstein’s kwaliteit oneindig, een singulariteit. Datzelfde zou echter ook gelden voor alle mensen die na hun promotie gestopt zijn met onderzoek. Tegen mijn promovendi zeg ik altijd dat het mij niet kan schelen hoeveel en waar ze werken, maar dat ik ze uitsluitend afreken op kwaliteit. Dit zou NWO ook moeten doen. CV’s bevatten meer dan genoeg informatie om de onderzoeksprestaties van indieners in de juiste context te plaatsen.

Waar ik ook problemen mee heb is dat NWO (ZonMw) indieners verplicht impactfactoren te noemen van de tijdschriften waarin ze publiceren, zonder dat het belang van impactfactoren op enigerlei wijze wordt gerelativeerd. Onderzoekers uit de scientometrics maken zich al jaren grote zorgen over de wijze waarop bibliometrische informatie wordt gebruikt bij de evaluatie van onderzoekers: “The problem is that evaluation is now led by data rather than by judgement” schrijven Diana Hicks en collega’s in een recent artikel in Nature waarin ook het fenomeen van de “impact-factor obsession” wordt besproken. Honderden organisaties (waaronder de VSNU) hebben inmiddels de DORA verklaring getekend waarin onderzoeksfinanciers worden opgeroepen “[To] state that scientific content of a paper, not the Journal Impact Factors or the journal where it was published, is what matters.”

In reactie op mijn column schrijft Engelen: “Uiteraard zijn impactfactoren, het aantal publicaties en de tijd die wetenschappers aan onderzoek besteden niet de enige criteria waarop NWO een onderzoeksvoorstel beoordeelt. Dit zijn slechts instrumenten, bedoeld om een onderzoeksvoorstel in een bredere context en perspectief te plaatsen en de commissies alert te maken op oorzaken van verschillen tussen kandidaten.” Op zich kan ik me hier in vinden, al zijn de genoemde indicatoren verre van optimaal en te beperkt. Het zou goed zijn indien NWO een variant van de reactie van Engelen opneemt in de Call for Proposals en tevens de DORA-verklaring ondertekent. Zeker in situaties met extreem veel voorstellen en commissies die zo breed zijn samengesteld dat de leden voorstellen moeilijk inhoudelijk kunnen beoordelen, is de kans groot dat beslissingen toch gestuurd worden door de kwantitatieve data.

Verbetering
Een collega kwam laatst met een kras voorbeeld. Hij maakte deel uit van een beoordelingscommissie voor de Vernieuwingsimpuls. Zoals wel vaker was het lastig om een knoop door te hakken over het laatste voorstel dat gehonoreerd zou kunnen worden. Voorafgaande aan de discussie moesten alle commissieleden een score inleveren en werd het gemiddelde berekend. De score van de man net boven de streep en de score van de vrouw net onder de streep verschilden slechts enkele honderdsten. Mijn collega stelde voor om het voorstel van de vrouw dan maar te honoreren. Het verschil tussen de scores viel immers binnen de foutenmarge van de procedure en NWO wil dat er meer vrouwelijke onderzoekers komen. De secretaris van NWO was echter tegen het aanpassen van de ranking en het voorstel van de man werd gehonoreerd. Dit voorbeeld onderstreept het belang van het advies van Hicks et al dat “assessors must not be tempted to cede decision making to numbers”.

‘Mijn suggestie is dat iedere universiteit jaarlijks evenveel voorstellen kan indienen als het totaal aan voorstellen dat de voorafgaande vier jaren bij deze universiteit is geaccepteerd.’

Over mijn suggesties om de procedures aan te passen schrijft Engelen: “NWO denkt natuurlijk wel na over verbeteringen in haar werkwijze: goede suggesties neemt ze ter harte. Zo heeft NWO dit jaar het aantal publicaties dat onderzoekers mogen opgeven bij het indienen van een Vici-aanvraag voor het eerst beperkt. Na deze ronde zullen we evalueren wat de ervaringen zijn. Ook het loslaten van indientermijnen is een optie die NWO bestudeert. Het gevaar is wel, zoals je zelf in je column aangeeft, dat het aantal aanvragen hierdoor verder toeneemt. De oplossing die je vervolgens voorstelt, namelijk het stellen van een bovengrens aan het aantal aanvragen per onderzoeksinstelling, zou weer als nadeel hebben dat er een vorm van voorselectie plaatsvindt binnen de instellingen, wat strijdig zou zijn met de open karakter van de Vernieuwingsimpuls.”

Het is fijn dat NWO nadenkt over verbetering van de procedures en de beperking van het aantal publicaties bij Vici-aanvragen is een stap in de goede richting. Ik ben het met Engelen eens dat een bovengrens aan het aantal aanvragen per universiteit strijdig is met het open karakter van de Vernieuwingsimpuls. Maar dit nadeel wordt ruimschoots gecompenseerd door het voordeel dat de honoreringskansen veel groter worden.  Mijn suggestie is dat iedere universiteit jaarlijks evenveel voorstellen kan indienen als het totaal aan voorstellen dat de voorafgaande vier jaren bij deze universiteit is geaccepteerd. Op deze wijze garandeer je een acceptatiekans van minimaal 25% en kunnen universiteiten blijven concurreren op kwaliteit.