Officieel wordt een onderzoeksvoorstel in de NWO vernieuwingsimpuls beoordeeld op basis van de kwaliteit van de onderzoeker, de kwaliteit van het voorstel, en mogelijkheden voor kennisbenutting. In de praktijk echter is de beoordeling uiterst kwantitatief ingericht en spelen de lengte van de publicatielijst, impactfactoren, citaties, H-indices en eerder verworven subsidies een centrale rol. Kwantiteit lijkt belangrijker dan kwaliteit. Zo moeten indieners van een Veni-voorstel op het terrein van medische wetenschappen verplicht de impactfactoren noemen van alle tijdschriften waarin ze publiceren, samen met de mediaan impactfactor voor hun onderzoeksgebied.

Er is toenemende kritiek op het obsessieve gebruik van bibliometrische informatie bij het beoordelen van wetenschappers. In een recente column in Nature wijst Daniel Sarewitz er op dat gepubliceerde resultaten in steeds meer wetenschapsgebieden steeds vaker onbetrouwbaar blijken te zijn (kankeronderzoek, onderzoek naar neurologische aandoeningen, experimentele psychologie, …). Volgens Sarewitz worden deze problemen veroorzaakt door de “destructive feedback between the production of poor-quality science, the responsibility to cite previous work and the compulsion to publish”. De druk om te publiceren leidt zo tot een vermindering van kwaliteit, aldus Sarewitz. Een paar jaar terug kocht ik een ingebonden exemplaar van Willpower, een bestseller over het onderzoek van de psycholoog Roy Baumeister. Meer wilskracht kan nooit kwaad, dacht ik, en zo leer ik nog eens wat over een ander vakgebied. Volgens de flaptekst heeft Baumeister meer dan 450 wetenschappelijke publicaties geschreven en behoort hij tot de meest geciteerde psychologen ter wereld. Maar nu blijkt uit recent onderzoek dat de hele theorie van Baumeister over wilskracht waarschijnlijk op drijfzand is gebaseerd! Ik overweeg om mijn exemplaar van Willpower ritueel te verbranden op de stoep voor het Spinozagebouw. De wetenschap heeft een kwaliteitsprobleem en daar moet nodig iets aan gebeuren.

Tijdens een recente bijeenkomst over (gender)diversiteit bij onze universiteit hekelde ook Harold Bekkering de nadruk op kwantiteit bij het evalueren van wetenschappers. Volgens Bekkering zijn vooral vrouwen hier de dupe van. Vrouwelijke onderzoekers zijn vaak wat meer perfectionistisch en wat minder opportunistisch dan hun mannelijke collega’s, en publiceren hun resultaten daarom minder snel. Daarnaast zijn vrouwen een tijd uit de running wanneer ze kinderen krijgen, waardoor ze ook weer minder publiceren dan mannen. Om het laatste probleem te ondervangen moet je bij een aanvraag voor de vernieuwingsimpuls tegenwoordig een gedetailleerde berekening toevoegen (tot op de honderdste maand nauwkeurig!) van de tijd die je aan onderzoek hebt besteed sinds de afronding van je proefschrift. Zo kan NWO het aantal publicaties (natuurlijk gewogen naar impactfactor) normeren door te delen door de onderzoekstijd, en worden zwangerschapsverlof, zorgverlof e.d. verdisconteerd. De beoordelingssystematiek van NWO is absurd bureaucratisch en heeft weinig meer van doen met kwaliteit. Bekkerings observatie dat vrouwen minder publiceren omdat ze ‘liever eerst nog wat beter uit willen zoeken hoe iets zit’ wordt bijvoorbeeld niet meegenomen door NWO, maar heeft evident alles te maken met kwaliteit.

Nu NWO toch op de schop gaat is het tijd om ook de vernieuwingsimpuls aan te pakken en kwaliteit weer centraal te stellen. Bij een ERC-aanvraag hoef je alleen een lijst met je beste vijf tot tien publicaties mee te sturen. Het zou goed zijn indien NWO een vergelijkbare systematiek zou hanteren. Concreet stel ik het volgende voor:

1. De kwaliteit van een onderzoeker wordt bepaald op basis van de 3 beste publicaties bij een Veni (resp. 5 publicaties bij een Vidi en 7 publicaties bij een Vici).
2. De eis dat je maximaal 3 jaar geleden moet zijn gepromoveerd bij het indienen van een Veni (resp. 8 jaar voor een Vidi en 15 jaar voor een Vici) wordt geschrapt. Iedereen zonder vaste aanstelling of tenure track-positie kan maximaal twee keer indienen bij Veni (resp. iedere UD bij Vidi en iedere UHD/HL bij Vici).
3. Om te voorkomen dat er te veel aanvragen worden ingediend komt er een bovengrens aan het aantal aanvragen per onderzoeksinstelling (variërend op basis van prestaties, net als bij Europees voetbal).

Wanneer NWO de nadruk legt op kwaliteit in plaats van kwantiteit dan zullen de universiteiten volgen. Ik ben het eens met de Amerikaanse Computing Research Association dat beslissingen over aanstellingen, tenure en bevordering bij voorkeur gebaseerd zouden moeten zijn op (maximaal) de top vijf publicaties van de betrokken onderzoekers.

Lees alle columns van Frits Vaandrager