Er zit een hardnekkige fout in de wetenschap: nog steeds worden sommige wetenschappers beoordeeld met de Journal Impact Factor van hun publicaties. Die JIF meet hoe vaak recente artikelen in een wetenschappelijk tijdschrift gemiddeld worden geciteerd. Met andere woorden: de JIF meet hoeveel aandacht wetenschappelijke tijdschriften krijgen met het werk dat ze publiceren, wat overigens zeer sterk varieert tussen vakgebieden. De JIF is een hardnekkig obstakel voor de meer kwalitatieve beoordeling van Erkennen en Waarderen.

Ondanks een lange rij waarschuwingen werd de JIF toch breed ingezet om academische banen toe te wijzen. Kwaliteit van auteurs of artikelen meten met de kwaliteit van het tijdschrift heet in de statistiek een ecologische fout. Het is net zoiets als concluderen dat een lid van een katholieke universiteit zelf vast ook katholiek is. De aandacht voor artikelen is echter bijzonder scheef verdeeld: slechts een klein groepje artikelen krijgt heel veel aandacht en is daarmee doorslaggevend voor de JIF van het tijdschrift. Dat zegt dus niet zoveel over de lange staart van onopgemerkte artikelen in datzelfde blad.

Wetenschappers menen dat tijdschriften met hoge JIF ook wel goede tijdschriften zullen zijn. Helaas blijkt dat publicaties in tijdschriften met hoge JIF vanuit methodologisch perspectief niet betrouwbaarder of zelfs minder betrouwbaar zijn. Dat komt omdat de JIF kwaliteit definieert als aandacht. Dat zet zowel tijdschriften als onderzoekers aan tot het snel publiceren van spectaculaire claims, desnoods met kleinere samples, overdreven claims of opgedirkte resultaten.

Dat we veroordeeld zouden zijn tot de JIF omdat het de wereldwijde norm is, blijkt wel mee te vallen: slechts een kwart van Amerikaanse en Canadese universiteiten hanteert de JIF nog. Bovendien nemen steeds meer wetenschappelijke organisaties publiek stelling tegen deze praktijk, wat bijvoorbeeld Utrecht net nog uitgebreide aandacht in Nature opleverde.

Een ander argument is dat we nu eenmaal een numeriek criterium nodig zouden hebben om conflicten te neutraliseren. Dat is echter net zoiets als beweren dat je bij gebrek aan een thermometer de temperatuur maar met een barometer blijft meten.

Nog steeds voeren sommige wetenschappers trots JIFs op in hun CV. Instituten hebben er banen en middelen mee verdeeld. Het definitief opgeven daarvan zal enige moeite kosten. Maar aangezien dit gebruik van de JIF aantoonbaar onwetenschappelijk is, zie ik niet hoe we onszelf als wetenschapper ernstig kunnen nemen en hier toch mee doorgaan.

Lees alle columns van Willem Halffman