Waarom valt wetenschappelijk onderzoek vaak zo slecht te herhalen? Met een beetje steun van onderzoeksfinancier NWO is afgelopen week het Nederlands ‘Reproducibility Network’ opgericht.

Sinds de geruchtmakende fraude van psycholoog Diederik Stapel, die allerlei aannemelijk klinkende data verzon, staat de herhaalbaarheid van wetenschappelijk onderzoek in de belangstelling. Want hoe kon het dat niemand ooit geprobeerd had om diens onderzoek na te doen?

Sindsdien zijn er, niet alleen in de psychologie, allerlei studies uitgevoerd die eerder onderzoek probeerden te herhalen, oftewel ‘repliceren’. Daar komt steeds uit dat veertig à vijftig procent van de resultaten niet kan worden bevestigd, vertelt epidemioloog Michiel de Boer van het UMC Groningen.

Binnen de wetenschap wordt volgens hem gesproken over de ‘replicatiecrisis’. In een stuk of twintig landen zijn inmiddels netwerken opgericht om aandacht te vragen voor de herhaalbaarheid van wetenschappelijk onderzoek. Zo’n netwerk heeft hij nu ook opgericht, samen met enkele collega’s van verschillende universiteiten: het Nederlands Reproducibility Network (NLRN).

Bescheiden

Het netwerk begint bescheiden, met een kleine subsidie van onderzoeksfinancier NWO: 250.000 euro voor de komende drie jaar. ‘We hebben een coördinator, die in deeltijd werkt. Verder kunnen we bijvoorbeeld symposia organiseren en trainingsmateriaal ontwikkelen.’

In het verleden maakte NWO direct geld beschikbaar voor replicaties van invloedrijk onderzoek. Het doel van NLRN is echter niet per se de daadwerkelijke herhaling van studies, zegt De Boer, maar om de mogelijkheid van herhaling. Wetenschappers moeten zo transparant mogelijk werken, zodat anderen hun stappen na kunnen gaan.

‘Sommige wetenschappers zien het probleem niet’

De Boer: ‘Sommige wetenschappers zien het probleem niet. Die denken: ik heb toch in mijn methodesectie uitgelegd wat ik gedaan heb? Maar van een wetenschappelijk tijdschrift krijg je bijvoorbeeld vierhonderd woorden voor de uitleg van je methode, dus daar kun je nooit alle details in kwijt. Als je iets wilt reproduceren, heb je daarnaast iemands data nodig, of de software, de codes enzovoorts.’

Toevalstreffer

De oprichting van het netwerk past in het streven naar open science, bevestigt hij. ‘Maar open science gaat bijvoorbeeld ook over gratis leesbare artikelen, en daar houden wij ons niet mee bezig. Wij kijken specifiek naar de mogelijkheid om wetenschappelijk onderzoek te herhalen.’

Frauderende onderzoekers zoals Stapel zijn eigenlijk niet het grootste probleem, meent De Boer, omdat het zo zelden voorkomt. Vaker snijden onderzoekers ergens een bocht af en publiceren ze bijvoorbeeld alleen de uitkomsten die significant zijn. Dan lijken de conclusies soms spectaculair, terwijl het eigenlijk gebaseerd is op een toevalstreffer.

In de wetenschap speelt bovendien het probleem van de ‘publication bias’, zegt De Boer. Tijdschriften publiceren alleen de interessante uitkomsten. Soms blijft er weinig van over als je het opnieuw probeert.

Rembrandt

Is het voor alle vakgebieden relevant, ook als experimenten en data er nauwelijks een rol in spelen? De Boer meent van wel. ‘In een vakgebied als geschiedenis staat de discussie nog in de kinderschoenen, maar er ontstaan wel initiatieven. Er is bijvoorbeeld iemand die de attributie van twee Rembrandt-schilderijen probeert te repliceren, om te kijken waar je dan tegenaan loopt.’

‘We moeten nog even doorpakken’

Het netwerk zelf staat ook in de kinderschoenen, bevestigt De Boer. Hij en zijn collega’s voeren allerlei gesprekken, zegt hij, maar tot nu toe is er maar één instelling officieel aangehaakt: zijn eigen Rijksuniversiteit Groningen. ‘We moeten inderdaad nog even doorpakken, maar er zijn al allerlei lokale initiatieven aangesloten. Die willen we graag met elkaar in contact brengen.’