Nieuw netwerk wil toevalstreffers in de wetenschap voorkomen: ‘Onderzoek moet herhaalbaar zijn’
-
Het Maria Montessorigebouw. Foto: Johannes Fiebig
Waarom valt wetenschappelijk onderzoek vaak zo slecht te herhalen? Met een beetje steun van onderzoeksfinancier NWO is afgelopen week het Nederlands ‘Reproducibility Network’ opgericht.
Sinds de geruchtmakende fraude van psycholoog Diederik Stapel, die allerlei aannemelijk klinkende data verzon, staat de herhaalbaarheid van wetenschappelijk onderzoek in de belangstelling. Want hoe kon het dat niemand ooit geprobeerd had om diens onderzoek na te doen?
Sindsdien zijn er, niet alleen in de psychologie, allerlei studies uitgevoerd die eerder onderzoek probeerden te herhalen, oftewel ‘repliceren’. Daar komt steeds uit dat veertig à vijftig procent van de resultaten niet kan worden bevestigd, vertelt epidemioloog Michiel de Boer van het UMC Groningen.
Binnen de wetenschap wordt volgens hem gesproken over de ‘replicatiecrisis’. In een stuk of twintig landen zijn inmiddels netwerken opgericht om aandacht te vragen voor de herhaalbaarheid van wetenschappelijk onderzoek. Zo’n netwerk heeft hij nu ook opgericht, samen met enkele collega’s van verschillende universiteiten: het Nederlands Reproducibility Network (NLRN).
Bescheiden
Het netwerk begint bescheiden, met een kleine subsidie van onderzoeksfinancier NWO: 250.000 euro voor de komende drie jaar. ‘We hebben een coördinator, die in deeltijd werkt. Verder kunnen we bijvoorbeeld symposia organiseren en trainingsmateriaal ontwikkelen.’
In het verleden maakte NWO direct geld beschikbaar voor replicaties van invloedrijk onderzoek. Het doel van NLRN is echter niet per se de daadwerkelijke herhaling van studies, zegt De Boer, maar om de mogelijkheid van herhaling. Wetenschappers moeten zo transparant mogelijk werken, zodat anderen hun stappen na kunnen gaan.
‘Sommige wetenschappers zien het probleem niet’
De Boer: ‘Sommige wetenschappers zien het probleem niet. Die denken: ik heb toch in mijn methodesectie uitgelegd wat ik gedaan heb? Maar van een wetenschappelijk tijdschrift krijg je bijvoorbeeld vierhonderd woorden voor de uitleg van je methode, dus daar kun je nooit alle details in kwijt. Als je iets wilt reproduceren, heb je daarnaast iemands data nodig, of de software, de codes enzovoorts.’
Toevalstreffer
De oprichting van het netwerk past in het streven naar open science, bevestigt hij. ‘Maar open science gaat bijvoorbeeld ook over gratis leesbare artikelen, en daar houden wij ons niet mee bezig. Wij kijken specifiek naar de mogelijkheid om wetenschappelijk onderzoek te herhalen.’
Frauderende onderzoekers zoals Stapel zijn eigenlijk niet het grootste probleem, meent De Boer, omdat het zo zelden voorkomt. Vaker snijden onderzoekers ergens een bocht af en publiceren ze bijvoorbeeld alleen de uitkomsten die significant zijn. Dan lijken de conclusies soms spectaculair, terwijl het eigenlijk gebaseerd is op een toevalstreffer.
In de wetenschap speelt bovendien het probleem van de ‘publication bias’, zegt De Boer. Tijdschriften publiceren alleen de interessante uitkomsten. Soms blijft er weinig van over als je het opnieuw probeert.
Rembrandt
Is het voor alle vakgebieden relevant, ook als experimenten en data er nauwelijks een rol in spelen? De Boer meent van wel. ‘In een vakgebied als geschiedenis staat de discussie nog in de kinderschoenen, maar er ontstaan wel initiatieven. Er is bijvoorbeeld iemand die de attributie van twee Rembrandt-schilderijen probeert te repliceren, om te kijken waar je dan tegenaan loopt.’
‘We moeten nog even doorpakken’
Het netwerk zelf staat ook in de kinderschoenen, bevestigt De Boer. Hij en zijn collega’s voeren allerlei gesprekken, zegt hij, maar tot nu toe is er maar één instelling officieel aangehaakt: zijn eigen Rijksuniversiteit Groningen. ‘We moeten inderdaad nog even doorpakken, maar er zijn al allerlei lokale initiatieven aangesloten. Die willen we graag met elkaar in contact brengen.’
Eric Maris schreef op 1 november 2023 om 12:50
Dit is een uitstekend initiatief. Ik wil graag langs deze weg inventariseren wie aan de Radboud Universiteit geïnteresseerd is om aan te sluiten bij dit landelijke initiatief. Dit is mijn profiel:
1. Ik ben een neurowetenschapper met een verleden in methodologie en statistiek.
2. Ik was projectleider van de Donders Data Repository (de voorloper van de Radboud Data Repository) en ben mede-verantwoordelijk voor de functionele eigenschappen van dit systeem.
3. Ik heb minstens 1 paper gepubliceerd waarvan de resultaten niet gereproduceerd konden worden door een andere onderzoeksgroep.
4. Mijn positie in het debat over reproduceerbaarheid is pragmatisch en niet ideologisch (het opgestoken vingertje …); een niet-reproduceerbaar resultaat is een verspilling van onze schaarse onderzoeksmiddelen, en dat moet voorkomen worden.
Stuur me een email als je er wat in ziet om binnen de Radboud campus bij te dragen aan activiteiten waarmee we de reproduceerbaarheid kunnen bevorderen.
Gert Flik schreef op 1 november 2023 om 17:30
Toevalstreffers zijn de krenten in de pap. Wel even controleren of er meer aanwijzingen conform de treffer (!) zijn. Wat een slechte titel boven dit artikel(tje). Je zult als faculteit maar in beeld zijn bij deze boodschap, Maria Montessori, waarom niet de RU in zijn geheel (er zijn toch logo’s) . En hoe zit het met persoonlijke kwaliteiten van onderzoekers? Iedereen kan wel een balletje schoppen, maar wie schiet er raak? Povere journalistiek ….
Mat van Dijk schreef op 9 november 2023 om 10:18
Al lang geleden afgestudeerd. Eenvoudig doctorandus geschiedenis. (Nijmegen) Even serieus nu: eerst een citaat “‘In een vakgebied als geschiedenis staat de discussie nog in de kinderschoenen, maar er ontstaan wel initiatieven. Er is bijvoorbeeld iemand die de attributie van twee Rembrandt-schilderijen probeert te repliceren, om te kijken waar je dan tegenaan loopt.’ Epidemioloog Michiel de Boer (medicus!) heeft het hier over kunstgeschiedenis. Niet Geschiedenis. Dat zijn twee apart te onderscheiden wetenschappelijke disciplines met ieder hun eigen expertise. Wij leerden vroeger al van Professor Geyl (Utrecht) en van wijlen Pater Geurts (geschiedenis Nijmegen; vak algemene inleiding) al dat geschiedschrijving een discussie zonder einde is. En wel op basis van archiefbescheiden die openbaar, geordend en toegankelijk zijn. Verifieerbaar dus. Ook kan ik nog wijlen de astronoom Carl Sagan aanhalen”extraordinary claims require extraordinary evidence.” En dus geen ongesorteerde cd-roms met data in iemands bureaulade. De cultuur van publish or perish is evenmin bevorderlijk voor het niveau. Bij de studieduurverkorting uit de jaren tachtig zijn vele noodzakelijke hulpwetenschappen -in ieder geval bij geschiedenis- overboord gegooid. Wetenschap is méér dan een gratuite mening. Dat heeft een nieuwe generatie dan hopelijk weer geleerd van de corona-crisis. Geschiedenis als discipline staat aan de vooravond van de digitalisering van bibliotheek collecties en archiefbescheiden. En de analyse daarvan d.m.v. big data. De resultaten daarvan zijn verbluffend. Nu net met pensioen, maar ben blij dat ik dit nog heb mee mogen maken. Lees: Rene van Stipriaan. De Zwijger. Het leven van Willem van Oranje. (2022)