Eerst was daar megafraudeur Diederik Stapel. Vorige week volgde het onderzoek over psychologische studies die niet betrouwbaar blijken. Is de psychologie een flutwetenschap? Drie Radboud-wetenschappers reageren.

De co-auteur
Fred Hasselman, gedragswetenschapper en docent bij pedagogische wetenschappen aan de Radboud Universiteit, was co-auteur van het artikel in wetenschapstijdschrift Science dat de afgelopen weken voor zoveel ophef zorgde. 270 wetenschappers van over de hele wereld hadden honderd psychologische experimenten herhaald. Experimenten die in 2008 in drie wetenschappelijk vakbladen hadden gestaan en waarvan de meeste bij herhaling geen stand meer houden.

‘Dramatisch natuurlijk, maar het project is wél een teken dat de wetenschap z’n functie uitoefent. Hier zijn wel 270 psychologen aan het werk geweest om experimenten te herhalen’, zegt Hasselman, die tijdens het project fungeerde als vraagbaak voor vragen over statistiek en methoden van onderzoek. Flut wil hij de psychologie dan ook niet noemen. ‘Zo werkt de wetenschappelijke methode gewoon: repliceerbaarheid is belangrijk voor het geloofwaardig maken van wetenschappelijke kennis.’

Aan de andere kant: de psychologie laat ook wel wat steken vallen, vindt Hasselman. Het vakgebied staat er niet om bekend dat het zich verdiept in goede methoden van onderzoek. Integendeel, de psychologie bestudeert haar onderzoeksobject met een methode die in de natuurwetenschappen klassiek wordt genoemd. Die gaat ongeveer zo: in een experiment manipuleer je een variabele, je krijgt een reactie en die meet je. Je noemt die reactie vervolgens een bewijs voor een nieuwe eigenschap of ‘effect.’ Veel te simpel, zegt Hasselman, en niet geschikt voor een wetenschap die mensen bestudeert. ‘Je kunt die methode toepassen bij een simpel fysisch systeem, maar de mens is veel complexer.’

Gedrag van mensen is gevoelig voor allerlei veranderingen in hun omgeving. En verandert razendsnel over de tijd. Dat is dus niet op de klassieke manier in kaart te brengen. Volgens Hasselman ligt precies daar het probleem. ‘Ik ben van mening dat de oorzaak van het niet reproduceerbaar zijn van ons onderzoek ligt in het feit dat we geen goede theorie hebben over hoe we de mens moeten bestuderen als complex, dynamisch systeem.’

De methodoloog
Eric Maris, behalve neurowetenschapper en methodoloog ook psycholoog aan de Radboud Universiteit, was niet echt verbaasd toen hij hoorde over al die psychologische studies die bij herhaling geen significant resultaat opleverden. In sommige andere vakgebieden, zoals de farmacie, is het niet zoveel beter gesteld met de reproduceerbaarheid van onderzoeksresultaten.

Hij gelooft dat het hele wetenschappelijke bedrijf baat heeft bij een andere aanpak, waarbij onderzoek dat belangrijke nieuwe bevindingen rapporteert standaard wordt herhaald. Zeker zo belangrijk is dat wetenschappers het onderzoeksproces documenteren en hun data en analyses achteraf met elkaar delen. Het laatste, ook wel Research Management Data genoemd, is dé manier om onderzoekers bij elkaar in de keuken te laten kijken. ‘Zo kunnen ze van elkaar leren, en samen beter worden.’

Psychologen is al vaker gewezen op het belang van herhalingsonderzoek, maar naar Maris’ ervaring wordt het nog nauwelijks in praktijk gebracht. Het is nu eenmaal spannender om iets nieuws te doen. Toch is het volgens hem vaak eenvoudig om nieuw en replicatie onderzoek te combineren. ‘Hier kunnen we wat leren van het cognitieve onderzoek met apen, met metingen in het brein. Deze onderzoekers brengen vaak reproduceerbare effecten voor het voetlicht, ook al hebben ze meestal slechts twee apen per onderzoek ter beschikking. De truc is dat ze in elk onderzoek met nieuwe apen altijd het basisfenomeen (in ouder onderzoek geobserveerd bij andere apen) proberen te repliceren, naast het identificeren van nieuwe fenomenen die nieuwe inzichten kunnen opleveren. In mijn eigen onderzoek met mensen heb ik dezelfde werkwijze met succes toegepast.’

Populair is herhalingsonderzoek niet, omdat er weinig eer mee te halen valt, weet Maris. Aan wetenschappers, maar ook aan universiteiten en onderzoeksscholen de taak om desondanks vaart te zetten achter dat replicatieonderzoek. Stel gedragscodes op, oppert Maris. ‘Onmisbaar voor het realiseren van een cultuurverandering binnen het wetenschappelijk bedrijf.’

De sociaal psycholoog
Flut? Welnee, reageert sociaal psycholoog en decaan van sociale wetenschappen Daniël Wigboldus. ‘Een flutwetenschap zou niet het initiatief hebben genomen voor zo’n groot project als dit replicatieonderzoek is geweest.’

Wat de psychologie zo’n lastig vakgebied maakt, zegt hij, is het onderzoeksobject. Wij dus. ‘Menselijk gedrag kun je op allerlei manieren bestuderen, van hersenscans tot droomduidingen. Dat maakt de interpretatie niet eenvoudig. Daarbij kunnen mensen nogal wispelturig zijn. In de ene situatie gedragen we ons anders dan in een andere.’

Wat overigens niet betekent dat we mensen niet kunnen onderzoeken, zegt Wigboldus. ‘Je hebt alleen niet zo snel de kern te pakken.’ Hij wil maar zeggen: de basiskennis van de psychologie bestaat misschien wel bij de gratie van herhalingsonderzoek. De tijd zal leren welke bevindingen wel en welke niet overeind zullen blijven. ‘De effecten die wel repliceerbaar blijken, vormen het tekstmateriaal van de toekomst. Zo werkt wetenschap, we worden langzaamaan wijzer.’

Wigboldus vindt dat replicatieonderzoek meer gewicht moet krijgen. Dat wil niet zeggen dat een onderzoek pas gepubliceerd mag worden als het uitentreuren herhaald is. ‘Soms is het goed om een eerste bevinding te publiceren, want dan kan een collega erop voortbouwen. Als je in je publicatie maar duidelijk aangeeft welke conclusies eraan verbonden kunnen worden.’

Op psychologen rust volgens Wigboldus de taak om nog meer dan nu gebeurt vooraf hun hypotheses digitaal vast te leggen, data te delen met vakgenoten en ook in publicaties de gevolgde werkwijze vast te leggen. Openheid dus. Maar daar is de sociale psychologie al een hele tijd bezig, zegt hij. ‘We verwijzen in Nederland altijd naar de Stapel-affaire, en natuurlijk heeft Stapel als een katalysator gewerkt voor de recente veranderingen, maar in feite is dit een proces dat al langer aan de gang is.’ / Martine Zuidweg

Dit verhaal verschijnt ook in Vox 1, die vanaf morgen in de bakken ligt.