Sinds Diederik Stapel zit de sociale psychologie in het verdomhoekje – veel onderzoeksresultaten bleken op drijfzand te berusten. Om het tij te keren voerden wetenschappers, onder leiding van onder anderen Radboud-onderzoeker Fred Hasselman, een megastudie uit waarin ze tientallen experimenten herhaalden. Met wisselend resultaat.

Mensen die sneller gevoelens van walging ervaren dan anderen, zijn ook vaker homofoob. En hoe meer broers en zussen je hebt, hoe socialer je bent. Het zijn zo maar twee voorbeelden van klassieke bevindingen uit de sociale psychologie. Alleen – ze kloppen niet. Dat laat een groot herhaalonderzoek zien dat binnenkort verschijnt in vakblad Advances in Methods and Practices in Psychological Science. De resultaten zijn nu al online te lezen op preprint server PsyArXiv.

Deze zogeheten Many Labs 2-studie – onder leiding van Brian Nosek van het Center for Open Science in Charlottesville (VS) – komt voort uit de ‘replicatiecrisis’ binnen de sociale psychologie. Begin dit decennium bleek dat onderzoeksresultaten vaak niet bevestigd konden worden wanneer psychologen uit andere labs experimenten herhaalden. De vraag rees hoe betrouwbaar de sociale psychologie als wetenschapsgebied eigenlijk is.

De crisis werd nog dieper met de val van de Tilburgse hoogleraar Diederik Stapel in 2011, die de gegevens van tientallen experimenten uit zijn duim zoog. Verschillende psychologen besloten hierop hun vakgebied uitgebreid onder de loep te nemen, in een poging het vertrouwen te verstellen. Zo werden op initiatief van Brian Nosek in 2015 al honderd studies eenmalig herhaald. Hierbij werden in meer dan de helft van de gevallen de originele bevindingen ontkracht.

Fantasiesteden

Many Labs 2 is een vervolg hierop. Van de 28 claims die onderzoekers dit keer onderzochten, bleek de helft niet houdbaar of zelfs een tegenovergesteld verband te hebben, vertelt Fred Hasselman. De Nijmeegse psycholoog, universitair docent bij Pedagogische Wetenschappen en Onderwijskunde en ‘fellow’ bij het Behavioural Science Institute, was een van de vier hoofdonderzoekers van Many Labs 2.

Hasselman noemt een voorbeeld: er was een studie naar waar proefpersonen denken dat de rijkste mensen wonen in een fictieve stad. ‘Dat zou cultureel bepaald zijn: proefpersonen uit de VS wezen op kaarten van fantasiesteden het noorden aan, terwijl deelnemers uit Hong Kong juist het zuiden aanwezen.’ In het herhaalonderzoek bleek er geen verschil.

‘Waar is de oude garde al die tijd mee bezig geweest?’

Dat veel originele studies niet blijken te kloppen, betekent niet de onderzoeksleiders meteen fraudeurs zijn, benadrukt Hasselman. ‘Vaak hadden die experimenten maar heel weinig proefpersonen: tien, twintig hooguit. Dan heb je veel meer kans dat je door toeval een bepaald verband vindt.’ Ook namen onderzoekers het vroeger niet zo nauw met de statistiek, weet hij. ‘Zo voegden ze bijvoorbeeld extra proefpersonen toe totdat het gewenste effect gevonden was. Dan ben je statistisch aan het valsspelen.’

WEIRD

Om dat soort valkuilen te omzeilen, gingen Hasselman en zijn collega’s rigoureus te werk. Elk van de 28 studies werd tenminste zestig keer herhaald, door labs in 36 verschillende landen. Hierdoor kwam het totale aantal proefpersonen vaak boven de vijfduizend uit – per experiment – en waren ze minder WEIRD (‘Western, Educated, Industrialized, Rich, & Democratic’) dan wat meestal het geval is. Hasselman: ‘Het is denk ik verreweg het grootste herhaalonderzoek dat ooit is gedaan – in ieder geval met menselijke proefpersonen’.

Ook werden de onderzoeksprotocollen van tevoren gepubliceerd (nadat ze voor eventuele aanpassing waren voorgelegd aan de oorspronkelijke onderzoekers). Zo lagen de procedure, onderzoeksmaterialen en analyses exact vast. Om voor nog meer openheid te zorgen maakten Hasselman en zijn team alle verzamelde gegevens en analyses bovendien vrij beschikbaar, in een online database die de Nijmeegse psycholoog ontwierp.

‘De sociale psychologie onderzoekt zichzelf, dat is juist goed’

Dankzij de tientallen herhalingen konden de onderzoekers ook andere verklaringen uitsluiten als een bepaald verband niet meer aangetoond werd, vertelt Hasselman. ‘In het verleden wezen de originele studieleiders dan nog wel eens op ‘speciale omstandigheden’ waardoor het bij hen wel zou hebben gewerkt. Zoals culturele verschillen of speciaal stimulusmateriaal. Die verborgen beïnvloeders konden we nu uitsluiten.’

Mastodonten

De resultaten ziet Hasselman niet als een bevestiging dat het nog steeds mis is in de gedragswetenschappen. ‘Integendeel! De sociale psychologie onderzoekt zichzelf, dat is juist goed. Er zijn nu ook veel meer tijdschriften die replicatiestudies accepteren dan, zeg, vijf jaar geleden. Toen kwam dat eigenlijk gewoon niet voor.’

Veel jonge wetenschappers kijken wel met gemengde gevoelens naar de oude garde, aldus Hasselman. ‘Waar zijn jullie al die tijd mee bezig geweest? vragen zij.’ De mastodonten hoeven wat hem betreft echter niet op de brandstapel. ‘Wat schiet je daarmee op? Tenzij iemand echt fraude heeft gepleegd natuurlijk, maar dat kun je met onze studie niet direct aantonen. Je kunt je beter richten op de nieuwe generatie.’

Neurowetenschappen

Ook Eric Maris is juist positief over de toekomst. Maris is universitair hoofddocent bij het Donders Instituut en naast zijn inhoudelijke werk ook expert op het gebied van statistiek en methoden in de gedrags- en neurowetenschappen. ‘Dit soort grootschalige replicatiestudies is nu nog een soort inhaalslag. Hierna zullen studies veel sneller herhaald worden’, verwacht hij. ‘Er is tegenwoordig al veel meer aandacht voor statistische power – dat je conclusies trekt op basis van voldoende proefpersonen.’

Dat laatste is goed, benadrukt Maris, maar hij vindt het nog belangrijker dat onderzoekers hun onderzoeksgegevens en -analyses veel beter gaan documenteren. ‘Dat zou binnen de neurowetenschappen in ieder geval een stuk meer mogen gebeuren.’

Onderzoekers hebben nu nog te veel mogelijkheden om naar eigen inzicht data te analyseren, zegt hij, zonder dat er gekeken wordt of alternatieve berekeningen niet tot andere conclusies zouden leiden. ‘Het beste zou zijn als wetenschappers al hun rekenstappen in een online database zouden publiceren, samen met de data. Dan kunnen zij zelf of anderen vervolgens in een nieuwe groep proefpersonen controleren of de resultaten standhouden.’ Hij hoopt dat onderzoeksfinanciers zoals NWO hiertoe meer druk gaan uitoefenen. ‘Bij grote genetische studies is dit nu al de standaard’.