Hoe nu verder met de sociale psychologie?
-
Foto: Ramesh NG, Creative Commons
Experimenten in de sociale psychologie blijken lang niet altijd reproduceerbaar, toont recent onderzoek opnieuw aan. De wetenschap staat voor een probleem, maar onderzoekers zien ook kansen in de ontstane discussie. ‘Het leidt tot wetenschap in actie. Dat is spannend en uitdagend om mee te maken.’
De Amsterdamse psycholoog Eric-Jan Wagenmakers voerde opnieuw een belangrijk experiment uit, waarin bewezen zou worden dat het optrekken van mondhoeken bij een glimlach jezelf gelukkig maakt. Het effect werd echter niet teruggevonden in het experiment van Wagenmakers. ‘De wetenschap staat in brand’, stelde Wagenmakers deze week in de Volkskrant. Hij beweerde dat de problemen bij sociale psychologie minstens zo erg zijn in bijvoorbeeld de neurowetenschappen.
Vage verdachtmakingen
Op dat laatste wil neurowetenschapper en psycholoog Eric Maris, actief bij het Donders Instituut voor hersenonderzoek, wel reageren. Volgens hem schieten we niets op met zulke vage verdachtmakingen. ‘Pas als Wagenmakers op basis van empirisch onderzoek kan aantonen dat bepaalde fenomenen uit de neurowetenschappen niet reproduceerbaar zijn, dan komen we een stap verder. Zijn verdachtmaking staat haaks op de empirische houding die hij vraagt van de wetenschappers waarvan de resultaten gereproduceerd moeten worden.’
‘Zijn verdachtmaking staat haaks op de empirische houding die hij vraagt van de wetenschappers.’
Maris zou het waarderen als Wagenmakers ook voorstellen zou doen om de reproduceerbaarheid van onderzoeksresultaten te verhogen. ‘In plaats van alleen maar te laten zien welke fenomenen allemaal niet reproduceerbaar zijn.’
De neurowetenschapper heeft zelf wel voorstellen: ‘De eerste stap is het opstellen van een lijst van reproduceerbare fenomenen waar de wetenschap verder op kan bouwen. Op dit punt verschil ik niet van Wagenmakers, ook ik zie het nut van replicatie-onderzoek. Maar daarnaast moeten we ook de workflow en methodologie in de (sociale) wetenschappen kritisch tegen het licht houden.’
Spannend en uitdagend
Hoogleraar Sociale Psychologie Daniël Wigboldus ziet de toenemende aandacht voor replicaties van experimenten als een positieve ontwikkeling. ‘Het is belangrijk dat we als wetenschappers kritisch kijken naar elkaars bevindingen. Replicatiestudies spelen hier een belangrijke rol in. De discussie over het belang van herhaalbaarheid van experimenten en ook over het gebruik van statistiek binnen ons vakgebied is niet iets nieuws. Het leidt tot wetenschap in actie binnen de (sociale) psychologie. Dat is spannend en uitdagend om mee te maken.’
Wigboldus ziet kans om met de huidige digitale ontwikkelingen de betrouwbaarheid van onderzoek te vergroten. ‘De opkomst van allerlei digitale open access initiatieven, leidt tot nieuwe mogelijkheden om eenvoudig op grote schaal methodieken en data te delen en onderzoek te reproduceren. Er ontstaan grote internationale samenwerkingsverbanden tussen onderzoeksteams.’
Hij is ook blij met de stijgende groep onderzoekers die vooraf hun onderzoeksidee en hypotheses laten vastleggen. ‘Van belang is wel dat de discussies tussen onderzoekers over de interpretatie van resultaten op een respectvolle wijze gevoerd worden. Als de bevindingen van een specifiek experiment niet reproduceerbaar blijken te zijn, kan dit vele oorzaken hebben. We moeten bij replicatiestudies net zo voorzichtig zijn bij het trekken van conclusies als we dat bij originele studies dienen te zijn.’
Fred Hasselman schreef op 14 september 2016 om 00:18
“Pas als Wagenmakers op basis van empirisch onderzoek kan aantonen dat bepaalde fenomenen uit de neurowetenschappen niet reproduceerbaar zijn, dan komen we een stap verder. Zijn verdachtmaking staat haaks op de empirische houding die hij vraagt van de wetenschappers.”
Jammer dat de positieve reactie van de decaan (die ik van harte ondersteun) wordt overschaduwd door deze merkwaardige opmerking over collega Wagenmakers.
Ik ben het zelden theoretisch inhoudelijk met Wagenmakers eens, maar zijn vele bijdragen aan publicaties over het verbeteren van de reproduceerbaarheid van onderzoek in de sociale wetenschappen (ook in de neurowetenschappen) zijn moeilijk te overtreffen. Het is daarom eenvoudig aan te tonen de opmerking van Maris feitelijk onjuist is.
1. In het Volkskrant artikel verwijst Wagenmakers naar “A purely confirmatory replication study of structural brain-behavior correlations” (Boekel et al. 2015, zie hieronder voor referentie), een pre-registered replicatie studie gepubliceerd in Cortex. Dat is dus “op basis van empirisch onderzoek […] aantonen dat bepaalde fenomenen uit de neurowetenschappen niet reproduceerbaar zijn”.
2. Weinig publicaties bevatten meer vooruitstrevende voorstellen om tot een hervorming van het uitvoeren en publiceren van wetenschappelijk onderzoek te komen dan in “Promoting an open research culture” dat in 2015 in Science werd gepubliceerd (zie hieronder voor referentie). Dat is evident “voorstellen […] doen om de reproduceerbaarheid van onderzoeksresultaten te verhogen”
Laten we het bij de feiten houden, helaas is het nog steeds zo dat replicatie onderzoekers te maken krijgen met openlijke ad hominem aanvallen die hun competentie als wetenschapper en motieven voor hun handelen in twijfel proberen te trekken. Ik neem aan dat het hier om een ongelukkige vergissing gaat die gemakkelijk te herstellen is.
Suggested reading:
van Maanen, L., Forstmann, B. U., Keuken, M. C., Wagenmakers, E.-J., & Heathcote, A. (in press). The impact of MRI scanner environment on perceptual decision making. Behavior Research Methods.
Boekel, W., Wagenmakers, E.-J., Belay, L., Verhagen, A. J., Brown, S. D., & Forstmann, B. U. (2015). A purely confirmatory replication study of structural brain-behavior correlations. Cortex, 66, 115-133.
Nosek, B. A., […] Wagenmakers, E. J., Wilson, R., & Yarkoni, T. (2015). Promoting an open research culture. Science, 348, 1422-1425.
Bakker, M., Cramer, A. O. J., Matzke, D., Kievit, R. A., van der Maas, H. L. J., Wagenmakers, E.-J., & Borsboom, D. (2013). Dwelling on the past. European Journal of Personality, 27, 120-121. Open peer commentary on Asendorp et al., “Recommendations for increasing replicability in psychology”.
Wagenmakers, E.-J., Wetzels, R., Borsboom, D., van der Maas, H. L. J. & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7, 627-633.
Nieuwenhuis, S., Forstmann, B. U., & Wagenmakers, E.-J. (2011). Erroneous analyses of interactions in neuroscience: A problem of significance. Nature Neuroscience, 14, 1105-1107.
Wetzels, R., Matzke, D., Lee, M. D., Rouder, J. N., Iverson, G. J., & Wagenmakers, E.-J. (2011). Statistical evidence in experimental psychology: An empirical comparison using 855 t tests. Perspectives on Psychological Science, 6, 291-298.
Eric Maris schreef op 14 september 2016 om 08:12
Hoi Fred,
We lopen hier het risico een discussie te gaan voeren onder bijna-gelijkgezinden. Toch een paar reacties:
1. In het Volksrant artikel dat ik gelezen heb (http://www.volkskrant.nl/wetenschap/-bij-de-sociale-psychologie-is-een-bom-ontploft~a4371750/) stond geen verwijzing naar een replicatie-onderzoek binnen de neurowetenschappen. Er stond zelfs expliciet
“En ze zijn nog nauwelijks getoetst door ze te herhalen.”
2. In mijn reactie naar de Voxweb redacteur had ik een zinssnede opgenomen als “in de neurowetenschappen zullen vast ook fenomenen gerapporteerd zijn die niet te repliceren zijn”. En daar heb ik dan aan toegevoegd dat we alleen wat opschieten als we weten welke fenomenen wel en niet reproduceerbaar zijn. De redacteur heeft mijn bijdrage echter ingekort, achteraf gezien terecht want de mijn geschrapte zin gaat wellicht op voor elke empirische wetenschap. Alleen jammer dat het nu lijkt alsof ik denk dat wij neurowetenschappers het allemaal veel beter doen. Dit is wat ik denk: als wij (of een ander vakgebied) iets verkondigen wat niet reproduceerbaar is, dan moeten we dat corrigeren.
3. Ik sta helemaal achter het open bedrijven van wetenschap. Het alternatief is voor mij zelfs ondenkbaar. Het OSF platform waarbinnen onderzoekers van verschillende instituten kunnen samenwerken is een zeer nuttig instrument, maar het is te vrijblijvend. Bijvoorbeeld, het biedt geen oplossing voor het feit dat de ruwe data en de analyseprotocollen van neurowetenschappelijk onderzoek nog niet op een eenvoudig toegankelijke manier gedeeld worden. Dat laatste is essentieel omdat het vrij duur onderzoek is, wat je (anders dan bij veel gedragswetenschappelijk onderzoek) niet zomaar eens overdoet. Een inter-operabele manier om data en analyseprotocollen te delen zou een belangrijke bijdrage zijn.
Ik denk dat onze standpunten heel kort bij elkaar in de buurt liggen.
Eric
Fred Hasselman schreef op 15 september 2016 om 17:34
Beste Eric,
Bedankt voor je reactie, het verheldert een en ander.
De verwijzing in VK stond er niet als een literatuurreferentie, een zeer opvallend resultaat uit de structural brain-behaviour correlation literatuur “Mensen met een grotere amygdala hebben meer Facebookvrienden” was een vd 17 “effecten” waar weinig evidentie voor werd gevonden in deze replicatie studie: http://www.ncbi.nlm.nih.gov/pubmed/25684445
De auteurs hebben alle geplande meet en analyse methoden en te toetsen hypothesen voor aanvang van dataverzameling geregistreerd, dat is een eis van tijdschrift Cortex. Dat geldt ook voor de replicatie van Strack et al. en de vele andere grote Registered Replication Reports, dat is niet iets wat zich op het open science framework afspeelt, maar is een eis van tijdschriften die zo’n replicatieprotocol aanbieden.
De individuele MRI en gedragsdata van de 17 gerepliceerde structural brain-behavior correlations uit de Cortex replicatie studie zijn overigens openbaar beschikbaar op NITRC (o.a.) een Neuroimaging data repository https://www.nitrc.org/projects/confrep2014/
Vond het jammer dat een schoolvoorbeeld voor hoe iedere empirische gedrag- of neuro- studie gepubliceerd en gerepliceerd zou kunnen worden niet genoemd werd, vandaar mijn reactie.
Goed dat we het hierover eens kunnen zijn.