Weg met die psychologen! Of niet?
De meeste psychologische experimenten leveren bij herhaling andere resultaten op, bleek onlangs uit onderzoek. Psycholoog en methodoloog Eric Maris pleit voor een andere aanpak.
In het Sciencenummer van 28 Augustus rapporteerde een internationale groep onderzoekers over de bevindingen van een grootschalig onderzoek naar de reproduceerbaarheid van de resultaten van psychologisch onderzoek. Wat bleek? De meeste experimenten leverden bij herhaling andere resultaten op. In slechts 35 van de 97 (dus 36 procent) studies werd een significant effect gevonden. Je hoeft er niet voor doorgeleerd te hebben om te zien dat we hier een probleem hebben.
Wat doen we eraan? Ik pleit voor een gecombineerde aanpak. Dit zijn de mogelijke acties: Weg met de psychologie!, betere statistiek, meer biologische data, Research Data Management (RDM), Repliceer Meer!, en gedragscodes.
Weg met de psychologie!
Psychologen wiens resultaten (of die van hun discipline) niet gerepliceerd kunnen worden, krijgen soms persoonlijke aanvallen te verduren. Dit is onterecht en onproductief. Het is onterecht omdat het in andere wetenschapgebieden niet altijd beter gesteld is met de reproduceerbaarheid. Er zijn twee voorbeelden uit de celbiologie, waarin de laboratoria van grote farmaceutische bedrijven (Amgen en Bayer) geprobeerd hebben om de resultaten van hun fundamentele onderzoek te reproduceren. De onderzoekers van Amgen konden 11 procent van de originele resultaten reproduceren en die van Bayer 25 procent. Mogelijk voor een deel het gevolg van de gebrekkige documentatie bij het vaak complexe laboratoriumonderzoek in de celbiologie. Dit is nog treuriger: als het wel goed gedocumenteerd zou zijn, zou de industrie het wel kunnen reproduceren.
Betere statistiek
In bijna alle onderzoek wordt een statistische toets gebruikt om te beslissen over de aanwezigheid van een effect. Als die toets een p-waarde produceert die kleiner is dan 0.05, dan beslist de onderzoeker dat het effect bestaat, en anders niet. Deze werkwijze ligt nu onder vuur. Onderzoekers krijgen het advies om andere statistische technieken te gebruiken. Voor verschillende van die technieken zijn er goede redenen om ze toe te passen, althans voor sommige onderzoeksvragen in een bepaalde context. Echter, geen van deze technieken biedt een oplossing voor selectieve verzameling, analyse en publicatie van onderzoeksresultaten. Een onderzoeker kiest er namelijk vaak zelf voor hoeveel data hij verzamelt, hoe hij zijn effect kwantificeert, en of hij zijn resultaten voor publicatie aanbiedt of niet. In elk van deze stappen kan een selectie plaatsvinden die zorgt voor een onzuivere schatting van het effect. Elke statistische analyse moet het doen met de gegeven getalsmatige input, en een onzuiverheid in die input (als gevolg van selectie) kan door de analyse niet ongedaan gemaakt worden.
Meer biologische data
Gedragsonderzoekers wordt vaak aangeraden om meer biologische data (zoals functionele MRI) te verzamelen. De motivatie hiervan is tweeledig. Ten eerste, gedrag is het resultaat van lichamelijke processen, waarvan verreweg de meeste zich in ons brein afspelen. En ten tweede, biologische data geven vaak informatie over het neurofysiologische mechanisme waarlangs gedrag totstand komt. Het komt er dan niet meer op aan om te toetsen of het gemiddelde in twee experimentele condities significant van elkaar verschilt, maar wel of het patroon in het effect overeenstemt met een plausibel neurofysiologisch mechanisme.
In de praktijk blijkt deze mooie en consistente motivatie vaak problematisch: de biologische data geven weliswaar informatie over de fysiologische mechanismen achter het gedrag, maar doen dat op een zeer ruizige manier. Biologische data zijn geen venster naar het brein, waaruit de verklaring voor het gedrag eenvoudig afgelezen kan worden. In de praktijk is identificeren van de relatie tussen breinactiviteit en gedrag een zaak van ingewikkelde analyses op grote datasets. De nadelige gevolgen van selectieve data- analyses liggen hier nog meer op de loer dan in het zuivere gedragsonderzoek.
Research Data Management (RDM)
RDM is het documenteren van het onderzoeksproces, gevolgd door het delen van de onderzoeksdata samen met de documentatie die nodig is voor een externe collega om deze data te heranalyseren. RDM zal zonder twijfel een belangrijke bijdrage leveren aan de reproduceerbaarheid van onderzoeksresultaten. Maar het is naïef om te denken dat de wetenschappelijke vooruitgang hiermee ook gegarandeerd is. Extreem ver doorgevoerde RDM is een protocollaire dwangbuis die geen vrijheid overlaat voor creativiteit. En creativiteit is juist essentieel voor het genereren van de ideëen die onderzoeksresultaten begrijpbaar maken. Daarom moeten we toestaan dat onderzoekers hun gegevens analyseren op een manier die niet vooraf vastgelegd is. Maar tegelijkertijd moeten we eisen dat ze hun analyses en data documenteren en delen.
Repliceer meer!
Wellicht moeten we gewoon toegeven dat het verklaren van gedrag bijzonder moeilijk is, en het onszelf toestaan om resultaten te publiceren van gewaagd onderzoek, bij voorkeur in combinatie met innovatieve analyses van biologische data. Natuurlijk, hoe verder weg van de begaande paden, hoe hoger de kans dat we een niet-reproduceerbaar fenomeen zullen publiceren. Alleen replicatie kan hier voorkomen dat we met zijn allen achter een toevalsbevinding aanlopen. Nog sterker dan strikte replicatie is een robuuste replicatie, waarbij het replicatie-onderzoek op een aantal punten afwijkt van het originele onderzoek; punten die er volgens de verklaring van het fenomeen niet toe mogen doen.
Dit is het punt waar mijn collega’s sociaal psychologen een belangrijke fout gemaakt hebben. Zij lagen als eersten onder vuur toen de berichten over niet-reproduceerbare resultaten de kop op staken. Nobelprijswinnaar Daniel Kahneman heeft toen de belaagde sociaal psychologen dringend verzocht om zelf een tussen-labs replicatie onderzoek op te zetten. Jammer genoeg is dit nooit van de grond gekomen.
Toch is het in de praktijk vaak eenvoudig om nieuw en replicatie-onderzoek te combineren. Hier kunnen wij wat leren van het cognitieve onderzoek met apen (met metingen in het brein). Deze onderzoekers kunnen vaak reproduceerbare fenomenen identificeren, ook al hebben ze meestal slechts twee apen per onderzoek. De truc is dat zij in elk onderzoek met nieuwe apen altijd het basisfenomeen (in ouder onderzoek geobserveerd bij andere apen) proberen te repliceren, naast het identificeren van nieuwe fenomenen die nieuwe inzichten kunnen opleveren. In mijn eigen onderzoek met mensen heb ik dezelfde werkwijze met succes toegepast.
Gedragscodes
Zuiver replicatie-onderzoek is niet populair onder onderzoekers; er is tegenwoordig niet veel eer mee te behalen. De roem is er voor degenen die nieuwe fenomenen met een heldere interpretatie voor het voetlicht kunnen brengen. Een motivatie gebaseerd op individuele roem bemoeilijkt het samenwerken aan een gezamenlijk wetenschappelijk project gericht op het begrijpen van gedrag, leven en materie. Hier ligt een rol voor universiteiten, onderzoeksinstituten en wetenschappelijke genootschappen, en gedragscodes zijn hierbij het instrument. Gedragscodes zijn vaak taaie documenten, en een snelle gedragsverandering is er niet van te verwachten. Maar ze zijn onmisbaar voor het realiseren van een cultuurverandering binnen het wetenschappelijk onderzoek.
Eric Maris, neurowetenschapper, methodoloog-statisticus, mede-projectleider Donders RDM en psycholoog.
Fred Hasselman schreef op 5 september 2015 om 00:11
Beste Eric,
Ik ben het met vrijwel alles eens wat je schrijft.
Een paar opmerkingen:
– Het Reproducibility Project: Cancer Biology is opgezet als zuster project van RP:P nalv het onderzoeken van de farmaceuten: https://osf.io/e81xl/
– de Transparency and Openness Promotion Guidelines (https://osf.io/9f6gx/) zijn inmiddels door veel Journals onderschreven (zie signatories). Dat betekent: zorg voor openbaar beschikbare data, stimuli, en reproduceerbare resultaten (analyse scripts, liefst voor public domain software). Sommige journals zullen ook pre-registratie van nieuw en replicatie onderzoek eisen.
– het Open Science Framework (https://osf.io) is op dit moment het meest geavanceerde systeem voor wat je Research Data Management noemt. Bijvoorbeeld door koppeling met GitHub, DataVerse, Dropbox, Mendeley, figshare, Google Drive. Mogelijkheid tot pre-registratie van onderzoek, DOI voor bestanden, etc. Oh, en er zijn geen kosten aan verbonden.
Tot slot, ik vind de opmerking over ‘persoonlijke aanvallen’ op gerenommeerde onderzoekers wiens werk niet repliceert eigenlijk ongepast.
Het is vast onterecht en onproductief, de link verwijst naar zeer onzorgvuldig nieuwsartikel over een replicatiestudie van lage kwaliteit, dat ben ik met je eens. Het is echter een commentaar van een journalist, in een nieuwsartikel. Dat is mijns inziens minder ernstig (zie ook de rectificaties onder dat nieuwsartikel) dan wat de deelnemers aan het Reproducibility Project te verduren hebben gekregen van prominente, hooggeleerde leden uit de wetenschappelijke gemeenschap.
De meeste auteurs van RP:P staan aan het begin van hun carrière, of zijn zelfs nog student (zie http://www.voxweb.nl/studenten-werkten-mee-aan-onderzoek-psychologische-studies/). Deze jonge mensen zijn door bekende professoren aan prestigieuze universiteiten weggezet als: “The Stasi”, “replication bullies,†“false positive police,†“data detectives.â€, “shameless little bullies,†“self-righteous, self-appointed sheriffs†engaged in a process “clearly not designed to find truth,†“second stringers†incapable of making novel contributions of their own to the literature, and—most succinctly—“assholes.†(Zie o.a. http://www.slate.com/articles/health_and_science/science/2014/07/replication_controversy_in_psychology_bullying_file_drawer_effect_blog_posts.html)
Een van de affaires wordt ‘repligate’ genoemd en terwijl de senioren elkaar een ‘Rosa Parks’ rol toebedeelden, artikelen publiceerden over de ‘zogenaamde crisis’ die overdreven werd door de ‘replicatie pestkoppen’ en zichzelf slachtoffer van ‘McCarthyisme’ benoemden, verwijderden 2 deelnemers aan RP:P uit de VS stilletjes hun medewerking aan het replicatie onderzoek van hun CV. Omdat ze wilden solliciteren op een post-doc en anders geen kans zouden maken.
Dat is de realiteit. Ik vind het fantastisch dat er eindelijk beweging komt naar meer openheid en transparantie, maar het zijn beslist niet de jonge wetenschappers die overtuigd hoeven te worden van de noodzaak, of de les gelezen hoeven worden over wetenschappelijke integriteit (bijv. in een cursus). Iedereen begrijpt dat fraude en plagiaat verkeerd is, een belangrijker onderdeel van wetenschap integer bedrijven is accepteren en dat je vaker fout zit dan goed en dat uitdragen zodat anderen er van kunnen leren.
Met vriendelijke groet,
Fred
Eric Maris schreef op 5 september 2015 om 22:13
Dag Fred,
Bedankt voor je reactie. Een paar kleine punten.
1. Het OSF is een prachtige website voor wetenschappelijke samenwerking via het web, maar het is geen platform voor RDM. Denk je dat die boze onderzoekers, wiens resultaten niet gerepliceerd werden door het OSF-team, er ooit gebruik van zullen maken? En hoe gaan we om met gevoelige data (DNA, MRI, medische gegevens,…)?
2. Persoonlijke aanvallen horen niet thuis in de wetenschap. Jij ergert je zelf aan de persoonlijk-getinte aanvallen van de onderzoekers wiens resultaten niet gerepliceerd werden door het OSF-team; aanvallen in de omgekeerde richting zijn even ergerlijk en dienen nergens toe.
3. Maak je niet te boos op die hoogleraren met gekrenkt ego en statusverlies omdat hun resultaten niet gerepliceerd werden. Het is niet omdat ze hoogleraar zijn, dat ze zich ook volwassen en moreel hoogstaand gedragen. Van niet-hoogleraren kun je trouwens hetzelfde zeggen.
4. Ik zou het jammer vinden indien de OSF-aanhangers zich zou afzetten tegen de rest van de wetenschap (de oude rakkers die hun verworven positie niet willen opgeven en non-replicaties naast zich neerleggen). De kwaliteitsverbetering in ons vakgebied moet van iedereen komen.
groet,
Eric
Fred Hasselman schreef op 6 september 2015 om 18:03
Beste Eric
Om verwarring te voorkomen leg ik de aanleiding om te reageren nog eens zeer expliciet uit en reageer zo hopelijk meteen op punt 2,3 en 4:
a) Je stuurt een ingezonden brief nalv de publicatie van de RP:P resultaten en stelt dat niet replicerend onderzoek soms leidt tot persoonlijke aanvallen op de oorspronkelijke auteurs.
b) Je verwijst naar een journalistiek stuk in Nature, dus niet geschreven door replicatie onderzoekers. Het stuk is gedeeltelijk gebaseerd op een replicatie onderzoek dat geen onderdeel is van RP:P en ook niet aan eisen van RP:P zou voldoen.
c) In je reactie schrijf je: “jij ergert je zelf aan de persoonlijk-getinte aanvallen … niet gerepliceerd werden door het OSF-team; aanvallen in de omgekeerde richting zijn even ergerlijk” en “Ik zou het jammer vinden indien de OSF-aanhangers zich zou afzetten tegen de rest van de wetenschap”
Mijn punt is:
Uit de tekst van je ingezonden brief en de strekking van de reactie op mijn commentaar zou je kunnen afleiden dat je vaststelt dat leden van de Open Science Collaboration of replicatieonderzoekers in het algemeen, zich bezig houden met persoonlijke aanvallen “in omgekeerde richtingâ€, of dat zoiets vaak zou voorkomen (ter info: er is geen OSF-team en OSF heeft geen aanhangers, het is een online workflow tool. Er is wel een globale Open Science Movement en een Open Science Collaboration).
Ik ken geen voorbeelden van het aanwenden van ad hominem argumenten door replicatie onderzoekers om bijv. hun claims in de context van een mislukte replicatie kracht bij te zetten en hoor het graag als jij ze wel kent. Het is uiteraard wel zo dat er gediscussieerd wordt over onderzoek dat niet repliceert en het bekendste voorbeeld is ‘repligate’. Ik verbaasde me dat je de brede, cross-disciplinaire discussie over ‘repligate’ en de ontstane consensus over een replicatie etiquette (o.a. bepleit door Kahneman), die overduidelijk in het RP:P artikel wordt uitgedragen, niet benoemt in je brief. Een gevolg van deze discussies is dat veel replicatie protocollen nu als eis stellen dat vóór replicatie, contact moet zijn met de oorspronkelijke auteurs die zelfs wijzigingen kunnen voorstellen en idealiter verklaren dat het volgen van de door hun bekeken replicatie procedure inderdaad tot observatie van het effect zou moeten leiden. Bij RP:P is met 97/100 oorspronkelijke auteurs overlegd! Dit is overigens iets wat in andere wetenschappelijke disciplines zelfs als onethisch is bestempeld:  “My gut response is that asking that question is close to scientific misconduct, if you were asking solely for the purpose of increasing your chances of replication, rather than to learn more about the experimental issues associated with that test.†(Bron: the Guardian http://www.theguardian.com/science/head-quarters/2014/jun/10/physics-envy-do-hard-sciences-hold-the-solution-to-the-replication-crisis-in-psychology)
Je kunt zelf je mening vormen over deze zaak want ALLE correspondentie tussen oorspronkelijke auteurs, replicatie onderzoekers en de editors van het tijdschrift waar de replicatie verscheen is openbaar gemaakt:Â https://docs.google.com/document/d/1ew7X0RaClU5_Ev4Ns3Uyn0I7PmjzP_Z1wKlnza_3Fe0/ en vele statistici en methodologen hebben zich uitgelaten over de verklaringen van de originele auteurs voor het niet repliceren van die studie, bijv. Uri Simonsohn -Â http://datacolada.org/2014/06/04/23-ceiling-effects-and-replications/Â
De Open Science Collaboration is er zich van bewust dat het replicatie probleem overal speelt in de sociale en levenswetenschappen en dat een falende replicatie niet betekent dat de onderzoeker faalt. Dat valt in veel van de media berichten waarin RP:P auteurs zijn geïnterviewd terug te lezen, maar bovenal in het Science artikel zelf:
“After this intensive effort to reproduce a sample of published psychological findings, how many of the effects have we established are true? Zero. And how many of the effects have we established are false? Zero. Is this a limitation of the project design? No. It is the reality of doing science, even if it is not appreciated in daily practice.†(p. 7).
Ik ben overigens niet boos hoor, wel ooit teleurgesteld in de wetenschap geweest, maar nu vooral optimistisch over de toekomst van de psychologie. Ik gaf in mijn reactie mijn mening over de ‘replicatie’ affaire door de discussie in de sociaal-culturele werkelijkheid van de jonge onderzoeker te plaatsen en er op te wijzen dat de verantwoordelijkheid voor een echte cultuuromslag niet gelegd kan worden bij deze jonge mensen die geen invloed op huidig beleid hebben. Ik ondersteun van harte de boodschap van de methodologen in dit commentaar: ‘Dwelling on the past’ https://hpenlaboratory.uchicago.edu/sites/caciopponeurolab.uchicago.edu/files/uploads/CC2013_EJP.pdf  -We hebben de verplichting als wetenschap het handelen van de gemeenschap in het verleden te evalueren en te interpreteren met recente inzichten.
—
Interessanter is het om in te gaan op je zeer relevante vraag: “OSF … is geen platform voor RDM. Denk je dat die boze onderzoekers, wiens resultaten niet gerepliceerd werden door het OSF-team, er ooit gebruik van zullen maken? En hoe gaan we om met gevoelige data (DNA, MRI, medische gegevens,…)?”
Er zijn niet zoveel boze onderzoekers, ik vind de reacties over het algemeen integer en professioneel. Los daarvan, het antwoord is: Iedere wetenschapper die wil publiceren in 1 van de 510 journals die tot nu toe de TOP guidelines ondersteunen (http://centerforopenscience.org/top/#signatories), zoals Science, Nature, PLOSone, FrontiersIn, Psychological Science zullen uiteindelijk data, stimuli en analyse scripts openbaar moeten maken in een online repository. Zie bijvoorbeeld het data-beleid van Nature: http://www.nature.com/sdata/data-policies/repositories waar per vakgebied, dus ook voor DNA, organisch/chemisch materiaal, oplossingen zijn bedacht, Nature suggereert voor sociale wetenschappen het OSF of Harvard DataVerse dat aan OSF gekoppeld kan worden. Voor neurofysiologische data is er b.v. openfMRI https://openfmri.orgÂ
Data behoort zoals altijd geanonimiseerd te worden, ook daar heeft ieder vakgebied inmiddels oplossingen voor zoals: “open for authorised researchers” voor onderzoek gebaseerd op videomateriaal, zie https://databrary.org/
We hoeven dus niet te wachten op nog meer gedragscodes, de open science movement is interdisciplinair en je kunt je per direct aansluiten en zelf een replicatie project starten, bijvoorbeeld naar belangrijke bevindingen uit de cognitieve neurowetenschappen. Het tijdschrift Cortex en andere belangrijke neuro-journals accepteren  inmiddels ‘registered (replication) reports’ als artikel. Er worden ook subsidies voor replicatie onderzoek geheven door het Center for Open Science.Â
Coördineer je een cursus/opleiding? Laat studenten verplicht een replicatie studie uitvoeren. Dat is niet alleen ontzettend leerzaam, maar een noodzakelijke vaardigheid voor een toekomstige carrière in de wetenschap.Â
Coördineer je een lab? Zorg voor pre-registratie van al het confirmatief onderzoek, ook pilot studies. Zorg dat series van pilot studies voldoen aan eisen voor sequentieel testen van hypothesen. Zorg dat amendementen op protocollen systematisch gedocumenteerd worden (bv version control op figshare, OSF, Google, GitHub)
Zet je in voor betere waardering van replicatiestudies en transparantie van onderzoek, zoals: Badges to promote open practices https://osf.io/tvyxz/ neem ‘ervaring met uitvoeren van replicatie onderzoek’ op in vacature omschrijvingen of initieer zelf nieuwe projecten die hervorming proberen te bewerkstelligen in naam van en met hulp van de expertise van de Open Science Collaboration http://centerforopenscience.org/involved_participate/Â
Ja ik ben dus optimististisch, maar ook overtuigd dat we verandering het snelst via uitdragen en praktiseren van Open Science kunnen bereiken.
Met vriendelijke groet,
Fred