Psychologische studies vallen door de mand

De meeste psychologische experimenten leveren bij herhaling andere resultaten op. Slechts 36 procent van de studies blijkt wel betrouwbaar, schrijven wetenschappers in het vakblad Science. Psychologen zijn geschrokken van de uitkomsten.

Reproduceerbaarheid is een van de pijlers van wetenschappelijk onderzoek. Dat betekent dat een experiment moet kunnen worden herhaald en dan dezelfde resultaten moet opleveren. In de praktijk wordt hier weinig aandacht aan besteed; wetenschappers steken hun energie liever in nieuw onderzoek dan in herhaling van het werk van hun collega's.

Neusje van de zalm

270 wetenschappers van over de hele wereld, onder wie 45 Nederlandse psychologen, besloten daar verandering in te brengen. Ze deden honderd psychologische experimenten over. Ze kozen daarvoor studies die in 2008 in wetenschappelijke vakbladen waren gepubliceerd. Het neusje van de zalm dus. De helft betrof cognitief-psychologisch onderzoek, de andere helft sociaal-psychologisch onderzoek.

De resultaten waren onthutsend. Van de cognitieve experimenten bleek maar de helft dezelfde uitkomst op te leveren en van de sociaal-psychologische experimenten zelfs maar een kwart. Dat levert een gemiddelde score van 36 procent op. Ofwel: het meeste psychologische onderzoek is gebaseerd op drijfzand.

Toeval

Een mogelijke verklaring is dat voor wetenschappelijke studies een betrouwbaarheidsniveau van 95 procent geldt. De kans dat de uitkomst op toeval berust, mag dus maximaal 1 op 20 zijn. Maar het zijn juist de onderzoeken met een verrassende uitkomst die de vakbladen halen. Mogelijk zitten daar relatief veel toevalstreffers bij.

Er kan natuurlijk ook sprake zijn van fraude, maar daar hebben de onderzoekers geen aanwijzingen voor gevonden. Wel kan meespelen dat wetenschappers worden beoordeeld op de hoeveelheid publicaties die zij op hun naam hebben staan. Dat is een stimulans om vele kleine onderzoeken te doen, met alle onzekerheden van dien, in plaats van één robuust onderzoek.

Teleurgesteld

"Ik had graag gezien dat de resultaten beter reproduceerbaar waren", zegt Brian Nosek van de Universiteit van Virginia in de Britse krant The Guardian. Hij leidde het herhalingsonderzoek. "Ik ben erg teleurgesteld, we zouden beter werk moeten afleveren. We moeten ervan doordrongen zijn dat geen enkel onderzoek het laatste woord oplevert. Wetenschap is een proces van onzekerheidsreductie."

Methodoloog John Ioannidis van de Stanford-universiteit spreekt zelfs van een zwarte dag voor de wetenschap. "Dit is een steekproef van de beste studies uit de beste vakbladen", zegt hij in de Volkskrant. "Dat doet vermoeden dat van de hele psychologische literatuur misschien wel 80 procent of meer niet klopt."

Afgezaagd

Maar volgens Alan Kraut van de Amerikaanse Associatie voor Psychologische Wetenschap horen misstappen er tot op zekere hoogte gewoon bij. Hij zegt in The Guardian: "Het enige onderzoek dat 100 procent reproduceerbaar is, levert afgezaagde, saaie uitkomsten op die we waarschijnlijk al kennen. Zoals: inderdaad, je kunt dode mensen nooit leren lezen."