Het Psychological Methods Lab zet zich in om ‘modelbijziendheid’ in de psychologie te vermijden, oftewel het idee dat er slechts één correcte interpretatie van onderzoeksdata mogelijk is. Zij benadrukken juist de kracht van diverse modellen en stellen dat methodologische diversiteit van cruciaal belang is voor betrouwbare wetenschap.
Recht doen aan de onzekerheid in onderzoek
Word je agressiever door het spelen van gewelddadige games? Werkt cognitieve gedragstherapie tegen depressie? Maatschappelijk relevante vragen waar wetenschappers graag een duidelijk antwoord op vinden. Na onderzoek volgen vaak glasheldere, eenduidige conclusies: nee, je wordt niet agressiever van gewelddadige games. Ja, cognitieve gedragstherapie helpt tegen depressie. Toch worden dergelijke conclusies een onderzoek later weer even hard onderuitgehaald en blijken de resultaten toch niet te repliceren. Oftewel, de methodologische aanpak doet lang niet altijd recht aan de diffuse realiteit.
Het Psychological Methods Lab (PML) zet zich al twintig jaar in voor het bevorderen van robuuste en transparante statistiek, die meer rekening houdt met onzekerheid in psychologisch onderzoek. De onderzoeksgroep wil de status quo doorbreken waarbij één onderzoeker de resultaten rapporteert van één specifieke analyse, uitgevoerd met slechts één model en vaak gebruikmakend van verouderde methodologie. Hun kritische onderzoek toont aan dat het idee dat er slechts één juiste interpretatie bestaat na de analyse van onderzoeksdata een misvatting is. Ter illustratie: het team vroeg aan vier verschillende onderzoeksgroepen om een eenvoudige dataset te analyseren. Dat leverde vier totaal verschillende uitkomsten op die allemaal afweken van die van de oorspronkelijke auteurs. De boodschap: diverse modellen leiden tot uiteenlopende conclusies, en voor betrouwbare wetenschap is het essentieel om deze diversiteit in de sociale wetenschappen te omarmen en expliciet te benoemen.
"Diverse modellen leiden tot uiteenlopende conclusies"
De onderzoeksgroep draagt actief bij aan het vergroten van de verscheidenheid in onderzoeksmethoden. Ze ontwikkelen bijvoorbeeld nieuwe netwerkbenaderingen waarmee psychologische constructen, zoals IQ of mentale stoornissen, begrepen kunnen worden als een complex van op elkaar inwerkende variabelen. In de traditionele psychologie worden problemen bij psychische aandoeningen vaak gezien als geïsoleerde symptomen die te verklaren zijn vanuit een enkele ‘oorzaak’. Als iemand bijvoorbeeld slecht slaapt, piekert en steeds onzekerder wordt, kan dit worden beschouwd als tekenen van een mogelijke depressie. In de netwerkbenadering worden alle symptomen echter in een breder perspectief geplaatst om te zien hoe ze op elkaar inwerken. Want als je slecht slaapt, raak je vermoeid en maak je meer fouten, waarna je je onzeker gaat voelen en gaat piekeren en je wellicht nog slechter slaapt. Kortom, de netwerkbenadering laat zien hoe dit soort symptomen elkaar kunnen veroorzaken en beïnvloeden. De innovatieve modellen van PML maken het mogelijk om dit complexe samenspel in kaart te brengen en meer realistische voorspellingen te doen, bijvoorbeeld over het verloop van psychische aandoeningen.
Het volgende doel van het team is het ontwikkelen van innovatieve methoden die hindsight bias helpen voorkomen. Stel dat een onderzoeker een hypothese test die suggereert dat er een verband is tussen het drinken van koffie en de kans op gezondheidsproblemen. Na het verzamelen van data en het uitvoeren van statistische analyses blijkt dat er geen significant verband is tussen koffieconsumptie en gezondheidsrisico’s. Er is sprake van hindsight bias wanneer de onderzoeker achteraf besluit de analyses aan te passen om de resultaten meer in lijn te brengen met de oorspronkelijke hypothese. Door bijvoorbeeld specifieke subgroepen te analyseren, andere statistische methoden te gebruiken of bepaalde outliers te verwijderen, kan tóch een significant verband worden gevonden. Hoewel gebruikelijk in wetenschappelijke statistiek, benadrukt het PML-team de noodzaak om dergelijke aanpassingen te vermijden zodat de integriteit van psychologisch onderzoek gewaarborgd blijft.
"Het volgende doel is het ontwikkelen van methoden die hindsight bias helpen voorkomen"
Bijzonder is ook dat het team hun state-of-the-art statistische modellering doorlopend integreert in JASP. Dat is een door henzelf ontwikkeld open-source softwarepakket dat wereldwijd wordt gebruikt door meer dan 292 universiteiten in 67 landen. Open science is dan ook een leidend principe in het werk van de onderzoeksgroep. De nieuw te ontwikkelen methoden om hindsight bias te voorkomen zullen ook via JASP beschikbaar worden gesteld aan onderzoekers wereldwijd.
Alle verschillende onderzoekslijnen hebben een gemeenschappelijk doel: nauwkeurige statistische modellen ontwikkelen die onderzoekers in staat stellen om betrouwbaardere informatie uit (psychologische) datasets te halen. Dit doel is zowel ambitieus als gedurfd, gezien de neiging van de meeste wetenschappers om vast te houden aan bestaande methoden. Typerend voor deze onderzoeksgroep is dan ook hun enorme vastberadenheid: weerstand of niet, ze móeten het proberen. Als een door hen ontwikkelde methode succesvol is, kan dat de betrouwbaarheid van veel empirisch onderzoek aanzienlijk verbeteren.
Denny Borsboom (1973) is hoogleraar bij de programmagroep Psychologische Methodenleer van de Universiteit van Amsterdam. Zijn onderzoek richt zich op de conceptuele analyse van psychometrische concepten, de ontwikkeling van nieuwe psychometrische technieken en de vorming van geformaliseerde psychologische theorie. Borsboom is tevens de oprichter van het Psychosystems Project, dat zich richt op de ontwikkeling van complexe netwerkmodelleringstechnieken in de context van de psychologie. Dit werk heeft geleid tot het nieuwe vakgebied van de netwerkpsychometrie, waarin psychometrische constructies statistisch worden gemodelleerd met behulp van netwerkanalyse. Borsboom ontwikkelt momenteel Theory Construction Methodology, een methodologische aanpak voor het systematisch construeren van geformaliseerde theorieën in de psychologie.
Han van der Maas (1966) promoveerde in 1993 op onderzoek naar methoden voor de analyse van faseovergangen in de cognitieve ontwikkeling. Na een KNAW-fellowship trad hij toe tot de faculteit van de ontwikkelingsgroep van de Universiteit van Amsterdam (UvA), eerst als universitair hoofddocent en in 2003 als hoogleraar. In 2005 werd hij hoogleraar en voorzitter van de programmagroep Psychologische Methodenleer aan de UvA. Van 2007 tot 2019 was hij directeur van de Graduate School en directeur Onderzoek. In 2009 richtte hij Oefenweb.nl op, een op onderzoek gebaseerd educatief platform waar scholieren hun wiskunde- en taalvaardigheden kunnen verbeteren.
Dora Matzke (1982) studeerde Psychologie aan de Universiteit van Amsterdam (UvA), waar ze in 2014 cum laude promoveerde op het gebied van Mathematische Psychologie. Sinds 2020 is zij universitair hoofddocent bij de programmagroep Psychologische Methodenleer van de UvA. Haar onderzoek richt zich op het ontwikkelen van formele theorieën van cognitieve processen betrokken bij besluitvorming. Matzke heeft meerdere onderzoekssubsidies gewonnen, waaronder een Veni- en Vidi-beurs van NWO. Ze is alumna van De Jonge Akademie en heeft de Early Career Award ontvangen van de Psychonomic Society en de Society for Mathematical Psychology. Sinds 2024 is ze hoofdredacteur van het tijdschrift Behavior Research Methods.
Eric-Jan Wagenmakers (1972) is hoogleraar Bayesiaanse Methodologie aan de programmagroep Psychologische Methodenleer van de Universiteit van Amsterdam. Zijn belangrijkste onderzoeksinteresses zijn open science en Bayesiaanse statistiek. Samen met Dora Matzke schreef Wagenmakers het cursusboek Bayesian Inference from the Ground Up: The Theory of Common Sense, dat gratis beschikbaar is op BayesianSpectacles.org. Sinds 2012 ontwikkelt Wagenmakers’ lab het open-source softwareprogramma JASP voor statistische analyses (jasp-stats.org). Momenteel is hij voorzitter van de Stichting Skepsis, een organisatie die beoogt buitengewone beweringen aan een kritisch onderzoek te onderwerpen.
