Wetenschapsjournalisten hebben een aantal ongeschreven regels goed in hun oren geknoopt. Presenteer nooit een statistische correlatie als oorzakelijk verband, controleer altijd of een steekproef representatief is en vertrouw nooit op een enkele studie.

Dat zijn allemaal goede uitgangspunten. Maar ze zijn niet zaligmakend, zelfs de laatste niet. Als gevolg daarvan zijn we namelijk overgeleverd aan overzichtsstudies. In jargon: systematische reviews en meta-analyses. Een systematische review is, eenvoudig gezegd, een samenvatting van de wetenschappelijke literatuur over een bepaalde onderzoeksvraag, uitgevoerd op een systematische manier om vertekening te beperken. Een meta-analyse is een statistische methode om de resultaten van die verschillende onderzoeken te combineren tot één resultaat.

Maar er is hier iets vreemds aan de hand. Terwijl we er bij het lezen van losse studies op gespitst zijn om uiterst kritisch te kijken naar methoden, statistiek en interpretaties, doen we dat zelden wanneer we schrijven over overzichtsstudies.

Die beschouwen we als de gouden standaard van empirische wetenschap, ze staan bovenaan de ‘piramide van bewijsvoering’ en de resultaten die eruit voortkomen beschouwen we meestal als vanzelfsprekend en objectief.

Net gewoon wetenschappelijk onderzoek
Iedereen die zich wel eens verdiept heeft in een wetenschappelijke controverse waar overzichtsstudies bij worden opgevoerd, of die gewoon is gaan uitzoeken hoe die studies worden uitgevoerd, beseft dat ze helemaal niet zo objectief zijn en de conclusies niet zo definitief.

Als wetenschapsjournalisten over een meta-analyse schrijven, portretteren ze die meestal als de krachtpatser van de wetenschap
Dat deed ik voor een onderzoeksverhaal dat ik vorig jaar publiceerde in Science (in het Nederlands vertaald voor maandblad EOS). Mijn onderzoek begon nadat ik aan was gelopen tegen verschillende voorbeelden van wat ik ‘meta-oorlogen’ ben gaan noemen: wetenschappelijke veldslagen waarbij verschillende overzichtsstudies worden gepubliceerd met tegenstrijdige resultaten en conclusies. Voorbeelden hiervan zijn debatten over de relatie tussen antidepressiva en zelfmoord en, interessant voor Foodloggers, het verband tussen cholesterol en hart- en vaatziekten en de gezondheidsvoordelen van biologisch geproduceerd voedsel.

In dit soort gevallen is het erg aantrekkelijk om te focussen op het conflict (maakt geweldige verhalen!) en in te zoomen op wat er op het spel staat voor de betrokken auteurs, hun belangen en bevooroordeeldheid. De conclusie is dan al snel getrokken: 'zij zijn de goeien, zij zijn de kwaaien!'

Maar liefst zouden we het vermogen hebben om óók gewoon het wetenschappelijk werk op inhoud te beoordelen. Door de overzichtsstudies te doorgronden en fileren.

Daartoe zijn maar weinigen in staat. En dat terwijl de hoeveelheid systematische overzichtsstudies de afgelopen jaren is geëxplodeerd. In 1990 werden er nog maar een paar honderd gepubliceerd, tegen 2015 was dit gestegen tot meer dan 15.000 en sindsdien steeg het verder tot meer dan 23.000 in 2018. Dat biedt ruimte om het kaf beter van het koren te kunnen scheiden.

Tijdens de Wereldconferentie Wetenschapsjournalistiek die onlangs in Lausanne werd gehouden, mocht ik een sessie organiseren om dat te doen. Je kunt de resultaten daarvan uitgebreid teruglezen en -luisteren (met tips voor journalisten om beter te kunnen schrijven over overzichtsstudies). Hier wil ik het bij de kernboodschap houden.

Met toestemming van Hilde Bastian, https://creativecommons.org/licenses/by-nc-nd/4.0/?source=post_page---------------------------Cartoon van Hilda Bastian, (CC BY-NC-ND license)

Als wetenschapsjournalisten over een meta-analyse schrijven, portretteren ze die meestal als de krachtpatser van de wetenschap. Ze benadrukken hoe streng de onderzoekers te werk zijn gegaan, hoeveel studies en patiëntgegevens erbij betrokken waren en hoe robuust de uitkomst is. In sommige gevallen is dit gerechtvaardigd, maar vaak niet.

Wat relevant is, moet je zelf bepalen
De kwaliteit van gepubliceerde overzichtsstudies varieert sterk en is voor het overgrote deel allerbelabberdst; bij Cochrane reviews valt het gelukkig meestal mee. En wanneer wetenschappers er zelf belang bij hebben om tot een bepaalde conclusie te komen, biedt de overzichtsstudie hen eindeloos veel mogelijkheden om te manipuleren.

Moeten we wetenschappelijke overzichtsstudies dan maar beschouwen als een (weliswaar ingewikkeld opgeschreven) mening?

Dat gaat wat ver. Een goed uitgevoerde overzichtsstudie is nog altijd beter dan geen overzichtsstudie, we kunnen er alleen niet domweg op varen zonder goed te kijken wat de onderzoekers nu eigenlijk gedaan hebben. Het is dus net gewoon wetenschappelijk onderzoek.

En om het relativisme nog iets verder te temperen, citeer ik graag een van de sprekers tijdens de sessie in Lausanne: "Als twee tegenstrijdige overzichtsstudies op het eerste gezicht over hetzelfde lijken te gaan, blijkt bij nader inzien vaak dat het twee vergelijkbare studies zijn over nét andere onderwerpen."

Aan de lezer is dan de schone taak te bepalen welke vraag het relevantst is.
Dit artikel afdrukken