"Als twee tegenstrijdige overzichtsstudies op het eerste gezicht over hetzelfde lijken te gaan, blijkt bij nader inzien vaak dat het twee vergelijkbare studies zijn over nét andere onderwerpen." Als dat zo is, betekent het dat het hoogste niveau van wetenschap vertrekt vanuit een interpretatie van wat een relevante vraag is. Wetenschapsjournalistiek commentator Jop de Vrieze merkt fijntjes op dat de beste wetenschap niet slechts een mening is, maar wel een waardeoordeel.
Wetenschapsjournalisten hebben een aantal ongeschreven regels goed in hun oren geknoopt. Presenteer nooit een statistische correlatie als oorzakelijk verband, controleer altijd of een steekproef representatief is en vertrouw nooit op een enkele studie.
Dat zijn allemaal goede uitgangspunten. Maar ze zijn niet zaligmakend, zelfs de laatste niet. Als gevolg daarvan zijn we namelijk overgeleverd aan overzichtsstudies. In jargon: systematische reviews en meta-analyses. Een systematische review is, eenvoudig gezegd, een samenvatting van de wetenschappelijke literatuur over een bepaalde onderzoeksvraag, uitgevoerd op een systematische manier om vertekening te beperken. Een meta-analyse is een statistische methode om de resultaten van die verschillende onderzoeken te combineren tot één resultaat.
Maar er is hier iets vreemds aan de hand. Terwijl we er bij het lezen van losse studies op gespitst zijn om uiterst kritisch te kijken naar methoden, statistiek en interpretaties, doen we dat zelden wanneer we schrijven over overzichtsstudies.
Die beschouwen we als de gouden standaard van empirische wetenschap, ze staan bovenaan de ‘piramide van bewijsvoering’ en de resultaten die eruit voortkomen beschouwen we meestal als vanzelfsprekend en objectief.
Net gewoon wetenschappelijk onderzoek
Iedereen die zich wel eens verdiept heeft in een wetenschappelijke controverse waar overzichtsstudies bij worden opgevoerd, of die gewoon is gaan uitzoeken hoe die studies worden uitgevoerd, beseft dat ze helemaal niet zo objectief zijn en de conclusies niet zo definitief.
In dit soort gevallen is het erg aantrekkelijk om te focussen op het conflict (maakt geweldige verhalen!) en in te zoomen op wat er op het spel staat voor de betrokken auteurs, hun belangen en bevooroordeeldheid. De conclusie is dan al snel getrokken: 'zij zijn de goeien, zij zijn de kwaaien!'
Maar liefst zouden we het vermogen hebben om óók gewoon het wetenschappelijk werk op inhoud te beoordelen. Door de overzichtsstudies te doorgronden en fileren.
Daartoe zijn maar weinigen in staat. En dat terwijl de hoeveelheid systematische overzichtsstudies de afgelopen jaren is geëxplodeerd. In 1990 werden er nog maar een paar honderd gepubliceerd, tegen 2015 was dit gestegen tot meer dan 15.000 en sindsdien steeg het verder tot meer dan 23.000 in 2018. Dat biedt ruimte om het kaf beter van het koren te kunnen scheiden.
Tijdens de Wereldconferentie Wetenschapsjournalistiek die onlangs in Lausanne werd gehouden, mocht ik een sessie organiseren om dat te doen. Je kunt de resultaten daarvan uitgebreid teruglezen en -luisteren (met tips voor journalisten om beter te kunnen schrijven over overzichtsstudies). Hier wil ik het bij de kernboodschap houden.
Cartoon van Hilda Bastian, (CC BY-NC-ND license)
Als wetenschapsjournalisten over een meta-analyse schrijven, portretteren ze die meestal als de krachtpatser van de wetenschap. Ze benadrukken hoe streng de onderzoekers te werk zijn gegaan, hoeveel studies en patiëntgegevens erbij betrokken waren en hoe robuust de uitkomst is. In sommige gevallen is dit gerechtvaardigd, maar vaak niet.
Wat relevant is, moet je zelf bepalen
De kwaliteit van gepubliceerde overzichtsstudies varieert sterk en is voor het overgrote deel allerbelabberdst; bij Cochrane reviews valt het gelukkig meestal mee. En wanneer wetenschappers er zelf belang bij hebben om tot een bepaalde conclusie te komen, biedt de overzichtsstudie hen eindeloos veel mogelijkheden om te manipuleren.
Moeten we wetenschappelijke overzichtsstudies dan maar beschouwen als een (weliswaar ingewikkeld opgeschreven) mening?
Dat gaat wat ver. Een goed uitgevoerde overzichtsstudie is nog altijd beter dan geen overzichtsstudie, we kunnen er alleen niet domweg op varen zonder goed te kijken wat de onderzoekers nu eigenlijk gedaan hebben. Het is dus net gewoon wetenschappelijk onderzoek.
En om het relativisme nog iets verder te temperen, citeer ik graag een van de sprekers tijdens de sessie in Lausanne: "Als twee tegenstrijdige overzichtsstudies op het eerste gezicht over hetzelfde lijken te gaan, blijkt bij nader inzien vaak dat het twee vergelijkbare studies zijn over nét andere onderwerpen."
Aan de lezer is dan de schone taak te bepalen welke vraag het relevantst is.
Dit artikel afdrukken
Dat zijn allemaal goede uitgangspunten. Maar ze zijn niet zaligmakend, zelfs de laatste niet. Als gevolg daarvan zijn we namelijk overgeleverd aan overzichtsstudies. In jargon: systematische reviews en meta-analyses. Een systematische review is, eenvoudig gezegd, een samenvatting van de wetenschappelijke literatuur over een bepaalde onderzoeksvraag, uitgevoerd op een systematische manier om vertekening te beperken. Een meta-analyse is een statistische methode om de resultaten van die verschillende onderzoeken te combineren tot één resultaat.
Maar er is hier iets vreemds aan de hand. Terwijl we er bij het lezen van losse studies op gespitst zijn om uiterst kritisch te kijken naar methoden, statistiek en interpretaties, doen we dat zelden wanneer we schrijven over overzichtsstudies.
Die beschouwen we als de gouden standaard van empirische wetenschap, ze staan bovenaan de ‘piramide van bewijsvoering’ en de resultaten die eruit voortkomen beschouwen we meestal als vanzelfsprekend en objectief.
Net gewoon wetenschappelijk onderzoek
Iedereen die zich wel eens verdiept heeft in een wetenschappelijke controverse waar overzichtsstudies bij worden opgevoerd, of die gewoon is gaan uitzoeken hoe die studies worden uitgevoerd, beseft dat ze helemaal niet zo objectief zijn en de conclusies niet zo definitief.
Als wetenschapsjournalisten over een meta-analyse schrijven, portretteren ze die meestal als de krachtpatser van de wetenschapDat deed ik voor een onderzoeksverhaal dat ik vorig jaar publiceerde in Science (in het Nederlands vertaald voor maandblad EOS). Mijn onderzoek begon nadat ik aan was gelopen tegen verschillende voorbeelden van wat ik ‘meta-oorlogen’ ben gaan noemen: wetenschappelijke veldslagen waarbij verschillende overzichtsstudies worden gepubliceerd met tegenstrijdige resultaten en conclusies. Voorbeelden hiervan zijn debatten over de relatie tussen antidepressiva en zelfmoord en, interessant voor Foodloggers, het verband tussen cholesterol en hart- en vaatziekten en de gezondheidsvoordelen van biologisch geproduceerd voedsel.
In dit soort gevallen is het erg aantrekkelijk om te focussen op het conflict (maakt geweldige verhalen!) en in te zoomen op wat er op het spel staat voor de betrokken auteurs, hun belangen en bevooroordeeldheid. De conclusie is dan al snel getrokken: 'zij zijn de goeien, zij zijn de kwaaien!'
Maar liefst zouden we het vermogen hebben om óók gewoon het wetenschappelijk werk op inhoud te beoordelen. Door de overzichtsstudies te doorgronden en fileren.
Daartoe zijn maar weinigen in staat. En dat terwijl de hoeveelheid systematische overzichtsstudies de afgelopen jaren is geëxplodeerd. In 1990 werden er nog maar een paar honderd gepubliceerd, tegen 2015 was dit gestegen tot meer dan 15.000 en sindsdien steeg het verder tot meer dan 23.000 in 2018. Dat biedt ruimte om het kaf beter van het koren te kunnen scheiden.
Tijdens de Wereldconferentie Wetenschapsjournalistiek die onlangs in Lausanne werd gehouden, mocht ik een sessie organiseren om dat te doen. Je kunt de resultaten daarvan uitgebreid teruglezen en -luisteren (met tips voor journalisten om beter te kunnen schrijven over overzichtsstudies). Hier wil ik het bij de kernboodschap houden.
Als wetenschapsjournalisten over een meta-analyse schrijven, portretteren ze die meestal als de krachtpatser van de wetenschap. Ze benadrukken hoe streng de onderzoekers te werk zijn gegaan, hoeveel studies en patiëntgegevens erbij betrokken waren en hoe robuust de uitkomst is. In sommige gevallen is dit gerechtvaardigd, maar vaak niet.
Wat relevant is, moet je zelf bepalen
De kwaliteit van gepubliceerde overzichtsstudies varieert sterk en is voor het overgrote deel allerbelabberdst; bij Cochrane reviews valt het gelukkig meestal mee. En wanneer wetenschappers er zelf belang bij hebben om tot een bepaalde conclusie te komen, biedt de overzichtsstudie hen eindeloos veel mogelijkheden om te manipuleren.
Moeten we wetenschappelijke overzichtsstudies dan maar beschouwen als een (weliswaar ingewikkeld opgeschreven) mening?
Dat gaat wat ver. Een goed uitgevoerde overzichtsstudie is nog altijd beter dan geen overzichtsstudie, we kunnen er alleen niet domweg op varen zonder goed te kijken wat de onderzoekers nu eigenlijk gedaan hebben. Het is dus net gewoon wetenschappelijk onderzoek.
En om het relativisme nog iets verder te temperen, citeer ik graag een van de sprekers tijdens de sessie in Lausanne: "Als twee tegenstrijdige overzichtsstudies op het eerste gezicht over hetzelfde lijken te gaan, blijkt bij nader inzien vaak dat het twee vergelijkbare studies zijn over nét andere onderwerpen."
Aan de lezer is dan de schone taak te bepalen welke vraag het relevantst is.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 5 mei krijg je nieuwe kado-artikelen.
Op 5 mei krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
Robert Hoenselaar #7 Filosofisch: Is die 'ik' die niet benoemd kan worden er wel?
Hoe minder we weten hoe groter de behoefte om te weten. Want weinig weten betekent geen controle, geen grip, overgeleverd aan, vul maar in. Dus wordt het deel wat we nog niet weten (noodgedwongen) ingenomen door meningen, aannames, overtuigingen. Die allemaal waar kunnen zijn of niet waar. We weten het niet. Dat waar en niet waar polariseert en naar die polarisatie zitten we voornamelijk te kijken. En weten het niet.
Het lastige is dat ook de wetenschap in deze valkuil stapt. En meningen het tekort aan waarheid laten overnemen. Zij zouden toch beter moeten weten. Rob Wijnberg schrijft in de Correspondent 'dat wetenschap een proces is dat draait om voortdurende zelfkritiek'. Hij zegt dat dat er wel is, maar dat we, de gewone mensen, het niet zien. Ik betwijfel of het er is. Ook wetenschap heeft een klap van het narcisme* meegekregen.
Want wat we grotendeels weten interesseert ons niet meer. Hebben we onder controle. Denken we :-)
*Narcisme als overlevingsstrategie in voortgaande individualisering.
Jop de Vrieze citeert zojuist met instemming een stuk van Rob Wijnberg die de discussie over discours en perceptie wegzet als een kentheoretische verwarring.
Ik antwoordde dat het stuk heel veel mist omdat de discussie niet kentheoretisch maar sociaal-filosofisch is: hoe beslis je samen op een manier die tot overeenstemming in plaats van ruzie leidt? De hete verschillen zitten nl. in de acties die aan kennisclaims verbonden worden.
Dat is andere koek, weten ze in Frankrijk (gele hesjes, waarvan de gevoelens nog lang niet geweken zijn; integendeel)
Ojee Robert, die antwoorden wist ik ook wel. Mijn vraag was ook meer retorisch bedoeld: Wat komt er na wetenschap om het drama dat leven heet nog enige hoop, belofte of houvast te geven? Het retorische antwoord was: "Ik weet het niet!" Wie wel?
@Jan Peter van Doorn
“Wat er zou moeten komen na de wetenschap om ons een gevoel van zgn. veiligheid en vastigheid te geven?”
Enkele wedervragen en mijn daaruit voortvloeiende antwoord:
Welke richting wil de buitenwereld op? Individualiteit of grootschaligheid? Mijn ervaring is dat in grootschalige bedrijven leidinggevenden niet meer wil luisteren naar creatieve oplossingen voor problemen op de werkvloer. Werkgevers raken gedemotiveerd en denken niet meer mee.
Politiek lijkt letterlijk af te sturen op de “One world government” waar verschillende presidenten in het verleden reclame voor maakten. Iedereen die direct onder de leidinggevenden staat, heeft alleen een uitvoerende taak.
Het onderwijssysteem is zo ingericht dat kinderen niets leren waar ze in de praktijk iets aan hebben. Vergeet lezen, schrijven en rekenen. Wat komt daarna? Leert het kind hoe het om moet gaan met praktische problemen in de maatschappij. Leert het kind zelf te zorgen voor een huis, eten, drinken en sanitair? Of zorg voor lichaam en geest?
Ik zie dat we met letterlijk alles afhankelijk worden gemaakt. Verstopping? --> Bel loodgieter. Eten? --> Niet verbouwen, maar kopen. Depressief? --> Ga naar psycholoog. Problemen met anderen? --> Bel politie of schakel een advocaat in.
Religie en new age proberen individualiteit verder de kop in te drukken. Want… Ja, individualiteit zou gelijk staan aan ego. En ego is slecht, toch?
Voor mij is dit meer dan een vage theorie. We zagen aaneenschakelingen van nieuwe ideeën en uitvindingen in de vorige eeuw. De stagnatie is nu duidelijk zichtbaar.
Creativiteit komt vanuit het individu. En creativiteit wordt doodgeslagen door restricties, verwachtingen en dogmatische methodieken.
Hoe krijgen we vertrouwen terug? In een tijd waarin de waarheid niet meer in de buitenwereld kan worden gevonden --> Terug naar het individu. En terug naar onafhankelijkheid.
Mocht dat ooit grootschalig bereikt worden, dan wordt daarmee een overheid automatisch buitenspel gezet. Welke problemen zouden ze voor ons moeten oplossen als we het zelf kunnen?
Hoe dat in de praktijk op grote schaal moet, weet ik niet. Niet binnen het huidige systeem.
Maar ik denk dat dat ook niet de bedoeling is. Alleen het individu kan voor zichzelf bepalen hoe hij/zij zijn/haar eigen kracht gebruikt om dit voor elkaar te krijgen. Ik denk dat het begint met individuele intentie, wil en voorstellingsvermogen. De wens om jezelf te veranderen.
P.s. Aanvulling: Met "individualiteit" bedoel ik niet het kleine zelfbeeld van de mens. Niet het idee van ego dat alleen uit is op bezittingen en het vervullen van verlangens. Met individualiteit bedoel ik de "ik" die niet benoemd kan worden. De ik met een kinderlijke, onbegrensde fantasie. Filosofisch? Dat zal wel.