Onderzoekers van de Universiteit van Leiden wogen de waarde van wetenschapsnieuws over gezondheid. Onder hen hoogleraar wetenschapscommunicatie Ionica Smeets en onderzoeker van wetenschapsjournalistieke broodjes aap Peter Burger. Ze constateerden dat media een voorkeur hebben voor overdreven persberichten van universiteiten en dat ze die domweg overschrijven. De bevindingen zijn boeiend, maar leiden de aandacht af van de fundamentele wetenschapskritiek die sinds 2005 een rol speelt in de discussie over wetenschappelijke integriteit binnen de wetenschap zelf.
De Leidse onderzoekers beoordeelden 129 persberichten over onderzoek van Nederlandse universiteiten en universitaire medische centra die in 2015 werden uitgebracht. Ze vergeleken de conclusies uit de persberichten met die van de onderzoekers zelf om te bepalen of ze te kort door de bocht gingen door die te overdrijven. Vervolgens bekeken ze of overdreven persberichten tot meer overdreven berichtgeving in de media leidt.
Negen op tien overdreven conclusies in persberichten belanden in pers
Op basis van de door hen onderzochte berichten, constateren de Leidse onderzoekers dat 20% van de persberichten en 29% van de mediaberichten over de onderzoeken uit die persberichten overdrijving bevatten. In zulke gevallen is de conclusie aangezet of wordt van een associatie - een slechts statistisch verband - een direct verklarende causale relatie gemaakt. Eventuele gezondheidsadviezen bleken in 7% van de persberichten overdreven. Nieuwsberichten scoorden in 10% van de gevallen op overdrijving van adviezen. Als een persbericht overdreef, dan belandde diezelfde overdrijving in maar liefst 92% van de berichten in de media over het betreffende 'nieuws'.
Als de conclusie door een persbericht niet werd overdreven, dan dikten de media het aan in 6% van hun berichten. De relatieve kans op overdreven nieuws bij een overdreven persbericht was 16,08 (95%-BI: 7,35-35,18). Op overdreven persberichten volgde vaker een nieuwsbericht. De relatieve kans op een nieuwsbericht bij een overdreven persbericht tegenover een niet-overdreven persbericht was 1,45 (95%-BI: 1,02-2,04). Een relatieve kans van 1 betekent dat er geen verschil in kans is tussen de twee groepen. Als de relatieve kans van een overdreven persbericht groter is dan 1, betekent dit dat de kans om gepubliceerd en overdreven te worden in de media groter is dan van een 'normaal' bericht.
De onderzoekers adviseren wetenschappelijke instellingen toe te zien op de nauwkeurigheid en juistheid van academische persberichten en die zonodig te verbeteren. Dat vinden ze "een belangrijke eerste stap om de kwaliteit van gezondheidsnieuws te verhogen."
De essentie van het nieuws? Media schrijven doorgaans slechts over wat de persberichten voorkauwen en hebben geen tijd en middelen voor goede wetenschapskritiek. Persafdelingen van universiteiten zijn als volleerde marketingcommunicatieprofessionals in dat gat gesprongen. Ze verkopen de 'producten' van hun onderzoekers. Wie als wetenschapsbedrijf in het nieuws is, telt immers mee en genereert geld om nieuw onderzoek te kunnen doen en salarissen te kunnen betalen. Dit laatste voeg ik toe aan het bericht van de onderzoekers. Zij schrijven dat zelf niet zo hard.
Maar ... we moeten beter onderzoek willen
In een beroemd geworden artikel uit 2005 concludeerde de Grieks-Amerikaanse wetenschapscriticus John Ioannidis dat het echte euvel van gezondheidsonderzoek schuilt in de wil om met cijfers en 'hard bewijs' een complexe werkelijkheid te willen bezweren. Zijn conclusie - op basis van gedegen statistisch onderzoek - luidde dat er bar weinig onderzoeksresultaten zijn die hun naam waar kunnen maken.
Het is misschien wijzer pas in tweede instantie te wijzen op het feit dat zulk rommelig onderzoek ook nog eens overdreven wordt verkocht door de wetenschapsmarketeers van universiteiten. De echte vraag die gesteld moet worden, is vermoedelijk deze: willen we goed onderzoek of willen we slecht onderzoek correct over het voetlicht hebben gebracht?
Mocht de indruk door dit bericht zijn ontstaan dat slechts 29% van het voedingsnieuws weinig zinvol is, dan moet ik u waarschuwen: dat mag u niet zomaar denken. Op gezag van Ioannidis mogen we zeggen dat het percentage hoger kan liggen. Met diens artikel kwam de discussie over wetenschappelijke integriteit op gang. Die stond aan de wieg van een wetenschapskritische stroming binnen de wetenschap zelf. Wetenschappers die het aandurven, vragen zich af welke motieven aan onderzoek ten grondslag liggen, welke vooronderstellingen worden gehanteerd, wat die legitimeert en of doel, middel en conclusies wel sporen - hoe ingehouden de resultaten ook gepresenteerd worden.
Dit artikel afdrukken
Negen op tien overdreven conclusies in persberichten belanden in pers
Op basis van de door hen onderzochte berichten, constateren de Leidse onderzoekers dat 20% van de persberichten en 29% van de mediaberichten over de onderzoeken uit die persberichten overdrijving bevatten. In zulke gevallen is de conclusie aangezet of wordt van een associatie - een slechts statistisch verband - een direct verklarende causale relatie gemaakt. Eventuele gezondheidsadviezen bleken in 7% van de persberichten overdreven. Nieuwsberichten scoorden in 10% van de gevallen op overdrijving van adviezen. Als een persbericht overdreef, dan belandde diezelfde overdrijving in maar liefst 92% van de berichten in de media over het betreffende 'nieuws'.
Ioannidis' conclusie - op basis van gedegen statistisch onderzoek - luidde dat er vrijwel geen deugend onderzoek is. Het is misschien wijzer pas in tweede instantie te wijzen op het feit dat zulk rommelig onderzoek ook nog eens overdreven wordt verkocht door de wetenschapsmarketeers van universiteitenMedia dikken zelf slechts beperkt aan
Als de conclusie door een persbericht niet werd overdreven, dan dikten de media het aan in 6% van hun berichten. De relatieve kans op overdreven nieuws bij een overdreven persbericht was 16,08 (95%-BI: 7,35-35,18). Op overdreven persberichten volgde vaker een nieuwsbericht. De relatieve kans op een nieuwsbericht bij een overdreven persbericht tegenover een niet-overdreven persbericht was 1,45 (95%-BI: 1,02-2,04). Een relatieve kans van 1 betekent dat er geen verschil in kans is tussen de twee groepen. Als de relatieve kans van een overdreven persbericht groter is dan 1, betekent dit dat de kans om gepubliceerd en overdreven te worden in de media groter is dan van een 'normaal' bericht.
De onderzoekers adviseren wetenschappelijke instellingen toe te zien op de nauwkeurigheid en juistheid van academische persberichten en die zonodig te verbeteren. Dat vinden ze "een belangrijke eerste stap om de kwaliteit van gezondheidsnieuws te verhogen."
De essentie van het nieuws? Media schrijven doorgaans slechts over wat de persberichten voorkauwen en hebben geen tijd en middelen voor goede wetenschapskritiek. Persafdelingen van universiteiten zijn als volleerde marketingcommunicatieprofessionals in dat gat gesprongen. Ze verkopen de 'producten' van hun onderzoekers. Wie als wetenschapsbedrijf in het nieuws is, telt immers mee en genereert geld om nieuw onderzoek te kunnen doen en salarissen te kunnen betalen. Dit laatste voeg ik toe aan het bericht van de onderzoekers. Zij schrijven dat zelf niet zo hard.
Maar ... we moeten beter onderzoek willen
In een beroemd geworden artikel uit 2005 concludeerde de Grieks-Amerikaanse wetenschapscriticus John Ioannidis dat het echte euvel van gezondheidsonderzoek schuilt in de wil om met cijfers en 'hard bewijs' een complexe werkelijkheid te willen bezweren. Zijn conclusie - op basis van gedegen statistisch onderzoek - luidde dat er bar weinig onderzoeksresultaten zijn die hun naam waar kunnen maken.
Het is misschien wijzer pas in tweede instantie te wijzen op het feit dat zulk rommelig onderzoek ook nog eens overdreven wordt verkocht door de wetenschapsmarketeers van universiteiten. De echte vraag die gesteld moet worden, is vermoedelijk deze: willen we goed onderzoek of willen we slecht onderzoek correct over het voetlicht hebben gebracht?
Mocht de indruk door dit bericht zijn ontstaan dat slechts 29% van het voedingsnieuws weinig zinvol is, dan moet ik u waarschuwen: dat mag u niet zomaar denken. Op gezag van Ioannidis mogen we zeggen dat het percentage hoger kan liggen. Met diens artikel kwam de discussie over wetenschappelijke integriteit op gang. Die stond aan de wieg van een wetenschapskritische stroming binnen de wetenschap zelf. Wetenschappers die het aandurven, vragen zich af welke motieven aan onderzoek ten grondslag liggen, welke vooronderstellingen worden gehanteerd, wat die legitimeert en of doel, middel en conclusies wel sporen - hoe ingehouden de resultaten ook gepresenteerd worden.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 5 mei krijg je nieuwe kado-artikelen.
Op 5 mei krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
Bij de publicatie van onderzoeksresultaten is het daarom verstandig om te melden wie, waarom, hoe en wie betaalt enz. Dan kun je de gebrachte informatie en de (On)betrouwbaarheid beter duiden.
Marc, kun je ook een definitie (of poging daartoe) van betrouwbaarheid of waarachtigheid geven?
Ik vraag dat omdat er inmiddels onderzoek - door scientific integrity wetenschappers - wordt gedaan naar financieringscriteria vanuit de overheid. Die wil graag een 50% match vanuit het bedrijfsleven. Er zijn nog landen waar die co-financiering niet wordt gevraagd. Maar in alle gevallen speelt de vraag: hoe komen die criteria tot stand?
Nog belangrijker vraag: op basis van welk proces dat aldus bepaalt welk onderzoek en welke onderzoeksvragen relevant zijn, kunnen we zulke criteria integer noemen?
De huidige financiering, de manier waarop onderzoekers en instituten gewaardeerd en beoordeeld worden (veel publiceren is een pré), en de rol van journals (bias richting spectaculaire resultaten), het zijn allemaal grote problemen. Maar m.i. is die manier waarop we naar de wereld kijken een veel fundamenteler probleem. Dat zit hem met name in twee wijdverbreide vooronderstellingen:
1. Wetenschap (en techniek) kan op elke soort vraag een antwoord leveren.
2. Elk probleem of fenomeen valt te reduceren tot kleinere blokken die onafhankelijk te bestuderen zijn.
De eerste aanname leidt ertoe dat werkelijk elk probleem wordt vertaald in een wetenschappelijk probleem. Geen politicus die nog een besluit durft te nemen zonder eerst een onderzoek te laten doen. Van Schiphol tot vluchtelingen, Mexicaanse griep tot fipronil, er wordt telkens geroepen om wetenschappelijk onderzoek.
De tweede aanname leidt tot de enorme opsplitsing van onderzoeksgebieden, en lijkt er ook toe te leiden dat bijna niemand nog overzicht heeft over het geheel. Dit is waar al die vluchtige krantenkoppen vandaan komen, allemaal onderzoeken die een deelaspect van een deelaspect bekijken en waarbij de persvoorlichters proberen het in een groter plaatje te laten passen. Maar wat nu als de aanname helemaal niet klopt, en het betreffende probleem niet op te knippen is in deelaspecten?
"De eerste aanname leidt ertoe dat werkelijk elk probleem wordt vertaald in een wetenschappelijk probleem. Geen politicus die nog een besluit durft te nemen zonder eerst een onderzoek te laten doen. Van Schiphol tot vluchtelingen, Mexicaanse griep tot fipronil, er wordt telkens geroepen om wetenschappelijk onderzoek."
Zo is dat. We zijn gaan geloven in de expert en de expert is in zichzelf gaan geloven. Hij moet weer leren twijfelen. Het mooiste hoofdstuk uit het populaire boek Sapiens van Yuval Harari heet dan ook: The Discovery of Ignorance.
Mijn meest favoriete wijsgeer (Nikolaus van Kues) schreef er een boekje over (al in 1440): over de geleerde onwetendheid (de docta ignorantia).
Les: soms zullen we op ons best mogelijke oordeelsvermogen moeten vertrouwen, in alle ootmoed. En als we moeten handelen, dan zijn we daar doodgewoon zelf verantwoordelijk voor en niet 'de wetenschap'.
#2 een definitie (of poging daartoe) van betrouwbaarheid of waarachtigheid...
Zolang maar transparant is hoe het onderzoek in elkaar steekt en de funding ervan is georganiseerd, zie ik niet dat deelfinanciering goed onderzoek in de weg hoeft te staan.
Het vaststellen van criteria is van een andere orde en ook afhankelijk van het soort onderzoek.
Het helpt door het zo praktisch mogelijk te maken: zijn we in staat de relevantie van de onderzoeksvraag en de resultaten door te vertalen naar en uit te leggen aan "mijn moeder".
Ook dat is een uitdaging waar wetenschappers zich van bewust zouden moeten zijn: wat onderzoek ik en waarom, wat brengt dat de wereld en zijn de resultaten te presenteren voor "de belastingbetaler"? Het zou mooi zijn als onderzoek resulteert in uitroeptekens en duidelijke punten in plaats van dat meer onderzoek wenselijk is. Het helpt ook om zo vroeg mogelijk in het proces de communicatiediscipline aan boord te hebben en zo met elkaar de essentie en hoofdboodschappen te kunnen bepalen.