2 min
Onderzoekers van de Universiteit van Leiden wogen de waarde van wetenschapsnieuws over gezondheid. Onder hen hoogleraar wetenschapscommunicatie Ionica Smeets en onderzoeker van wetenschapsjournalistieke broodjes aap Peter Burger. Ze constateerden dat media een voorkeur hebben voor overdreven persberichten van universiteiten en dat ze die domweg overschrijven. De bevindingen zijn boeiend, maar leiden de aandacht af van de fundamentele wetenschapskritiek die sinds 2005 een rol speelt in de discussie over wetenschappelijke integriteit binnen de wetenschap zelf.
De Leidse onderzoekers beoordeelden 129 persberichten over onderzoek van Nederlandse universiteiten en universitaire medische centra die in 2015 werden uitgebracht. Ze vergeleken de conclusies uit de persberichten met die van de onderzoekers zelf om te bepalen of ze te kort door de bocht gingen door die te overdrijven. Vervolgens bekeken ze of overdreven persberichten tot meer overdreven berichtgeving in de media leidt.
Negen op tien overdreven conclusies in persberichten belanden in pers
Op basis van de door hen onderzochte berichten, constateren de Leidse onderzoekers dat 20% van de persberichten en 29% van de mediaberichten over de onderzoeken uit die persberichten overdrijving bevatten. In zulke gevallen is de conclusie aangezet of wordt van een associatie - een slechts statistisch verband - een direct verklarende causale relatie gemaakt. Eventuele gezondheidsadviezen bleken in 7% van de persberichten overdreven. Nieuwsberichten scoorden in 10% van de gevallen op overdrijving van adviezen. Als een persbericht overdreef, dan belandde diezelfde overdrijving in maar liefst 92% van de berichten in de media over het betreffende 'nieuws'.
Als de conclusie door een persbericht niet werd overdreven, dan dikten de media het aan in 6% van hun berichten. De relatieve kans op overdreven nieuws bij een overdreven persbericht was 16,08 (95%-BI: 7,35-35,18). Op overdreven persberichten volgde vaker een nieuwsbericht. De relatieve kans op een nieuwsbericht bij een overdreven persbericht tegenover een niet-overdreven persbericht was 1,45 (95%-BI: 1,02-2,04). Een relatieve kans van 1 betekent dat er geen verschil in kans is tussen de twee groepen. Als de relatieve kans van een overdreven persbericht groter is dan 1, betekent dit dat de kans om gepubliceerd en overdreven te worden in de media groter is dan van een 'normaal' bericht.
De onderzoekers adviseren wetenschappelijke instellingen toe te zien op de nauwkeurigheid en juistheid van academische persberichten en die zonodig te verbeteren. Dat vinden ze "een belangrijke eerste stap om de kwaliteit van gezondheidsnieuws te verhogen."
De essentie van het nieuws? Media schrijven doorgaans slechts over wat de persberichten voorkauwen en hebben geen tijd en middelen voor goede wetenschapskritiek. Persafdelingen van universiteiten zijn als volleerde marketingcommunicatieprofessionals in dat gat gesprongen. Ze verkopen de 'producten' van hun onderzoekers. Wie als wetenschapsbedrijf in het nieuws is, telt immers mee en genereert geld om nieuw onderzoek te kunnen doen en salarissen te kunnen betalen. Dit laatste voeg ik toe aan het bericht van de onderzoekers. Zij schrijven dat zelf niet zo hard.
Maar ... we moeten beter onderzoek willen
In een beroemd geworden artikel uit 2005 concludeerde de Grieks-Amerikaanse wetenschapscriticus John Ioannidis dat het echte euvel van gezondheidsonderzoek schuilt in de wil om met cijfers en 'hard bewijs' een complexe werkelijkheid te willen bezweren. Zijn conclusie - op basis van gedegen statistisch onderzoek - luidde dat er bar weinig onderzoeksresultaten zijn die hun naam waar kunnen maken.
Het is misschien wijzer pas in tweede instantie te wijzen op het feit dat zulk rommelig onderzoek ook nog eens overdreven wordt verkocht door de wetenschapsmarketeers van universiteiten. De echte vraag die gesteld moet worden, is vermoedelijk deze: willen we goed onderzoek of willen we slecht onderzoek correct over het voetlicht hebben gebracht?
Mocht de indruk door dit bericht zijn ontstaan dat slechts 29% van het voedingsnieuws weinig zinvol is, dan moet ik u waarschuwen: dat mag u niet zomaar denken. Op gezag van Ioannidis mogen we zeggen dat het percentage hoger kan liggen. Met diens artikel kwam de discussie over wetenschappelijke integriteit op gang. Die stond aan de wieg van een wetenschapskritische stroming binnen de wetenschap zelf. Wetenschappers die het aandurven, vragen zich af welke motieven aan onderzoek ten grondslag liggen, welke vooronderstellingen worden gehanteerd, wat die legitimeert en of doel, middel en conclusies wel sporen - hoe ingehouden de resultaten ook gepresenteerd worden.
Dit artikel afdrukken
Negen op tien overdreven conclusies in persberichten belanden in pers
Op basis van de door hen onderzochte berichten, constateren de Leidse onderzoekers dat 20% van de persberichten en 29% van de mediaberichten over de onderzoeken uit die persberichten overdrijving bevatten. In zulke gevallen is de conclusie aangezet of wordt van een associatie - een slechts statistisch verband - een direct verklarende causale relatie gemaakt. Eventuele gezondheidsadviezen bleken in 7% van de persberichten overdreven. Nieuwsberichten scoorden in 10% van de gevallen op overdrijving van adviezen. Als een persbericht overdreef, dan belandde diezelfde overdrijving in maar liefst 92% van de berichten in de media over het betreffende 'nieuws'.
Ioannidis' conclusie - op basis van gedegen statistisch onderzoek - luidde dat er vrijwel geen deugend onderzoek is. Het is misschien wijzer pas in tweede instantie te wijzen op het feit dat zulk rommelig onderzoek ook nog eens overdreven wordt verkocht door de wetenschapsmarketeers van universiteitenMedia dikken zelf slechts beperkt aan
Als de conclusie door een persbericht niet werd overdreven, dan dikten de media het aan in 6% van hun berichten. De relatieve kans op overdreven nieuws bij een overdreven persbericht was 16,08 (95%-BI: 7,35-35,18). Op overdreven persberichten volgde vaker een nieuwsbericht. De relatieve kans op een nieuwsbericht bij een overdreven persbericht tegenover een niet-overdreven persbericht was 1,45 (95%-BI: 1,02-2,04). Een relatieve kans van 1 betekent dat er geen verschil in kans is tussen de twee groepen. Als de relatieve kans van een overdreven persbericht groter is dan 1, betekent dit dat de kans om gepubliceerd en overdreven te worden in de media groter is dan van een 'normaal' bericht.
De onderzoekers adviseren wetenschappelijke instellingen toe te zien op de nauwkeurigheid en juistheid van academische persberichten en die zonodig te verbeteren. Dat vinden ze "een belangrijke eerste stap om de kwaliteit van gezondheidsnieuws te verhogen."
De essentie van het nieuws? Media schrijven doorgaans slechts over wat de persberichten voorkauwen en hebben geen tijd en middelen voor goede wetenschapskritiek. Persafdelingen van universiteiten zijn als volleerde marketingcommunicatieprofessionals in dat gat gesprongen. Ze verkopen de 'producten' van hun onderzoekers. Wie als wetenschapsbedrijf in het nieuws is, telt immers mee en genereert geld om nieuw onderzoek te kunnen doen en salarissen te kunnen betalen. Dit laatste voeg ik toe aan het bericht van de onderzoekers. Zij schrijven dat zelf niet zo hard.
Maar ... we moeten beter onderzoek willen
In een beroemd geworden artikel uit 2005 concludeerde de Grieks-Amerikaanse wetenschapscriticus John Ioannidis dat het echte euvel van gezondheidsonderzoek schuilt in de wil om met cijfers en 'hard bewijs' een complexe werkelijkheid te willen bezweren. Zijn conclusie - op basis van gedegen statistisch onderzoek - luidde dat er bar weinig onderzoeksresultaten zijn die hun naam waar kunnen maken.
Het is misschien wijzer pas in tweede instantie te wijzen op het feit dat zulk rommelig onderzoek ook nog eens overdreven wordt verkocht door de wetenschapsmarketeers van universiteiten. De echte vraag die gesteld moet worden, is vermoedelijk deze: willen we goed onderzoek of willen we slecht onderzoek correct over het voetlicht hebben gebracht?
Mocht de indruk door dit bericht zijn ontstaan dat slechts 29% van het voedingsnieuws weinig zinvol is, dan moet ik u waarschuwen: dat mag u niet zomaar denken. Op gezag van Ioannidis mogen we zeggen dat het percentage hoger kan liggen. Met diens artikel kwam de discussie over wetenschappelijke integriteit op gang. Die stond aan de wieg van een wetenschapskritische stroming binnen de wetenschap zelf. Wetenschappers die het aandurven, vragen zich af welke motieven aan onderzoek ten grondslag liggen, welke vooronderstellingen worden gehanteerd, wat die legitimeert en of doel, middel en conclusies wel sporen - hoe ingehouden de resultaten ook gepresenteerd worden.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 6 december krijg je nieuwe kado-artikelen.
Op 6 december krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
#9 Pieter P; wat u daar schrijft heeft mij aan het denken gezet:'personalized' versus, zeg maar, de 'massa'-aanpak met statistiek.
Wellicht is ons grootste probleem wel dat we tegenwoordig bijna altijd zoeken welk product het beste werkt bij een bepaald gezondheidsprobleem, ipv dat we zoeken wat bij een individuele patiënt het beste werkt. Bij het eerste kom je uit bij RCT's, want anders krijg je je onderzoek niet in een goed tijdschrift. Bij een RCT moet je, omdat de weging via statistiek gaat wel aannemen dat het product bij alle deelnemers aan de trial dezelfde werking heeft en dat eventuele individuele verschillen tussen probanten gelijk over de groepen zijn verdeeld.
Nu dat doen we dus, alhoewel we weten dat dit zelden het geval is.
Zijn voetbalcoaches nu zo dom dat zij niet alle wedstrijden in een meta analyse stoppen en dan concluderen dat de meeste kans op een doelpunt ontstaat na een voorzet vanaf de flank om daar dan een protocol van te maken? Of zijn zij zo slim dat ze gezien hebben dat dit weliswaar de meest kansrijke is, maar ook maar 1 op de 10 keer goed gaat (NNT=10) en dus afhankelijk van de situatie laag opgeleide mannen zonder academische studie zelf laten beslissen wat het beste werkt?
Al heel lang doen veel universiteiten wetenschappelijk onderzoek naar diabetes II, zonder heel veel significante verbetering; het aantal patiënten neemt nog steeds toe. En dan komt een diëtiste, genaamd Connie Hoek en die ontwikkelt een personalised voedingsaanpak en geneest daarmee 90% van haar patiënten. Die resultaten werden in de pers niet overdreven, er werd zelfs maar kort over geschreven.
Dick, kun je aangeven waarom jouw oordeel dat we 'nakwaken' een correct oordeel is dat we allemaal moeten overnemen?
En ook die ethiek waar je naar verwijst. Kun je aangeven waarom dat geen framing is en waarom we het daar mee eens moeten zijn?
Maar je hebt zeker een punt: wij - de redactie van FL - willen weten wat 'fake news' betekent en maken daar een heel ernstig punt van.
Foodlog levert schitterende illustraties van zijn eigen stelling, op één en dezelfde internetpagina:
nakwaken, met een al dan niet hyperbole kop, ditmaal ook zonder apostrofs.
Questioning the food and farming research agenda?
Er is een trend om onderzoek vóór het uitvoeren ervan al te registreren (pre-registratie). Dat wil zeggen dat je vooraf laat zien wat je gaat doen, met wie en waarom (en door wie betaald). Sommige tijdschriften accepteren alleen studies waarbij dit vooraf is gedaan. Het helpt bv het ongebreideld spitten naar significantie tegengaan en kan helpen het vertrouwen in het proces van wetenschap te vergroten.
Je kan dan alsnog opblazen of uit de context trekken wat je vindt maar je kan iig netjes laten zien waar het vandaan komt.