John Bohannon beschrijft op io9 hoe hij weloverwogen te werk is gegaan om met slechte wetenschap maar goede 'framing' de wereldpers te halen.

Zijn onderzoek 'chocolade helpt je sneller af te vallen' heeft inmiddels een miljoenenpubliek bereikt.

Authentiek onderzoek
Bohannon verzon de studie om aan te tonen hoe slecht het merendeel van het voedingsonderzoek is. Hij zette een 100% authentiek klinisch onderzoek op, met echte proefpersonen en daadwerkelijk verzamelde en geanalyseerde data. "Het was eigenlijk een onderzoek dat behoorlijk representatief is is voor het veld van het voedingsonderzoek. Dat wil zeggen: hele slechte wetenschap. De resultaten zijn nietszeggend en de gezondheidsclaims die de media naar miljoenen mensen wereldwijd rondgebazuind hebben zijn nergens op gestoeld", schrijft Bohannon.
De belangrijkste oorzaak: het verschijnsel dat als je een grote hoeveelheid data verzamelt over een kleine groep proefpersonen (in dit geval 15), dan valt daar bij analyse altijd wel een statistisch relevant verband aan te tonen. Je hebt een bijna gegarandeerd recept voor 'vals-positieve' uitslagen in handen.

Bespelen van de media
In een zeer lezenswaardig artikel op io9 geeft hij inzicht in de stappen hij doorlopen heeft om het nep-onderzoek in het 'wetenschappelijk tijdschrift’ International Archives of Medicine gepubliceerd te krijgen.

Er blijken lijsten te bestaan van al dan niet echt wetenschappelijke tijdschriften die zonder zogenaamde peer review werken, een kritische blik van collega wetenschappers die over de waarde van de aangeboden onderzoeken oordelen.
Als journalisten echter niet kritisch meer zijn, wordt de wereld overspoeld door junk wetenschap
Spannender nog is zijn verhaal over hoe de media er vervolgens, zorgvuldig geregisseerd, mee vandoor gingen. Bohannon schreef zelf het persbericht volgens de regels van de kunst. Hij koos een pakkende titel, mooie plaatjes en externe links. Hij vatte alle onderzoeksresultaten netjes samen. Hij meldde alleen niet hoe klein zijn onderzoeksgroep was en hoe miniem de gevonden verschillen.
Nog voor hij het wist, had Bild zijn verhaal al gepubliceerd, zonder zelfs maar contact met de 'wetenschappers' opgenomen te hebben om het verhaal te verifiëren of aan te vullen. Andere media volgden. Veelal met prachtige plaatjes met een combinatie van een vrouw en chocolade er bij.

Luie journalisten en actief publiek
Bohannon noemt die manier van werken kenmerkend voor de journalisten van vandaag. Hij noemt ze ronduit lui en niet in staat een wetenschappelijke publicatie te lezen. Ze gaan net zo met wetenschapsnieuws om als met berichten over filmsterren of royalty: even een persberichtje overnemen, plaatje erbij, klaar. "Het enige probleem met de voedingswetenschap-tam-tam is dat het wel om wetenschap gaat", zegt Bohannan.
Bij veel van de berichten die journalisten maar gewoon over namen, bleken de lezers wel sceptisch. Zij stelden de vragen die de journalisten achterwege hadden gelaten
Als een studie niet vermeldt om hoeveel proefpersonen het ging, of wel hard roept dat er een 'statistisch significant effect' is maar dat vervolgens niet kwantificeert, moeten er belletjes gaan rinkelen. Dat gebeurt veel te weinig, en dat is jammer want journalisten worden meer en meer het eigenlijke peer review systeem. Als journalisten echter niet kritisch meer zijn, wordt de wereld overspoeld door junk wetenschap.

Er is een sprankje hoop. Dat zijn de lezers. Bij veel van de berichten die journalisten maar gewoon over namen, bleken de lezers wel sceptisch. Zij stelden de vragen die de journalisten achterwege hadden gelaten. Zij gingen op internet na hoe het zat met de website. Zij prikten door de flinterdunne façade heen.
In het huidige journalistieke systeem is voor die kritische publieke functie echter (nog) geen plaatsje ingeruimd.

Fotocredits: 'Unwrapping Valrhona Ampamakia 2006', Everjean
Dit artikel afdrukken