Voorspellen is lastig als de toekomst afhankelijk is van onbekende variabelen. We kunnen niets met zekerheid aannemen, maar wat moeten we dan met die onzekerheid? De held van het evidence based medische onderzoek John Ioannidis werd zelf een pion in een politiek spel rond de coronapandemie, omdat hij deed wat hij altijd doet: uitgaan van de data. Met het risico dat hij het mis heeft, maar zo werkt wetenschap nu eenmaal.
Wie er nog niet van overtuigd is dat covid-19 een onberekenbaar kreng is, en dat het treffen van de juiste maatregelen een spel van onzekerheden is, heeft nu in de kerstlockdown alle tijd terug te blikken. Wat dachten we aan het begin van de pandemie dat ons te wachten stond? Hoe goed is de wetenschap in het voorspellen geweest?
Wat in ieder geval niet is uitgekomen, is dat het ontwikkelen van een vaccin jaren zou duren. Dat is alvast mooi meegenomen. Wel is aardig uitgekomen hoe het verloop van de pandemie zou zijn, afgezet tegen de strengheid van de maatregelen. Er is licht aan het einde, maar we moeten nog wel een flinke tunnel door, en het is niet de Gotthard dit jaar.
Afgang
Een opmerkelijke casus waarmee de grilligheid van het virus en de adequaatheid van de (zogenaamd) op empirie gestoelde maatregelen geïllustreerd worden, is het enigmatische optreden van John Ioannidis, dat in de Verenigde Staten is uitgelopen op een heuse affaire. Een afgang, zegt het ene kamp. Goed vastgehouden aan de wetenschappelijke principes, zeggen anderen. De kampen zijn verdeeld - hoe kan het anders in de Verenigde Staten - langs een dikke politieke lijn.
De hoogleraar geneeskunde aan Stanford geldt sinds 2005 als de plaaggeest van het (medische) wetenschappelijk onderzoek. Toen verscheen zijn artikel ‘Why Most Published Research Findings Are False’. Dat en ander werk hebben sindsdien een grote rol gespeeld in de weging van de bewijskracht en voorspellende waarde van veel onderzoek. Ook (en misschien wel vooral) in de wetenschappen van voeding en gezondheid. De dikke vraagtekens die er bij de overvloedige onderzoeksliteratuur geplaatst zijn door de scepsis die Ioannidis aanwakkerde, hebben veel aannames over het effect van voedingsstoffen op de humane gezondheid ernstig beschadigd. En bijgedragen aan een veranderde kijk op voeding.
Ook op Foodlog, waar geregeld debat is over de ideeën, methodes en waarde van wetenschappelijk onderzoek, is Ioannidis vaak opgevoerd. Toen Ioannidis zich in maart mengde in het debat over de coronapandemie, kopte Foodlog: ‘Als John Ioannidis zich laat horen, moet je luisteren’. Ioannidis schreef een column op het blog Stats, waarin hij de data over de besmettingen en de besmettelijkheid van het virus “utterly unreliable” noemde. Hij schatte het uiteindelijke aantal doden in de Verenigde Staten door het virus op 10.000. Het zijn er nu 300.000. Later noemde hij die 10.000 een ‘lagere schatting’.
Reconstructie
Er is nog alle reden om naar Ioannidis te luisteren, al was het maar om zijn perspectief te horen op wat er sinds maart gebeurd is. De Washington Post maakte een reconstructie. Ioannidis wordt geïntroduceerd met zijn referenties: arts-onderzoeker met specialisme infectieziekten, epidemioloog, mathematicus en berucht om “zijn rigoureuze evaluaties - en frequente ontmaskering - van medische behandelingen”.
Deze kwaliteiten maakten hem een graag geziene gast in tv-programma’s en hij verscheen met instemming veelvuldig op de Amerikaanse buis. Zijn boodschap loog er niet om: het virus is lang niet zo erg als iedereen denkt, we moeten geen paniek zaaien, en de economische gevolgen van een lockdown zijn schadelijker voor de samenleving dan het virus zal zijn. “We trappen in de val van de sensatiezucht,” zei hij, geciteerd door de Washington Post. Wel zei hij steeds: we weten maar heel weinig zeker.
Desinformatie
Dat tv-interview werd een half miljoen keer bekeken op YouTube, totdat het na zes weken - tot Ioannidis’ ontzetting - verwijderd werd met als opgegeven reden: desinformatie over covid-19. Maar Ioannidis zweeg niet en deed wat hij altijd doet: de data volgen en tegen de algemene opinie of wetenschappelijke consensus ingaan als dat nodig is. Hij was van mening dat de overheid de zieken en zwakken moest beschermen tegen infectie en het bedrijfsleven en de scholen moest openhouden voor de minder kwetsbaren. Hij ontkende niet dat het virus echt bestond, ook niet dat het dodelijk was, maar wel dat het een complot of nep zou zijn. Paniek was evenmin noodzakelijk als de hele wereld stilzetten.
Hoewel Ioannidis onder meer een voorstander was van strenge regulering van het wapenbezit, van een verbod op de tabaksindustrie en hij zich als wetenschapper tot de evidence-based geneeskunde beperkt, werd hij het rechtse kamp ingetrokken waarvan de voorman zeer uitgesproken was: president Trump. Zijn optreden op het Trump-gezinde Fox News maakte het er niet beter op.
Naarmate de pandemie verergerde, werden Ioannidis’ argumenten zwakker. Het was geen kwestie van overreageren, waarvoor hij waarschuwde, maar juist van het uitblijven van maatregelen waardoor de pandemie tot de huidige dodelijke omvang kon groeien.
Wat zijn positie ook niet sterker maakte, was dat hij zijn naam verleende en meewerkte aan een Stanford-onderzoek dat op basis van (naar later bleek) slechte data een veel te lage ‘mortality rate’, sterftecijfer, voorspelde. Geen 0,9% van de geïnfecteerden, wat de consensus was en waarop de lockdown-maatregelen wereldwijd waren gebaseerd, maar 0,2%. “Het leek erop dat elke kritiek die Ioannidis op het werk van slordige wetenschappers had, zich nu tegen hem keerde”, schrijft de Washington Post. Ook al omdat de studie medegefinancierd was door een luchtvaartondernemer, die weer wilde vliegen.
Cocktail
“Als hij niet een van de auteurs was, zou ik zeggen dat dit het soort onderzoek is dat hij in een van zijn lezingen zou opvoeren als een uitzonderlijk gevaarlijke cocktail van slechte wetenschap,” zei een collega van een andere universiteit. Na wat aanpassingen aan de data en uitleg over de gebruikte termen bleef Ioannidis bij de uitkomsten. “Zo moet wetenschap werken,” was zijn reactie op de kritiek en de correcties.
Hij kreeg lof toegezwaaid voor zijn strikte opstelling, maar ook kritiek op het ‘sloppy’ onderzoek. Een collega merkte op dat hij wel wat al te gretig dwarsligt. Hij werd het slachtoffer van kwaadaardige aanvallen, ook persoonlijke. “Ik heb mij nog nooit zo ellendig gevoeld,” zegt hij. Hij vluchtte deze zomer min of meer naar zijn geboorteland Griekenland en naar Berlijn, waar Stanford een dependance heeft, weg van het politieke krachtenveld dat de discussie over het virus had overgenomen in de Verenigde Staten onder Trump. “Ik vind het heel eng als we wetenschappelijk denken en onderzoeken gaan onderdrukken, wat de reden ook mag zijn,” zei hij. “Meer zekerheid overbrengen dan er is redt geen levens.”
Maar naarmate de dagen kouder werden en het aantal slachtoffers toenam, kwamen vele werkers in de gezondheidszorg tot de conclusie dat onzekerheid ook geen levens redt, schrijft de Post. Grote delen van de wereld zijn in lockdown. Die 10.000 doden vallen al maanden gemiddeld elke week in de Verenigde Staten. Ioannidis mocht na zijn strandvakantie niet meer van Athene naar Berlijn vliegen en reisde terug naar Californië, naar Stanford.
Dit artikel afdrukken
Wat in ieder geval niet is uitgekomen, is dat het ontwikkelen van een vaccin jaren zou duren. Dat is alvast mooi meegenomen. Wel is aardig uitgekomen hoe het verloop van de pandemie zou zijn, afgezet tegen de strengheid van de maatregelen. Er is licht aan het einde, maar we moeten nog wel een flinke tunnel door, en het is niet de Gotthard dit jaar.
Afgang
Een opmerkelijke casus waarmee de grilligheid van het virus en de adequaatheid van de (zogenaamd) op empirie gestoelde maatregelen geïllustreerd worden, is het enigmatische optreden van John Ioannidis, dat in de Verenigde Staten is uitgelopen op een heuse affaire. Een afgang, zegt het ene kamp. Goed vastgehouden aan de wetenschappelijke principes, zeggen anderen. De kampen zijn verdeeld - hoe kan het anders in de Verenigde Staten - langs een dikke politieke lijn.
De hoogleraar geneeskunde aan Stanford geldt sinds 2005 als de plaaggeest van het (medische) wetenschappelijk onderzoek. Toen verscheen zijn artikel ‘Why Most Published Research Findings Are False’. Dat en ander werk hebben sindsdien een grote rol gespeeld in de weging van de bewijskracht en voorspellende waarde van veel onderzoek. Ook (en misschien wel vooral) in de wetenschappen van voeding en gezondheid. De dikke vraagtekens die er bij de overvloedige onderzoeksliteratuur geplaatst zijn door de scepsis die Ioannidis aanwakkerde, hebben veel aannames over het effect van voedingsstoffen op de humane gezondheid ernstig beschadigd. En bijgedragen aan een veranderde kijk op voeding.
Paniek was evenmin noodzakelijk als de hele wereld stilzettenLuisteren
Ook op Foodlog, waar geregeld debat is over de ideeën, methodes en waarde van wetenschappelijk onderzoek, is Ioannidis vaak opgevoerd. Toen Ioannidis zich in maart mengde in het debat over de coronapandemie, kopte Foodlog: ‘Als John Ioannidis zich laat horen, moet je luisteren’. Ioannidis schreef een column op het blog Stats, waarin hij de data over de besmettingen en de besmettelijkheid van het virus “utterly unreliable” noemde. Hij schatte het uiteindelijke aantal doden in de Verenigde Staten door het virus op 10.000. Het zijn er nu 300.000. Later noemde hij die 10.000 een ‘lagere schatting’.
Reconstructie
Er is nog alle reden om naar Ioannidis te luisteren, al was het maar om zijn perspectief te horen op wat er sinds maart gebeurd is. De Washington Post maakte een reconstructie. Ioannidis wordt geïntroduceerd met zijn referenties: arts-onderzoeker met specialisme infectieziekten, epidemioloog, mathematicus en berucht om “zijn rigoureuze evaluaties - en frequente ontmaskering - van medische behandelingen”.
Deze kwaliteiten maakten hem een graag geziene gast in tv-programma’s en hij verscheen met instemming veelvuldig op de Amerikaanse buis. Zijn boodschap loog er niet om: het virus is lang niet zo erg als iedereen denkt, we moeten geen paniek zaaien, en de economische gevolgen van een lockdown zijn schadelijker voor de samenleving dan het virus zal zijn. “We trappen in de val van de sensatiezucht,” zei hij, geciteerd door de Washington Post. Wel zei hij steeds: we weten maar heel weinig zeker.
Desinformatie
Dat tv-interview werd een half miljoen keer bekeken op YouTube, totdat het na zes weken - tot Ioannidis’ ontzetting - verwijderd werd met als opgegeven reden: desinformatie over covid-19. Maar Ioannidis zweeg niet en deed wat hij altijd doet: de data volgen en tegen de algemene opinie of wetenschappelijke consensus ingaan als dat nodig is. Hij was van mening dat de overheid de zieken en zwakken moest beschermen tegen infectie en het bedrijfsleven en de scholen moest openhouden voor de minder kwetsbaren. Hij ontkende niet dat het virus echt bestond, ook niet dat het dodelijk was, maar wel dat het een complot of nep zou zijn. Paniek was evenmin noodzakelijk als de hele wereld stilzetten.
Hoewel Ioannidis onder meer een voorstander was van strenge regulering van het wapenbezit, van een verbod op de tabaksindustrie en hij zich als wetenschapper tot de evidence-based geneeskunde beperkt, werd hij het rechtse kamp ingetrokken waarvan de voorman zeer uitgesproken was: president Trump. Zijn optreden op het Trump-gezinde Fox News maakte het er niet beter op.
Als hij niet een van de auteurs was, zou ik zeggen dat dit het soort onderzoek is dat hij in een van zijn lezingen zou opvoeren als een uitzonderlijk gevaarlijke cocktail van slechte wetenschapSterftecijfer
Naarmate de pandemie verergerde, werden Ioannidis’ argumenten zwakker. Het was geen kwestie van overreageren, waarvoor hij waarschuwde, maar juist van het uitblijven van maatregelen waardoor de pandemie tot de huidige dodelijke omvang kon groeien.
Wat zijn positie ook niet sterker maakte, was dat hij zijn naam verleende en meewerkte aan een Stanford-onderzoek dat op basis van (naar later bleek) slechte data een veel te lage ‘mortality rate’, sterftecijfer, voorspelde. Geen 0,9% van de geïnfecteerden, wat de consensus was en waarop de lockdown-maatregelen wereldwijd waren gebaseerd, maar 0,2%. “Het leek erop dat elke kritiek die Ioannidis op het werk van slordige wetenschappers had, zich nu tegen hem keerde”, schrijft de Washington Post. Ook al omdat de studie medegefinancierd was door een luchtvaartondernemer, die weer wilde vliegen.
Cocktail
“Als hij niet een van de auteurs was, zou ik zeggen dat dit het soort onderzoek is dat hij in een van zijn lezingen zou opvoeren als een uitzonderlijk gevaarlijke cocktail van slechte wetenschap,” zei een collega van een andere universiteit. Na wat aanpassingen aan de data en uitleg over de gebruikte termen bleef Ioannidis bij de uitkomsten. “Zo moet wetenschap werken,” was zijn reactie op de kritiek en de correcties.
Hij kreeg lof toegezwaaid voor zijn strikte opstelling, maar ook kritiek op het ‘sloppy’ onderzoek. Een collega merkte op dat hij wel wat al te gretig dwarsligt. Hij werd het slachtoffer van kwaadaardige aanvallen, ook persoonlijke. “Ik heb mij nog nooit zo ellendig gevoeld,” zegt hij. Hij vluchtte deze zomer min of meer naar zijn geboorteland Griekenland en naar Berlijn, waar Stanford een dependance heeft, weg van het politieke krachtenveld dat de discussie over het virus had overgenomen in de Verenigde Staten onder Trump. “Ik vind het heel eng als we wetenschappelijk denken en onderzoeken gaan onderdrukken, wat de reden ook mag zijn,” zei hij. “Meer zekerheid overbrengen dan er is redt geen levens.”
Maar naarmate de dagen kouder werden en het aantal slachtoffers toenam, kwamen vele werkers in de gezondheidszorg tot de conclusie dat onzekerheid ook geen levens redt, schrijft de Post. Grote delen van de wereld zijn in lockdown. Die 10.000 doden vallen al maanden gemiddeld elke week in de Verenigde Staten. Ioannidis mocht na zijn strandvakantie niet meer van Athene naar Berlijn vliegen en reisde terug naar Californië, naar Stanford.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 5 mei krijg je nieuwe kado-artikelen.
Op 5 mei krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
Helder verhaal, wel pijnlijk voor zo'n kritische en gezaghebbende wetenschapper.
"Zo moet wetenschap werken"? Ik denk dat de wetenschap zich primair hoort te baseren op feiten en waarnemingen. Theorieën en modellen moeten zich daar aan aanpassen, niet omgekeerd.
Huib, kun je iets melden over wat zijn wetenschappelijke argumenten waren? En als die 10.000 zijn laagste schatting was, wat was dan zijn hoogste?
Is een foute schatting een indicatie van een 'foute' manier van denken?
Om het anders te formuleren: Ioannidis' ‘fout’ is eerder een krachtige aanwijzing voor de kracht van zijn 'pas op, want we weten maar heel weinig'.
Feiten vormen geen theorieën. Dat is nou juist de meest fundamentele misvatting die in het COVID-jaar 2020 eindelijk heel openbaar duidelijk is geworden (hoopte ik): theorieën vormen feiten. Altijd. Hooguit is de ene theorie behulpzamer dan de andere om de werkelijkheid te voorspellen (ja dus, in die zin helpen onbekende feiten de theorieën zich aan te passen).
Het drama dat we het afgelopen jaar hebben meegemaakt maar niet verteerd: we zijn gaan denken dat onderzoek kennis is, terwijl het trail and error is. Vele onderzoekers en experts (= mensen met praktische vaardigheden gebaseerd op inzicht in een vakgebied) gedroegen - en gedragen - zich alsof ze dat onderscheid niet kennen. Het is fnuikend geweest voor het vertrouwen in wetenschap en expert-inzicht. Ik zou de stelling aandurven dat we mede daardoor nu zitten met viruswappies.
Verder hebben we geleerd hoe kwetsbaar de moderne wereld is voor zoiets kleins als een virus. Het systeem heeft zich wonderlijk goed weten te houden, al moeten de echte gevolgen nog zichtbaar worden: verarming en meer staatsinvloed in een blijvend geopolitiek verdeelde wereld waarin de wereldhandel vermoedelijk zal verminderen. De effecten daarvan op mensen zijn enorm.
"Pas op, want we weten nog maar heel weinig" kan ik helemaal onderschrijven. Volkomen terechte stelregel van Ioannides.
Maar waarom waagde juist hij zich dan aan zo'n extreem lage schatting? Misschien had hij ook een hoge schatting (dat zou eigenlijk moeten), maar daar zegt het artikel niks over.
Dick, onze filosofische discussie herhaalt zich. Theorieën vormen feiten? Als je met "vormen" bedoelt "maken" ben ik het er niet mee eens, als je bedoelt "kleuren" ben ik het er wel mee eens. Natuurwetenschap is een permanent iteratief proces tussen theorieën en waarnemingen.
Je ziet eerst de zon, vervolgens heb je een theorie (fysisch of metafysisch) over de zon, vervolgens ga je anders naar die zon kijken, ga je andere waarnemingen doen, etc. etc.
Maar de zon trekt zich nul-komma-nul aan van onze theorieën. Hooguit glimlacht hij/zij bij de stelling dat theorieën hem/haar hebben gecreëerd of gevormd. (Haha, mijn metafysische theorie).
Ik ben benieuwd of Ioannides zijn inmiddels gefalsifieerde theorie al heeft bijgesteld.
De voedingsindustrie zal wel in zijn vuistje lachen. Jammer, want hij heeft de goegemeente aardig wakker geschud. Ik hoop ook dat hij daar mee doorgaat, maar hij heeft nu wel een handicap.
Wouter, op de vraag wat feiten zijn, ga ik met jou niet meer in. Dat hebben we al elders gedaan op deze site. Daarom weten we het daar nooit over eens zullen worden. Dat kan alleen als een van ons van houding verandert. En dat is eigenlijk ook de hele discussie. Maar over de verschillen tussen realisme, idealisme en pragmatisme en de rol van rationaliteit en geloof daarbij zijn ook al bibliotheken volgeschreven; ik heb er niets toe te voegen.
Voor mij zijn realisten - waartoe jij behoort - mensen die de intuïtieve notie dat de werkelijkheid is wat wij zien, niet op kunnen geven. Zolang ze maar zeggen dat hun beeld het verkeerde kan zijn, vind ik het best in het praktische verkeer.
Naar Ioannidis. Ik zou zo hard niet durven zeggen dat hij zich om de verkeerde redenen druk maakte. Het aantal geregistreerde doden is hoger (ik houd de cijfers niet meer, kan me vergissen) dan dat van forse griepgolven en er is sprake van duidelijke oversterfte (ook hier: ik heb de cijfers niet allemaal paraat), maar is er een gesel Gods los? In de VS heeft het virus zich vermoedelijk het meest vrij in een moderne dichtbevolkte steden kunnen verspreiden.
Ioannidis heeft onmiddellijk gewezen op de enorme systeemeffecten (waar we - denk ook ik - nog maar een fractie hebben gezien) en de vraag of die de blinde focus op het virus konden rechtvaardigen. Daar zat van meet af aan zijn punt: virologen zijn als mannen met hamers die de hele wereld tot spijker maken. Niet in de stellingname dat de virologen ongelijk hadden om te waarschuwen en aan te dringen op maatregelen. Die stelling heeft hij nl. niet betrokken.
Ik denk dat hij zich heeft laten verleiden tot downplayen omdat hij de risico's ziet van risicowaarnemingen vanuit één focus. Dat had hij voorzichtiger kunnen doen. En toch: hij had onder meer medicus David Katz mee. Ook niet de minste.
Mogelijk is het antwoord op je vraag door Huib in zijn titel is genoemd: zijn waarschuwingen zijn gepolitiseerd.
Over de betekenis van de cijfers blijft veel discussie, ook door niet-wappies. Onder hen zijn uitstekende rekenaars zoals de gebroeders Slagter en FL-reageerders Wouter de Heij en Dennis Zeilstra die zich er op twitter en andere persoonlijke media nadrukkelijk over hebben uitgesproken.
Ik ben heel benieuwd wat zij van de pek en veren vinden waarmee Ioannidis wordt weggestuurd.
NB: zijn faam vestigde Ioannidis op het gebied van medisch onderzoek; voeding kwam later. Ik vrees dat de voedingsindustrie haar eigen conclusies allang heeft getrokken harde bewijzen zijn te duur en er komt zelden iets dat overeind blijft uit onderzoek. De geldpotten voor voedingsonderzoek drogen dan ook op en verschuiven van voeding en gezondheid richting harde vakken (fysiologie, genetica, microbiologie) en de relatie voedsel en duurzaamheid.
Dat leidt overigens weer tot een nieuw vraagstuk: hoe gaan we om met de 'voedingsgeloven' die op basis van oud onderzoek nog altijd als consensus gelden, maar dat eigenlijk ook niet meer zijn. Er is een soort vooronderstelde consensus; die zit bijvoorbeeld achter de algoritmen van de NutriScore. Als je die consensus eenmaal openbreekt, verliest veel onderzoek zijn betekenis en hebben de algoritmen geen basis meer. En dat heeft vervolgens weer grote gevolgen voor het heformuleringsbeleid dat grote bedrijven er niettemin wel op baseren. Omdat het moet (en niemand zich meer vragen stelt en dat ook niet zinvol kan).
Zeer interessant wat je meldt over voedingsonderzoek!
De verschuiving die je noemt vind ik niet zo gek. Maar ook de sociale voedingskunde (min of meer het terrein van Jaap Seidell) verdient een hogere prioriteit en meer budget. Die verschuiving kunnen we eerder van de overheid en de tweede geldstroom verwachten dan van de industrie. Maar ja, ook in een flink deel van de tweede geldstroom is matching met het bedrijfsleven of andere private partijen verplicht. Dat kan remmend werken. Althans waar het de industrie betreft, waarschijnlijk zijn de kansen beter bij bijvoorbeeld verzekeraars.
Een fundamentele verschuiving naar preventief gezondheids- en voedingsbeleid komt er misschien pas als de kosten van de curatieve gezondheidszorg onbetaalbaar zijn geworden.
Actueel voorbeeld: hebben het OMT en de ministers al iets gezegd over vitamine D als ondersteunend preventief middel tegen corona?