Wat moeten we nou aan met het 'hooggerechtshof' van de medische (en voedings)wetenschap? Wie de vakpers de afgelopen maanden een beetje volgde, heeft het al meegekregen: Cochrane (vroeger bekend onder de naam the Cochrane Collaboration) ligt zwaar onder vuur. De organisatie wiens systematische overzichtsstudies door velen worden beschouwd als 'gouden standaard', lijkt niet meer zo onaantastbaar als voorheen. Een analyse van Jop de Vrieze.
De Cochrane Collaboration werd opgericht in Oxford in 1993, als een los netwerk van 77 wetenschappers met als doel artsen en anderen te helpen beslissingen te nemen op basis van de beste beschikbare bewijzen in de medische en gezondheidswetenschappen – waaronder de voedingswetenschap.
Sindsdien groeide het uit tot een groot netwerk bestaand uit duizenden wetenschappers en tientallen onder de paraplu van Cochrane opererende centra. Inmiddels verschenen al meer dan 7.500 systematische overzichtsstudies met het stempel Cochrane.
Robuust merk
Het 'merk' Cochrane groeide uit tot een synoniem voor degelijkheid en robuustheid. Als er al kritiek was, dan betrof die vooral de toegankelijkheid van de kennis, die door de omzichtige conclusies niet altijd even makkelijk te vertalen viel naar de spreekkamer.
Maar de laatste jaren zwol de onvrede aan en afgelopen jaar kwam het tot een heftige eruptie. De critici richten zich niet zozeer op het algehele niveau van de reviews zelf. Dat is nog altijd veel hoger dan dat van systematische overzichtsstudies zonder Cochrane label. De perikelen zijn van een andere orde, en gaan meer over de organisatie en de positie ervan in het medisch wetenschappelijke wereldje.
Clash of the Cochranes
Het begon allemaal met het aantreden als bestuurslid van een van de mede-oprichters van de organisatie, de Deen Peter Gøtzsche in 2017. Gøtzsche, directeur van het relatief onafhankelijk opererende Nordic Cochrane Center in Kopenhagen had bij zijn aantreden een duidelijke boodschap: hij zou Cochrane van binnenuit gaan veranderen. Onder meer vond hij de richtlijn rondom belangenverstrengeling voor auteurs van Cochrane-studies te slap en hij wilde de studies toegankelijker maken voor patiënten. Maar bovenal wilde hij tegenwicht bieden aan wat hij 'de bureaucratisering en centralisering van de organisatie' noemde. Die was volgens hem vervreemd geraakt van de grass roots organisatie die Cochrane volgens hem hoorde te zijn.
Die centralisatie was nu juist de missie van de andere hoofdrolspeler in dit verhaal, de in 2015 aangetreden CEO van Cochrane, Mark Wilson. Die wilde de organisatie verder professionaliseren en dat kon volgens hem niet met allerlei kleine clubjes die hun ding deden en er hun eigen missie en standaarden op nahielden.
En zo ontstonden er twee lijnen binnen de organisatie. Maar dat is niet alles. Gøtzsche verwierf de afgelopen jaren een reputatie als fervent farmacriticus. Hij werkte in een ver verleden zelf in die industrie en steekt niet onder stoelen of banken hoe teleurgesteld hij toen raakte in de goede bedoelingen van die sector. In 2015 publiceerde hij een publieksboek met als titel Dodelijke Medicijnen, waarin hij de farmaceutische industrie vergeleek met de georganiseerde misdaad. Twee jaar later deed hij dat nog eens dunnetjes over met 'Dodelijke psychiatrie'. Dat zou nog niet zo'n punt zijn, als hij dit activisme gescheiden had gehouden van zijn werk voor Cochrane. Maar ook de studies uitgevoerd door het centrum waarvan Gøtzsche de baas was verwierven een zekere farmakritische reputatie.
Op zich is er met een kritische houding ten opzichte van de industrie niks mis, maar het beeld van een neutrale partij die de bewijzen weegt, werd er wel door aangetast. En dat begon te wringen. Achter de schermen kwam er een discussie op gang tussen voorstanders van pluriformiteit en eenheid.
Uiteenlopende meningen
De exponenten van die twee stromingen, Gøtzsche en Wilson, konden het door die kritische opstelling en radicale ideeën van begin af aan al niet zo met elkaar vinden. Toen Gøtzsche en zijn collega's ook nog eens felle kritiek begonnen te uiten op de European Medicines Agency en daarna op auteurs van een Cochrane overzichtsstudie zelf, vonden ook verschillende bestuursleden van Cochrane het welletjes: Gøtzsche werd in september 2018 uit het bestuur gezet en ontslagen als directeur van het Nordic Cochrane Center.
Aan de ene kant worden Gøtzsche en zijn medestanders beschouwd als medisch-wetenschappelijke puristen (hij maakte recent bekend dat hij een centrum voor wetenschappelijke integriteit op gaat richten), aan de andere kant als vooringenomen farma-bashers die er alles aan gelegen lijkt om aan te tonen dat middelen niet werken.
De meningen over Cochrane die online te lezen zijn verschillen al net zo, van 'te belangrijk om openlijk aan te vallen' tot 'zeer farmagezind'.
Onvermijdelijk: zelf nadenken
De vraag die onder deze discussie ligt is: hoe streng wil je voor de industrie (en vervang 'farmaceutische' gerust door 'voedings') zijn, als je innovatieve, werkzame en veilige medicijnen en andere producten wilt? En uit die vraag komt weer voort dat die keuze, kennelijk, wel degelijk bepalend is voor de insteek en uitkomst van systematische overzichtsstudies.
Die discussie is interessanter dan die over het compromisloze karakter van Gøtzsche, de controledrang van Wilson en de vraag of Cochrane nu wel of niet meer als een bedrijf of als een samenwerking gedreven moet worden.
Al met al is de belangrijkste les die we kunnen leren, dat we ook de resultaten en conclusies van Cochrane overzichtsstudies niet domweg kunnen vertrouwen en overnemen. Hoe degelijk en robuust ook, erachter schuilen aannames en beslissingen, die weer afhangen van de auteurs, hun kennis en vaardigheden, overtuigingen, academische en andere belangen.
We zullen kritisch moeten lezen, net zoals we dat doen bij gewone studies. Want een overzichtsstudie is weliswaar meer dan één studie, het is maar één overzicht.
En dus zullen we moeten doen wat we zo graag hadden uitbesteed aan organisaties als Cochrane: nadenken.
Dit artikel afdrukken
Sindsdien groeide het uit tot een groot netwerk bestaand uit duizenden wetenschappers en tientallen onder de paraplu van Cochrane opererende centra. Inmiddels verschenen al meer dan 7.500 systematische overzichtsstudies met het stempel Cochrane.
Robuust merk
Het 'merk' Cochrane groeide uit tot een synoniem voor degelijkheid en robuustheid. Als er al kritiek was, dan betrof die vooral de toegankelijkheid van de kennis, die door de omzichtige conclusies niet altijd even makkelijk te vertalen viel naar de spreekkamer.
Maar de laatste jaren zwol de onvrede aan en afgelopen jaar kwam het tot een heftige eruptie. De critici richten zich niet zozeer op het algehele niveau van de reviews zelf. Dat is nog altijd veel hoger dan dat van systematische overzichtsstudies zonder Cochrane label. De perikelen zijn van een andere orde, en gaan meer over de organisatie en de positie ervan in het medisch wetenschappelijke wereldje.
Clash of the Cochranes
Het begon allemaal met het aantreden als bestuurslid van een van de mede-oprichters van de organisatie, de Deen Peter Gøtzsche in 2017. Gøtzsche, directeur van het relatief onafhankelijk opererende Nordic Cochrane Center in Kopenhagen had bij zijn aantreden een duidelijke boodschap: hij zou Cochrane van binnenuit gaan veranderen. Onder meer vond hij de richtlijn rondom belangenverstrengeling voor auteurs van Cochrane-studies te slap en hij wilde de studies toegankelijker maken voor patiënten. Maar bovenal wilde hij tegenwicht bieden aan wat hij 'de bureaucratisering en centralisering van de organisatie' noemde. Die was volgens hem vervreemd geraakt van de grass roots organisatie die Cochrane volgens hem hoorde te zijn.
Die centralisatie was nu juist de missie van de andere hoofdrolspeler in dit verhaal, de in 2015 aangetreden CEO van Cochrane, Mark Wilson. Die wilde de organisatie verder professionaliseren en dat kon volgens hem niet met allerlei kleine clubjes die hun ding deden en er hun eigen missie en standaarden op nahielden.
Al met al is de belangrijkste les die we kunnen leren, dat we ook de resultaten en conclusies van Cochrane overzichtsstudies niet domweg kunnen vertrouwen en overnemen. Hoe degelijk en robuust ook, erachter schuilen aannames en beslissingen, die weer afhangen van de auteurs, hun kennis en vaardigheden, overtuigingen, academische en andere belangenAnti-farma
En zo ontstonden er twee lijnen binnen de organisatie. Maar dat is niet alles. Gøtzsche verwierf de afgelopen jaren een reputatie als fervent farmacriticus. Hij werkte in een ver verleden zelf in die industrie en steekt niet onder stoelen of banken hoe teleurgesteld hij toen raakte in de goede bedoelingen van die sector. In 2015 publiceerde hij een publieksboek met als titel Dodelijke Medicijnen, waarin hij de farmaceutische industrie vergeleek met de georganiseerde misdaad. Twee jaar later deed hij dat nog eens dunnetjes over met 'Dodelijke psychiatrie'. Dat zou nog niet zo'n punt zijn, als hij dit activisme gescheiden had gehouden van zijn werk voor Cochrane. Maar ook de studies uitgevoerd door het centrum waarvan Gøtzsche de baas was verwierven een zekere farmakritische reputatie.
Op zich is er met een kritische houding ten opzichte van de industrie niks mis, maar het beeld van een neutrale partij die de bewijzen weegt, werd er wel door aangetast. En dat begon te wringen. Achter de schermen kwam er een discussie op gang tussen voorstanders van pluriformiteit en eenheid.
Uiteenlopende meningen
De exponenten van die twee stromingen, Gøtzsche en Wilson, konden het door die kritische opstelling en radicale ideeën van begin af aan al niet zo met elkaar vinden. Toen Gøtzsche en zijn collega's ook nog eens felle kritiek begonnen te uiten op de European Medicines Agency en daarna op auteurs van een Cochrane overzichtsstudie zelf, vonden ook verschillende bestuursleden van Cochrane het welletjes: Gøtzsche werd in september 2018 uit het bestuur gezet en ontslagen als directeur van het Nordic Cochrane Center.
Aan de ene kant worden Gøtzsche en zijn medestanders beschouwd als medisch-wetenschappelijke puristen (hij maakte recent bekend dat hij een centrum voor wetenschappelijke integriteit op gaat richten), aan de andere kant als vooringenomen farma-bashers die er alles aan gelegen lijkt om aan te tonen dat middelen niet werken.
De meningen over Cochrane die online te lezen zijn verschillen al net zo, van 'te belangrijk om openlijk aan te vallen' tot 'zeer farmagezind'.
Onvermijdelijk: zelf nadenken
De vraag die onder deze discussie ligt is: hoe streng wil je voor de industrie (en vervang 'farmaceutische' gerust door 'voedings') zijn, als je innovatieve, werkzame en veilige medicijnen en andere producten wilt? En uit die vraag komt weer voort dat die keuze, kennelijk, wel degelijk bepalend is voor de insteek en uitkomst van systematische overzichtsstudies.
Die discussie is interessanter dan die over het compromisloze karakter van Gøtzsche, de controledrang van Wilson en de vraag of Cochrane nu wel of niet meer als een bedrijf of als een samenwerking gedreven moet worden.
Al met al is de belangrijkste les die we kunnen leren, dat we ook de resultaten en conclusies van Cochrane overzichtsstudies niet domweg kunnen vertrouwen en overnemen. Hoe degelijk en robuust ook, erachter schuilen aannames en beslissingen, die weer afhangen van de auteurs, hun kennis en vaardigheden, overtuigingen, academische en andere belangen.
We zullen kritisch moeten lezen, net zoals we dat doen bij gewone studies. Want een overzichtsstudie is weliswaar meer dan één studie, het is maar één overzicht.
En dus zullen we moeten doen wat we zo graag hadden uitbesteed aan organisaties als Cochrane: nadenken.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 5 mei krijg je nieuwe kado-artikelen.
Op 5 mei krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
Heel mooi uitgebreid artikel Jop de Vrieze ! In het verlengde van het wetenschapsfilosofische denken sinds Popper. Een denken dat zich blijkbaar steeds meer gaat vertalen...
Je slotzin doet alles tekort. Het gaat om veel meer, dan alleen dat. Van data en methodieken tot open wetenschappelijke discussie en verdere ontwikkeling. En kennis van (alternatieve) zaken, gewicht kunnen geven daaraan. Heel moeilijk compleet te objectiveren (bij elkaar te brengen). Daar is in ieder geval véél voor nodig (met dank aan al die wetenschappers die specialistisch uiterst relevant onderzoek doen en/of grensverleggend/ ópen kritisch denken!).
Dat neemt niet weg dat je bij veel 'goede, brede' kennis zélf heel andere keuzes kan maken en 'gezond verstand' ook echt verstand kan zijn. 'Het Beste' - net zoals 'het Mooiste' - is een absurd begrip... (waar we wel voortdurend achteraan jagen...)
Aan de basis daarvan staat kennis van zo veel mogelijk. Te beginnen in het onderwijs.
Uitstekende slotzin. Popper zou niet anders hebben gezegd. Stephen Toulmin ook niet: we hebben alleen de rede en daar hebben zowel wetenschappers als mensen met een mening maar rekening mee te houden.
Volledig mee eens, Frank Buurman . Het zelf nadenken is nog maar het begin. Daarom organiseer ik bijvoorbeeld op de Wereldconferentie voor Wetenschapsjournalisten een crash course 'kritisch verslag doen van systematische reviews en meta-analyses' want met alleen ons best doen om kritisch te zijn komen we er niet. Dat geldt uiteraard net zozeer voor professionals en voor wetenschappers, zowel zij die de reviews lezen, als zij die ze zelf uitvoeren.
Zeer interessante vraagstelling die in dit artikel wordt aangesneden.
Enige tijd geleden heeft Huib Stam in zijn artikel: "Eet vis, geen Pillen" een Cohrane studie aangehaald. Dick Veerman heeft toen verwezen naar de reactie van Martijn Katan:
" In 1971 it was suggested that high intakes of fish oil protect Eskimos from heart disease. After 47 years of research, we now have the definitive answer: fish oil has NO effect on heart disease or other diseases. Isn’t science frustrating? "
Ik heb toen geprobeerd een aantal van die 79 separate studies te achterhalen, want ik had een vermoeden dat de uitspraken zeer voorbarig waren. Ik was niet in staat om bijvoorbeeld te achterhalen welke kwaliteitsvoorwaarden werden gebruikt bij de keuze van deze pillen. Ik kon mij niet voorstellen dat deze kwaliteitsvoorwaarden voor al deze 79 studies allen hetzelfde waren.
Ik gebruik zelf ook deze pillen met EPA en DHA, maar ik heb goed op de kwaliteit gelet. Ik gebruik uitsluitend algenolie en pillen die dubbel ingepakt zijn. Pillen die ook door de neuroloog Michael Nehls worden aanbevolen. In dit geval niet voor het voorkomen van hart en vaatziekten, maar voor de gezondheid van onze hersencellen.
In oktober kwam een tweede versie van deze Cochrane studie uit. een studie kennelijk zonder de invloed van Peter Gøtsche.
Mij lijkt dat het buitengewoon jammer is dat Peter Gøtsche het veld heeft moeten ruimen. Geen goede zaak voor de betrouwbaarheid van de wetenschap.
ook de reactie van Katan was zeer ondoordacht, kan men gerust zeggen.
Wicher T. Koetsier : je laat je eigen voorbeeld zien van kritisch denken... maar wat begin je tegen Katan (e.a.)? (dit laat zich breder vertalen - ook in wetenschappelijke focussen)