"Als twee tegenstrijdige overzichtsstudies op het eerste gezicht over hetzelfde lijken te gaan, blijkt bij nader inzien vaak dat het twee vergelijkbare studies zijn over nét andere onderwerpen." Als dat zo is, betekent het dat het hoogste niveau van wetenschap vertrekt vanuit een interpretatie van wat een relevante vraag is. Wetenschapsjournalistiek commentator Jop de Vrieze merkt fijntjes op dat de beste wetenschap niet slechts een mening is, maar wel een waardeoordeel.
Wetenschapsjournalisten hebben een aantal ongeschreven regels goed in hun oren geknoopt. Presenteer nooit een statistische correlatie als oorzakelijk verband, controleer altijd of een steekproef representatief is en vertrouw nooit op een enkele studie.
Dat zijn allemaal goede uitgangspunten. Maar ze zijn niet zaligmakend, zelfs de laatste niet. Als gevolg daarvan zijn we namelijk overgeleverd aan overzichtsstudies. In jargon: systematische reviews en meta-analyses. Een systematische review is, eenvoudig gezegd, een samenvatting van de wetenschappelijke literatuur over een bepaalde onderzoeksvraag, uitgevoerd op een systematische manier om vertekening te beperken. Een meta-analyse is een statistische methode om de resultaten van die verschillende onderzoeken te combineren tot één resultaat.
Maar er is hier iets vreemds aan de hand. Terwijl we er bij het lezen van losse studies op gespitst zijn om uiterst kritisch te kijken naar methoden, statistiek en interpretaties, doen we dat zelden wanneer we schrijven over overzichtsstudies.
Die beschouwen we als de gouden standaard van empirische wetenschap, ze staan bovenaan de ‘piramide van bewijsvoering’ en de resultaten die eruit voortkomen beschouwen we meestal als vanzelfsprekend en objectief.
Net gewoon wetenschappelijk onderzoek
Iedereen die zich wel eens verdiept heeft in een wetenschappelijke controverse waar overzichtsstudies bij worden opgevoerd, of die gewoon is gaan uitzoeken hoe die studies worden uitgevoerd, beseft dat ze helemaal niet zo objectief zijn en de conclusies niet zo definitief.
In dit soort gevallen is het erg aantrekkelijk om te focussen op het conflict (maakt geweldige verhalen!) en in te zoomen op wat er op het spel staat voor de betrokken auteurs, hun belangen en bevooroordeeldheid. De conclusie is dan al snel getrokken: 'zij zijn de goeien, zij zijn de kwaaien!'
Maar liefst zouden we het vermogen hebben om óók gewoon het wetenschappelijk werk op inhoud te beoordelen. Door de overzichtsstudies te doorgronden en fileren.
Daartoe zijn maar weinigen in staat. En dat terwijl de hoeveelheid systematische overzichtsstudies de afgelopen jaren is geëxplodeerd. In 1990 werden er nog maar een paar honderd gepubliceerd, tegen 2015 was dit gestegen tot meer dan 15.000 en sindsdien steeg het verder tot meer dan 23.000 in 2018. Dat biedt ruimte om het kaf beter van het koren te kunnen scheiden.
Tijdens de Wereldconferentie Wetenschapsjournalistiek die onlangs in Lausanne werd gehouden, mocht ik een sessie organiseren om dat te doen. Je kunt de resultaten daarvan uitgebreid teruglezen en -luisteren (met tips voor journalisten om beter te kunnen schrijven over overzichtsstudies). Hier wil ik het bij de kernboodschap houden.
Cartoon van Hilda Bastian, (CC BY-NC-ND license)
Als wetenschapsjournalisten over een meta-analyse schrijven, portretteren ze die meestal als de krachtpatser van de wetenschap. Ze benadrukken hoe streng de onderzoekers te werk zijn gegaan, hoeveel studies en patiëntgegevens erbij betrokken waren en hoe robuust de uitkomst is. In sommige gevallen is dit gerechtvaardigd, maar vaak niet.
Wat relevant is, moet je zelf bepalen
De kwaliteit van gepubliceerde overzichtsstudies varieert sterk en is voor het overgrote deel allerbelabberdst; bij Cochrane reviews valt het gelukkig meestal mee. En wanneer wetenschappers er zelf belang bij hebben om tot een bepaalde conclusie te komen, biedt de overzichtsstudie hen eindeloos veel mogelijkheden om te manipuleren.
Moeten we wetenschappelijke overzichtsstudies dan maar beschouwen als een (weliswaar ingewikkeld opgeschreven) mening?
Dat gaat wat ver. Een goed uitgevoerde overzichtsstudie is nog altijd beter dan geen overzichtsstudie, we kunnen er alleen niet domweg op varen zonder goed te kijken wat de onderzoekers nu eigenlijk gedaan hebben. Het is dus net gewoon wetenschappelijk onderzoek.
En om het relativisme nog iets verder te temperen, citeer ik graag een van de sprekers tijdens de sessie in Lausanne: "Als twee tegenstrijdige overzichtsstudies op het eerste gezicht over hetzelfde lijken te gaan, blijkt bij nader inzien vaak dat het twee vergelijkbare studies zijn over nét andere onderwerpen."
Aan de lezer is dan de schone taak te bepalen welke vraag het relevantst is.
Dit artikel afdrukken
Dat zijn allemaal goede uitgangspunten. Maar ze zijn niet zaligmakend, zelfs de laatste niet. Als gevolg daarvan zijn we namelijk overgeleverd aan overzichtsstudies. In jargon: systematische reviews en meta-analyses. Een systematische review is, eenvoudig gezegd, een samenvatting van de wetenschappelijke literatuur over een bepaalde onderzoeksvraag, uitgevoerd op een systematische manier om vertekening te beperken. Een meta-analyse is een statistische methode om de resultaten van die verschillende onderzoeken te combineren tot één resultaat.
Maar er is hier iets vreemds aan de hand. Terwijl we er bij het lezen van losse studies op gespitst zijn om uiterst kritisch te kijken naar methoden, statistiek en interpretaties, doen we dat zelden wanneer we schrijven over overzichtsstudies.
Die beschouwen we als de gouden standaard van empirische wetenschap, ze staan bovenaan de ‘piramide van bewijsvoering’ en de resultaten die eruit voortkomen beschouwen we meestal als vanzelfsprekend en objectief.
Net gewoon wetenschappelijk onderzoek
Iedereen die zich wel eens verdiept heeft in een wetenschappelijke controverse waar overzichtsstudies bij worden opgevoerd, of die gewoon is gaan uitzoeken hoe die studies worden uitgevoerd, beseft dat ze helemaal niet zo objectief zijn en de conclusies niet zo definitief.
Als wetenschapsjournalisten over een meta-analyse schrijven, portretteren ze die meestal als de krachtpatser van de wetenschapDat deed ik voor een onderzoeksverhaal dat ik vorig jaar publiceerde in Science (in het Nederlands vertaald voor maandblad EOS). Mijn onderzoek begon nadat ik aan was gelopen tegen verschillende voorbeelden van wat ik ‘meta-oorlogen’ ben gaan noemen: wetenschappelijke veldslagen waarbij verschillende overzichtsstudies worden gepubliceerd met tegenstrijdige resultaten en conclusies. Voorbeelden hiervan zijn debatten over de relatie tussen antidepressiva en zelfmoord en, interessant voor Foodloggers, het verband tussen cholesterol en hart- en vaatziekten en de gezondheidsvoordelen van biologisch geproduceerd voedsel.
In dit soort gevallen is het erg aantrekkelijk om te focussen op het conflict (maakt geweldige verhalen!) en in te zoomen op wat er op het spel staat voor de betrokken auteurs, hun belangen en bevooroordeeldheid. De conclusie is dan al snel getrokken: 'zij zijn de goeien, zij zijn de kwaaien!'
Maar liefst zouden we het vermogen hebben om óók gewoon het wetenschappelijk werk op inhoud te beoordelen. Door de overzichtsstudies te doorgronden en fileren.
Daartoe zijn maar weinigen in staat. En dat terwijl de hoeveelheid systematische overzichtsstudies de afgelopen jaren is geëxplodeerd. In 1990 werden er nog maar een paar honderd gepubliceerd, tegen 2015 was dit gestegen tot meer dan 15.000 en sindsdien steeg het verder tot meer dan 23.000 in 2018. Dat biedt ruimte om het kaf beter van het koren te kunnen scheiden.
Tijdens de Wereldconferentie Wetenschapsjournalistiek die onlangs in Lausanne werd gehouden, mocht ik een sessie organiseren om dat te doen. Je kunt de resultaten daarvan uitgebreid teruglezen en -luisteren (met tips voor journalisten om beter te kunnen schrijven over overzichtsstudies). Hier wil ik het bij de kernboodschap houden.
Als wetenschapsjournalisten over een meta-analyse schrijven, portretteren ze die meestal als de krachtpatser van de wetenschap. Ze benadrukken hoe streng de onderzoekers te werk zijn gegaan, hoeveel studies en patiëntgegevens erbij betrokken waren en hoe robuust de uitkomst is. In sommige gevallen is dit gerechtvaardigd, maar vaak niet.
Wat relevant is, moet je zelf bepalen
De kwaliteit van gepubliceerde overzichtsstudies varieert sterk en is voor het overgrote deel allerbelabberdst; bij Cochrane reviews valt het gelukkig meestal mee. En wanneer wetenschappers er zelf belang bij hebben om tot een bepaalde conclusie te komen, biedt de overzichtsstudie hen eindeloos veel mogelijkheden om te manipuleren.
Moeten we wetenschappelijke overzichtsstudies dan maar beschouwen als een (weliswaar ingewikkeld opgeschreven) mening?
Dat gaat wat ver. Een goed uitgevoerde overzichtsstudie is nog altijd beter dan geen overzichtsstudie, we kunnen er alleen niet domweg op varen zonder goed te kijken wat de onderzoekers nu eigenlijk gedaan hebben. Het is dus net gewoon wetenschappelijk onderzoek.
En om het relativisme nog iets verder te temperen, citeer ik graag een van de sprekers tijdens de sessie in Lausanne: "Als twee tegenstrijdige overzichtsstudies op het eerste gezicht over hetzelfde lijken te gaan, blijkt bij nader inzien vaak dat het twee vergelijkbare studies zijn over nét andere onderwerpen."
Aan de lezer is dan de schone taak te bepalen welke vraag het relevantst is.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 5 mei krijg je nieuwe kado-artikelen.
Op 5 mei krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
Er zijn zoveel aannames binnen de methodieken van de wetenschap gekomen, dat het gewoon niet grappig meer is.
In het positieve scenario, zou dat kunnen komen doordat onderzoekers hoopten dat hun toegevoegde aanname de wetenschap voort zou drijven.
Met terugwerkende kracht, kunnen we echter concluderen dat de onderzoekers gewone mensen zijn en - net als wij - gewoon geen idee hebben waar ze mee bezig zijn.
De grote hoeveelheid meta-analyses van de afgelopen jaren, is veelzeggend. In mijn ogen zijn ze symptomatisch voor het "falen" van de wetenschap. Net als op zoveel andere vlakken (politiek, maatschappelijk, economie, uitvindingen) zien we een stilvallen van nieuwe ontwikkelingen. Creativiteit lijkt doodgeslagen. Geneesmiddelen bestaan nauwelijks. De definitie van een GENEESmiddel, is dat het geneest.
De wetenschappelijke methode staat op omvallen:
Onderzoekers die - waarschijnlijk goedbedoeld - allerlei criteria verzonnen om wetenschap objectiever te beoordelen, lijken tegelijkertijd de individualiteit te hebben vernietigd. Individualiteit is de bron van creativiteit. En creativiteit is de drijvende factor achter vernieuwing.
Helaas voorzie ik een decennium waarin deze gewaarwording eerst moet bezinken. Het monster dat "wetenschap" is geworden, zal zich met hand en tand verzetten voor het afsterft. Onderzoekers en anderen die de religie van wetenschap aanhangen, zullen hun gedachtegoed niet zomaar loslaten. In het ergste geval gaat daar een generatie overheen.
Over meta-analyses en gerandomiseerde onderzoeken:
Gerandomiseerde onderzoeken zouden inderdaad de gouden standaard zijn. En meta-analyses zouden de kroon op het werk zijn. Daar kon niet aan getornd worden. Deze religie heb ik zelf ook aangehangen.
Mijn ervaring is echter als volgt: Hoe meer onderzoeken je kritisch leest, hoe meer je erachter komt dat het een bij elkaar geraapt zootje informatie is. En dat bedoel ik niet eens lullig. De methodieken die worden gepropageerd worden niet nageleefd. En rationele doelen worden niet eens gesteld. Aannames, aannames. Een meta-analyse van bij elkaar geraapte zooi, is precies dat --> een prullenbak met cijfers.
Negeren van relevant onderzoek:
Aan de onderkant van het wetenschappelijke onderzoek staan de ecologische onderzoeken. Voor de Foodlog lezer: Hierin wordt gekeken hoe vaak ziekten in bepaalde landen vroeger en nu voorkwamen. Of hoeveel suiker we in het verleden consumeerden. Historische cijfers, zeg maar. Als we kijken naar deze cijfers, dan zien we dat er geen duidelijke relaties zijn tussen de meeste voedingsmiddelen en de meeste ziekten.
Andere vormen van onderzoek lieten echter wel zien dat voeding kleine effecten heeft op het krijgen van ziekten. Hoe losten de wetenschappers dit op? Ze verklaarden resultaten van alle ecologische onderzoeken ongeldig. Ecologisch onderzoek zou alleen nuttig zijn om hypothesen te vormen. Zomaar, zonder enige validering van hun idee.
Voorbeeld:
Indien ik statines als onderwerp kies, kan ik hiervan een grafiek laten zien.
Gerandomiseerde onderzoeken laten zien dat statines de kans op overlijden aan hartziekten verlagen. Bam! Keihard bewijs!
Op de website van het CDC, zien we cijfers over het overlijden aan hartziekten tussen 1900 en 2015.
Klik op de link --> Trends in sterftecijfers in de Verenigde Staten, 1900-2015 --> Boven de grafiek staat "Select a dashboard:". Vink hier de optie aan : "Leading Causes of Death". En klik op "Update Dashboard". De grafiek verschijnt en we kijken naar de blauwe lijn (Heart Disease).
We zien dat de sterfte aan hartziekten in de Verenigde Staten afneemt sinds de jaren '60 en in een rechte lijn langzaam naar beneden gaat tot ongeveer 2011. Statines kwamen op de markt aan het eind van de jaren '80. Dat statines een effect hebben gehad op deze sterfte, is niet af te lezen in de grafiek. Dat zet enorme vraagtekens bij de maatschappelijke relevantie ervan.
Mijn punt is als volgt: Ecologisch onderzoek zou bovenaan de rij moeten staan met relevant onderzoek. Ecologisch onderzoek laat zien wat er in de maatschappij speelt. In dit geval laten ze zien dat de sterfte aan hartziekten in de Verenigde Staten afneemt sinds de jaren '60. En dat we over de oorzaken daarvan geen uitspraken kunnen doen zonder kuddes aannames te doen.
Bij gerandomiseerd onderzoek worden kleine groepen mensen uit de maatschappij geselecteerd. En daar ga je al. Selectie betekent uitsluiting van anderen. Bij ecologisch onderzoek zien we geen uitsluiting. Alleen de rauwe, pijnlijke cijfers.
En die onderzoeken zijn a) duur en dus niet financierbaar, b) geven geen causaliteits relaties, c) zijn ondanks hun massa data niet altijd betrouwbaar als met vragenlijsten gewerkt wordt.
In huidig onderzoek:
- is er te weinig budget voor correct en diepgaand onderzoek
- is het doen van onderzoek een carrière stapje voor pas afgestudeerden.
- is vreselijk veel ervaring nodig om echt goede DoE.
- zijn er teveel financiële problemen waaronder cofinanciering vanuit bedrijfsleven.
Is zeer specialistisch, maar er lopen er hier ook paar rond..
Ken zeker iemand die nu naarstig er aan werkt.
Ik heb een paar vragen en ga dan verder aan de zijlijn toekijken.
Reden: Kom uit een sector (offshore, process- en petrochemische industrie) en dan met name betreffend zeer complex materiaalgebruik. Voordeel daar is, dat wat je ook verzint, er strenge duidelijke eisen zijn waar onderzoek langs simpeler lijnen werd gevolgd om tot een ‘approved’ werkbaar en veilig (zeer strenge performance liability) product te komen.
M.a.w., als je een ‘geneesmiddel’ zoekt voor het in stand houden van een ‘ader’ waar ‘bloed’ (chemische vloeistoffen) op een tempratuur van 150dec C op een pressure rating van 300 bar getransporteerd moet worden en een life time van minimaal 30 jaar geëist wordt, dan mag dat het materiaal van papier (!) zijn.
Ontwikkel het maar, maar…je passeert internationaal erkende/vereiste procedures van zeer complexe en dure ‘destructive testing’ in de meeste brede zijn.
Pas dan publiceer je en kunnen ‘single source project specifications’ in je mandje rollen.
Het verschil met boven is duidelijk.
Waar wij testnormen als FM, ASTM, AINSI, US. Military spec’s, etc. etc. helder vastliggen, is de wereld van de topic vele malen diffuser en complexer van gehalte.
Dus per definitie onbetrouwbaarder.
Daarnaast drijft het op een wirwar van referenties en voetnoten, en controle door een ‘peer’ die, geplukt, alleen binnen een inner-circle bekend is.
Destructive testing voor publicatie is evenzeer beperkt en beperkt zich tot nog voor een groot deel levend cellen, apen, muizen en mensen. De laatste categorie werd afgelopen eeuw daar soms op schandalige wijze voor gebruikt, en ik vrees nu verdoken nog.
Eenmaal op de markt zijn ’failures’ geen uitzondering
Onderzoek naar 'rauwe cijfers' zoals je dat noemt, zijn inderdaad noodzakelijk om de schade op z'n minst in beeld te brengen.
Terug naar het bovenstaand topic.
“In 1990 werden er nog maar een paar honderd gepubliceerd, tegen 2015 was dit gestegen tot meer dan 15.000 en sindsdien steeg het verder tot meer dan 23.000 in 2018. Dat biedt ruimte om het kaf beter van het koren te kunnen scheiden.”
Meer ruimte’ lijkt me vreemd.
Transparantie en evaluatie van een paar honderd publicaties biedt MEER ruimte om tot een waarderingsevaluatie te komen dan 23.000.
Vragen:
1.Moet om het kaf van de enorme hoeveelheid 23.000 visies op te waaien en het waardevolle stro over te houden, wordt er dan gebruik gemaakt van algorithm analysis voor een betrouwbare meta-analyse? En zo niet, hoe dan wel?
2. En hoeveel onderzoek en tijd is dan nodig om tot de algoritmische parameters te komen voor dat onderzoek en door wie gecontroleerd?
Resumé
Ik krijg nu een beetje het griezelig idee (is misschien de terechte bedoeling van @[Jop de Vrieze](member:20694)) dat gepubliceerde wetenschapsartikelen de basis vormen voor een letterlijk levensgevaarlijke wirwar introducties van geneesmiddelen en additieven voor voedingsmiddelen. De vrees bestond al, maar dat zelfs de omvang van dat gevaar niet benoemd worden, is schokkend.
Graag antwoord @[Jop de Vrieze](member:20694) !
Heb een dikke huid, dus spaar me niet voor je kritiek,
En ik ga verder langs de zijlijn kijken.
Succes met je queeste!
ps.
Vind de vraagstelling van de inmiddels verschenen poll moeilijk:
Wetenschap moet volkomen onafhankelijk zijn binnen te verifiëren ethisch grenzen.
Wetenschap kent voor mij twee basis disciplines:
- gericht doelonderzoek
- vrij empirisch, experimenteel onderzoek
Ma.w.:
Naast de vrijheid van meningsuiting mag er een vrijheid van onderzoek zijn.
Voor beiden zouden ethische restricties gebaseerd moeten zijn op de actualiteit van de Rechten van de Mens.
Zal voor veganisten hier niet compleet zijn... Soit.
Robert #1 "Helaas voorzie ik een decennium waarin deze gewaarwording eerst moet bezinken". Het hangt vooral af wat er na de wetenschap komt om ons een gevoel van veiligheid* en vastigheid* te geven in een wereld/bestaan waarin we niets onder controle hebben.
*pseudo