Wie algemeen geldige uitspraken wil kunnen formuleren over zogenoemde RCT’s, kan beter meerdere kleine, dan een beperkt aantal grote onderzoeken doen.
Dat concludeert Joanna in ’t Hout van het Radboudumc in haar promotieonderzoek. “Vaak hopen onderzoekers met een RCT [gerandomiseerde gecontroleerde onderzoeken, een technisch woord voor dubbelblind onderzoek, MS] hèt antwoord te geven op een vraag. Mijn onderzoek laat zien dat dit niet mogelijk is vanuit één studie, maar dat meerdere kleinere studies veel beter dat antwoord kunnen geven,” aldus In ’t Hout.
Algemene stelling
Iedere dag verschijnen er meer dan honderd publicaties over klinische studies. Hierin krijgt bijvoorbeeld de ene helft van de groep een behandeling en geldt de andere helft als controlegroep. De resultaten van een RCT worden gebaseerd op de gemiddelde reactie van de mensen in de groep. Binnen die studie is er sprake van één populatie in één setting. In ’t Hout: “Uitspraken naar aanleiding van die studie, gelden dan dus alleen voor die setting.” Om een meer algemene stelling in te kunnen nemen moet de heterogeniteit groter zijn. Hiervoor zijn meerdere studies nodig die in verschillende settings hebben plaatsgevonden.
Een meta-analyse combineert de resultaten uit verschillende RCT’s. Dit levert volgens In ’t Hout betrouwbaarder informatie op dan het uitvoeren van een nieuwe studie: “Je dekt hiermee meer nuanceverchillen tussen mensen af.” Voor het kunnen doen van een meta-analyse zijn meerdere studies nodig een daar ontbreekt het vaak juist aan. In ’t Hout raadt onderzoekers dan ook aan liever wat kleinere studies uit te voeren, ook vanuit financieel oogpunt. “In een meta-analyse hebben grote homogene onderzoeken niet zoveel voordelen ten opzichte van kleinere, zeker niet ten aanzien van de extra kosten die het opzetten en uitvoeren van een groot onderzoek met zich meebrengt.”
De bevindingen van In ’t Hout zijn mede van belang in het licht van de methodologische beschouwingen van Dennis Zeilstra op Foodlog. Hij betoogde dat meer reflectie op de methoden van kennisvergaring in de biomedische wetenschappen betere kennis zal opleveren.
Fotocredits: Large fish school, Wikipedia
Dit artikel afdrukken
Algemene stelling
Iedere dag verschijnen er meer dan honderd publicaties over klinische studies. Hierin krijgt bijvoorbeeld de ene helft van de groep een behandeling en geldt de andere helft als controlegroep. De resultaten van een RCT worden gebaseerd op de gemiddelde reactie van de mensen in de groep. Binnen die studie is er sprake van één populatie in één setting. In ’t Hout: “Uitspraken naar aanleiding van die studie, gelden dan dus alleen voor die setting.” Om een meer algemene stelling in te kunnen nemen moet de heterogeniteit groter zijn. Hiervoor zijn meerdere studies nodig die in verschillende settings hebben plaatsgevonden.
Uitspraken naar aanleiding van die studie, gelden dan dus alleen voor die settingMeta-analyse
Een meta-analyse combineert de resultaten uit verschillende RCT’s. Dit levert volgens In ’t Hout betrouwbaarder informatie op dan het uitvoeren van een nieuwe studie: “Je dekt hiermee meer nuanceverchillen tussen mensen af.” Voor het kunnen doen van een meta-analyse zijn meerdere studies nodig een daar ontbreekt het vaak juist aan. In ’t Hout raadt onderzoekers dan ook aan liever wat kleinere studies uit te voeren, ook vanuit financieel oogpunt. “In een meta-analyse hebben grote homogene onderzoeken niet zoveel voordelen ten opzichte van kleinere, zeker niet ten aanzien van de extra kosten die het opzetten en uitvoeren van een groot onderzoek met zich meebrengt.”
De bevindingen van In ’t Hout zijn mede van belang in het licht van de methodologische beschouwingen van Dennis Zeilstra op Foodlog. Hij betoogde dat meer reflectie op de methoden van kennisvergaring in de biomedische wetenschappen betere kennis zal opleveren.
Fotocredits: Large fish school, Wikipedia
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 5 mei krijg je nieuwe kado-artikelen.
Op 5 mei krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
Wat een raar bericht. Het gaat er niet om of studies groot of klein zijn maar om dat ze groot genoeg zijn om de onderzoeksvraag te beantwoorden. Zoals Ioannidis, die hier vaak wordt aangehaald, al duidelijk uitlegde.
"In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships".
Sterker nog: "What is less well appreciated is that bias and the extent of repeated independent testing by different teams of investigators around the globe may further distort this picture and may lead to even smaller probabilities of the research findings being indeed true". En dit is nu precies wat de Nijmeegse promovendus voorstelt.
Bij elke subsidieaanvraag moeten wij dan ook aantonen dat de studie voldoende onderscheidingsvermogen (statisiche power) heeft om een beoogd effect aan te tonen of een nul-hypothese te verwerpen.
Op basis van (te) kleine studies kun je meestal geen uitspraken doen. Bovendien is er juist bij dat soort onderzoek sprake van publicatie-bias. Een publicatie op basis van een (te) kleine studie zonder effect of conclusie wordt meestal geweigerd (of zelfs niet eens opgestuurd) terwijl een kleine studie met een opmerkelijk resultaat het vaak wel haalt. Trials van voldoende omvang worden meestal ook wel gepubliceerd. Die meta-analyses gaan dat dus niet repareren.
Om uit meerdere relatief kleine onderzoeken (maar wel groot genoeg om statistisch relevant te zijn zoals Seidell in #1 terecht opmerkt), goede overkoepelende conclusies te kunnen trekken, moeten die kleinere onderzoeken wel allemaal op dezelfde manier zijn opgezet, met dezelfde definities en variabelen die worden meegenomen. De onderzoeksgroepen moeten ook voldoende overeenkomen om vergelijkbaar te zijn en voldoende verschillend zijn om tot brede uitkomsten te kunnen komen. Heeft de promovenda dat ook allemaal meegenomen? En wat is de plaats van promotieonderzoek in dit geheel?
Toen ik nog jong was, leerde ik iets van marktonderzoek en het te lijf gaan van zgn. Big Data. Dat werd als eerste toegepast op het gebied van marketing. Al in de jaren tachtig van de vorige eeuw.
Ik mocht meekijken bij de manier waarop de toen nog bestaande Postbank (nu onderdeel van ING Bank) - de eerste Grote Dbase van het grootste deel van Nederland - met marktonderzoek omging. Eea onder leiding van de economisch-psycholoog en uitstekende onderzoeksmethodoloog Ton Kuylen (hoogleraar in het vak aan de KUB in Tilburg en commercieel al decennia een van de leidende figuren in de harde databased marketing in ons land; dat lukt alleen als je systematisch resultaat weet te behalen). Van Ton leerde ik bijna alles wat ook toepasbaar is op biomedisch en epidemiologisch onderzoek. Hij leerde me in essentie twee tegenstrijdige regels toe te passen:
1. pas op dat je onderzoeksopzet niet leidt tot het terugvinden van je hypothese in de data ('pas op dat je niet op zoek gaat naar de paaseieren die je er zelf in hebt verstopt, want die ga je geheid vinden', zei Kuylen steevast)
2. zorg ervoor dat je met gezond verstand goede hypothesen ontwikkelt en test aan de hand van kwalitatief vooronderzoek
Ik heb de indruk dat In 't Hout precies dat aspect benadrukt: de formalisering van de semantiek (= wat betekent het voor echte kennis?) van onderzoek moet beter. Onderzoek moet niet gericht zijn op bewijs, maar op inzicht dat leert wat die bewijzen waard zijn omdat de resultaten van onderzoek nogal eens meer zeggen over de methode waarmee dat is opgezet dan over het onderwerp.
Later ging ik zelf werken in het wiskundig-analytische marktonderzoek en leerde ik als volgt kijken: pak ruwe data (zoals bijv. die van de Postbank - het betaalgedrag van mensen geeft banken als het ware inzicht in het heel echte Quantified Self van vele miljoenen mensen) en ga daar met clustertechnieken zodanig mee om dat je statistisch significante homogene groepen vindt. Interpreteer die met je gezonde verstand (die interventie is nodig; hoewel ze snel leren wat wij weten, kunnen ook getrainde Artificial Intelligence applicaties nog steeds niet omdat wij nog altijd meer mogelijke verbanden zien dan zij) en doe vervolgens tests om te zien of de data - of nieuwe onderzoeken - je hypothese ondersteunen.
Dick Veerman ik ben het helemaal met Kuylen eens (zo werken wij hier ook) maar dat is niet in tegenspraak met wat ik schreef. Natuurlijk moeten experimenten wel herhaald worden (liefst in verschillende groepn wat betreft leeftijd, geslacht, etniciteit enzovoorts) net zo goed dat observaties gerepliceerd moeten worden (falsificatie van de hypothese is het uitgangspunt) maar dat is wat anders dan dat onderzoekers vooral underpowered studies doen en dan hopen dat een meta-analyticus er nog wat van kan brouwen zoals de promovendus lijkt te suggereren. Wij doen zelf meta-analyses en niet zelden is dat een exercitie van 'garbage in, garbage out'. Kortdurende studies zonder controlegroep bij 15 mensen is de norm bij veel voedingsonderzoek.
Ik hoop dat Joanna in 't Hout hier zelf wil reageren, Jaap. Het is een spannende discussie die de moeite waard is, want natuurlijk heeft ook onderzoek een kritisch volume aan waarnemingen nodig om zeggingskracht te hebben. Dat gezegd zijnde: veel waardevolle kennis is op basis van n=1 waarnemingen tot wasdom gekomen. Maar - en ook dat is weer waar - toen speelde statistiek nog amper een rol in de wetenschap.