Individuele causaliteit
Door het karakter van interventies die aan de complexe kant van het spectrum zitten, kunnen we hier enkel naar individuele causaliteit kijken en niet naar gemiddelde causaliteit. Dat is een belangrijke notie: want de gouden standaard van placebo-gecontroleerd gerandomiseerd onderzoek met groepen is hier onbruikbaar. Er is immers geen sprake van gemiddelde causaliteit, maar er kan wel degelijk sprake zijn van individuele causaliteit. Daarbij is het effect in feite geen eigenschap meer van sec de interventie, maar is het een eigenschap van een combinatie van factoren, waaronder het individu. Het doel van het bepalen van individuele causaliteit is daarmee niet om het behaalde effect toe te schrijven aan de interventie, maar om te achterhalen of de interventie bij het betreffende individu (met alle bijbehorende onbekende meespelende factoren) leidt tot een echt effect.
Hoe zou een placebo voor het observeren van het effect en aanpassen van individuele interventies eruit moeten zien?Een voorbeeld van een discussie waarin gesteld wordt dat er eerst goed gecontroleerd onderzoek nodig is, is het welbekende Keer-Diabetes-Om. Diverse mensen stellen, zoals bijvoorbeeld in een artikel in Arts en Auto dat de resultaten onvoldoende duidelijk maken of de aanpak effectief is, onder meer omdat het in BMJ gepubliceerde onderzoek uitgevoerd is zonder controlegroep. Het punt is echter dat er bij het Keer-Diabetes-Om programma geen sprake is van één interventie. Er is een op de persoon afgestemd programma dat de deelnemers volgen, waarbij er weliswaar in grote lijnen wel eenzelfde programma gevolgd wordt, maar waarbij elke deelnemer individueel geadviseerd en getraind wordt. Voor de één zit de kneep in het leren koken van andere gerechten, voor de ander in het ritme waarin de maaltijden genuttigd worden, en voor een derde in het inpassen van lichaamsbeweging in het dagelijks leven. Het programma speelt dus in op al die individuele factoren en iedereen krijgt in feite dus een andere interventie. Dit is vergelijkbaar met de manier waarop een fysiotherapeut de behandeling van rugpijn afstemt op de situatie bij die individuele patiënt. Globaal ontvangen deze patiënten dezelfde therapie (ze worden bijvoorbeeld niet geopereerd en krijgen bij de fysiotherapeut geen pijnstillers), maar bij de één behandelt hij of zij een vastzittend SI-gewricht, bij de andere een blokkade van een wervel, en bij een derde een overbelaste spiergroep.
Problemen met placebo op programmaniveau
Het is denkbaar om onderzoek te doen naar de effectiviteit van het Keer-diabetes-om programma als geheel, inclusief al zijn persoonlijke facetten. De vraag is in dat geval hoe we het al dan niet uitvoeren van de actie (deelname aan het programma) kunnen vergelijken met het uitblijven van de actie (de controlegroep). Eén probleem is het al eerder genoemde praktische gegeven dat er geen placebo voor een ander voedingspatroon en leefstijl bestaat. Een belangrijker probleem is dat het observeren van het effect en aanpassen van de individuele aanpak onderdeel van het programma zijn. Hoe zou een placebo voor die aspecten eruit moeten zien? Een nepbehandeling die niet naar de effecten kijkt en/of daar niet op bijstuurt? Als dat al praktisch uitvoerbaar is zonder dat de patiënten het merken, is het ethisch lastig te verdedigen. De behandelaar zou immers alle signalen moeten negeren en nepbijstellingen van het programma moeten doorvoeren.
Problemen met placebo op individueel niveau
Er zou ook gepoogd kunnen worden om de individuele causaliteit vast te stellen door personen hun eigen controle te laten zijn op een gerandomiseerde en geblindeerde manier: eerst de placebo en dan de interventie, of andersom. Naast het al genoemde probleem dat er in veel gevallen geen inactieve nepinterventie bestaat, speelt hier nog een ander probleem. Door op zo’n zogenaamde cross-over manier het effect-na-actie en het effect-na-uitblijven-van-actie te vergelijken, hebben de twee testen een volgordelijkheid. Door natuurlijk verloop van de ziekte, of door onomkeerbare effecten van de interventie (die bij therapieën over het algemeen natuurlijk wenselijk zijn), zijn beide startpunten niet altijd identiek. Als een bepaalde interventie ertoe leidt dat iemand niet meer somber is, is het niet gezegd dat het stoppen met die interventie leidt tot het terugkeren van de klachten. Als de placebobehandeling dan volgt op de actieve interventie en die succesvol is, is de uitgangsconditie niet hetzelfde: de somberheid is al weg op het moment dat de placebo wordt gestart3. Bovendien is de vraag of het wel ethisch is om, als de randomisatie zo uitvalt dat de actieve interventie eerst wordt gedaan en die helpt, de deelnemer te vragen om te stoppen met de succesvolle aanpak en als het even kan te wachten tot de klachten terugkeren (wash-out) om vervolgens de tweede interventie (de placebo, maar dat weet de deelnemer niet) te proberen. Als dit al ethisch te verantwoorden is, is het nog maar de vraag of een deelnemer zich onder dergelijke omstandigheden niet terugtrekt uit het onderzoek.
Causaliteit, ervaring, en placebo
Het is dus mogelijk dat er een veelheid aan factoren zijn die ertoe bijdragen dat een interventie bij de één niet werkt en bij de ander wel. In de praktijk zijn veel behandelingen daarom afgestemd op de individuele patiënt. Net zoals het nuttig is om te weten of een behandeling effectief is die voor goed gedefinieerde groepen hetzelfde is, is het ook nuttig om te begrijpen wanneer een individuele behandeling effectief is. Placebo-controle is daarbij echter in veel gevallen praktisch onmogelijk.
Om hier mee om te gaan, en toch onderzoek te kunnen doen naar de effectiviteit van bijvoorbeeld een adaptieve, persoonsgebonden aanpak, kunnen we ook de vraag stellen of er manieren zijn om causaliteit vast te stellen die géén gebruik maken van placebo-controle.
Neem als voorbeeld iemand die al 20 jaar last heeft van flinke migraine aanvallen die haar twee keer per week volledig lam leggen. Stel dat deze vrouw alle denkbare medicijnen al geprobeerd heeft, elke alternatieve aanpak die haar aangereikt werd aangegrepen heeft, van een streng dieet tot acupunctuur, tot een strikt slaappatroon, et cetera. Alles tevergeefs. Als deze vrouw dan toch nog maar een nieuwe optie uitprobeert, en ze constateert na enige tijd dat haar migraineaanvallen van twee keer per week zijn afgenomen tot een keer per maand, mogen we dan spreken van een causaal verband tussen die nieuwe behandeling en het verminderen van de ernst van de ziekte? In ons dagelijks leven is deze casus zo klaar als een klontje, als je alles geprobeerd hebt en niets werkt, dan kunnen we met aan zekerheid grenzende waarschijnlijkheid uitsluiten dat er sprake is van een placebo-effect of van een toevalligheid als een nieuwe interventie dan ineens wel werkt.
Voor diabetici geldt dat zij zelden spontaan hun medicatie kunnen minderen, noch dat hun insulineresistentie spontaan verdwijnt. Neem het voorbeeld van een man die al 12 jaar insuline spuit en die zowel periodes van minder gezond eten, als periodes van netjes de schijf-van-vijf volgen en sporten heeft gehad, maar nooit minder heeft kunnen minderen met insuline en de dosis langzaamaan zelfs heeft moeten verhogen. Als deze man na het volgen van een interventieprogramma kan stoppen met insuline, en zelfs helemaal geen medicatie meer nodig heeft, twijfelt zijn arts (en de patiënt al evenmin) er niet aan dat dit veroorzaakt is door de aanpassingen uit dat interventieprogramma.
Het huidige paradigma leidt ertoe dat klassiek geschoolde onderzoekers de resultaten en methode van onderzoeken zoals Keer-diabetes-om terzijde leggenEr zijn dus ook andere manieren om met hoge graad van zekerheid te kunnen concluderen dat een actie oorzakelijk verband houdt met een effect. Deze houden voornamelijk verband met een verandering van het patroon van effecten ten opzichte van eerdere ervaringen met andere acties die telkens niet het gewenste effect gaven. Ook houden ze verband met kennis over situaties waarvan we weten dat het onwaarschijnlijk is dat ze veranderen ten gevolge van placebo-effecten. In feite wordt in dit geval de eerder gegeven definitie van causaliteit getoetst aan de voorgeschiedenis van de proefpersoon om vast te stellen wat er gebeurde bij het uitblijven van de actie. De crux is een mogelijk placebo-effect wordt uitgesloten op basis van wat we weten van de persoon (bijvoorbeeld alle voorgaande pogingen om ergens vanaf te komen) en/of van het normale ziekteverloop (waarbij spontane genezing en een placebo reactie vrijwel zeker uit te sluiten vallen).
Als we kennis willen opdoen, zijn andere aanpakken essentieel
Als we kennis willen opdoen over situaties die sterk individueel bepaald zijn (hetzij de reactie op een interventie, hetzij een persoonlijke behandeling), zullen we op zoek moeten naar dergelijke andere methodes om met hogere graad van zekerheid een uitspraak te kunnen doen over de causaliteit. Zonder dergelijke methodes houden we immers maar twee categorieën over:
1. Situaties die niet erg persoonsafhankelijk zijn waar we relatief sterke aanwijzingen van causaliteit over kunnen verzamelen.
2. Situaties die sterk persoonsafhankelijk zijn en waarvan we geen idee over de causaliteit hebben.
Het aantal situaties dat onder het tweede punt valt is enorm. Daar ligt dus een gigantisch potentieel om kennis op te doen, maar dat kunnen we alleen ontsluiten als we ons niet blind staren op placebo-gecontroleerd onderzoek als enige middel om iets over causaliteit te kunnen zeggen.
Remmend paradigma
Het huidige paradigma leidt ertoe dat klassiek geschoolde onderzoekers de resultaten en methode van onderzoeken zoals Keer-diabetes-om terzijde leggen. Volgens hen kan alleen met placebo-gecontroleerd onderzoek worden achterhaald of een interventie effectief is. Voor onderzoekers die niet de gemiddelde causaliteit, maar de individuele causaliteit willen toetsen, is er een nog dringender probleem. Dat heeft te maken met de ethische richtlijnen voor medisch onderzoek die na de Tweede Wereldoorlog zijn opgesteld en in de Verklaring van Helsinki zijn geformaliseerd, en in Nederland o.a. in de Wet Medisch-wetenschappelijk Onderzoek (WMO) een juridische basis hebben gekregen.
Ik hoop dat we, door terug te gaan naar de basis en onszelf af te vragen waarom we ook al weer gebruik maken van placebo-gecontroleerd onderzoek en welke veronderstellingen we daarbij impliciet hebben, het erover eens kunnen worden dat we daarbij heel veel kennis missen en ervaringen en resultaten soms ten onrechte afdoen als nietszeggendDe Verklaring van Helsinki stelt dat medisch onderzoek met proefpersonen alleen ethisch acceptabel is, als er gebruik gemaakt wordt van algemeen geaccepteerde onderzoeksmethoden4. De WMO formuleert het genuanceerder, als de eis dat er een juiste methodologie gebruikt wordt5, maar de uitwerking is hetzelfde. Deze eis, die op zich volkomen begrijpelijk is, heeft namelijk als neveneffect dat er in veel gevallen alleen onderzoek zal worden toegelaten dat in lijn is met de heersende paradigma’s. Er bestaat immers geen objectief criterium om te bepalen welke methodologie als juist kan worden beschouwd, en de toets van de eis komt daardoor neer op oordeelsvorming en is daarmee blootgesteld aan de invloed van paradigma’s. Het punt is dat als, zoals ik hierboven betoog, andere manieren van onderzoeken nodig zijn om nieuwe vormen van kennis op te kunnen doen, dat deze methoden vanwege hun nieuwe karakter per definitie buiten de paradigma’s vallen. Paradoxaal genoeg zorgen de ethische richtlijnen die bedoeld zijn om ervoor te zorgen dat proefpersonen alleen belast worden met een onderzoek als daarvan redelijkerwijs verwacht mag worden dat het nieuwe inzichten oplevert, er daardoor voor dat alleen methodes worden geaccepteerd die voor bepaalde situaties onbruikbaar zijn. Juist omdat er sprake is van een paradigma, is het niet eenvoudig om zichtbaar te maken dat een methode die tot gouden standaard is verheven in bepaalde gevallen niet werkt.
Ik hoop dat we, door terug te gaan naar de basis en onszelf af te vragen waarom we ook al weer gebruik maken van placebo-gecontroleerd onderzoek en welke veronderstellingen we daarbij impliciet hebben, het erover eens kunnen worden dat we daarbij heel veel kennis missen en ervaringen en resultaten soms ten onrechte afdoen als nietszeggend. Ik hoop ook dat er door dit soort analyses een opening ontstaat om hierover met elkaar in gesprek te gaan. Zo’n gesprek kan beginnen met gezamenlijke vragen. Wanneer is de gouden standaard niet toepasbaar? Wat is er nodig om vast te stellen aan dat een situatie aan de complexe kant van het continuüm tussen onafhankelijkheid en complexiteit zit? Wat zouden acceptabele onderzoeksmethoden kunnen zijn om op andere manieren een hoge zekerheidsgraad te bereiken over causaliteit? Hoe zijn conclusies die bij individuele gevallen rationeel geacht mogen worden (zoals in het migraine voorbeeld) hierbij breder toepasbaar te maken?
1. Er zijn diverse technieken die gebruikt kunnen worden om de RCT methode in te zetten voor factoren die verder weg zitten van de onafhankelijke kant van het spectrum2. Toch hebben ook deze technieken hun beperkingen en zijn er ook voorbeelden van factoren die dusdanig individueel bepaald zijn, en zodanig afhangen van vele niet-identificeerbare factoren, dat het onmogelijk is om subgroepen te identificeren. Als de onbekende ‘juiste’ combinatie van factoren maar bij een klein aantal mensen voorkomt, of er combinaties zijn waarbij het effect negatief is, zal de gemiddelde effectgrootte in een groep heel klein zijn. In dat geval wordt vaak geconcludeerd dat de onderzochte factor geen invloed heeft op het onderzochte effect, kortom dat er geen causaal verband is. Dit betreft echter enkel de gemiddelde causaliteit. Toch kan bij de individuen waarbij het effect wel optreedt wel degelijk sprake zijn van een echt effect, ofwel van individuele causaliteit. De RCT methode is ongeschikt om deze individuele causaliteit vast te stellen.
2. Een voorbeeld hiervan is het vooraf identificeren van andere factoren (zoals biologische mechanismes) die mede bepalen of de onderzochte interventie effect heeft. Ook kan er gebruik gemaakt worden van een groter aantal deelnemers om voldoende statistische power te verkrijgen en zodoende ook kleinere effecten te detecteren. Nadeel is wel dat de gevonden gemiddelde effectgrootte mogelijk geen goede weergave is van individuele effectgrootte bij degenen waarbij een effect optreedt, omdat dit uitmiddelt tegen degenen waarbij geen effect optreedt. Verder wordt er regelmatig gebruik gemaakt van zogenaamde post-hoc analyses waarin achteraf subgroepen geïdentificeerd worden waarin al dan niet een effect optrad. Dit kan echter alleen gebruikt worden voor hypothesevorming, aangezien achteraf de uitwisselbaarheid van deze subgroepen met de placebogroep (of subgroepen daarbinnen) niet goed bepaald kan worden. Dat betekent dat niet langer voldaan kan worden aan de voorwaarde om gemiddelde causaliteit te bepalen, namelijk dat effect-na-actie vergeleken wordt met effect-na-uitblijven-van-actie middels uitwisselbare groepen.
3. Er bestaan weliswaar statistische methoden om in een groep met meerdere n=1 cross-over trials verschillen tussen behandeling-voor-placebo en placebo-voor-behandeling te ontrafelen, maar cruciaal punt is hierbij dat er niet langer voldaan wordt aan de definitie van causaliteit die gebaseerd is op een vergelijking is tussen effect-na-actie en effect-na-uitblijven-van actie. Dergelijke statistische correcties leveren daarmee en lagere graag van zekerheid van causaliteit op dan een directe vergelijking van de twee counterfactual situaties. De vraag is daarmee of andere methoden om causaliteit te bepalen niet leiden tot een even hoge of hogere graad van zekerheid.
4. In artikel 21 van de Verklaring van Helsinki staat o.a. “Medical research involving human subjects must conform to generally accepted scientific principles”.
5. In artikel 3, lid 1e van de WMO staat de eis dat “het onderzoek voldoet aan de eisen van een juiste methodologie van wetenschappelijk onderzoek”.
Op 5 april krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Peter de Groot #41
dat methodologische raamwerk kennen wij ook: het heet deductie. Het probleem is niet kennis of logica, maar tijd/geld/middelen.
Een methodologisch raamwerk voor het bepalen van individuele casuïstiek bestaat vooral in oosterse wetenschappen. Denk aan Ayurveda en Chinese Geneeskunde. Zou westerse wetenschap kunnen leren van deze zienswijzen om vervolgens tot een geaccepteerde methode te kunnen komen? Het wiel opnieuw uitvinden is een leuke hobby maar niet erg effectief.
Martijn,
Je schrijft over "issues die in de biomedische hoek niet bevredigend zijn opgelost".
Dat is dus het punt, er zijn problemen waarvoor geen goed denkkader beschreven is, en waarvoor de methodologie onvoldoende ontwikkeld is. Dick beschrijft in #37 mijn doel goed: een poging om vanuit de basis een bruikbaar raamwerk op te bouwen. Alle commentaren in deze draad die stellen dat dit gesneden koek is ten spijt, zo'n raamwerk kan ik in de literatuur niet vinden en referenties heb ik nog niet gezien.
Ernstiger is dat de kaders die wel breed bekend zijn, verkeerd begrepen en ingezet worden, en door veel mensen gezien worden als het enige bruikbare raamwerk waar alles passend voor moet worden gemaakt. Resultaat is dat al die ervaringen van individuen afgedaan worden als 'het is maar n=1' (die passen immers niet in het raamwerk van gemiddelde causaliteit), en dat bij veel mensen de bereidheid ontbreekt om van dergelijke individuele causaliteit te leren.
Door helemaal terug naar de basis te gaan, en de vraag te stellen wat de onderliggende epistemologie van de geaccepteerde methodes is, hoop ik het te kunnen hebben over de achtergronden van die epistemologie en van dááruit te komen tot methodes waarmee we wél kunnen omgaan met en leren van individualiteit.
Dennis Zeilstra #33
'Dick, neem dit voorbeeld hoe een diëtist na puzzelen het voor elkaar kreeg om een patiënt met (toevallig in dit geval ook) migraine daar vanaf te helpen door aangepaste voeding. Wat kunnen we leren als we dergelijke casuïstiek wél systematisch gaan onderzoeken?'
Veel, onder bepaalde voorwaarden.
De eerste is systematisch beschrijving van casuïstiek; maar belangrijker is de link van casuïstiek aan fysiologie - dat is eigenlijk de overeenkomst met je eerdere vergelijking met vliegtuigcrashes. De casuïstiek en de lessen er uit, kunnen alleen maar begrepen en gegeneraliseerd worden vanuit een breder kader. Zowel het systeem 'vliegtuig' als het systeem 'mens' zijn geen magische entiteiten, maar machines die weliswaar complex zijn, niet onbegrijpelijk.
De praktische beperking is veel prangender. Systematische diagnostiek en stapsgewijs behandelen kost tijd en geld.
Dick Veerman #37 Mijn methodologische kennis is niet systematisch opgebouwd; een groot deel is bijvangst van oeroude Usenet/internet discussies over bv homeopathie.
RCTs zijn bv ook niet Het Bewijs dat 'homeopathie onzin is' (hoewel die claim vaak wordt gemaakt). RCTs zijn sowieso niet bijzonder geschikt om te bewijzen dat iets niet werkt: absence of evidence is geen evidence of absence. De claim dat homeopathie onzin is, is gebaseerd op de combinatie van incompatibiliteit met de atoomtheorie (stofjesdenken!) en de afwezigheid van redenen (en daar zit wel een rol voor RCts) om het atoom-paradigma bij het oud vuil te zetten.