Lees ook
Twee weken geleden ontving de redactie van Foodlog een bericht van de persvoorlichter van de Universiteit van Maastricht. Een studie van Prof. Piet van den Brandt van zijn universiteit zou hebben laten zien dat het Mediterrane Dieet het risico op een bepaald type borstkanker met wel 40% kan verminderen. Er was wereldwijd aandacht aan besteed door media (waaronder The Guardian) maar in Nederland niet, zo stelde het bericht. De persvoorlichter zette zijn teleurstelling kracht bij door een Excel-sheet met ruim 300 krantenkoppen.
Als zoveel kranten het nieuws brengen, lijkt het de moeite waard. Dat vonden ook nu.nl en EOS wetenschap na het bericht van de persvoorlichter.
Mag je daar op vertrouwen?

Definities en statistiek tonen niets bijzonders aan
De studie startte in 1986 en volgde ruim 62 duizend vrouwen met een leeftijd van 55-69 jaar. De onderzoekers schatten het voedingspatroon van de vrouwen alleen aan het begin van hun studie. Dat deden ze aan de hand van een vragenlijst. Die vragenlijst was in 1993 gevalideerd aan de hand van voedingsdagboeken van ca. 1% van alle cohortdeelnemers, waarbij de dagboeken niet zo heel sterk overeen kwamen met de vragenlijst (de correlatiecoëfficiënt was voor groente bijvoorbeeld maar 0.38). Het aantal borstkankergevallen dat optrad bleek in de opvolgende 20 jaar.

De onderzoekers berekenden hoe ‘mediterraan’ het voedingspatroon van de vrouwen was door de vragenlijst te scoren op basis van 9 voedingscomponenten. Hoe meer de vrouwen voldeden aan die componenten (bijvoorbeeld méér groenten, of minder rood vlees), hoe meer punten ze kregen. Op die manier definieerden de onderzoekers Van den Brandt en Schulpen de vrouwen met de meeste punten als in hoge mate mediterrane eters en vrouwen met de minste als weinig mediterrane eters. Die indeling noemden ze de Mediterrane-Dieet-score (MD-score).
Het lijkt erop dat de persvoorlichters, met ruim 300 mediaberichten, overtuigender waren dan werkelijke onderzoeksresultaten. Die hangen van zoveel veronderstellingen af dat het veel te weinig wol oplevert om de persen te stoppen voor dit ‘wereldnieuws'.
De onderzoekers selecteerden vervolgens alleen vrouwen bij wie tijdens de looptijd van het onderzoek borstkanker was vastgesteld. Hierdoor zijn de resultaten van het onderzoek niet op 62 duizend, maar slechts ca. 2.300 deelnemers gebaseerd. Deze 2.300 vrouwen werden vervolgens in drie groepen ingedeeld: lage, middel, of hoge MD-score. Vervolgens hebben de onderzoekers statistische modellen gebruikt om te corrigeren voor tal van factoren, zoals bijvoorbeeld roken en toch mediterraan eten.

Het resultaat is dat bij het totaal van alle borstkankertypen de medium MD-score een zogeheten hazard ratio reductie van 18% gaf in vergelijking met de groep vrouwen met de laagste MD-score. Bij de hoogste MD-score groep was die reductie nog minder, slechts 13%. Gezien de beperkte omvang van de geanalyseerde groep, de lage betrouwbaarheid van de eenmalige voedselvragenlijst, en de tamelijk grove methode om mate van ‘mediterraanheid’ te bepalen, is dit weinig spectaculair te noemen.

Toch verdere verfijning
Dat gegeven weerhield de onderzoekers er niet van om hun onderzoek verder te verfijnen door de vrouwen in subgroepen in te delen op basis van specifieke borstkankertypen. Zo’n analyse met subgroepen wordt ook wel ‘multiple testing’ genoemd. Hier is kritiek op, want het wordt soms zodanig toegepast dat er net zolang verschillende subgroepen worden geanalyseerd, totdat er eentje bij zit die een sterk verband laat zien, zoals een bekende strip over de manier waarop wetenschap kan worden bedreven plastisch illustreert.

In de subanalyse werd voor twee borstkankertypen de in het persbericht genoemde 40% reductie gevonden: bij ER- en ER-PR- (oestrogeen/progesteron receptor negatief). Het totaal aantal patiënten waar deze resultaten op gebaseerd zijn, is alleen wel heel erg klein: respectievelijk 248 en 170. Met andere woorden, of die 40% standhouden in een nieuw onderzoek met een andere populatie, of op een populatie van 100 miljoen vrouwen is maar zeer de vraag. Het is slechts een getal en bij zo’n kleine onderzoekspopulatie is de kans op toeval vrij groot.
Daarom vergelijken de onderzoekers het resultaat van hun onderzoek met andere onderzoeken. Ze constateren dat die enigszins overeen zouden kunnen stemmen met de resultaten die zij uit hun eigen onderzoek meenden te kunnen halen. De gevonden correlaties blijven echter statistisch weinig robuust en het resultaat is dan ook niet meer dan dat: een niet erg sterke aanwijzing dat er mogelijk een statistische associatie is tussen een hoge MD-score en het risico op ER- en ER-PR- typen borstkanker.

Weinig wol, wel mooi mediaresultaat
Laten deze resultaten tezamen nu zien “dat een mediterraan dieet het risico op een van de agressiefste vormen van borstkanker met 40% vermindert”, zoals het persbericht triomfantelijk stelt? Ik waag het te betwijfelen, want er zijn grote kanttekeningen bij het onderzoek te plaatsen: zou zo’n eenmalige vragenlijst erg betrouwbaar zijn? Zou de MD-score een goede weergave zijn van ‘het Mediterrane dieet’? Wat betekent het als het consumptieve patroon waar de MD-score op gebaseerd is veel hoger of lager ligt dan in de traditionele Mediterrane keuken? Hoe groot is de kans dat het resultaat bij die hele kleine subgroepen op toeval berust?

Het lijkt erop dat de persvoorlichter, met ruim 300 mediaberichten, overtuigender was dan werkelijke onderzoeksresultaten. Die hangen van zoveel veronderstellingen af dat het veel te weinig wol oplevert om de persen te stoppen voor dit ‘wereldnieuws'.
Dit artikel afdrukken