Een klassiek voorbeeld is een bericht uit de Telegraaf: “Tofu tast geheugen aan” (15 juli 2008): “Tofu en andere zogenoemde superfoods geven een verhoogd risico op geheugenverlies en kan [sic] zelfs leiden tot dementie”. Het spoor terug volgend, blijkt dit bericht via het vakblad “Meat & Meal” de media in te zijn gegaan. Een mooier voorbeeld van het in diskrediet brengen van vleesvervangers ken ik nog niet. Het blijkt te gaan om een onderzoek onder oudere dames in Indonesië, en helaas is tofu in dat land soms ernstig vervuild met chemische middelen die het geheugen kunnen aantasten.

Maar ook positieve berichten kunnen uit dat blad komen. Zo werd in nov. 2010 bericht dat het zien van rood vlees minder agressief maakt. Dit onderzoek onder ruim 80 proefpersonen ging als een lopend vuurtje over de wereld, tot verbijstering van de Canadese onderzoeker die een undergraduate bleek – en wiens gegevens uit zijn bachelors-scriptie kwamen. Maar het was wel een heel degelijk onderzoek, dat qua aanpak grote gelijkenis vertoont met het onderzoek van drie Nederlandse hoogleraren waar dit stukje over gaat.

Word je van vleeseten egoïstischer en asocialer?
Op 25 augustus 2011 verscheen in de RSS-feed van diverse kranten: “Vleeseters zijn egoïstischer en asocialer”. Met het Canadese onderzoek in het achterhoofd, wilde ik wel eens weten hoe dit resultaat bereikt was. Ik kwam, tot mijn niet geringe verbazing, tot de ontdekking dat de Radboud Universiteit dit persbericht had laten uitgaan, maar dat het onderzoek nog niet gepubliceerd was. Sterker: er was zelfs nog geen artikel geschreven, er was alleen maar een samenvatting voor de pers.

Het leek me, net als de “Meat & Meal” verhalen, een vorm van propaganda. In dit geval komt het bericht echter direct van een universiteit (kennelijk met input van de onderzoekers). Waarom zouden ze een persbericht publiceren over een nog niet geschreven en dus niet peer-reviewed artikel? Is dit onderzoek een Nobelprijs waard? Als het gewoon een dertien-in-een dozijn-verhaal is, lijkt het me duidelijk in strijd met de academische ethiek [1].

Ik besloot de auteurs te mailen: Roos Vonk (Nijmegen), Diederik Stapel (Tilburg) en Marcel Zeelenberg (Tilburg), alle drie hoogleraar. Mijn vraag was of ik inzicht kon krijgen in het onderzoek. Ik kreeg de samenvatting voor de pers.

Wat was nu eigenlijk de conclusie van het onderzoek?
Die samenvatting bevat metingen en methodes, maar geen conclusies. Die staan alleen in berichten van de Universiteit. Op de 26e had de Radboud Universiteit de conclusie al veranderd: nee, het gaat niet om het eten maar om het denken aan vlees. Een heel merkwaardige associatie dus. Hoe zit dat? Hoe kan dat?

Wat de conclusies van de drie onderzoekers nu precies zijn, weet ik nog steeds niet. Op een concept van dit artikel wensten zij niet te reageren. Wel blijkt Roos Vonk er in de pers nog steeds weinig moeite te hebben om in háár conclusies weer te spreken over het eten van rood vlees.

Afgelopen dinsdag 30 augustus zei ze in het Leidsch Dagblad:

RV: … maar ik denk dat rundvlees egoïstischer maakt.
LD: Waarom?
RV: Rood vlees geeft meer status. Het is meer een mannending. Een koe is tenslotte moeilijker te vangen dan een varken.
LD: Maar een varken kan toch harder rennen dan een koe?
RV: Oh, is dat zo? Dat wist ik niet. Maar als je wilt weten waarom mannen van rood vlees houden kun je dat misschien beter aan die vleesetende vrachtwagenchauffeurs vragen


Dit is uiteraard niet de logica van een hoogleraar, dit is de logica van een een activiste.

Het onderzoek heeft methodisch problemen
Terug naar het onderzoek. Laten we naar het eerste deelonderzoek kijken. Een groep van 32 personen wordt verdeeld in een test- en een controlegroep. De testgroep krijgt verhalen over de crisis aangeboden. De controlegroep over het ontstaan van waterdruppels. Het gaat om de inprenting: deze zou mensen kunnen beïnvloeden. “Priming” wordt het wel genoemd.

Na de inprenting wordt de keuze gegeven tussen een drietal maaltijden aan de hand van een omschrijving en een foto:

(1) biefstuk met gebakken aardappelschijfjes, bospeen, erwten en champignons
(2) krieltjes in kruidenroomsaus met courgette omelet
(3) vis met een korstje van sesamzaadjes met spruitjes, gebakken krieltjes en tomaatjes

Dan wordt gekeken wat de deelnemers kiezen en hoe ze scoren op onzekerheid en behoefte aan structuur. De eerste groep voelt zich onzekerder, heeft meer behoefte aan structuur en kiest vaker voor vlees. 44% van de testgroep en 15% van de controlegroep kiest voor de biefstuk. Impliciete conclusie: van stress krijg je meer trek in (rood) vlees.

Maar is dat zo? Want welk mechanisme kan hier ten grondslag aan liggen? Waarom neemt men niet aan dat van het denken aan waterdruppels de trek in vlees afneemt? Is dat raar? Maar de aanname dat iemand van stress meer trek in vlees krijgt is toch ook raar?

De fout in de methode is, dat aangenomen wordt dat de controlegroep maatgevend is voor het gemiddelde, en dat hoeft niet. Stel de keuze van de bevolking voor de biefstuk maaltijd is X%, dan zijn dit twee onafhankelijke steekproeven uit de totale populatie met een gemiddelde van resp. 44% en 15%. Dat verschil is ongetwijfeld significant, maar zolang we X niet kennen, geeft de statistiek geen enkele aanwijzing over wat het verschil kan veroorzaken.

Met andere woorden, de conclusie is het gevolg van een impliciete aanname, niet van de metingen. Deze fout zit in de methode van alle vier de beschreven experimenten. Beweren dat er causaliteit is, is de 2e fout. Er is slechts een statistisch verband. Omdat de causaliteit zo “raar” is, moeten eerst andere oorzaken worden uitgesloten. Wie had er honger? Wat was het tijdstip van de testen? Etc.

Dat maakt de methode in een andere test zo merkwaardig: Als de hypothese is dat je van het zien van een plaatje van een goed gegrilde en net aangesneden biefstuk asocialer wordt, waarom zijn die andere plaatjes dan van een starende koe met volle uiers, respectievelijk van een stoere goed in het blad zittende boom? Waarom niet andere etenswaren laten zien als een mooi gegaarde vis of een prima soufflé?

De cijfers zijn slordig
In de eerste test zijn er 32 deelnemers. Je zou dan verwachten dat het om 16 deelnemers in de testgroep en 16 in de controlegroep gaat. Maar dat kan niet, want 44% van 16 levert nog wel een mooi heel getal op, maar 15% van 16 is 2,4. Waren het er 2 geweest, dan was het percentage 13% geweest en waren het er 3 geweest dan was het percentage in de buurt van 18% geweest. Dat kan dus niet. En je kunt alle waarden proberen tussen 0 en 32, maar tegelijk afgerond 44% en 15% krijgen is onmogelijk.

Hetzelfde geldt voor de tweede test. N=34, en de percentages zijn 60% en 20%. Ook dat kan niet. Op de vraag welke statistische toetsen gebruikt zijn, kwam geen antwoord.

Conclusies
Het gaat vooralsnog om niet controleerbare en dubieuze conclusies, waarbij het achterliggend materiaal te summier is. Dat document maakt de indruk haastig in elkaar gezet te zijn (zo zijn de resultaten 2(a) en 2(b) verwisseld); de cijfers zijn slordig, de methode is minder geschikt voor de hypothese, of beter gezegd, de conclusies lijken er met de haren bij gesleept te zijn.
Het lijkt mij in strijd met de Academische ethiek dat dit zo naar buiten is gebracht.

Noot
[1] De “European Code of Conduct for Research Integrity” spreekt over “Honesty in presenting research goals and intentions, in precise and nuanced reporting ...” en over “fair and full and unbiased reporting”. Zie de site van de KNAW.
Dit artikel afdrukken