Maar ook positieve berichten kunnen uit dat blad komen. Zo werd in nov. 2010 bericht dat het zien van rood vlees minder agressief maakt. Dit onderzoek onder ruim 80 proefpersonen ging als een lopend vuurtje over de wereld, tot verbijstering van de Canadese onderzoeker die een undergraduate bleek – en wiens gegevens uit zijn bachelors-scriptie kwamen. Maar het was wel een heel degelijk onderzoek, dat qua aanpak grote gelijkenis vertoont met het onderzoek van drie Nederlandse hoogleraren waar dit stukje over gaat.
Word je van vleeseten egoïstischer en asocialer?
Op 25 augustus 2011 verscheen in de RSS-feed van diverse kranten: “Vleeseters zijn egoïstischer en asocialer”. Met het Canadese onderzoek in het achterhoofd, wilde ik wel eens weten hoe dit resultaat bereikt was. Ik kwam, tot mijn niet geringe verbazing, tot de ontdekking dat de Radboud Universiteit dit persbericht had laten uitgaan, maar dat het onderzoek nog niet gepubliceerd was. Sterker: er was zelfs nog geen artikel geschreven, er was alleen maar een samenvatting voor de pers.
Het leek me, net als de “Meat & Meal” verhalen, een vorm van propaganda. In dit geval komt het bericht echter direct van een universiteit (kennelijk met input van de onderzoekers). Waarom zouden ze een persbericht publiceren over een nog niet geschreven en dus niet peer-reviewed artikel? Is dit onderzoek een Nobelprijs waard? Als het gewoon een dertien-in-een dozijn-verhaal is, lijkt het me duidelijk in strijd met de academische ethiek [1].
Ik besloot de auteurs te mailen: Roos Vonk (Nijmegen), Diederik Stapel (Tilburg) en Marcel Zeelenberg (Tilburg), alle drie hoogleraar. Mijn vraag was of ik inzicht kon krijgen in het onderzoek. Ik kreeg de samenvatting voor de pers.
Wat was nu eigenlijk de conclusie van het onderzoek?
Die samenvatting bevat metingen en methodes, maar geen conclusies. Die staan alleen in berichten van de Universiteit. Op de 26e had de Radboud Universiteit de conclusie al veranderd: nee, het gaat niet om het eten maar om het denken aan vlees. Een heel merkwaardige associatie dus. Hoe zit dat? Hoe kan dat?
Wat de conclusies van de drie onderzoekers nu precies zijn, weet ik nog steeds niet. Op een concept van dit artikel wensten zij niet te reageren. Wel blijkt Roos Vonk er in de pers nog steeds weinig moeite te hebben om in háár conclusies weer te spreken over het eten van rood vlees.
Afgelopen dinsdag 30 augustus zei ze in het Leidsch Dagblad:
RV: … maar ik denk dat rundvlees egoïstischer maakt.
LD: Waarom?
RV: Rood vlees geeft meer status. Het is meer een mannending. Een koe is tenslotte moeilijker te vangen dan een varken.
LD: Maar een varken kan toch harder rennen dan een koe?
RV: Oh, is dat zo? Dat wist ik niet. Maar als je wilt weten waarom mannen van rood vlees houden kun je dat misschien beter aan die vleesetende vrachtwagenchauffeurs vragen
Dit is uiteraard niet de logica van een hoogleraar, dit is de logica van een een activiste.
Het onderzoek heeft methodisch problemen
Terug naar het onderzoek. Laten we naar het eerste deelonderzoek kijken. Een groep van 32 personen wordt verdeeld in een test- en een controlegroep. De testgroep krijgt verhalen over de crisis aangeboden. De controlegroep over het ontstaan van waterdruppels. Het gaat om de inprenting: deze zou mensen kunnen beïnvloeden. “Priming” wordt het wel genoemd.
Na de inprenting wordt de keuze gegeven tussen een drietal maaltijden aan de hand van een omschrijving en een foto:
(1) biefstuk met gebakken aardappelschijfjes, bospeen, erwten en champignons
(2) krieltjes in kruidenroomsaus met courgette omelet
(3) vis met een korstje van sesamzaadjes met spruitjes, gebakken krieltjes en tomaatjes
Dan wordt gekeken wat de deelnemers kiezen en hoe ze scoren op onzekerheid en behoefte aan structuur. De eerste groep voelt zich onzekerder, heeft meer behoefte aan structuur en kiest vaker voor vlees. 44% van de testgroep en 15% van de controlegroep kiest voor de biefstuk. Impliciete conclusie: van stress krijg je meer trek in (rood) vlees.
Maar is dat zo? Want welk mechanisme kan hier ten grondslag aan liggen? Waarom neemt men niet aan dat van het denken aan waterdruppels de trek in vlees afneemt? Is dat raar? Maar de aanname dat iemand van stress meer trek in vlees krijgt is toch ook raar?
De fout in de methode is, dat aangenomen wordt dat de controlegroep maatgevend is voor het gemiddelde, en dat hoeft niet. Stel de keuze van de bevolking voor de biefstuk maaltijd is X%, dan zijn dit twee onafhankelijke steekproeven uit de totale populatie met een gemiddelde van resp. 44% en 15%. Dat verschil is ongetwijfeld significant, maar zolang we X niet kennen, geeft de statistiek geen enkele aanwijzing over wat het verschil kan veroorzaken.
Met andere woorden, de conclusie is het gevolg van een impliciete aanname, niet van de metingen. Deze fout zit in de methode van alle vier de beschreven experimenten. Beweren dat er causaliteit is, is de 2e fout. Er is slechts een statistisch verband. Omdat de causaliteit zo “raar” is, moeten eerst andere oorzaken worden uitgesloten. Wie had er honger? Wat was het tijdstip van de testen? Etc.
Dat maakt de methode in een andere test zo merkwaardig: Als de hypothese is dat je van het zien van een plaatje van een goed gegrilde en net aangesneden biefstuk asocialer wordt, waarom zijn die andere plaatjes dan van een starende koe met volle uiers, respectievelijk van een stoere goed in het blad zittende boom? Waarom niet andere etenswaren laten zien als een mooi gegaarde vis of een prima soufflé?
De cijfers zijn slordig
In de eerste test zijn er 32 deelnemers. Je zou dan verwachten dat het om 16 deelnemers in de testgroep en 16 in de controlegroep gaat. Maar dat kan niet, want 44% van 16 levert nog wel een mooi heel getal op, maar 15% van 16 is 2,4. Waren het er 2 geweest, dan was het percentage 13% geweest en waren het er 3 geweest dan was het percentage in de buurt van 18% geweest. Dat kan dus niet. En je kunt alle waarden proberen tussen 0 en 32, maar tegelijk afgerond 44% en 15% krijgen is onmogelijk.
Hetzelfde geldt voor de tweede test. N=34, en de percentages zijn 60% en 20%. Ook dat kan niet. Op de vraag welke statistische toetsen gebruikt zijn, kwam geen antwoord.
Conclusies
Het gaat vooralsnog om niet controleerbare en dubieuze conclusies, waarbij het achterliggend materiaal te summier is. Dat document maakt de indruk haastig in elkaar gezet te zijn (zo zijn de resultaten 2(a) en 2(b) verwisseld); de cijfers zijn slordig, de methode is minder geschikt voor de hypothese, of beter gezegd, de conclusies lijken er met de haren bij gesleept te zijn.
Het lijkt mij in strijd met de Academische ethiek dat dit zo naar buiten is gebracht.
Noot
[1] De “European Code of Conduct for Research Integrity” spreekt over “Honesty in presenting research goals and intentions, in precise and nuanced reporting ...” en over “fair and full and unbiased reporting”. Zie de site van de KNAW.
Op 30 december krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
@#30 Rene Smit: toen ik dat schreef wist ik natuurlijk nog niet welke proporties dit aan de Nederlandse kant zou aannemen. De aanpak in Canada was vergelijkbaar: Eerst een inprentingsfase. De testgroep bestond uit 80 personen. Echter er werd niet gekeken hoe ze scoorden op een vragenlijstje, maar er werd echt agressief gedrag uitgelokt m.b.v. acteurs. De hypothese die er achter zat was ook veel concreter: ijshockeycoaches promoten het eten van rood vlees omdat ze denken dat dat hun spelers agressiever maakt. Het omgekeerde bleek "waar".
Dus nee, er was nog geen sprake van ironie aan mijn kant, meer van naïviteit.
Wat ik nu toe wil voegen, is dat ik in het bovenstaande artikel heel erg onderbelicht heb, dat ik het ook niet met de gebruikte statistiek eens was. Dat stond wel in mijn concept dat naar de hoogleraren is gegaan, maar dat heb ik er later uitgeschrapt. Inmiddels ben ik wel verder gekomen met de analyse, en eerlijk gezegd ben ik nogal geschrokken van mijn eerste harde conclusies. Ik hoop daar nog eens op terug te komen.
"Maar het was wel een heel degelijk onderzoek, dat qua aanpak grote gelijkenis vertoont met het onderzoek van drie Nederlandse hoogleraren waar dit stukje over gaat. "
Is dat 'heel degelijk' ironisch bedoelt? In combinatie met 'qua aanpak grote gelijkenis' is het moeilijk in te schatten. Zo goed was die aanpak niet blijkt nu..
Volgens Roos is het gebruik van het woord hufterigheid de schuld van de pers: http://www.radio1.nl/contents/37119-vleeseters-toch-niet-hufterig ze heeft zich nu voor eeuwig belachelijk gemaakt door (ver)blind deze onwetenschappelijke en zeer gekleurde conclusies te publiceren.
Professor Vonk was zojuist te horen op Radio 1. Met grote stelligheid stelde ze dat:
1. hoogleraren 'echt nooit' naar elkaars onderzoeksdata vragen omdat dat zij duiden op een wantrouwen dat je als hoogleraar nooit naar elkaar hebt
2. hoogleraren AIO's hun data zelf laten verzamelen en die al even echt nooit checken
Dat is natuurlijke evidente kul. Het zijn uitspraken die gedaan worden door iemand die in paniek haar straatje probeert schoon te vegen. Geen enkele collega zal deze uitspraken ondersteunen. Ik kan me niet voorstellen dat het interview van vanmorgen geen consequenties zal hebben voor Vonk. Vermoed moet immers worden dat ze daar zegt wat ze zelf doet, nl. iets dat wetenschappelijk volkomen onacceptabel is.
For the record maakte ik zojuist toch een printscreen van deze pagina op de site van de Raboud universiteit. Het is de pagina waarop het onderzoek nu nog vermeld staat.
Wetenschapsjournalist @arnovanthoog die eveneens een stuk ov erhte wetenschappelijk gebhalte van het onderzoek schreef, twitte vanavond:
"Van kogelbiefstuk tot hondenvoer. IJzig hoe Roos Vonk 'vriend' Diederik Stapel unverfroren laat vallen om eigen reputatie te redden"