Goochelen met getallen is een aardig boekje van wetenschapsjournalist Hans van Maanen over ge- en misbruik van cijfers en statistieken in de media en de wetenschap. Het is ook een zeer toepasselijke titel voor een analyse van de statistieken op de site weetwatjeeet.nl (WWJE), en de uitspraken die daarover deze week in de pers zijn gedaan door Milieudefensie, en op TV in een uitzending van Radar.

De cijfers
De nieuwe Voedsel en Waren Autoriteit (nVWA) controleert groente en fruit op de aanwezigheid van bestrijdingsmiddelen, met name of ze onder het maximale toegestane niveau (MRL) blijven. Zij doen dat deels door steekproeven in supermarkten en enkele distributie centra, en hoewel dat niet expliciet staat vermeld op de site van de VWA, neem ik aan dat deze steekproeven a-select zijn.Zij controleren echter voor een ander deel zeer gericht op de import uit bepaalde landen, en die testen vinden plaats bij de vervoerder, zoals KLM Cargo. Deze steekproeven zijn dus helemaal niet a-select: speciale aandacht gaat uit naar de landen als Thailand, India, Egypte (deels), Dominicaanse Republiek en Suriname.

De volgend grafiek laat zien hoe veel problemen er met Thaise invoer zijn (geweest), en waarom die extra controles dus gerechtvaardigd zijn.

image


In de paar afgelopen jaren is de controle-inspanning verschoven van de supermarkt naar de import. Dat dat verstandig is, illustreren de cijfers over 2009. 25% van de monsters in het importkanaal worden afgekeurd, en maar 1,7% van de monsters in de supermarkten.Let wel: de partijen in het importkanaal hebben vaak zulke hoge overschrijdingen van de MRL, dat ze in geheel worden afgekeurd en nooit de handel zullen bereiken.
Ter illustratie de scores van Albert Heijn:

image


Opmerkelijk is dat in 2009 35% van de testen worden uitgevoerd op Nederlandse waar, en dat daar maar 12 keer (6%) MRL-overschrijdingen worden geconstateerd. 94% van de overschrijdingen zijn dus toe te wijzen aan buitenlandse telers.

In totaal gaat het om ongeveer 3000 metingen, verspreid over meer dan 20 landen van oorsprong, 100 bedrijven en 100 categorieën groente en fruit. Het moge duidelijk zijn dat dit onvoldoende gegevens zijn om statistisch significante uitspraken te kunnen doen over minder vaak geteste producten. Zo zijn blauwe bessen in 2009 maar één keer getest.

Stelling 1: de database bevat geen a-selecte steekproef. Om algemeen geldende uitspraken te kunnen doen, moet het import-deel niet worden meegerekend.

Stelling 2: de database is veel te klein om significante uitspraken over detailsituaties te kunnen doen.

De WWJE-vervuilingsindex
WWJE hanteert een maat van vervuiling door bestrijdingsmiddelen van een test of groep testen, de vervuilingsindex genaamd. Ik zou verwachten dat bij gelijke risico's de index ook dezelfde zou zijn, maar dat is niet zo:

(1) de index is niet afhankelijk van het residu-niveau, alleen van het aantal verschillende aangetroffen resten. Het residu-niveau is wel bekend want staat in de database;

(2) het percentage bestrijdingsmiddel-vrij in een partij levert een forse “bonus” in de index. Daardoor wordt de vervuilingsindex van een partij met één residu twee maal zo vervuild genoemd als een partij met voor de helft 2 residuen en voor de helft residu-vrij;

(3) de vervuilingsindex bevat een factor voor stapeling: dus vier verschillende residuen van 10%MRL elk wordt vier keer zo erg gevonden als één keer een residu van 40% MRL. Dat eerste punt is eigenlijk niet aanvaardbaar omdat het zo onnauwkeurig is, maar zou zich in de grote getallen nog wel een beetje kunnen uitmiddelen. Echter, zoals eerder opgemerkt is de database nu juist relatief vrij klein. Derhalve leidt deze keuze in de index tot erg onnauwkeurige uitspraken.

Stelling 3: de vervuilingsindex is onbetrouwbaarder dan nodig was geweest.

Het tweede punt is echter een (on- of opzettelijke?) ontwerpfout, die heel erg in het voordeel werkt van de doelstellingen van de makers van WWJE: zij willen groente en fruit zonder bestrijdingsmiddelen. Het derde punt werkt mee in dezelfde richting.

Stelling 4: De vervuilingsindex is verkeerd ontworpen, en meet niet wat hij zegt te meten. Het is daarmee eerder een propaganda-instrument in een pseudo-wetenschappelijk jasje dan een serieus te nemen statistische maat voor risico.

Voorbeelden van onjuiste beweringen van WWJE en Radar

We lopen nu een aantal beweringen langs die onlangs gedaan zijn in de media en kijken wat er van klopt.

(a) Onjuist en misleidend: “De wettelijke norm wordt steeds vaker overtreden”.

Dit was een zin uit de inleiding in Radar. Het is direct ontleend aan de inleiding van het rapport de Weet Wat Je Eet Gifmeter 2010, al staat daar iets subtieler: "het aantal [geconstateerde] wetsovertredingen is toegenomen van 5% naar 7%." Ook dat is een wat misleidende formulering, omdat niet wordt vermeld dat 2008 een uitzonderlijk jaar was. Zie de volgende grafiek.

image


Geen rechtgeaard statisticus zou dit een stijgende trend noemen, eerst moet verklaard kunnen worden waarom 2008 buiten het geijkte patroon valt.

Maar de bewering waarmee Radar het item opende was pertinent onjuist, omdat de VWA steeds vaker controleert op plaatsen waar overtredingen worden vermoed. Dit optreden is kennelijk succesvol als op die plaatsen meer overtredingen worden geconstateerd dan in het vorige jaar. De gegevens in de database weerspiegelen dit feit, representeren daarom geen a-selecte steekproef en mogen niet worden gebruikt voor een dergelijke conclusie.

De supermarkten blijven over de jaren overigens vrijwel constant, op het niveau van 1,7% overtredingen, zoals ook in het rapport Wat Je Eet Gifmeter 2010 staat. Dat had ook maar beter vermeld kunnen worden, en het is nogal misleidend om dat niet te zeggen in Radar.

(b) Grotendeels onjuist en zeer misleidend: “Over hetalgemeen zijn producten, zoals komkommers, tomaten en paprika’s, een stuk schoner dan dezelfde producten uit het buitenland. Nederlandse aardbeien, appel, peer en sla zijn daarentegen regelmatig juist méér vervuild.”

Dit staat in de Inleiding van hetzelfde rapport, pagina 4. Bijna dezelfde uitspraak kon worden opgetekend uit de mond van Klaas Breunissen, fractielid GroenLinks in NH en bestuurslid Milieudefensie: ”aardbeien en peren [uit Nederland] zijn relatief zwaar vervuild”, in de Radar-uitzending op 6:12 vanaf het begin. Tenslotte heeft deze zin uit het rapport ook nog geleid tot een 2e-kamervraag van GL-kamerlid Bruno Braakhuis.

Wat betekent “regelmatig juist meer vervuild” eigenlijk? Dat is een opvallend vage formulering voor een rapport dat zich met statistieken bezig houdt. Waarom staat er niet gewoon: het is zoveel % in NL en zoveel in de rest van de wereld? Wel, omdat je dan meteen ziet dat het niet echt klopt.

image


Zowel bij sla als bij appels is de bewering volledig onjuist, want zelfs op basis van de merkwaardige vervuilingsindex doet Nederland het beter dan het gemiddelde van alle landen:

Kropsla (NL: N=31, i=65,3; alle landen: N=37, i=66,3)
Ijsbergsla (NL: N=23, i=1,3; alle landen: N=74, i=18,3).
Andere soorten sla: N te klein.

Dan appelen. NL: (N=57, geen overschrijdingen MRL, i=70,2). Alle landen (N=127, 3 overschrijdingen MRL, i=72,9). Ook hier dus is de bewering volledig onwaar volgens de eigen cijfers. Daarnaast is er iets bijzonders te zien, nl. dat overschrijdingen van de MRL nauwelijks meetellen in de index. Overschrijdingen worden heel snel gecompenseerd door een iets groter percentage gifvrij in de test.

Dat effect zien zien wij zeker ook bij aardbeien: NL: (N=43, geen overschrijdingen MRL, i=89,8). Alle landen (N=83, 3 overschrijdingen MRL, i=87,2).

Deze situatie zou ik niet "regelmatig meer vervuild" noemen, de enige afwijking vormt de index, en dat is weer een direct gevolg van de gekozen berekeningswijze voor de vervuilingsindex. Zo heeft Egypte hier met 25% gifvrije testen maar ook met twee overtredingen een score van 72,3, dus dat vindt men kennelijk veel beter dan NL zonder overschrijdingen (maar met meer “stapelen” van geringe resten bestrijdingsmiddel). Dat is natuurlijk geheel niet in overeenstemming met de (bedoeling achter de) wettelijke kaders.

De enige echte negatieve uitschieter is de peer, maar dat betrof dan wel één incident in een verder mooie serie testen.

WWJE publiceert hier een gemanipuleerde conclusie die nota bene ook nog grotendeels in strijd is met het eigen cijfermateriaal.

De opmerking van Breunissen behoeft ook nog enig commentaar. Toen ik de uitzending zag, interpreteerde ik het als “relatief ten opzicht van andere Nederlands fruit”.Maar van al het Nederlandse fruit zijn er alleen voldoende omvangrijke testen van appels, peren en aardbeien om een significante uitspraak te kunnen doen. Dus als de uitspraak zo bedoeld was, slaat hij nergens op.

(c) Misleidend: WWJE pleit voor direct optreden bij overschrijding van de MRL – dus vanaf 101%, en niet zoals nu bij 200%.

* Onbekend is wat de onzekerheid in de metingen is.
* Niet vermeld wordt dat 80% van alle afkeuringen in het importkanaal gebeuren en dat daar heel vaak partijen wel worden afgekeurd (omdat de overschrijdingen soms duizenden procenten bedragen). Er wordt dus onterecht de indruk gewekt dat door de mazen nauwer te maken er nog veel meer in het net zal blijven hangen.
* De eigen vervuilingsindex telt overschrijdingen ook vrij licht mee, zoals we eerder hebben gezien, dus waarom moet de nVWA zo streng zijn?

Tenslotte: de Nederlandse kwekers hadden een pluim moeten krijgen

Wanneer we testen zouden nemen die in de supermarkten worden uitgevoerd, is de “ruis” van het importkanaal weg. Dat is niet gebeurd. Ik heb getracht het te reconstrueren.

Helaas lukt mij dat niet helemaal, maar wel bij benadering door uit het gepubliceerde top 18 overzicht de importlanden Thailand, India, Egypte, Dominicaanse Republiek en Suriname te schrappen. Er blijft dan een redelijk representatieve steekproef over van 13 landen (N=2231, waarvan voor NL 1022). Nederlandse kwekers scoren dan op alle WWJE-indicatoren beter dan het gemiddelde:
- “gifvrij”: 48% versus 38%;
- overtredingen: 1,2% versus 1,9%
- gemiddeld aantal residuen: 1,1 versus 1,5.
- gezondheidsrisico's: 0,10% versus 0,18%

Nederlandse telers doen het dus juist prima. Ik normeer de cijfers even in een grafiek. Dat is handig voor de behandeling van de Kamervragen van GroenLinks

image
Dit artikel afdrukken