12 min
Nauwkeurigheid speelt een cruciale rol in verschillende aspecten van ons leven. Denk bijvoorbeeld aan medische diagnoses, wetgeving en wetenschappelijk onderzoek. Aan de hand van het voorbeeld van lichaamstemperatuur, de thermometer en ziek zijn, illustreert Wouter de Heij hoe de basisconcepten van nauwkeurigheid gebruikt kunnen worden. Hij neemt lichaamstemperatuur als voorbeeld voor de berekening van stikstofschade aan de natuur zoals die in Nederland worden gehanteerd. Hij concludeert dat de precisie waarmee de berekeningen worden gemaakt uiteindelijk noch de natuur noch Nederland vooruithelpt. Integendeel zelfs.
Stel dat artsen besluiten iemand ziek te noemen als zijn lichaamstemperatuur boven de 37,0°C komt. Hoewel die grenswaarde theoretisch heel duidelijk en nauwkeurig lijkt, treedt meteen een vraagstuk op. Dat blijkt al snel als we naar de meetapparatuur kijken. Een thermometer met een schaalverdeling van 0,2°C kan slechts met stappen van 0,2°C graden meten. De dokter kan geen temperatuurschommelingen vastleggen met meer cijfers achter de komma.
Het voorbeeld laat zien hoe precisie in de praktijk van de medische wereld functioneert. Artsen snappen dat de lichaamstemperatuur van individuen binnen een bepaald bereik variëert. Daarom hanteren ze geen harde grens maar een range. In zijn dagelijkse praktijk heeft de dokter meer aan diagnostische criteria dan aan schijnbaar 'keiharde' precisie om zijn patiënt beter te maken. Omdat de lichaamstemperatuur van volwassenen zich beweegt tussen 35,5°C en 37,2°C is het stellen van een grens op 37,0°C niet zinvol in de medische praktijk maar ook niet wetenschappelijk omdat je de toestand van mensen er verkeerd mee interpreteert.
We gaan nog een stapje dieper. Stel dat iemand een koortsthermometer heeft met een display met vijf cijfers achter de komma en de dokter leest er 37,23542°C op af. Als deze persoon 0,03542°C boven de typische bovengrens van 37,2°C zit, zou je kunnen denken dat hij ziek is. De nauwkeurigheid van een meetinstrument is echter niet alleen afhankelijk van het aantal decimalen dat het kan weergeven, maar ook van de feitelijke precisie van de uitgevoerde meting. Als de thermometer een maximale nauwkeurigheid heeft van één cijfer achter de komma, betekent dit dat alleen het cijfer voor de komma als significant wordt beschouwd. In dit geval is de gemeten temperatuur van 37,23542°C feitelijk slechts nauwkeurig tot 37,2°C, omdat de decimalen niet significant zijn. Noch voor de meting zelf (die geen 'feit' maar wel een getal oplevert), noch voor de diagnose.
De twee voorbeelden laten zien dat het belangrijk is om duidelijk te zijn over wat nauwkeurigheid betekent. In de wetenschap, geneeskunde en zelfs de juridische wereld moeten we ons bewust zijn van de beperkingen en nauwkeurigheid (die in vaktermen ruis wordt genoemd) van meetinstrumenten, regelgeving en normen om weloverwogen beslissingen te nemen en de juiste conclusies te trekken. Nauwkeurigheid is niet alleen een kwestie van cijfers, maar ook van begrip van de context waarin die worden gemeten en gebruikt worden.
Aerius, de thermometer van de ecoloog
Ook in het stikstofdossier speelt een vergelijkbare behoefte aan nauwkeurigheid. We gaan op zoek naar de begrippen in het stikstofdossier die soortgelijke functies vervullen als koorts ter indicatie van ziekte. Kernvraag: welke thermometer gebruiken we in het stikstofdossier om de gezondheid van de natuur vast te stellen?
De norm voor ziekte in het geval van koorts is bijvoorbeeld een lichaamstemperatuur van 37,2°C of hoger. Hoe hoger je boven deze lichaamstemperatuur zit, hoe groter de kans dat je daadwerkelijk ziek bent. Maar artsen weten dat dit slechts een kans is en dat ze ook andere aspecten in ogenschouw moeten nemen. Denk aan uiteenlopende zaken als lichamelijk inspanning, de omgevingstemperatuur of een hoog stress niveau. Ook zulke factoren kunnen je temperatuur beïnvloeden.
Bij het monitoren van de grens waar de natuur door stikstofemissies in gevaar komt, gebruikt Nederland de Kritische Depositie Waarde (KDW). Deze waarde is vergelijkbaar met de 37,2°C grenswaarde op de thermometer die de dokter gebruikt. De KDW geeft aan dat er een kans is dat de natuur verslechtert. Als de KDW wordt overschreden, neemt de kans toe dat de kwaliteit van de natuur achteruitgaat. Blijven we echter onder de KDW, dan zijn de risico's voor stikstofdepositie niet aanwezig of verwaarloosbaar.
De KDW is vastgesteld door ecologen. Dat deden ze vooral op basis van praktijkonderzoek waarin mest (stikstof) op de grond wordt aangebracht. Dat gebeurt in min of meer precieze stapjes. Het kan gedaan worden met 5, 10, 20 of zelfs 50 kg stikstof per hectare. De praktijk is echter dat er geen onderzoek per hectare wordt uitgevoerd, maar eerder op een veel kleiner oppervlak, zoals een vierkante meter. Het gebeurt zelfs vooral in bloempotten omdat die preciesere metingen mogelijk maken. En dat laatste geeft aan dat het onderzoek buiten de natuur in een laboratoriumopstelling wordt gedaan.
Bij koorts gebruikt de dokter een koortsthermometer als meetinstrument in een real life situatie. Er vindt een echte meting plaats. In de ecologie hebben we echter geen "meter" die de totale depositie even gemakkelijk kan bepalen. Zelfs academische onderzoekers kunnen de depositie vrijwel niet nauwkeurig meten in de praktijk, laat staan tot waarden achter de komma. Daarom heeft de overheid, die verantwoordelijk is voor de bewaking van de staat van de natuur in Nederland, ervoor gekozen om het computermodel Aerius te gebruiken. Dat is gekalibreerd aan de hand van enkele feitelijke metingen van stikstofconcentratie in de lucht; Aerius zelf is een model waarmee berekeningen worden uitgevoerd. Het meet niet, maar berekent aan de hand van veronderstellingen wat de totale stikstofdepositie in een gebied is per hectare per jaar. Wat de thermometer is in handen van de dokter, is Aerius in handen van ecologen.
Ook al kan de dokter heel precies je temperatuur meten, we zagen dat de dokter meer heeft aan diagnostische criteria dan een harde en precieze grenswaarde om de gezondheidstoestand van zijn patiënt in te schatten. Hoe het zit met de nauwkeurigheid van de KDW en die van Aerius als ecologische thermometer in de vorm van rekenmodel?
Eerst iets over het begrip 'juistheid'. Juistheid is in de statistiek de mate van overeenstemming tussen de (gemiddelde) waarde van een reeks waarnemingen en de werkelijke waarde. De juistheid van een waarde die je hanteert als uitgangspunt voor een diagnose wordt bepaald door de zogeheten systematische fout. Hoe meer de waarden systematisch afwijken van de werkelijke waarde, hoe minder juist de waarnemingen zijn. De omvang van systematische fouten is afhankelijk van het aantal onbekende factoren - en hun onderlinge invloed op elkaar - die als ruis om de onderzochte factor een rol spelen. Wie de systematische fout niet in kaart brengt, krijgt modellen die met de werkelijkheid op de loop gaan.
Nog een begrip uit de statistiek: precisie. Dat duidt iets heel anders aan. Precisie is de mate waarin de metingen of berekeningen onderling verschillen, of hoe consistente metingen en de daarop toegepaste algoritmen steeds dezelfde resultaten opleveren. Precisie wordt bepaald door de toevallige fout. Hoe kleiner de toevallige afwijkingen, hoe groter de precisie.
De impact van de twee concepten op je begrip van de werkelijkheid kun je begrijpen aan de hand van het voorbeeld van het schieten op een roos.
bron: Wikipedia
In het linkerplaatje zie je dat de precisie hoog is omdat de punten dicht bij elkaar liggen. Tegelijk zie je dat de juistheid laag is omdat ze ver van de roos af zitten. Dat duidt op een systematische fout. In het rechterplaatje zie je dat de juistheid beter is, maar de precisie lager. In dat geval zit er minder afwijking in het instrument dat we gebruiken om de werkelijkheid vast te leggen in een waarde.
Voor de KDW kunnen we verwachten dat deze met een nauwkeurigheid van +/- 35 tot 70 mol per hectare per jaar kan worden bepaald. Dit komt overeen met de feitelijke meetnauwkeurigheid van de mestbemonstering. Zie voor de onderbouwing van deze getallen het kader De Kritische Depositiewaarde hieronder.
Wat betreft thermometer Aerius, het computermodel waarmee de overheid de gezondheid van de natuur monitort, kunnen we er van uitgaan dat de totale depositie die het model berekent, een vergelijkbare mate van nauwkeurigheid heeft als de metingen waarop het model is gebaseerd. Dit betekent dat Aerius, ondanks zijn schijnbare vermogen om met vele decimalen te rekenen, waarschijnlijk een nauwkeurigheid heeft van +/- 25 tot 50 mol per hectare per jaar. Zie het kader Nauwkeurigheid, in termen van precisie en juistheid hieronder voor de onderbouwing van deze inschatting.
Duitse bedrijven mogen bijvoorbeeld meer stikstof uitstoten en nabijgelegen natuurgebieden sterker belasten dan Nederlandse bedrijven. Het lijkt erop dat Duitsland mogelijk een wetenschappelijk correctere benadering hanteert bij het beoordelen van stikstofdepositie. Onze oosterbuur staat 21 mol (300 gram) depositie toe als grenswaarde. Daar moet wel meteen bij worden opgemerkt dat betere wetenschap en de natuur beter maken niet per definitie hetzelfde zijn. Wel betekent het dat heel hard knijpen op stikstof waarschijnlijk niet helpt vanwege de beperkte juistheid van de modellen waarmee de Nederlandse overheid werkt. Dat duidt er namelijk op dat er onbekende maar andere bepalende factoren dan stikstof alleen in het spel zijn. In gewone mensentaal: wie een hartpatiënt met COPD houdt op een temperatuur die strict onder de 37,23542°C blijft maar vergeet die genoeg zuurstof, water, pillen, een ventilator en een pufje te geven, zal de patiënt alsnog zien overlijden.
Het is belangrijk dat we in Nederland het concept nauwkeurigheid op een wetenschappelijk correcte manier benaderen, zoals eerder ook geconcludeerd door de commissie Hordijk. Aerius mag niet worden gebruikt voor vergunningen, aangezien het op wetenschappelijke gronden niet geschikt is als juridisch instrument. Daar komt nog eens bij dat het alleen met een juiste inschatting van de systematische fout geschikt is als thermometer voor de monitoring van de gezondheid van de Nederlandse natuur.
Duiken we niet in de precisie en juistheid (nauwkeurigheid) en stellen we de systematische fout van de op algoritmen gebaseerde stikstofthermometer Aerius niet vast, dan lijdt heel Nederland. Het helpt de natuur niet, het maakt het leven van bedrijven en boeren onmogelijk en kan burgers onwaarschijnlijk veel weggegooid geld kosten. Rutte IV heeft bijna €25 miljard uitgetrokken voor heel onnauwkeurig bepaalde natuurdoelen. Investeren is prima, maar niet in luchtkastelen.
Dit artikel afdrukken
In zijn dagelijkse praktijk heeft de dokter meer aan diagnostische criteria dan aan schijnbaar 'keiharde' precisie om zijn patiënt beter te makenDe schijn van precisie
Het voorbeeld laat zien hoe precisie in de praktijk van de medische wereld functioneert. Artsen snappen dat de lichaamstemperatuur van individuen binnen een bepaald bereik variëert. Daarom hanteren ze geen harde grens maar een range. In zijn dagelijkse praktijk heeft de dokter meer aan diagnostische criteria dan aan schijnbaar 'keiharde' precisie om zijn patiënt beter te maken. Omdat de lichaamstemperatuur van volwassenen zich beweegt tussen 35,5°C en 37,2°C is het stellen van een grens op 37,0°C niet zinvol in de medische praktijk maar ook niet wetenschappelijk omdat je de toestand van mensen er verkeerd mee interpreteert.
We gaan nog een stapje dieper. Stel dat iemand een koortsthermometer heeft met een display met vijf cijfers achter de komma en de dokter leest er 37,23542°C op af. Als deze persoon 0,03542°C boven de typische bovengrens van 37,2°C zit, zou je kunnen denken dat hij ziek is. De nauwkeurigheid van een meetinstrument is echter niet alleen afhankelijk van het aantal decimalen dat het kan weergeven, maar ook van de feitelijke precisie van de uitgevoerde meting. Als de thermometer een maximale nauwkeurigheid heeft van één cijfer achter de komma, betekent dit dat alleen het cijfer voor de komma als significant wordt beschouwd. In dit geval is de gemeten temperatuur van 37,23542°C feitelijk slechts nauwkeurig tot 37,2°C, omdat de decimalen niet significant zijn. Noch voor de meting zelf (die geen 'feit' maar wel een getal oplevert), noch voor de diagnose.
De twee voorbeelden laten zien dat het belangrijk is om duidelijk te zijn over wat nauwkeurigheid betekent. In de wetenschap, geneeskunde en zelfs de juridische wereld moeten we ons bewust zijn van de beperkingen en nauwkeurigheid (die in vaktermen ruis wordt genoemd) van meetinstrumenten, regelgeving en normen om weloverwogen beslissingen te nemen en de juiste conclusies te trekken. Nauwkeurigheid is niet alleen een kwestie van cijfers, maar ook van begrip van de context waarin die worden gemeten en gebruikt worden.
Aerius, de thermometer van de ecoloog
Ook in het stikstofdossier speelt een vergelijkbare behoefte aan nauwkeurigheid. We gaan op zoek naar de begrippen in het stikstofdossier die soortgelijke functies vervullen als koorts ter indicatie van ziekte. Kernvraag: welke thermometer gebruiken we in het stikstofdossier om de gezondheid van de natuur vast te stellen?
De norm voor ziekte in het geval van koorts is bijvoorbeeld een lichaamstemperatuur van 37,2°C of hoger. Hoe hoger je boven deze lichaamstemperatuur zit, hoe groter de kans dat je daadwerkelijk ziek bent. Maar artsen weten dat dit slechts een kans is en dat ze ook andere aspecten in ogenschouw moeten nemen. Denk aan uiteenlopende zaken als lichamelijk inspanning, de omgevingstemperatuur of een hoog stress niveau. Ook zulke factoren kunnen je temperatuur beïnvloeden.
Bij het monitoren van de grens waar de natuur door stikstofemissies in gevaar komt, gebruikt Nederland de Kritische Depositie Waarde (KDW). Deze waarde is vergelijkbaar met de 37,2°C grenswaarde op de thermometer die de dokter gebruikt. De KDW geeft aan dat er een kans is dat de natuur verslechtert. Als de KDW wordt overschreden, neemt de kans toe dat de kwaliteit van de natuur achteruitgaat. Blijven we echter onder de KDW, dan zijn de risico's voor stikstofdepositie niet aanwezig of verwaarloosbaar.
De KDW is vastgesteld door ecologen. Dat deden ze vooral op basis van praktijkonderzoek waarin mest (stikstof) op de grond wordt aangebracht. Dat gebeurt in min of meer precieze stapjes. Het kan gedaan worden met 5, 10, 20 of zelfs 50 kg stikstof per hectare. De praktijk is echter dat er geen onderzoek per hectare wordt uitgevoerd, maar eerder op een veel kleiner oppervlak, zoals een vierkante meter. Het gebeurt zelfs vooral in bloempotten omdat die preciesere metingen mogelijk maken. En dat laatste geeft aan dat het onderzoek buiten de natuur in een laboratoriumopstelling wordt gedaan.
Bij koorts gebruikt de dokter een koortsthermometer als meetinstrument in een real life situatie. Er vindt een echte meting plaats. In de ecologie hebben we echter geen "meter" die de totale depositie even gemakkelijk kan bepalen. Zelfs academische onderzoekers kunnen de depositie vrijwel niet nauwkeurig meten in de praktijk, laat staan tot waarden achter de komma. Daarom heeft de overheid, die verantwoordelijk is voor de bewaking van de staat van de natuur in Nederland, ervoor gekozen om het computermodel Aerius te gebruiken. Dat is gekalibreerd aan de hand van enkele feitelijke metingen van stikstofconcentratie in de lucht; Aerius zelf is een model waarmee berekeningen worden uitgevoerd. Het meet niet, maar berekent aan de hand van veronderstellingen wat de totale stikstofdepositie in een gebied is per hectare per jaar. Wat de thermometer is in handen van de dokter, is Aerius in handen van ecologen.
Wie de systematische fout niet in kaart brengt, krijgt modellen die met de werkelijkheid op de loop gaanPrecisie en juistheid
Ook al kan de dokter heel precies je temperatuur meten, we zagen dat de dokter meer heeft aan diagnostische criteria dan een harde en precieze grenswaarde om de gezondheidstoestand van zijn patiënt in te schatten. Hoe het zit met de nauwkeurigheid van de KDW en die van Aerius als ecologische thermometer in de vorm van rekenmodel?
Eerst iets over het begrip 'juistheid'. Juistheid is in de statistiek de mate van overeenstemming tussen de (gemiddelde) waarde van een reeks waarnemingen en de werkelijke waarde. De juistheid van een waarde die je hanteert als uitgangspunt voor een diagnose wordt bepaald door de zogeheten systematische fout. Hoe meer de waarden systematisch afwijken van de werkelijke waarde, hoe minder juist de waarnemingen zijn. De omvang van systematische fouten is afhankelijk van het aantal onbekende factoren - en hun onderlinge invloed op elkaar - die als ruis om de onderzochte factor een rol spelen. Wie de systematische fout niet in kaart brengt, krijgt modellen die met de werkelijkheid op de loop gaan.
Nog een begrip uit de statistiek: precisie. Dat duidt iets heel anders aan. Precisie is de mate waarin de metingen of berekeningen onderling verschillen, of hoe consistente metingen en de daarop toegepaste algoritmen steeds dezelfde resultaten opleveren. Precisie wordt bepaald door de toevallige fout. Hoe kleiner de toevallige afwijkingen, hoe groter de precisie.
De impact van de twee concepten op je begrip van de werkelijkheid kun je begrijpen aan de hand van het voorbeeld van het schieten op een roos.
bron: WikipediaIn het linkerplaatje zie je dat de precisie hoog is omdat de punten dicht bij elkaar liggen. Tegelijk zie je dat de juistheid laag is omdat ze ver van de roos af zitten. Dat duidt op een systematische fout. In het rechterplaatje zie je dat de juistheid beter is, maar de precisie lager. In dat geval zit er minder afwijking in het instrument dat we gebruiken om de werkelijkheid vast te leggen in een waarde.
Voor de KDW kunnen we verwachten dat deze met een nauwkeurigheid van +/- 35 tot 70 mol per hectare per jaar kan worden bepaald. Dit komt overeen met de feitelijke meetnauwkeurigheid van de mestbemonstering. Zie voor de onderbouwing van deze getallen het kader De Kritische Depositiewaarde hieronder.
De Kritische Depositiewaarde (KDW)
Onlangs was Roland Bobbink te horen op De Nieuwe Wereld. Hij geldt als gezaghebbend ecoloog en werkte mee aan het opstellen van de KDWs voor Nederlandse natuurgebieden. De video geeft een goede indruk van zijn bevlogen houding en geeft een indruk van de energie die zijn denken voedt. Hij heeft meegewerkt aan vele onderzoeken en reviews van onderzoeken. In Bobbinks Review and revision of empirical critical loads of nitrogen for Europe (110/2022) is per natuurtype (habitat) te vinden wat de vastgestelde KDW is volgens experts. Expertcommissies spelen een heel grote rol bij de vaststellingen. LNV heeft in 2008, 2012 en 2023 om vertalingen van experimentwaarden gevraagd voor Nederlandse natuurgebieden. De autoriteit van Bobbink gaf er gewicht aan.
Uit de nieuwste editie (2023) licht ik bijlage 1:
Stel dat de KDW van gebied H3110 inderdaad 6 kg per hectare per jaar is. Dan geeft dit getal ook gelijk de nauwkeurigheid aan. In elk geval is er maar 1 significant cijfer; er is terecht geen cijfer achter de komma gegeven. Door deze 6 kg te vermenigvuldigen met 71,4 (met drie significante cijfers) kom je met hulp van de rekenmachine uit op 428,4 mol per hectare per jaar. Maar dat zou wetenschappelijk een incorrecte weergave zijn die een te hoge nauwkeurigheid suggereert. Eigenlijk moet je dit getal noteren met 1 significant cijfer: 4 x 10^2 mol; de notatie 429 mol is wetenschappelijk helemaal ‘fout’.
Een andere manier om hiernaar te kijken is om je te realiseren dat bij de bepaling van de KDW gebruikt word gemaakt van bemestingsreeksen in de praktijk. Vaak per 1 kg of per 2 kg resolutie (dus 3, 4, 5, 6, 7 of 4, 6, 8, 10 kg per hectare), maar soms ook in stappen van 10 kg. Het is daarom veilig te veronderstellen dat deze massabepaling minimaal een precisie heeft van +/- 0,5kg (maar waarschijnlijk zelfs +/- 1kg of meer). Teruggerekend naar molen: +/- 0,5 x 71,4 = +/- 40 mol of +/- 1kg x 71,4 = +/- 70 mol.
De KDWs voor zeer gevoelige natuur liggen dan ongeveer op 5 x 10^2 +/- 70 mol. Nauwkeuriger kunnen ze nooit bepaald zijn. Gevoelsmatig denk ik dat we echter zelfs met minstens +/- 100 mol rekening moeten houden. In het politieke debat over stikstof gaat het over een minieme fractie daarvan, te weten 0,0005 mol en inmiddels ook weer over 1 mol of 10 mol. De verhouding tussen die getallen is nogal zoek en pleit bepaald niet voor de meer precieze varianten in het debat.
Computers kunnen tot als het moet duizenden cijfers achter de komma zaken doorrekenen. Modelleurs die teveel achter een scherm zitten en te weinig in het veldwerk doen of statistisch minder onderlegd zijn, laten met een gerust hart hun processoren doorpruttelen tot een akelige schijn-precisie. Het zijn echter slechts getallen zonder daadwerkelijk object in de buitenwereld. Niettemin kunnen we voor Aerius wel proberen in te schatten hoe is gesteld met de precisie en juistheid van de getallen die het model berekent.
Om met dit laatste te beginnen: metingen van droge depositie zijn schaars. Droge-depositie modellen zijn onderling wel in wetenschappelijke studies vergeleken (en laten onderling flinke verschillen zien), maar elk van deze modelberekeningen heeft ook een eigen nauwkeurigheid. In deze eerdere tekst heb ik kwantitatief besproken hoe Aerius in elkaar zit. In elk van de stappen emissie > verspreiding > depositie zit echter een onnauwkeurigheid. Als we voor het gemak stellen dat de depositie lineair afhankelijk is van de lokale concentratie aan stikstof (totaal aan ammoniak en NOx), dan is de vraag “hoe nauwkeurig weten we wat de gemiddelde jaarlijkse stikstof-concentratie is, en hoe nauwkeurig weten we de hoeveelheid regen?” Nauwkeurigheid verwijst naar het aantal significante cijfers dat wetenschappelijk correct is. Ik moet bekennen geen uitgebreide analyse uitgevoerd te hebben, maar de regen wordt uitgedrukt in mm (en niet met een cijfer achter de komma). Daarom is veilig te stellen dat het maximaal om twee significante cijfers gaat. De concentratie ammoniak wordt wel vaak gerapporteerd met een of twee cijfers achter de komma. Ik vermoed echter dat ook in dat geval slechts twee cijfers significant zijn.
Als je deze redenering consequent doorzet, dan kan je bijna niet anders dan tot de conclusie komen dan dat Aerius een wetenschappelijke precisie heeft van ongeveer +/- 25 tot 50 mol of meer. Ook denk ik dat de droge depositie in het model sterk wordt overschat. Dat betekent dat Aerius niet alleen niet zo precies is, maar dat er vermoedelijk ook een systematische fout in het depositiemodel zit. Deze systematische fout maakt dat ook de juistheid vermoedelijk incorrect is. De juistheid van de depositie die Aerius berekent, zou wel eens tientallen tot misschien wel honderd mol hoger blijken dan in werkelijkheid het geval is. Aerius 'schiet' behoorlijk naast de roos dus.
Onlangs was Roland Bobbink te horen op De Nieuwe Wereld. Hij geldt als gezaghebbend ecoloog en werkte mee aan het opstellen van de KDWs voor Nederlandse natuurgebieden. De video geeft een goede indruk van zijn bevlogen houding en geeft een indruk van de energie die zijn denken voedt. Hij heeft meegewerkt aan vele onderzoeken en reviews van onderzoeken. In Bobbinks Review and revision of empirical critical loads of nitrogen for Europe (110/2022) is per natuurtype (habitat) te vinden wat de vastgestelde KDW is volgens experts. Expertcommissies spelen een heel grote rol bij de vaststellingen. LNV heeft in 2008, 2012 en 2023 om vertalingen van experimentwaarden gevraagd voor Nederlandse natuurgebieden. De autoriteit van Bobbink gaf er gewicht aan.
Uit de nieuwste editie (2023) licht ik bijlage 1:
Stel dat de KDW van gebied H3110 inderdaad 6 kg per hectare per jaar is. Dan geeft dit getal ook gelijk de nauwkeurigheid aan. In elk geval is er maar 1 significant cijfer; er is terecht geen cijfer achter de komma gegeven. Door deze 6 kg te vermenigvuldigen met 71,4 (met drie significante cijfers) kom je met hulp van de rekenmachine uit op 428,4 mol per hectare per jaar. Maar dat zou wetenschappelijk een incorrecte weergave zijn die een te hoge nauwkeurigheid suggereert. Eigenlijk moet je dit getal noteren met 1 significant cijfer: 4 x 10^2 mol; de notatie 429 mol is wetenschappelijk helemaal ‘fout’.
Een andere manier om hiernaar te kijken is om je te realiseren dat bij de bepaling van de KDW gebruikt word gemaakt van bemestingsreeksen in de praktijk. Vaak per 1 kg of per 2 kg resolutie (dus 3, 4, 5, 6, 7 of 4, 6, 8, 10 kg per hectare), maar soms ook in stappen van 10 kg. Het is daarom veilig te veronderstellen dat deze massabepaling minimaal een precisie heeft van +/- 0,5kg (maar waarschijnlijk zelfs +/- 1kg of meer). Teruggerekend naar molen: +/- 0,5 x 71,4 = +/- 40 mol of +/- 1kg x 71,4 = +/- 70 mol.
De KDWs voor zeer gevoelige natuur liggen dan ongeveer op 5 x 10^2 +/- 70 mol. Nauwkeuriger kunnen ze nooit bepaald zijn. Gevoelsmatig denk ik dat we echter zelfs met minstens +/- 100 mol rekening moeten houden. In het politieke debat over stikstof gaat het over een minieme fractie daarvan, te weten 0,0005 mol en inmiddels ook weer over 1 mol of 10 mol. De verhouding tussen die getallen is nogal zoek en pleit bepaald niet voor de meer precieze varianten in het debat.
Computers kunnen tot als het moet duizenden cijfers achter de komma zaken doorrekenen. Modelleurs die teveel achter een scherm zitten en te weinig in het veldwerk doen of statistisch minder onderlegd zijn, laten met een gerust hart hun processoren doorpruttelen tot een akelige schijn-precisie. Het zijn echter slechts getallen zonder daadwerkelijk object in de buitenwereld. Niettemin kunnen we voor Aerius wel proberen in te schatten hoe is gesteld met de precisie en juistheid van de getallen die het model berekent.
Om met dit laatste te beginnen: metingen van droge depositie zijn schaars. Droge-depositie modellen zijn onderling wel in wetenschappelijke studies vergeleken (en laten onderling flinke verschillen zien), maar elk van deze modelberekeningen heeft ook een eigen nauwkeurigheid. In deze eerdere tekst heb ik kwantitatief besproken hoe Aerius in elkaar zit. In elk van de stappen emissie > verspreiding > depositie zit echter een onnauwkeurigheid. Als we voor het gemak stellen dat de depositie lineair afhankelijk is van de lokale concentratie aan stikstof (totaal aan ammoniak en NOx), dan is de vraag “hoe nauwkeurig weten we wat de gemiddelde jaarlijkse stikstof-concentratie is, en hoe nauwkeurig weten we de hoeveelheid regen?” Nauwkeurigheid verwijst naar het aantal significante cijfers dat wetenschappelijk correct is. Ik moet bekennen geen uitgebreide analyse uitgevoerd te hebben, maar de regen wordt uitgedrukt in mm (en niet met een cijfer achter de komma). Daarom is veilig te stellen dat het maximaal om twee significante cijfers gaat. De concentratie ammoniak wordt wel vaak gerapporteerd met een of twee cijfers achter de komma. Ik vermoed echter dat ook in dat geval slechts twee cijfers significant zijn.
Als de metingen al zo onnauwkeurig zijn, hoe kunnen we dan denken dat het totale afgeleide Aerius-model dat wel kan zijn?Dit betekent dat natte depositie nooit beter gemeten kan worden dan met twee significante cijfers. De bepaling van droge depositie is nog lastiger. Ik kom verschillen tegen tussen modellen van een factor 2 tot 4. Ik denk dat de relatieve fout minstens 50% is. Door de optelling van natte en droge depositie wordt de nauwkeurigheid van de totale depositie zeer sterk bepaald door de minst nauwkeurige depositie (volgens mij de droge; in een later artikel ga ik daar verder op in). Als de metingen al zo onnauwkeurig zijn, hoe kunnen we dan denken dat het totale afgeleide Aerius-model dat wel kan zijn?
Als je deze redenering consequent doorzet, dan kan je bijna niet anders dan tot de conclusie komen dan dat Aerius een wetenschappelijke precisie heeft van ongeveer +/- 25 tot 50 mol of meer. Ook denk ik dat de droge depositie in het model sterk wordt overschat. Dat betekent dat Aerius niet alleen niet zo precies is, maar dat er vermoedelijk ook een systematische fout in het depositiemodel zit. Deze systematische fout maakt dat ook de juistheid vermoedelijk incorrect is. De juistheid van de depositie die Aerius berekent, zou wel eens tientallen tot misschien wel honderd mol hoger blijken dan in werkelijkheid het geval is. Aerius 'schiet' behoorlijk naast de roos dus.
Wat betreft thermometer Aerius, het computermodel waarmee de overheid de gezondheid van de natuur monitort, kunnen we er van uitgaan dat de totale depositie die het model berekent, een vergelijkbare mate van nauwkeurigheid heeft als de metingen waarop het model is gebaseerd. Dit betekent dat Aerius, ondanks zijn schijnbare vermogen om met vele decimalen te rekenen, waarschijnlijk een nauwkeurigheid heeft van +/- 25 tot 50 mol per hectare per jaar. Zie het kader Nauwkeurigheid, in termen van precisie en juistheid hieronder voor de onderbouwing van deze inschatting.
Nauwkeurigheid, in termen van precisie en juistheid
De begrippen precisie en juistheid spelen een cruciale rol in verschillende aspecten van ons leven, maar vergen vaak meerdere aspecten om een complex proces te vangen in een voor de praktijk zinvol theoretisch kader. In het stikstof dossier is de KDW maar met 1 significant getal bepaald. Dat getal geeft dan ook de verwachte precisie van de bepaling: +/- 40 mol of meer denk ik. Voor de nauwkeurigheid van Aerius (het model als meetinstrument dus), is de precisie +/- 25 tot 50 mol of meer; vermoedelijk is er ook een systematische fout aanwezig, waardoor ook over de juistheid van het model het laatst nog niet te zeggen valt. Naast de Cie Hordijk heeft ook TNO gekeken naar de nauwkeurigheid. Op 28 april 2022 heeft TNO een notitie gestuurd naar het ministerie van LNV met de titel Afbakening in de modellering van depositiebijdrage van individuele projectbijdragen (Fase 2) Versie 3.
TNO concludeert dat de ruis in de berekende depositie ligt tussen de 1 en 10 mol/hectare/jaar. TNO ging daarbij vooral uit van de meteorologische onzekerheden in OPS (TNO spreekt van “een overweging gebaseerd op fysica gekozen rekenkundige ondergrens”). TNO ging niet dieper in op droge depositie en natte depositie metingen en de daarbij behorende meetonnauwkeurigheid. Het is nu juist deze meetonnauwkeurigheid die uiteindelijk de nauwkeurigheid van het (gekalibreerde) model bepaalt. Het is natuurkundig zinloos - en wetenschappelijk kwalijk - om meer significante cijfers aan een modelberekening mee te geven dan de oorspronkelijke metingen waarop het model is gevalideerd. Als TNO wel zou kijken naar deze praktijkmetingen dan valt te vermoeden dat ook TNO moet concluderen dat de onnauwkeurigheid van Aerius in de orde van grootte van tientallen molen ligt, en dat de ruis-ondergrens van TNO van 1 mol aan de zeer conservatieve (optimistische) kant zat.
Op pagina 26 van de betreffende notitie gaat TNO ook in op de onnauwkeurigheid van de KDW-bepaling. Abbot et.al (2003) wordt aangehaald als bron. Abbot gaat uit van een onzekerheid voor de KDW van 20%. Ook Van Dobben et.al (2012) wordt aangehaald en zou spreken van een onzekerheid van enkele kilogrammen per hectare per jaar. Ik denk dat deze onzekerheid terecht is. TNO veronderstelt echter dat de KDW met een precisie van 0,1 kg wordt gemeten en komt tot de conclusie daardoor dat precisie dus 7 mol is. Van Dobben heeft vermoedelijk gelijk met zijn constatering dat +/- 1 kg voor de KDW echt de beste precisie is (theoretische +/- 0,5). De 7 mol van TNO voor KDW is derhalve een vriendelijke wetenschappelijke gok. Realistischer is het daarom om op zijn best uit te gaan van +/- 35 mol of zelfs +/- 70 mol per hectare per jaar voor de precisie van de KDW.
De begrippen precisie en juistheid spelen een cruciale rol in verschillende aspecten van ons leven, maar vergen vaak meerdere aspecten om een complex proces te vangen in een voor de praktijk zinvol theoretisch kader. In het stikstof dossier is de KDW maar met 1 significant getal bepaald. Dat getal geeft dan ook de verwachte precisie van de bepaling: +/- 40 mol of meer denk ik. Voor de nauwkeurigheid van Aerius (het model als meetinstrument dus), is de precisie +/- 25 tot 50 mol of meer; vermoedelijk is er ook een systematische fout aanwezig, waardoor ook over de juistheid van het model het laatst nog niet te zeggen valt. Naast de Cie Hordijk heeft ook TNO gekeken naar de nauwkeurigheid. Op 28 april 2022 heeft TNO een notitie gestuurd naar het ministerie van LNV met de titel Afbakening in de modellering van depositiebijdrage van individuele projectbijdragen (Fase 2) Versie 3.
TNO concludeert dat de ruis in de berekende depositie ligt tussen de 1 en 10 mol/hectare/jaar. TNO ging daarbij vooral uit van de meteorologische onzekerheden in OPS (TNO spreekt van “een overweging gebaseerd op fysica gekozen rekenkundige ondergrens”). TNO ging niet dieper in op droge depositie en natte depositie metingen en de daarbij behorende meetonnauwkeurigheid. Het is nu juist deze meetonnauwkeurigheid die uiteindelijk de nauwkeurigheid van het (gekalibreerde) model bepaalt. Het is natuurkundig zinloos - en wetenschappelijk kwalijk - om meer significante cijfers aan een modelberekening mee te geven dan de oorspronkelijke metingen waarop het model is gevalideerd. Als TNO wel zou kijken naar deze praktijkmetingen dan valt te vermoeden dat ook TNO moet concluderen dat de onnauwkeurigheid van Aerius in de orde van grootte van tientallen molen ligt, en dat de ruis-ondergrens van TNO van 1 mol aan de zeer conservatieve (optimistische) kant zat.
Op pagina 26 van de betreffende notitie gaat TNO ook in op de onnauwkeurigheid van de KDW-bepaling. Abbot et.al (2003) wordt aangehaald als bron. Abbot gaat uit van een onzekerheid voor de KDW van 20%. Ook Van Dobben et.al (2012) wordt aangehaald en zou spreken van een onzekerheid van enkele kilogrammen per hectare per jaar. Ik denk dat deze onzekerheid terecht is. TNO veronderstelt echter dat de KDW met een precisie van 0,1 kg wordt gemeten en komt tot de conclusie daardoor dat precisie dus 7 mol is. Van Dobben heeft vermoedelijk gelijk met zijn constatering dat +/- 1 kg voor de KDW echt de beste precisie is (theoretische +/- 0,5). De 7 mol van TNO voor KDW is derhalve een vriendelijke wetenschappelijke gok. Realistischer is het daarom om op zijn best uit te gaan van +/- 35 mol of zelfs +/- 70 mol per hectare per jaar voor de precisie van de KDW.
In gewone mensentaal: wie een hartpatiënt met COPD houdt op een temperatuur die strict onder de 37,23542°C blijft maar vergeet die genoeg zuurstof, water, pillen, een ventilator en een pufje te geven, zal de patiënt alsnog zien overlijdenIn het parlement wordt nu driftig gedebatteerd over getallen van 0,005 mol per hectare als basis voor de vergunningsplicht van bouwprojecten voor bedrijven en infrastructuur van de overheid zelf en de vervanging daarvan door een grenswaarde van 1 mol. De verantwoordelijke minister Van der Wal heeft het over de grote zorgvuldigheid waarmee ze met wet en werkelijkheid wil omgaan. Waarom als de juistheid van het model zo grofstoffelijk is? Vast te stellen valt dat beleidsmakers en parlement geen rekening houden met de beperkingen en onnauwkeurigheid van de gebruikte meetinstrumenten en modellen.
Duitse bedrijven mogen bijvoorbeeld meer stikstof uitstoten en nabijgelegen natuurgebieden sterker belasten dan Nederlandse bedrijven. Het lijkt erop dat Duitsland mogelijk een wetenschappelijk correctere benadering hanteert bij het beoordelen van stikstofdepositie. Onze oosterbuur staat 21 mol (300 gram) depositie toe als grenswaarde. Daar moet wel meteen bij worden opgemerkt dat betere wetenschap en de natuur beter maken niet per definitie hetzelfde zijn. Wel betekent het dat heel hard knijpen op stikstof waarschijnlijk niet helpt vanwege de beperkte juistheid van de modellen waarmee de Nederlandse overheid werkt. Dat duidt er namelijk op dat er onbekende maar andere bepalende factoren dan stikstof alleen in het spel zijn. In gewone mensentaal: wie een hartpatiënt met COPD houdt op een temperatuur die strict onder de 37,23542°C blijft maar vergeet die genoeg zuurstof, water, pillen, een ventilator en een pufje te geven, zal de patiënt alsnog zien overlijden.
Investeren is prima, maar niet in luchtkastelenHeel Nederland lijdt onder slechte wetenschap
Het is belangrijk dat we in Nederland het concept nauwkeurigheid op een wetenschappelijk correcte manier benaderen, zoals eerder ook geconcludeerd door de commissie Hordijk. Aerius mag niet worden gebruikt voor vergunningen, aangezien het op wetenschappelijke gronden niet geschikt is als juridisch instrument. Daar komt nog eens bij dat het alleen met een juiste inschatting van de systematische fout geschikt is als thermometer voor de monitoring van de gezondheid van de Nederlandse natuur.
Duiken we niet in de precisie en juistheid (nauwkeurigheid) en stellen we de systematische fout van de op algoritmen gebaseerde stikstofthermometer Aerius niet vast, dan lijdt heel Nederland. Het helpt de natuur niet, het maakt het leven van bedrijven en boeren onmogelijk en kan burgers onwaarschijnlijk veel weggegooid geld kosten. Rutte IV heeft bijna €25 miljard uitgetrokken voor heel onnauwkeurig bepaalde natuurdoelen. Investeren is prima, maar niet in luchtkastelen.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 5 mei krijg je nieuwe kado-artikelen.
Op 5 mei krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
In #86 ging het over het stikstof-boek van Jan Douwe van der Ploeg. Ik beweerde hieronder dat het niet over stikstof gaat. Ik ben te vaak niet onder de indruk van de visies van Thomas Oudman, maar vind dat hij een goede analyse maakt op de Correspondent: het probleem is niet stikstof*, maar de efficiency van het Nederlandse landbouwmodel.
* en dat zegt natuurlijk ook Demeter, de biodynamische vereniging. Stikstof brengt leven, te veel verandert bestaande levensbalansen.
#42 Andre vertikt het om antwoord te geven op de vraag welke gebieden er last hebben van N
De 2e fout in zijn betoog over legaliseren PAS-melders kan/zal daarmee ook verder zijn eigenweg gaan.
En dit is precies de crux waarom emissiebeleid op voorhand al fout gaat; je weet niet eens welk gebied er iets mis is en de vergunningverlening (PAS-melders) heeft NIETS met individuele gebieden van doen.
Maar in het land der goeisten heb je gelijk hoor, doen feiten niet ter zake en kun je rapporten of adviezen schrijven zonder deze (oor)zaken te benoemen.
Gewoon als een blinde emissie beleid invoeren dan zal de vergunningverlening ook wel vlot lopen......en ook de onbekende natuur gebieden zullen zienderogen opknappen.
"de politieke top in Nederland begrijpt geen ene reet van stikstof en doet maar wat. "
nee joh, jij wel.......
Pagina 72, droge depositie. Nu komt in het hele rapport geen droge depositie meting voor! Waar komen die getallen vandaan. Die 0,6 a 0,7 k_mol/jaar/hectare voor nat klopt zo ongeveer wel. Dat komt overeen met wat het in Nederland is.
Mooi rapport verder.
Gerard, vanwege (grote) uitspoeling kan minder stikstof in de lucht ook betekenen dat bomen een tekort aan stikstof krijgen.
Frank, brandnetel plus veenmos in een bloempot continue vol water = veenmos.
#108 Piet, is het ecosysteem, de gehele gemeenschap met allerlei onderling functioneren, dan ook blij?
Als je veenmos veel stikstof geeft....mogelijk gaat het fantastisch groeien, maar zo moet je er niet naar kijken. Een brandnetel in een pot gaat het ook fantastisch doen, maar brandnetel plus veenmos = brandnetel.