Bij beleidsontwikkeling en evaluatie van bestaand beleid, spelen modellen een rol. Zo wordt bij het beleid rond de bestrijding van de opwarming van de aarde en de stikstofproblematiek gebruikt gemaakt van (reken)modellen. Waartoe die modellen? Vandaag in de serie 'wat is een model?' het antwoord van Wim de Vries, hoogleraar aan Wageningen UR.
Modellen worden gebruikt om schattingen te maken voor een regio, bijvoorbeeld een provincie, land, Europa of de hele wereld. Elke uitspraak op grotere schaal is altijd gebaseerd op extrapolatie in de ruimte met een model. Want al meet je bijvoorbeeld in Nederland de luchtkwaliteit op 10.000 plekken, dan nog moeten die worden opgeschaald om tot landelijke uitspraken te komen.
Modellen worden ook gebruikt om de verwachte gevolgen van bepaalde ontwikkelingen of de resultaten van eventuele beleidsmaatregelen in te schatten. Want de gevolgen van beleid kun je niet vooraf meten en berusten dus altijd op inschattingen. Hier gaat het om extrapolatie in de tijd. En dat gebeurt dan vaak ook nog weer op landelijke schaal. Modellen zijn namelijk de enige mogelijkheid om resultaten van (experimenteel) onderzoek naar regio’s op te schalen.
Hoe komt een model tot stand?
Een model komt tot stand op basis van een groot aantal criteria. Allereerst moet er sprake zijn van een welomschreven vraagstelling en doel. Ontwerp je bijvoorbeeld een model om de landelijk gemiddelde stikstofdepositie op natuurterreinen te bepalen en de bijdragen van sectoren aan die depositie te berekenen? Of doe je dat om er lokale vergunningverlening op te baseren? Dat laatste vereist veel meer detailinformatie.
Daarnaast moet er sprake zijn van een heldere afbakening van het systeem dat in ogenschouw wordt genomen. Denk bijvoorbeeld aan de modellering van milieuproblemen door voedselproductie. Neem je dan alleen de verliezen van stoffen op het land mee, of in de hele voedselketen?
Verder moet er een goede afweging worden gemaakt in de mate van detail die je in het model stopt, in relatie tot de bestaande kennis en de beschikbaarheid van gegevens. Hoe meer kennis je hebt, hoe meer detailbeschrijvingen je kunt maken maar des te groter wordt ook de behoefte aan gegevens, en die moeten er wel zijn. Dat vereist een goede afweging tussen modelbeschrijving en databeschikbaarheid.
Verder moet vooraf worden nagegaan of er meetgegevens zijn in het verleden (trends of tijdreeksen) dan wel in het heden, die te gebruiken zijn om de modeluitkomsten te valideren.
Tenslotte dienen methoden te worden geëvalueerd waarmee de onzekerheid van de modeluitkomsten wordt aangeven. Modellen krijgen pas een zekere status als de modelresultaten redelijk tot goed overeenkomen met metingen, op het niveau waarvoor ze worden toegepast.
Hoe betrouwbaar zijn de getallen die ze opleveren?
Modellen zijn een (soms sterke) vereenvoudiging van de werkelijkheid en de uitkomsten bevatten onzekerheden, en dat niet alleen als gevolg van een gebrek aan kennis. Want zelfs al zouden de gebruikte formules in de modellen de werkelijkheid helemaal correct beschrijven, dan nog zijn er onzekerheden in modelinvoer en modelparameters die het gedrag van het systeem beschrijven. Die hangen bijvoorbeeld af van het klimaat, het landgebruik en de bodem, en al die gegevens variëren in de ruimte en in de tijd. Daarom dient het effect van de onzekerheid in invoergegevens op de onzekerheid in modeluitkomsten aan te worden gegeven. Verder is het verstandig om de modelonzekerheid aan te geven door meerdere modellen te ontwikkelen en de uitkomsten daarvan onderling te vergelijken. Zo worden er bij de verwachtingen rond een mogelijk toekomstig klimaat circa tien modellen gebruikt om de bandbreedte in de verwachte temperatuurstijging aan te geven.
Denk voorbeeld aan de weersverwachting. Die verwachting is gebaseerd op modelberekeningen. De berekeningen van de gemiddelde regenval over Nederland voor de volgende dag zijn veelal zeer betrouwbaar. Maar naarmate je meer detail wilt hebben in ruimte en tijd, wordt het onbetrouwbaarder. Dit kan ook worden geïllustreerd met de betrouwbaarheid van stikstofemissie- en depositiemodellen. Zo concludeerde de Commissie Hordijk dat de kwaliteit van die modellen goed is om landelijk gemiddeld de stikstofdepositie op natuurterreinen te bepalen en de bijdragen van sectoren aan die depositie te berekenen. Hoewel er lokaal wel relatief grote afwijkingen voorkomen, is er gemiddeld goede overeenstemming tussen modelberekeningen en daadwerkelijke metingen op honderden plekken. Tegelijk concludeerde Hordijk dat die modellen niet geschikt zijn voor lokale vergunningverlening. Want op lokale schaal is het model lang niet zo betrouwbaar vanwege de beperkte gegevensbeschikbaarheid en de grotere onzekerheid in modelbeschrijvingen. De betrouwbaarheid van modeluitkomsten hangt dus mede af van de vraagstelling.
Wanneer is een model robuust en kun je het gebruiken?
Een model is als een stuk gereedschap. Het is bruikbaar als het beantwoordt aan het beoogde doel. Zo is een klopboor nuttig voor het boren in een betonnen wand maar niet voor het boren van een kies. De boor deugt wel maar het gebruik deugt niet.
Dit voorbeeld illustreert de beroemde uitspraak: “Alle modellen zijn fout maar sommige zijn nuttig”. Uiteraard zijn de uitkomsten van een model altijd onzeker en een benadering van de werkelijkheid. Maar het maakt uit welke vragen worden gesteld en op welk type modelresultaten beleid wordt gemaakt. Hoe gedetailleerder de vraag, hoe grote de kans dat je niet op het modelresultaat blind moet varen. Van onderzoekers vereist dit duidelijkheid in het aangeven wat de betekenis is van modelresultaten, waarbij ze zich niet laten verleiden om op grond van politieke druk een model te gebruiken voor doeleinden waar het feitelijk niet goed voor geschikt is.
Dit artikel afdrukken
Modellen worden ook gebruikt om de verwachte gevolgen van bepaalde ontwikkelingen of de resultaten van eventuele beleidsmaatregelen in te schatten. Want de gevolgen van beleid kun je niet vooraf meten en berusten dus altijd op inschattingen. Hier gaat het om extrapolatie in de tijd. En dat gebeurt dan vaak ook nog weer op landelijke schaal. Modellen zijn namelijk de enige mogelijkheid om resultaten van (experimenteel) onderzoek naar regio’s op te schalen.
Alle modellen zijn fout maar sommige zijn nuttigTenslotte worden modellen vaak gebruikt om de relatieve bijdrage van sectoren aan een probleem vast te stellen. Wat is bijvoorbeeld de bijdrage van de energiesector aan de uitstoot van broeikasgassen, of de bijdrage van verkeer en industrie aan gezondheidsproblemen door luchtverontreiniging of de bijdrage van de landbouw aan de stikstofbelasting van natuurterreinen in Nederland? Zo wordt het stikstofmodel van het RIVM gebruikt voor het vaststellen van de bijdrage van onder andere landbouw, verkeer, industrie en buitenland aan de stikstofbelasting. Want je kunt die concentraties wel meten, maar deze metingen vertellen je niet welke sector er verantwoordelijk voor is. ‘Meten is weten’ gaat hierbij niet op.
Hoe komt een model tot stand?
Een model komt tot stand op basis van een groot aantal criteria. Allereerst moet er sprake zijn van een welomschreven vraagstelling en doel. Ontwerp je bijvoorbeeld een model om de landelijk gemiddelde stikstofdepositie op natuurterreinen te bepalen en de bijdragen van sectoren aan die depositie te berekenen? Of doe je dat om er lokale vergunningverlening op te baseren? Dat laatste vereist veel meer detailinformatie.
Daarnaast moet er sprake zijn van een heldere afbakening van het systeem dat in ogenschouw wordt genomen. Denk bijvoorbeeld aan de modellering van milieuproblemen door voedselproductie. Neem je dan alleen de verliezen van stoffen op het land mee, of in de hele voedselketen?
Verder moet er een goede afweging worden gemaakt in de mate van detail die je in het model stopt, in relatie tot de bestaande kennis en de beschikbaarheid van gegevens. Hoe meer kennis je hebt, hoe meer detailbeschrijvingen je kunt maken maar des te groter wordt ook de behoefte aan gegevens, en die moeten er wel zijn. Dat vereist een goede afweging tussen modelbeschrijving en databeschikbaarheid.
Verder moet vooraf worden nagegaan of er meetgegevens zijn in het verleden (trends of tijdreeksen) dan wel in het heden, die te gebruiken zijn om de modeluitkomsten te valideren.
Tenslotte dienen methoden te worden geëvalueerd waarmee de onzekerheid van de modeluitkomsten wordt aangeven. Modellen krijgen pas een zekere status als de modelresultaten redelijk tot goed overeenkomen met metingen, op het niveau waarvoor ze worden toegepast.
Hoe betrouwbaar zijn de getallen die ze opleveren?
Modellen zijn een (soms sterke) vereenvoudiging van de werkelijkheid en de uitkomsten bevatten onzekerheden, en dat niet alleen als gevolg van een gebrek aan kennis. Want zelfs al zouden de gebruikte formules in de modellen de werkelijkheid helemaal correct beschrijven, dan nog zijn er onzekerheden in modelinvoer en modelparameters die het gedrag van het systeem beschrijven. Die hangen bijvoorbeeld af van het klimaat, het landgebruik en de bodem, en al die gegevens variëren in de ruimte en in de tijd. Daarom dient het effect van de onzekerheid in invoergegevens op de onzekerheid in modeluitkomsten aan te worden gegeven. Verder is het verstandig om de modelonzekerheid aan te geven door meerdere modellen te ontwikkelen en de uitkomsten daarvan onderling te vergelijken. Zo worden er bij de verwachtingen rond een mogelijk toekomstig klimaat circa tien modellen gebruikt om de bandbreedte in de verwachte temperatuurstijging aan te geven.
De betrouwbaarheid van modeluitkomsten hangt dus mede af van de vraagstelling. Onderzoekers moeten zich niet laten verleiden om op grond van politieke druk een model te gebruiken voor doeleinden waar het feitelijk niet goed voor geschikt isModelresultaten kennen altijd een bepaalde onzekerheid, maar die gaat wel twee kanten uit: de werkelijkheid kan bijvoorbeeld lokaal gunstiger maar ook ongunstiger zijn en die verschillen middelen dan deels weg, als je in een gemiddelde voor een groter gebied geïnteresseerd bent.
Denk voorbeeld aan de weersverwachting. Die verwachting is gebaseerd op modelberekeningen. De berekeningen van de gemiddelde regenval over Nederland voor de volgende dag zijn veelal zeer betrouwbaar. Maar naarmate je meer detail wilt hebben in ruimte en tijd, wordt het onbetrouwbaarder. Dit kan ook worden geïllustreerd met de betrouwbaarheid van stikstofemissie- en depositiemodellen. Zo concludeerde de Commissie Hordijk dat de kwaliteit van die modellen goed is om landelijk gemiddeld de stikstofdepositie op natuurterreinen te bepalen en de bijdragen van sectoren aan die depositie te berekenen. Hoewel er lokaal wel relatief grote afwijkingen voorkomen, is er gemiddeld goede overeenstemming tussen modelberekeningen en daadwerkelijke metingen op honderden plekken. Tegelijk concludeerde Hordijk dat die modellen niet geschikt zijn voor lokale vergunningverlening. Want op lokale schaal is het model lang niet zo betrouwbaar vanwege de beperkte gegevensbeschikbaarheid en de grotere onzekerheid in modelbeschrijvingen. De betrouwbaarheid van modeluitkomsten hangt dus mede af van de vraagstelling.
Wanneer is een model robuust en kun je het gebruiken?
Een model is als een stuk gereedschap. Het is bruikbaar als het beantwoordt aan het beoogde doel. Zo is een klopboor nuttig voor het boren in een betonnen wand maar niet voor het boren van een kies. De boor deugt wel maar het gebruik deugt niet.
Dit voorbeeld illustreert de beroemde uitspraak: “Alle modellen zijn fout maar sommige zijn nuttig”. Uiteraard zijn de uitkomsten van een model altijd onzeker en een benadering van de werkelijkheid. Maar het maakt uit welke vragen worden gesteld en op welk type modelresultaten beleid wordt gemaakt. Hoe gedetailleerder de vraag, hoe grote de kans dat je niet op het modelresultaat blind moet varen. Van onderzoekers vereist dit duidelijkheid in het aangeven wat de betekenis is van modelresultaten, waarbij ze zich niet laten verleiden om op grond van politieke druk een model te gebruiken voor doeleinden waar het feitelijk niet goed voor geschikt is.
In Wat is ...? gaan we met bekende en minder bekende mensen op zoek naar wat hen motiveert om te ontdekken of we elkaar van daaruit weer kunnen vinden. De introductie tot de modellenreeks vind je hier. Waarom we dit doen lees je in De ontdekking van de ander.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 4 juni krijg je nieuwe kado-artikelen.
Op 4 juni krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
Vanuit de modelbouwer een degelijk betoog, maar het is jammer dat de commissie Hordijk moest constateren dat stikstof model van het RIVM, niet gebruikt moet worden voor vergunningstrajecten, terwijl daar wetten op gebaseerd zijn die vergunningen reguleerde.
Waar is het dan mis gegaan,bij de wetenschappers die dit onvoldoende hebben toegelicht, of bij de opdrachtgever van de modellen(wetgever/overheid?) die dat niet beseft hebben?
"Of een model nuttig is, hangt af van je vraag"
Dat klopt; als je het model vraagt of ze kan afwassen of 'cat-walken'....
Of het model Aerius nuttig is, hang ook nog eens af van aan WIE je het vraagt, zelfs al zitten degene aan wie je het vraagt in dezelfde commissie....... (Hordijk).
De commissie Hordijk gaf in het 'eind'rapport aan dat dit model niet geschikt was voor vergunningverlening, zoals prof. dr. ir. W. de Vries ook in dit artikel aangeeft.
https://open.overheid.nl/repository/ronl-663f8b39-c4c3-4e21-a321-f14f8d103ba5/1/pdf/bijlage-adviescollege-meten-en-berekenen-stikstof.pdf
Echter was dit het 'eind'rapport?
Wederom een vraag die af hangt aan WIE je deze stelt.....
prof. dr. ir. W. de Vries zal zeggen JA (want dat past hem wel)
Het antwoord is echter NEE want het kan niet afwassen en ook niet 'catwalken'.
Het model kan namelijk niks en dat blijkt uit de (broodnodige) validatie of zoals de Vries het beschrijft;
"Verder moet vooraf worden nagegaan of er meetgegevens zijn in het verleden (trends of tijdreeksen) dan wel in het heden, die te gebruiken zijn om de modeluitkomsten te valideren."
Uit de (door RIVM achtergehouden) validatie van Aerius/OPS zelf blijkt namelijk dat dit model niks kan 'perfors poorly' 'no skils'
https://jaaphanekamp.com/blog/science/politics/agriculture/2022-10-07-cancel-het-aerius-ops-mis-en-desinformatie-platform-stante-pede/
(en meer op jaaphanekamp.com)
Dit betekend dat dit model dus ook niet de andere vraag kan beantwoorden, namelijk waarvoor je het wilt gebruiken, zoals de Vries schrijft;
"Ontwerp je bijvoorbeeld een model om de landelijk gemiddelde stikstofdepositie op natuurterreinen te bepalen......"
Is er ook een model die berekend hoeveel Professoren of wetenschappers er nog 'et al's' kunnen en mogen produceren met onzinnige uitkomsten als basis voor de volgende 'et al'.
"waarbij ze zich niet laten verleiden om op grond van politieke druk een model te gebruiken voor doeleinden waar het feitelijk niet goed voor geschikt is"
In mijn expertisegebied zie ik niets anders.
Natuurlijk zijn modellen nuttig, en natuurlijk zijn modellen stukken gereedschap. Maar een hamer is 'niks' op zichzelf, een hamer kan echter een nuttig hulpmiddel zijn in de handen van een timmerman. Net als timmermannen (en vrouwen) goed of minder goed kunnen zijn, zo is het ook met onderzoekers. Veel onderzoekers zijn okay, en enkele zijn briljant. Uiteindelijk draait het dus niet om het gereedschap (model) maar om wat de specialist er mee doet. Van Aerius weten we inmiddels dat we er geen fluit aan hebben. Niks. Niet in de wetgeving, niet bij vergunning, niet bij lokale voorspellingen. Vooral de droge depositie module in OPS is een aanfluiting. En landelijk? Laten we kijken naar sateliet-data voor concentratie. Ik denk dat de onderzoekers die 'iets' doen met OPS zich moeten afvragen of ze goede timmermannen zijn (of niet).
"Zo wordt het stikstofmodel van het RIVM gebruikt voor het vaststellen van de bijdrage van onder andere landbouw, verkeer, industrie en buitenland aan de stikstofbelasting. Want je kunt die concentraties wel meten, maar deze metingen vertellen je niet welke sector er verantwoordelijk voor is. ‘Meten is weten’ gaat hierbij niet op."
Dat is dus het probleem, zo werkt het niet. Zelfs rondom emissie is er discussie. En het lijkt dat we veel van boeren ammoniak emissies weten, en minder van ammoniak uit andere bronnen. De onzekerheid wordt bepaalt door 'die andere bronnen', en dus kunnen we WEINIG zeggen over het aandeel (uitgedruk in %) emissies van boeren t.o.v. andere uitstoters.
En belasting (in termen van droge depositie?), daar ligt zeer zwakke wetenschap achter. Niet alleen modelmatig maar zeker ook de validaties (die zijn er vrijwel niet). Als ik onderzoeker in dat domein zou zijn, zou ik me schamen.
En nogmaals, natuurlijk kunnen modellen nuttig zijn. Maar alles hangt af van de kwaliteit van de onderzoeker. En de kwaliteit hangt wat mijn betreft niet af van de vraag van "de klant". Ook hier zie ik een probleem, de meeste klanten stellen immers geen eenduidige vragen (zeker beleid niet), en dus krijg je een gekke interactie tussen verkeerde klantvraag, model (goed of slecht) en onderzoeker (goed of minder goed). De interactie moet gaan tussen "klant" en "opdrachtnemer", waarbij modellen en data en de correctheid ervan de verantwoordelijkheid is van de opdrachtnemer. De meeste modellenbouwers die ik ken zijn overigens vooral bezig met het bouwen van hun model, en minder met voorspellen en advisering. Trek je bovenstaande parallel door, dan zie ik dat "Veel timmermannen een hamer maken als product, gewoon omdat het 'leuk' is".
Ons hele natuurbeleid is gebaseerd op een model dat stikstof meent te kunnen voorspellen (Aerius) met afwijkingen tot 100%.
Zelfs onze stikstofwet is opgehangen aan dit model ( 74% onder de KDW). Terwijl als je een beetje gezond nadenkt weet , dat er veel meer factoren zijn die invloed hebben op de natuur.
En waarom gebeurt dit omdat we een compleet incompetent bestuur hebben.
Ik heb de laatste dagen 2 verdiepende gesprekken bekeken van de Nieuwe Wereld met Wouter de Heij ( ook actief op dit podium) en met Sybe Schaap ( oud VVD senator). Beide heren leggen feilloos bloot waar het in dit land aan ontbreekt nl. bestuurlijke incompetentie.
Ze waarschuwen beide ook voor voedselzekerheid en dat je het kind met het badwater ( landbouw) niet weg moet gooien.
Een aanrader om te bekijken.