Wat is een model? Of een model nuttig is, hangt af van je vraag

Modellen worden gebruikt om schattingen te maken voor een regio, bijvoorbeeld een provincie, land, Europa of de hele wereld. Elke uitspraak op grotere schaal is altijd gebaseerd op extrapolatie in de ruimte met een model. Want al meet je bijvoorbeeld in Nederland de luchtkwaliteit op 10.000 plekken, dan nog moeten die worden opgeschaald om tot landelijke uitspraken te komen.

Modellen worden ook gebruikt om de verwachte gevolgen van bepaalde ontwikkelingen of de resultaten van eventuele beleidsmaatregelen in te schatten. Want de gevolgen van beleid kun je niet vooraf meten en berusten dus altijd op inschattingen. Hier gaat het om extrapolatie in de tijd. En dat gebeurt dan vaak ook nog weer op landelijke schaal. Modellen zijn namelijk de enige mogelijkheid om resultaten van (experimenteel) onderzoek naar regio’s op te schalen.

Alle modellen zijn fout maar sommige zijn nuttig

Tenslotte worden modellen vaak gebruikt om de relatieve bijdrage van sectoren aan een probleem vast te stellen. Wat is bijvoorbeeld de bijdrage van de energiesector aan de uitstoot van broeikasgassen, of de bijdrage van verkeer en industrie aan gezondheidsproblemen door luchtverontreiniging of de bijdrage van de landbouw aan de stikstofbelasting van natuurterreinen in Nederland? Zo wordt het stikstofmodel van het RIVM gebruikt voor het vaststellen van de bijdrage van onder andere landbouw, verkeer, industrie en buitenland aan de stikstofbelasting. Want je kunt die concentraties wel meten, maar deze metingen vertellen je niet welke sector er verantwoordelijk voor is. ‘Meten is weten’ gaat hierbij niet op.

Hoe komt een model tot stand?
Een model komt tot stand op basis van een groot aantal criteria. Allereerst moet er sprake zijn van een welomschreven vraagstelling en doel. Ontwerp je bijvoorbeeld een model om de landelijk gemiddelde stikstofdepositie op natuurterreinen te bepalen en de bijdragen van sectoren aan die depositie te berekenen? Of doe je dat om er lokale vergunningverlening op te baseren? Dat laatste vereist veel meer detailinformatie.

Daarnaast moet er sprake zijn van een heldere afbakening van het systeem dat in ogenschouw wordt genomen. Denk bijvoorbeeld aan de modellering van milieuproblemen door voedselproductie. Neem je dan alleen de verliezen van stoffen op het land mee, of in de hele voedselketen?

Verder moet er een goede afweging worden gemaakt in de mate van detail die je in het model stopt, in relatie tot de bestaande kennis en de beschikbaarheid van gegevens. Hoe meer kennis je hebt, hoe meer detailbeschrijvingen je kunt maken maar des te groter wordt ook de behoefte aan gegevens, en die moeten er wel zijn. Dat vereist een goede afweging tussen modelbeschrijving en databeschikbaarheid.

Verder moet vooraf worden nagegaan of er meetgegevens zijn in het verleden (trends of tijdreeksen) dan wel in het heden, die te gebruiken zijn om de modeluitkomsten te valideren.

Tenslotte dienen methoden te worden geëvalueerd waarmee de onzekerheid van de modeluitkomsten wordt aangeven. Modellen krijgen pas een zekere status als de modelresultaten redelijk tot goed overeenkomen met metingen, op het niveau waarvoor ze worden toegepast.

Hoe betrouwbaar zijn de getallen die ze opleveren?
Modellen zijn een (soms sterke) vereenvoudiging van de werkelijkheid en de uitkomsten bevatten onzekerheden, en dat niet alleen als gevolg van een gebrek aan kennis. Want zelfs al zouden de gebruikte formules in de modellen de werkelijkheid helemaal correct beschrijven, dan nog zijn er onzekerheden in modelinvoer en modelparameters die het gedrag van het systeem beschrijven. Die hangen bijvoorbeeld af van het klimaat, het landgebruik en de bodem, en al die gegevens variëren in de ruimte en in de tijd. Daarom dient het effect van de onzekerheid in invoergegevens op de onzekerheid in modeluitkomsten aan te worden gegeven. Verder is het verstandig om de modelonzekerheid aan te geven door meerdere modellen te ontwikkelen en de uitkomsten daarvan onderling te vergelijken. Zo worden er bij de verwachtingen rond een mogelijk toekomstig klimaat circa tien modellen gebruikt om de bandbreedte in de verwachte temperatuurstijging aan te geven.

De betrouwbaarheid van modeluitkomsten hangt dus mede af van de vraagstelling. Onderzoekers moeten zich niet laten verleiden om op grond van politieke druk een model te gebruiken voor doeleinden waar het feitelijk niet goed voor geschikt is

Modelresultaten kennen altijd een bepaalde onzekerheid, maar die gaat wel twee kanten uit: de werkelijkheid kan bijvoorbeeld lokaal gunstiger maar ook ongunstiger zijn en die verschillen middelen dan deels weg, als je in een gemiddelde voor een groter gebied geïnteresseerd bent.

Denk voorbeeld aan de weersverwachting. Die verwachting is gebaseerd op modelberekeningen. De berekeningen van de gemiddelde regenval over Nederland voor de volgende dag zijn veelal zeer betrouwbaar. Maar naarmate je meer detail wilt hebben in ruimte en tijd, wordt het onbetrouwbaarder. Dit kan ook worden geïllustreerd met de betrouwbaarheid van stikstofemissie- en depositiemodellen. Zo concludeerde de Commissie Hordijk dat de kwaliteit van die modellen goed is om landelijk gemiddeld de stikstofdepositie op natuurterreinen te bepalen en de bijdragen van sectoren aan die depositie te berekenen. Hoewel er lokaal wel relatief grote afwijkingen voorkomen, is er gemiddeld goede overeenstemming tussen modelberekeningen en daadwerkelijke metingen op honderden plekken. Tegelijk concludeerde Hordijk dat die modellen niet geschikt zijn voor lokale vergunningverlening. Want op lokale schaal is het model lang niet zo betrouwbaar vanwege de beperkte gegevensbeschikbaarheid en de grotere onzekerheid in modelbeschrijvingen. De betrouwbaarheid van modeluitkomsten hangt dus mede af van de vraagstelling.

Wanneer is een model robuust en kun je het gebruiken?
Een model is als een stuk gereedschap. Het is bruikbaar als het beantwoordt aan het beoogde doel. Zo is een klopboor nuttig voor het boren in een betonnen wand maar niet voor het boren van een kies. De boor deugt wel maar het gebruik deugt niet.
Dit voorbeeld illustreert de beroemde uitspraak: “Alle modellen zijn fout maar sommige zijn nuttig”. Uiteraard zijn de uitkomsten van een model altijd onzeker en een benadering van de werkelijkheid. Maar het maakt uit welke vragen worden gesteld en op welk type modelresultaten beleid wordt gemaakt. Hoe gedetailleerder de vraag, hoe grote de kans dat je niet op het modelresultaat blind moet varen. Van onderzoekers vereist dit duidelijkheid in het aangeven wat de betekenis is van modelresultaten, waarbij ze zich niet laten verleiden om op grond van politieke druk een model te gebruiken voor doeleinden waar het feitelijk niet goed voor geschikt is.