2 min_1024_617_84_c1.jpg)
Onderzoekers weten wat modellen zijn: benaderingen van de werkelijkheid. Ze helpen hen om verschillende grootheden met cijfermatige precisie inzichtelijker te maken dan de menselijke geest dat kan. Modellen leveren altijd cijfers op. Daarom suggereren ze iets precies, kloppends en verifieerbaars. Is dat ook zo?
In de wereld van onder meer milieuvervuiling, natuurbehoud, klimaatverandering en gezondheid spelen modellen de hoofdrol. We baseren ons op modellen om de stand van zaken, de trend daarin en de toekomst vast te stellen. De cijfers die eruit komen, laten niet zelden een ongewenste trend zien. Die willen we bij- of zelfs ombuigen. Hoe dat zou kunnen en wat het resultaat zal zijn, laten we ook door modellen vertellen.
De cijfers komen via media in omloop. Daar reageren politici en NGO’s op. Zij vertellen dat er iets moet gebeuren en waarom. Na verloop van tijd ontstaan beelden van wat er moet gebeuren. Als in democratieën overheden geen beleid maken, doen NGO’s dat. Zij doen daarmee het beeldscheppende voorwerk voor overheidsbeleid. Uiteindelijk nemen overheden het beleid over en voteren ze de budgetten om de trend te keren. Die budgetten worden onderbouwd met de inzichten uit de wetenschap: zoveel miljoen of miljard euro of dollar levert zoveel gezondheidswinst, minder vervuiling, natuurherstel of minder klimaatopwarming op.
Dat kan omdat de wereld door het gebruik van cijfers in de spreadsheet van een politieke boekhouder kan worden gestopt.
Van creditscoring tot vergaande speculatie
De grote vraag is natuurlijk of de modellen de werkelijkheid voldoende in de smiezen hebben. Het antwoord op die vraag onderzoeken we de komende weken in onze derde serie in de reeks filosofische analyses ’wat is …?’
Er zijn modellen die de werkelijkheid uitstekend benaderen. Denk aan de creditscoring die banken op je loslaten als je een consumptief krediet aanvraag. Aan de hand van ruime aantallen data kunnen ze uitstekend vaststellen wie welke leenbedragen kan terugbetalen en wie niet en hoe groot het risico is dat een ‘wel-score’ oplevert. Die modellen doen het doorgaans prima.
Hypothesen, speculatie
De verhoudingen tussen de grootheden kunnen gebaseerd zijn op eerder feitelijk onderzoek, maar ook op hypothesen. Naarmate het aantal hypothesen toeneemt, worden de modellen meer speculatie en fantasie, zij het wetenschappelijke. Naarmate het aantal feitelijk ononderbouwde hypothesen toeneemt, neemt het speculatieve karakter van modellen toe.
De vraag wat een model is, is beantwoordbaar en dus niet filosofisch. Het filosofische van de vraag ligt net om de hoek: hoeveel onzekerheid en speculatie accepteren we als we er - zoals we dagelijks in de kranten kunnen lezen - kostbaar en ingrijpend beleid op baseren?
Aanstaande donderdag volgt de eerste aflevering van een tien weken durende serie.
Dit artikel afdrukken
De cijfers komen via media in omloop. Daar reageren politici en NGO’s op. Zij vertellen dat er iets moet gebeuren en waarom. Na verloop van tijd ontstaan beelden van wat er moet gebeuren. Als in democratieën overheden geen beleid maken, doen NGO’s dat. Zij doen daarmee het beeldscheppende voorwerk voor overheidsbeleid. Uiteindelijk nemen overheden het beleid over en voteren ze de budgetten om de trend te keren. Die budgetten worden onderbouwd met de inzichten uit de wetenschap: zoveel miljoen of miljard euro of dollar levert zoveel gezondheidswinst, minder vervuiling, natuurherstel of minder klimaatopwarming op.
Dat kan omdat de wereld door het gebruik van cijfers in de spreadsheet van een politieke boekhouder kan worden gestopt.
Van creditscoring tot vergaande speculatie
De grote vraag is natuurlijk of de modellen de werkelijkheid voldoende in de smiezen hebben. Het antwoord op die vraag onderzoeken we de komende weken in onze derde serie in de reeks filosofische analyses ’wat is …?’
Er zijn modellen die de werkelijkheid uitstekend benaderen. Denk aan de creditscoring die banken op je loslaten als je een consumptief krediet aanvraag. Aan de hand van ruime aantallen data kunnen ze uitstekend vaststellen wie welke leenbedragen kan terugbetalen en wie niet en hoe groot het risico is dat een ‘wel-score’ oplevert. Die modellen doen het doorgaans prima.
Naarmate het aantal feitelijk ononderbouwde hypothesen toeneemt, neemt het speculatieve karakter van modellen toeOok zijn er modellen die slechts gedachtenoefeningen zijn. Onderzoekers stoppen er variabelen in, bepalen hoe die zich naar hun idee tot elkaar verhouden, vullen de variabelen met cijfers en kijken dan of hun gedachten kloppen met wat ze waarnemen. Soms doen ze die test niet en onderzoeken ze slechts de denkwereld die de wetenschap van dat moment heeft.
Hypothesen, speculatie
De verhoudingen tussen de grootheden kunnen gebaseerd zijn op eerder feitelijk onderzoek, maar ook op hypothesen. Naarmate het aantal hypothesen toeneemt, worden de modellen meer speculatie en fantasie, zij het wetenschappelijke. Naarmate het aantal feitelijk ononderbouwde hypothesen toeneemt, neemt het speculatieve karakter van modellen toe.
De vraag wat een model is, is beantwoordbaar en dus niet filosofisch. Het filosofische van de vraag ligt net om de hoek: hoeveel onzekerheid en speculatie accepteren we als we er - zoals we dagelijks in de kranten kunnen lezen - kostbaar en ingrijpend beleid op baseren?
Aanstaande donderdag volgt de eerste aflevering van een tien weken durende serie.
In Wat is ...? gaan we met bekende en minder bekende mensen op zoek naar wat hen motiveert om te ontdekken of we elkaar van daaruit weer kunnen vinden. Waarom we dat doen lees je in De ontdekking van de ander.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 5 mei krijg je nieuwe kado-artikelen.
Op 5 mei krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
.jpg){kind=link}
Mijn recept voor het bouwen van een goed model: je begint met twee onafhankelijke datasets, waarin alle relevante input- en outputfactoren staan (daadwerkelijk gemeten waarden in een bepaald systeem dus!). Op basis van de eerste dataset bouw je een model om output te berekenen uit input. Vervolgens check je of je model ook met de inputparameters van dataset 2 de output van dataset 2 goed voorspelt.
En vervolgens: gevoeligheidsanalyse: als je iets verandert aan een inputfactor (b.v. 10% hoger of lager maken), wat verandert er dan in de output? Is die verandering logisch/verklaarbaar?
Modellen die gebaseerd zijn op kunstmatige intelligentie hebben bij voorbaat mijn wantrouwen, omdat ik betwijfel of deskundige interpretatie van data (input èn output) daarbij in goede handen is. En altijd een aandachtspunt: 'Garbage in = garbage out'.
Dick #7 een model testen? Dat geeft aan dat er bij het model te weinig detailinformatie is gebruikt.
En een model met te weinig detailinformatie geeft teveel onzekerheden. En wie zorgt er voor dat die onzekerheden met verdere detailinformatie wordt aangevuld om de werkelijkheid zoveel mogelijk te benaderen.? In principe moeten modelleurs dat zelf doen met een zelftest, en dat niet aan anderen overlaten. Net zoiets als het Aerius model waarbij de test uitgevoerd moet worden met boeren als proefkonijnen en de modelleurs buiten schot blijven. Green Deal van het GLB idem dito. Vanwege de Green Deal voorwaarden moeten boeren zorgen voor aanvulling van praktijk gerichte detailinformatie. Zo langzamerhand wordt er een stadium bereikt waarbij boeren maar beter niet met het GLB gaan meedoen. Hoef je als boer ook niet te voldoen aan de waslijst van brons, zilver en goud voorwaarden die met de Green Deal gepaard gaan.
Modellen vooraf testen en niet achteraf.
Piet #3, wat bedoel je?
Modellen moet je testen. Detailinformatie is geen garantie voor meer werkelijkheidsgetrouwe cijfers, al helemaal niet als je met het model een complexe werkelijkheid wilt vangen.
“All models are wrong, but some are useful” George Box.
Modellen zijn een hulpmiddel, niet alles is goed of goedkoop genoeg te meten. Ieder model heeft inputs die gelijk de beperking geeft, niet alles kan er in dus word er vereenvoudigd. Daarna komt de uitkomst. Zonder de beperkingen te kennen kun je ook niet veel zeggen over de uitkomst (garbage is is garbage out).
Modellen worden getoetst met datasets (validaties) of zoals weermodellen enkele dagen later door eenieder waargenomen (en bv getest met skill).
Vaak vergeten we de input beperkingen en focussen we op de uitkomst. Als we ons puur op uitkomsten richten gaan we een keer nat. Dat zagen we bij pensioenstelsel waarbij negatieve renten niet als input was meegenomen of stikstof waar lokaal de onzekerheid te groot is voor beleid, maar voor Nederland als geheel wel goed en laat zien dat er teveel Nr is.
Soms verassen modellen ons ook, recentelijk optimalisatie van proces stappen afzonderlijk gedaan en opvolgende model voor robuustheid proces liet zijn dat we nog steeds suboptimaal werkten omdat tussen diverse proces stappen de optima waren gemist (wel op onderbuik idee, maar niet kunnen vatten zonder modellen).
Benieuwd wat er komt.
Het ligt er maar aan waarvoor de modellen worden gebruikt. Als modellen het denken gaan vervangen maken ze de mensen dommer. Modellen worden gemaakt om mensen slimmer te maken, maar dat pakt vaak niet goed uit.