3 min
Peter Voshol werkte aan muismodellen in Cambridge. Nadat hij ontdekte dat hij los van de werkelijkheid was geraakt door de dieren alleen in strict gedefinieerde niet-alledaagse situaties aan proeven te onderwerpen, besloot hij op zoek te gaan naar meer op de werkelijkheid gebaseerd onderzoek. Dat doet hij inmiddels aan het Louis Bolk Instituut. In de serie 'wat is een model?' luidt zijn antwoord: een gelegenheid om er vele te vergelijken en samen de verschillen te bespreken.
Persoonlijk vind ik het genereren van een model een ultieme wiskundige oefening, waarmee je de kans kunt berekenen dat iets gebeurt. Door meer en meer variabelen, waarneembare getallen en onzekerheden in complexe berekeningen te stoppen, komt er een samenvattend getal uit. Ik snap dat dit te eenvoudig en zeker te kort door de bocht is, maar soms helpt de eenvoud.
Getal als uitkomst
De jongste voorbeelden die dit illustreren, zijn voornamelijk modellen die een uitkomst genereren voor Covid-besmettingen en bezettingen, opwarming van de aarde, waterstijging etc. Uit zulke modellen komt een getal. Over 2 weken liggen ‘x’ mensen op de IC. Of de temperatuur op de aarde stijgt met ‘y’ oC in 20xx; of het zeewater stijgt met ‘z’ cm in 20xx. En die voorspelling is uiteraard correct gegeven de input. De computer die het uitrekent heeft een giga-capaciteit ten opzichte van onze menselijke hersenen. Dus de berekening op zichzelf kan er niet naast zitten.
Welke waarden waren dat? Zijn ze gebaseerd op ‘echte’ metingen? Zijn ze relevant voor wat het model moet berekenen? Waren er aannames of zijn er schattingen die meegenomen zijn in het model? En misschien wel de meest relevante vraag: wat is de variatie van de uitkomst die het model berekent? Wat zijn de onzekerheden rond deze berekende waarde? Maar ook: houdt het model rekening met variatie in de waarden, aannames en schattingen die in het model gaan?
Meerdere modellen, meerdere modelleurs
En daarnaast is natuurlijk de persoon of zijn de personen die een model maken altijd inherent verbonden aan allerlei waarden, aannames en uitkomsten door informatie-, selectie- en confirmation biases. Iedereen opereert, denkt, schrijft, werkt altijd vanuit zijn of haar eigen belevings- en ervaringswereld. Dat geeft dus altijd per definitie al onzekerheid of de uitkomsten van een model wel representatief zijn voor wat er ‘werkelijk’ zal gebeuren.
Vanuit wetenschappelijk oogpunt is het heel belangrijk om via meerdere modellen en meerdere modelleurs bepaalde voorspellende waardes te laten bereken. En dat alles van het model openbaar en inzichtelijk is. Vervolgens moeten we in een dialoog tot een interpretatie komen, met alle onzekerheden erbij. Anders blijft het Garbage in = garbage out. We hoeven het overigens niet volledig met elkaar eens te zijn.
Niets in het leven is constant of loopt via een lineaire correlatie. In de fysiologie, mijn vakgebied, zijn metingen altijd fluctuerend in de tijd, een sinus-curve. Variërend van hormonen in het bloed tot slaappatronen en van celdelingsactiviteit tot eetgedrag. In de natuur is niets constant, alles is altijd in beweging.
Voorspelbaarheid
Vanuit de wetenschap en de statistiek wordt dan ook vaak gezegd: één meting is geen meting. Dat is natuurlijk onzin. Ook één meting is een meting. Alleen geeft het interpreteren op basis van één meting een grote onzekerheid over de voorspellingsmogelijkheden van een model. Dat geldt al helemaal voor een voorspelling die betrekking heeft op een veel groter impactgebied dan waar die ene meting vandaan komt.
Een berekening van een risico op overlijden van iemand van 16 jaar verschilt nogal van het risico op overlijden van iemand van 90. Je verzandt hier meteen in de relatieve risico’s en absolute risico’s. De laatste is voor mij de beste waarde. Welke waarde stop je in het model en wat betekent dat voor je uitkomst? - is dus een belangrijke vraag.
Concluderend zou ik zeggen: één meting of model geeft geen inzicht in het geheel, maar biedt soms wel een sexy verhaal. Ik kijk dan liever nog even verder, naar wat andere modellen en modelleurs berekenen.
Dit artikel afdrukken
Getal als uitkomst
De jongste voorbeelden die dit illustreren, zijn voornamelijk modellen die een uitkomst genereren voor Covid-besmettingen en bezettingen, opwarming van de aarde, waterstijging etc. Uit zulke modellen komt een getal. Over 2 weken liggen ‘x’ mensen op de IC. Of de temperatuur op de aarde stijgt met ‘y’ oC in 20xx; of het zeewater stijgt met ‘z’ cm in 20xx. En die voorspelling is uiteraard correct gegeven de input. De computer die het uitrekent heeft een giga-capaciteit ten opzichte van onze menselijke hersenen. Dus de berekening op zichzelf kan er niet naast zitten.
Het model is zo goed als de waarden (en aannames) die er in gaanWat wij met deze berekende waarden doen is echter discutabel. De veel aangehaalde uitspraak ‘het model is zo goed als de waarden (en aannames) die er in gaan’, kan niet genoeg onderstreept worden.
Welke waarden waren dat? Zijn ze gebaseerd op ‘echte’ metingen? Zijn ze relevant voor wat het model moet berekenen? Waren er aannames of zijn er schattingen die meegenomen zijn in het model? En misschien wel de meest relevante vraag: wat is de variatie van de uitkomst die het model berekent? Wat zijn de onzekerheden rond deze berekende waarde? Maar ook: houdt het model rekening met variatie in de waarden, aannames en schattingen die in het model gaan?
Meerdere modellen, meerdere modelleurs
En daarnaast is natuurlijk de persoon of zijn de personen die een model maken altijd inherent verbonden aan allerlei waarden, aannames en uitkomsten door informatie-, selectie- en confirmation biases. Iedereen opereert, denkt, schrijft, werkt altijd vanuit zijn of haar eigen belevings- en ervaringswereld. Dat geeft dus altijd per definitie al onzekerheid of de uitkomsten van een model wel representatief zijn voor wat er ‘werkelijk’ zal gebeuren.
Vanuit wetenschappelijk oogpunt is het heel belangrijk om via meerdere modellen en meerdere modelleurs bepaalde voorspellende waardes te laten bereken. En dat alles van het model openbaar en inzichtelijk is. Vervolgens moeten we in een dialoog tot een interpretatie komen, met alle onzekerheden erbij. Anders blijft het Garbage in = garbage out. We hoeven het overigens niet volledig met elkaar eens te zijn.
Eén meting of model geeft geen inzicht in het geheel, maar biedt soms wel een sexy verhaalIn de natuur is alles in beweging
Niets in het leven is constant of loopt via een lineaire correlatie. In de fysiologie, mijn vakgebied, zijn metingen altijd fluctuerend in de tijd, een sinus-curve. Variërend van hormonen in het bloed tot slaappatronen en van celdelingsactiviteit tot eetgedrag. In de natuur is niets constant, alles is altijd in beweging.
Voorspelbaarheid
Vanuit de wetenschap en de statistiek wordt dan ook vaak gezegd: één meting is geen meting. Dat is natuurlijk onzin. Ook één meting is een meting. Alleen geeft het interpreteren op basis van één meting een grote onzekerheid over de voorspellingsmogelijkheden van een model. Dat geldt al helemaal voor een voorspelling die betrekking heeft op een veel groter impactgebied dan waar die ene meting vandaan komt.
Een berekening van een risico op overlijden van iemand van 16 jaar verschilt nogal van het risico op overlijden van iemand van 90. Je verzandt hier meteen in de relatieve risico’s en absolute risico’s. De laatste is voor mij de beste waarde. Welke waarde stop je in het model en wat betekent dat voor je uitkomst? - is dus een belangrijke vraag.
Concluderend zou ik zeggen: één meting of model geeft geen inzicht in het geheel, maar biedt soms wel een sexy verhaal. Ik kijk dan liever nog even verder, naar wat andere modellen en modelleurs berekenen.
In Wat is ...? gaan we met bekende en minder bekende mensen op zoek naar wat hen motiveert om te ontdekken of we elkaar van daaruit weer kunnen vinden. De introductie tot de modellenreeks vind je hier. Waarom we dit doen lees je in De ontdekking van de ander.
Nog 5
Je hebt 0 van de 5 kado-artikelen gelezen.
Op 11 april krijg je nieuwe kado-artikelen.
Op 11 april krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
De uitkomst van modellen zijn analyses die niet gevalideerd zijn. En validatie van analyses is toch wel nodig. Dat heeft mijn wiskunde leraar mij vroeger geleerd. Volgens mijn wiskunde leraar dient voor een wiskundig vraagstuk het volgende gebruikt te worden: Gegeven → Gevraagd → Analyse → Bewijs. Wel effe bewijzen dat de analyse klopt. In de huidige modellen kan ik niet vinden dat de analyses van die modellen wel bewezen zijn. Modellen zonder bewijs van analyses veroorzaken dwalingen. En wanneer dat soort modellen door de politiek gebruikt worden krijg je politieke dwalingen.
Een bekende techneuten vuistregel is: All models are wrong, but some are useful.
Chemici gebruiken graag diverse modellen (soms heel letterlijk zoals 'ball and sticks') die niet kloppen maar wel doen wat ze moeten doen.
Deze discussie lijkt te verzanden in stropopperij, waarbij modellen eerst allerlei verwachtingen en eigenschappen krijgen toegedicht, die eigenlijk niet wezenlijk zijn. In plaats van zo'n abstracte discussie, zou ik willen pleiten voor een praktische discussie: Is het model bruikbaar, of nog genuanceerder: waarvoor kan een specifiek model wel of niet gebruikt worden? Het ball and sticks model is in de praktijk goed bruikbaar om allerlei klassiek organisch-chemische en biochemische fenomenen te verklaren. Niet meer, niet minder.
Expliciet maken van vooronderstellingen helpt daarbij, maar is niet eens altijd nodig (of omgekeerd: voldoende).
Tiny van Boekel dank voor de YouTube college tip over Bayesiaanse statistiek. Ik ben halverwege de lesstof.
Wanneer mijn bijdrage online komt weer ik niet. De laatste zin van mijn stukje is: “Modellen zijn de duivel in ons politieke systeem, zeg ik daarom.”
Meer en meer ben ik overtuigd dat de rol van modellen in beleid - zoals nu lijkt te zijn - onzalig is. En dat terwijl ik fan ben van wiskunde en wiskundige modellen. Vooral als deze gecombineerd worden met Monte Carlo simulaties, veel metingen EN een heldere “bijsluiter”. Alles via Open Science, Open Source en Open Data als keiharde randvoorwaarde.
Juist omdat aan deze criteria zelden wordt voldaan, wordt ik steeds huiveriger rondom de inzet van modellen bij beleid.
Naar mijn mening is het niet perse nodig om altijd meerdere modellen te hebben, soms kan één model volstaan. Wat m.i. wel altijd zou moeten, is het expliciet maken van vooronderstellingen. Dat geldt ook voor de situatie waarin iedereen het erover eens is dat één bepaald model volstaat omdat het een goede weergave van de realiteit is.
In bijvoorbeeld sterkteberekeningen m.b.v. de eindige elementen methode is het volstrekt gebruikelijk om alle aannames te beschrijven. Zonder een dergelijke 'bijsluiter' (een oplossing die in een andere draad werd geopperd) worden resultaten uit zo'n model in bijvoorbeeld de aerospace branche (of bij bruggen, auto's, of windmolens) niet eens geaccepteerd. Maar als mensen zich kunnen vinden in de gebruikte aannames, modelopbouw en loadcases, kan het wel degelijk zijn dat één model volstaat (vaak overigens wel getoetst in validatietesten).
Maar let wel, aannames zijn niet hetzelfde als vooronderstellingen. Een aanname kan zijn dat binnen de krachtenrange materiaal lineair gedrag heeft, terwijl een vooronderstelling bijvoorbeeld is dat de (vereenvoudigde) natuurwetten een goede beschrijving zijn van wat er in een constructie gebeurt. Dat laatste is zodanig breed geaccepteerd, dat het inmiddels volledig impliciet blijft, maar het blijft niettemin een vooronderstelling. Dat is bijvoorbeeld ook een reden dat als extremere situaties gemodelleerd worden (zoals in een kernfusiereactor) steeds minder vereenvoudigingen gebruikt kunnen worden.
Tot slot de Bayesiaanse statistiek. Dat kan een manier zijn om bepaalde aannames expliciet te maken (niet noodzakelijkerwijs alle vooronderstellingen!), maar die methode aangrijpen als route daarvoor berust zelf óók op vooronderstellingen. Met andere woorden, een reken- of modelleermethode kan m.i. nooit een oplossing zijn voor het expliciteren en bespreken van vooronderstellingen. Achter elke aanpak schuilen immers ook vooronderstellingen.