Persoonlijk vind ik het genereren van een model een ultieme wiskundige oefening, waarmee je de kans kunt berekenen dat iets gebeurt. Door meer en meer variabelen, waarneembare getallen en onzekerheden in complexe berekeningen te stoppen, komt er een samenvattend getal uit. Ik snap dat dit te eenvoudig en zeker te kort door de bocht is, maar soms helpt de eenvoud.

Getal als uitkomst
De jongste voorbeelden die dit illustreren, zijn voornamelijk modellen die een uitkomst genereren voor Covid-besmettingen en bezettingen, opwarming van de aarde, waterstijging etc. Uit zulke modellen komt een getal. Over 2 weken liggen ‘x’ mensen op de IC. Of de temperatuur op de aarde stijgt met ‘y’ oC in 20xx; of het zeewater stijgt met ‘z’ cm in 20xx. En die voorspelling is uiteraard correct gegeven de input. De computer die het uitrekent heeft een giga-capaciteit ten opzichte van onze menselijke hersenen. Dus de berekening op zichzelf kan er niet naast zitten.

Het model is zo goed als de waarden (en aannames) die er in gaan
Wat wij met deze berekende waarden doen is echter discutabel. De veel aangehaalde uitspraak ‘het model is zo goed als de waarden (en aannames) die er in gaan’, kan niet genoeg onderstreept worden.

Welke waarden waren dat? Zijn ze gebaseerd op ‘echte’ metingen? Zijn ze relevant voor wat het model moet berekenen? Waren er aannames of zijn er schattingen die meegenomen zijn in het model? En misschien wel de meest relevante vraag: wat is de variatie van de uitkomst die het model berekent? Wat zijn de onzekerheden rond deze berekende waarde? Maar ook: houdt het model rekening met variatie in de waarden, aannames en schattingen die in het model gaan?

Meerdere modellen, meerdere modelleurs
En daarnaast is natuurlijk de persoon of zijn de personen die een model maken altijd inherent verbonden aan allerlei waarden, aannames en uitkomsten door informatie-, selectie- en confirmation biases. Iedereen opereert, denkt, schrijft, werkt altijd vanuit zijn of haar eigen belevings- en ervaringswereld. Dat geeft dus altijd per definitie al onzekerheid of de uitkomsten van een model wel representatief zijn voor wat er ‘werkelijk’ zal gebeuren.

Vanuit wetenschappelijk oogpunt is het heel belangrijk om via meerdere modellen en meerdere modelleurs bepaalde voorspellende waardes te laten bereken. En dat alles van het model openbaar en inzichtelijk is. Vervolgens moeten we in een dialoog tot een interpretatie komen, met alle onzekerheden erbij. Anders blijft het Garbage in = garbage out. We hoeven het overigens niet volledig met elkaar eens te zijn.

Eén meting of model geeft geen inzicht in het geheel, maar biedt soms wel een sexy verhaal
In de natuur is alles in beweging
Niets in het leven is constant of loopt via een lineaire correlatie. In de fysiologie, mijn vakgebied, zijn metingen altijd fluctuerend in de tijd, een sinus-curve. Variërend van hormonen in het bloed tot slaappatronen en van celdelingsactiviteit tot eetgedrag. In de natuur is niets constant, alles is altijd in beweging.

Voorspelbaarheid
Vanuit de wetenschap en de statistiek wordt dan ook vaak gezegd: één meting is geen meting. Dat is natuurlijk onzin. Ook één meting is een meting. Alleen geeft het interpreteren op basis van één meting een grote onzekerheid over de voorspellingsmogelijkheden van een model. Dat geldt al helemaal voor een voorspelling die betrekking heeft op een veel groter impactgebied dan waar die ene meting vandaan komt.

Een berekening van een risico op overlijden van iemand van 16 jaar verschilt nogal van het risico op overlijden van iemand van 90. Je verzandt hier meteen in de relatieve risico’s en absolute risico’s. De laatste is voor mij de beste waarde. Welke waarde stop je in het model en wat betekent dat voor je uitkomst? - is dus een belangrijke vraag.

Concluderend zou ik zeggen: één meting of model geeft geen inzicht in het geheel, maar biedt soms wel een sexy verhaal. Ik kijk dan liever nog even verder, naar wat andere modellen en modelleurs berekenen.

In Wat is ...? gaan we met bekende en minder bekende mensen op zoek naar wat hen motiveert om te ontdekken of we elkaar van daaruit weer kunnen vinden. De introductie tot de modellenreeks vind je hier. Waarom we dit doen lees je in De ontdekking van de ander.

Dit artikel afdrukken