Peter Voshol werkte aan muismodellen in Cambridge. Nadat hij ontdekte dat hij los van de werkelijkheid was geraakt door de dieren alleen in strict gedefinieerde niet-alledaagse situaties aan proeven te onderwerpen, besloot hij op zoek te gaan naar meer op de werkelijkheid gebaseerd onderzoek. Dat doet hij inmiddels aan het Louis Bolk Instituut. In de serie 'wat is een model?' luidt zijn antwoord: een gelegenheid om er vele te vergelijken en samen de verschillen te bespreken.
Persoonlijk vind ik het genereren van een model een ultieme wiskundige oefening, waarmee je de kans kunt berekenen dat iets gebeurt. Door meer en meer variabelen, waarneembare getallen en onzekerheden in complexe berekeningen te stoppen, komt er een samenvattend getal uit. Ik snap dat dit te eenvoudig en zeker te kort door de bocht is, maar soms helpt de eenvoud.
Getal als uitkomst
De jongste voorbeelden die dit illustreren, zijn voornamelijk modellen die een uitkomst genereren voor Covid-besmettingen en bezettingen, opwarming van de aarde, waterstijging etc. Uit zulke modellen komt een getal. Over 2 weken liggen ‘x’ mensen op de IC. Of de temperatuur op de aarde stijgt met ‘y’ oC in 20xx; of het zeewater stijgt met ‘z’ cm in 20xx. En die voorspelling is uiteraard correct gegeven de input. De computer die het uitrekent heeft een giga-capaciteit ten opzichte van onze menselijke hersenen. Dus de berekening op zichzelf kan er niet naast zitten.
Welke waarden waren dat? Zijn ze gebaseerd op ‘echte’ metingen? Zijn ze relevant voor wat het model moet berekenen? Waren er aannames of zijn er schattingen die meegenomen zijn in het model? En misschien wel de meest relevante vraag: wat is de variatie van de uitkomst die het model berekent? Wat zijn de onzekerheden rond deze berekende waarde? Maar ook: houdt het model rekening met variatie in de waarden, aannames en schattingen die in het model gaan?
Meerdere modellen, meerdere modelleurs
En daarnaast is natuurlijk de persoon of zijn de personen die een model maken altijd inherent verbonden aan allerlei waarden, aannames en uitkomsten door informatie-, selectie- en confirmation biases. Iedereen opereert, denkt, schrijft, werkt altijd vanuit zijn of haar eigen belevings- en ervaringswereld. Dat geeft dus altijd per definitie al onzekerheid of de uitkomsten van een model wel representatief zijn voor wat er ‘werkelijk’ zal gebeuren.
Vanuit wetenschappelijk oogpunt is het heel belangrijk om via meerdere modellen en meerdere modelleurs bepaalde voorspellende waardes te laten bereken. En dat alles van het model openbaar en inzichtelijk is. Vervolgens moeten we in een dialoog tot een interpretatie komen, met alle onzekerheden erbij. Anders blijft het Garbage in = garbage out. We hoeven het overigens niet volledig met elkaar eens te zijn.
Niets in het leven is constant of loopt via een lineaire correlatie. In de fysiologie, mijn vakgebied, zijn metingen altijd fluctuerend in de tijd, een sinus-curve. Variërend van hormonen in het bloed tot slaappatronen en van celdelingsactiviteit tot eetgedrag. In de natuur is niets constant, alles is altijd in beweging.
Voorspelbaarheid
Vanuit de wetenschap en de statistiek wordt dan ook vaak gezegd: één meting is geen meting. Dat is natuurlijk onzin. Ook één meting is een meting. Alleen geeft het interpreteren op basis van één meting een grote onzekerheid over de voorspellingsmogelijkheden van een model. Dat geldt al helemaal voor een voorspelling die betrekking heeft op een veel groter impactgebied dan waar die ene meting vandaan komt.
Een berekening van een risico op overlijden van iemand van 16 jaar verschilt nogal van het risico op overlijden van iemand van 90. Je verzandt hier meteen in de relatieve risico’s en absolute risico’s. De laatste is voor mij de beste waarde. Welke waarde stop je in het model en wat betekent dat voor je uitkomst? - is dus een belangrijke vraag.
Concluderend zou ik zeggen: één meting of model geeft geen inzicht in het geheel, maar biedt soms wel een sexy verhaal. Ik kijk dan liever nog even verder, naar wat andere modellen en modelleurs berekenen.
Dit artikel afdrukken
Getal als uitkomst
De jongste voorbeelden die dit illustreren, zijn voornamelijk modellen die een uitkomst genereren voor Covid-besmettingen en bezettingen, opwarming van de aarde, waterstijging etc. Uit zulke modellen komt een getal. Over 2 weken liggen ‘x’ mensen op de IC. Of de temperatuur op de aarde stijgt met ‘y’ oC in 20xx; of het zeewater stijgt met ‘z’ cm in 20xx. En die voorspelling is uiteraard correct gegeven de input. De computer die het uitrekent heeft een giga-capaciteit ten opzichte van onze menselijke hersenen. Dus de berekening op zichzelf kan er niet naast zitten.
Het model is zo goed als de waarden (en aannames) die er in gaanWat wij met deze berekende waarden doen is echter discutabel. De veel aangehaalde uitspraak ‘het model is zo goed als de waarden (en aannames) die er in gaan’, kan niet genoeg onderstreept worden.
Welke waarden waren dat? Zijn ze gebaseerd op ‘echte’ metingen? Zijn ze relevant voor wat het model moet berekenen? Waren er aannames of zijn er schattingen die meegenomen zijn in het model? En misschien wel de meest relevante vraag: wat is de variatie van de uitkomst die het model berekent? Wat zijn de onzekerheden rond deze berekende waarde? Maar ook: houdt het model rekening met variatie in de waarden, aannames en schattingen die in het model gaan?
Meerdere modellen, meerdere modelleurs
En daarnaast is natuurlijk de persoon of zijn de personen die een model maken altijd inherent verbonden aan allerlei waarden, aannames en uitkomsten door informatie-, selectie- en confirmation biases. Iedereen opereert, denkt, schrijft, werkt altijd vanuit zijn of haar eigen belevings- en ervaringswereld. Dat geeft dus altijd per definitie al onzekerheid of de uitkomsten van een model wel representatief zijn voor wat er ‘werkelijk’ zal gebeuren.
Vanuit wetenschappelijk oogpunt is het heel belangrijk om via meerdere modellen en meerdere modelleurs bepaalde voorspellende waardes te laten bereken. En dat alles van het model openbaar en inzichtelijk is. Vervolgens moeten we in een dialoog tot een interpretatie komen, met alle onzekerheden erbij. Anders blijft het Garbage in = garbage out. We hoeven het overigens niet volledig met elkaar eens te zijn.
Eén meting of model geeft geen inzicht in het geheel, maar biedt soms wel een sexy verhaalIn de natuur is alles in beweging
Niets in het leven is constant of loopt via een lineaire correlatie. In de fysiologie, mijn vakgebied, zijn metingen altijd fluctuerend in de tijd, een sinus-curve. Variërend van hormonen in het bloed tot slaappatronen en van celdelingsactiviteit tot eetgedrag. In de natuur is niets constant, alles is altijd in beweging.
Voorspelbaarheid
Vanuit de wetenschap en de statistiek wordt dan ook vaak gezegd: één meting is geen meting. Dat is natuurlijk onzin. Ook één meting is een meting. Alleen geeft het interpreteren op basis van één meting een grote onzekerheid over de voorspellingsmogelijkheden van een model. Dat geldt al helemaal voor een voorspelling die betrekking heeft op een veel groter impactgebied dan waar die ene meting vandaan komt.
Een berekening van een risico op overlijden van iemand van 16 jaar verschilt nogal van het risico op overlijden van iemand van 90. Je verzandt hier meteen in de relatieve risico’s en absolute risico’s. De laatste is voor mij de beste waarde. Welke waarde stop je in het model en wat betekent dat voor je uitkomst? - is dus een belangrijke vraag.
Concluderend zou ik zeggen: één meting of model geeft geen inzicht in het geheel, maar biedt soms wel een sexy verhaal. Ik kijk dan liever nog even verder, naar wat andere modellen en modelleurs berekenen.
In Wat is ...? gaan we met bekende en minder bekende mensen op zoek naar wat hen motiveert om te ontdekken of we elkaar van daaruit weer kunnen vinden. De introductie tot de modellenreeks vind je hier. Waarom we dit doen lees je in De ontdekking van de ander.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 5 mei krijg je nieuwe kado-artikelen.
Op 5 mei krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
Als je dit zo leest zou je ook kunnen concluderen dat een model een heerlijk tijdverdrijf is voor wiskundige knobbels. Maar dat met die modellen maar bitter weinig concreets gedaan kan worden, met uitzondering van een nog fijnere discussie tussen wiskundigen die die modellen uitgewerkt hebben.
Geen model zou dan de basis mogen zijn voor beleid, want wiskundigen hoeven niet uit te blinken in empathie of sociale vaardigheid om maatschappelijke relevantie te kunnen duiden.
#1 scherp gesteld, maar ja ik ben t met je eens. Bredere context, onbekenden en holistisch kijken is n output van meer dan 1 modelleur. Vergt interactie, luisteren en dialoog. Zeker geen beleid op baseren.
Ik ben het niet eens met #1. Het is meer dan een speeltje voor wiskundigen en het is wel belangrijk voor beleid. Peter slaat de spijker op zijn kop door te stellen dat vereenvoudigen essentieel is in modelleren.
De werkelijkheid is niet te modelleren want te complex maar je kunt wel tot de kern komen door te vereenvoudigen. De discussie wordt dan natuurlijk hoe ver je kunt vereenvoudigen (Einstein: a model should be as simple as possible but not simpler than that).
En dan wordt het punt dat Peter noemt belangrijk: maak de vooronderstellingen expliciet, want dat maakt discussie mogelijk en dat wordt vaak niet gedaan. Daarom ben ik een aanhanger van Bayesiaanse statistiek omdat je daar als modelleur gedwongen wordt om je aannames expliciet te maken, anders kun je überhaupt niet modelleren. Dan kun je met een paar metingen (of zelfs een) al een voorspelling doen maar wel met grote onzekerheid zoals Peter terecht schrijft. De grote fout die vaak gemaakt wordt als beleid gebaseerd wordt op modellen is dat de aannames vergeten worden. Maar daar mag je niet de conclusie uit trekken dat modellen niet belangrijk zijn voor beleid.
Een goede reden om hier ons verslag van de afscheidsrede van Tiny van Boekel nog eens onder de aandacht te brengen: wetenschappelijk feiten bestaan niet, het zijn waarschijnlijkheidsuitspraken.
Over Tiny schreef ik in het kader van Covid ooit dit korte zinnetje dat zijn positie simpel samenvat: Omdat wetenschappelijke constateringen geen feiten zijn, moeten de uitkomsten met Bayesiaanse statistiek worden beoordeeld.
#3 modellen spelen zeker hun rol in beleid. Alleen op de voorwaarden die je beschrijft, graag t plaatje met alle onzekerheden. Ja zo eenvoudig als mogelijk maken en laat t dynamisch zijn. Zodra we meer weten en kunnen waarnemen pas t aan. Daar zit de crux wat mij betreft, beleid wordt meteen voor 4 jaar (verkiezingen etc) en wat als na 1wk een nieuwe waarneming het geheel omgooit? We moeten durven bijsturen en niet in een tunnelvisie verzanden.