'Fitten' en valideren
Complexere wiskunde aan de universiteit ging over matrix-rekenen, maar ook over ODE's (ordinary differential equation) en PDE's (partial differential equation) en Monte Carlo-simulatie. Wiskunde ging ook over zware statistiek - bijvoorbeeld hoe je twee modellen onderling statistisch moet vergelijken. En ook over de vraag hoe je op een correcte manier een data-set kan 'fitten' aan een model (en vervolgens bij voorkeur een tweede onafhankelijke dataset gebruikt voor validatie). Wat ik ook leerde aan de TU-Delft is 'vereenvoudigen', het gaat vaak immers om vooraf correct inschatten van de juiste lengte en tijdschalen van het fenomeen waar het om draait. Wie doet dit nu nog?
Aangekomen in Wageningen viel mij op dat er vooral erg veel aan data fitting werd gedaan. Een jonge fysica-professor zocht hulp bij het begeleiden van een promovendus, ik was beschikbaar en vond het leuk om met de nieuwste 3D-simulatie software olie-in-water systemen door te rekenen. We liepen voor, dat zeker, al schreef uiteindelijk een professor uit Amsterdam een artikel in Nature over het betreffende onderwerp. Een mooie tijd was het wel!
Ik schat dat minder dan 0,1% van de Nederlanders kundig genoeg is om complexe modellen te maken, te snappen, te beoordelen of die zelf te kunnen toepassenGebrek aan praktische vaardigheden
Inmiddels werk ik dik 25 jaar en heb tientallen ingenieurs in dienst (en in dienst genomen). Heel veel hiervan zijn als beta afgestudeerd aan een van de technische universiteiten. Wat mij opvalt is dat de meesten na hun studie prima eenvoudige modellen in excel kunnen maken maar eigenlijk niet praktisch vaardig zijn op het gebied van complexe wiskundige modellen. Ongeveer 13% van alle 15-75 jarigen heeft een Masteropleiding afgerond; hiervan heeft ongeveer 10% scholing gehad in het domein 'beta', leerde ik recent.
We praten dus over ongeveer 1% van de bevolking. Mijn ervaring is, dat 90% van deze 1% de beta-vaardigheden, geleerd aan een universiteit, niet meer actief toepast of 'onderhoudt'. Ik schat dat dus minder dan 0,1% van de Nederlanders kundig genoeg is om complexe modellen te maken, te snappen, te beoordelen of die zelf te kunnen toepassen. En om nog een extremer statement hieraan toe te voegen: de meeste modelleurs zijn communicatief niet sterk genoeg om de mitsen en maren netjes te delen met hun opdrachtgever. En daar wringt het wat mij betreft, ik kom er zo op terug.
Met modellen kun je spelen
“Ik houd van modellen en ik haat ze,” zeg ik daarom. Ik houd ervan omdat je ermee kunt spelen. Modellen kunnen je een idee geven van wat het weer gaat worden, of welke obstakels een bedrijf op zijn pad kan vinden. Maar een groot nadeel van het gebruik van modellen is dat onze bestuurders steeds minder goed weten wat alle beperkingen zijn van de gebruikte modellen. Ze laten de modellen regeren, zoals Pieter Omtzigt terecht heeft opgemerkt. En daarom haat ik ze, modellen zijn dan als de duivel.
Bestuurders laten de modellen regerenModellen en modelleren zijn vooral een zegen voor praktiserende ingenieurs die een machine of productielijn moeten ontwerpen, of een voor bank die risico's moet beoordelen. Modellen zijn al minder goed toepasbaar voor het ontwerpen van lekkere en gezonde voedselproducten. Neem voedselextrusie (HME) als voorbeeld. Ik noem het een art en geen wetenschap; geen modelleur heeft tot op de dag van vandaag een goed toepasbaar model gemaakt.
Maar de hittebelasting van een blik in een autoclaaf kunnen we prima voorspellen, en daarmee kunnen we ook goed inschatten of er voldoende clostridium botulinum-sporen worden geïnactiveerd. Zulke modellen worden echter altijd gebruikt door specialisten, en dezelfde specialisten weten dat the proof of the pudding is in the eating. Valideren in de praktijk dus blijft nodig.
Er speelt nog iets. De modellen die we gebruiken, worden opgesteld door enkele professionals, meestal in dienst van een overheidsorganisaties. Er is geen tegenmachtOndemocratisch gebruik van modellen
Zo gauw echter politici en beleidsambtenaren hun lot leggen in de handen van modelleurs, zonder te snappen wat de onzekerheid is of zonder te weten welke vereenvoudigingen het model maakt (dat gebeurt altijd!), wordt het dus tricky. Wij als samenleving leggen ons lot (voor covid, gezondheid, klimaat, stikstof) in handen van politici die gesteund worden door beleidsambtenaren die weer gesteund worden door een extreem kleine groep aan modelleurs en data-experts. In de praktijk lijkt het alsof politici de uitkomsten van een model blind volgen onder het mom van ‘de wetenschap heeft gesproken’. Ik ervaar dat als buitengewoon ondemocratisch; modellen en hun interpretatie zijn geen wetenschap maar het resultaat van keuzen en daar moet je het politiek over kunnen hebben. Dat is een taak voor de Tweede Kamer die niet blind kan wijzen naar ‘de wetenschap’ die gesproken zou hebben.
Er speelt nog iets. De modellen die we gebruiken, worden opgesteld door enkele professionals, meestal in dienst van een overheidsorganisaties. Er is geen tegenmacht. Het ontbreek aan een tweede (en derde of vierde) onafhankelijk team dat ook met een alternatief model (en data, en validatie) komt. Er is geen battle op inhoud dus. Alleen van het IPCC heb ik er weet van dat ze daar een tiental klimaatmodellen gebruiken. De essentiële wetenschappelijke battle vindt in het klimaatdomein dus wel plaats. Bij de stikstof-, gezondheid- en coviddossiers is er een gebrek aan competitie op inhoud.
Modellen creëren immers alleen maar een kunstmatige werkelijkheid, die beleidsmakers - via de kunde van de modelleurs - het idee geeft dat ze de werkelijkheid kunnen controlerenDroge depositie module zwakke wetenschap
Deze zomer heb ik me verdiept in OPS (ja, de wiskunde, inclusief FORTRAN 90 code) en specifiek in de droge depositie module, en ben tot de conclusie gekomen dat het zwakke wetenschap is. Gaan we op basis van zwakke wetenschap €25 miljard uitgeven om boeren uit te kopen en de samenleving vermoedelijk nog veel verder - en duurder - op de kop te zetten? Ik kan geen enkele zinnige reden verzinnen waarom dat de juiste weg is. Integendeel, er zijn alleen maar argumenten om safe-fail projecten te starten.
Modellen creëren immers alleen maar een kunstmatige werkelijkheid, die beleidsmakers - via de kunde van de modelleurs - het idee geeft dat ze de werkelijkheid kunnen controleren. Een laatste groot punt van kritiek. Als modellen eenmaal in gebruik zijn - of nog erger, een juridische status krijgen - is het nauwelijks nog mogelijk om ze uit te schakelen. Ook als er wetenschappelijke signalen zijn dat ze niet voldoen, blijven ze actief. Tientallen wetenschappers hebben hun carrière gebouwd op de ontwikkeling van modellen als OPS. Als een overheid besluit om een model tegen het licht te houden, zijn het vaak dezelfde experts die deze klus mogen klaren. Als de slager zijn eigen vlees keurt, staat de uitkomst eigenlijk al vast.
Modellen zijn de duivel in ons politieke systeem, zeg ik daarom.
Op 5 januari krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Voor de liefhebber. Erica Thompson over haar boek Escape From Model Land.
Het draait in het boek hoe je dit vraagstuk oplost:
Experts make models. But their expertise is often limited, and it comes from a particular background and set of experiences. You can often find equally qualified experts who will disagree about the right assumptions to make when constructing a model and who give different advice about how to achieve the stated aims. Then the decision-maker – probably a non-expert – will be in the difficult position of trying to adjudicate between different models from different experts, weighing up their relative credibility.
Echt heel mooi verwoord.
Dit is precies het probleem.
En als vanuit die bril kijkt naar het politieke debat over innovatie/technologiekritiek :
Grappig is, bij klimaat en stikstof worden modeluitkomsten politiek gebruikt om kritisch te zijn op technologie: we moeten terug naar "natuurlijk" en technologie minder gebruiken. Ot en Sien landbouw wordt geromantiseerd.
Bij corona worden modeluitkomsten politiek gebruikt om juist maximaal technologie in te zetten, d.m.v. wereldwijde vaccinatie.
Dus dat vind ik dan weer niet politiek consequent.
De onderliggende politieke ideologie bij zowel stikstof, klimaat als corona is dan: zero risk. Risico's uitsluiten. Liefst ook zero footprint.
Het politieke alternatief zou kunnen worden: durf te leven, durf risico's te nemen.
Het leven IS een risico, een footprint is het voedsel voor de volgende in de kringloop.
Dus politieke alternatief is dat je met modellen in de hand durft om risico's te nemen bij de modeluitkomsten.
Zero risk is een politieke illusie.
Zero risk heeft negatieve uitkomsten. Wie risico's 100% wil uitsluiten, creëert juist nieuwe, vaak grotere, risico's. Die veel erger zijn, en veel eerder leiden tot echte issues (een issue is in project management een term voor een risico dat echt intreedt, dus echt gebeurt).
Tja, laten we dit debat eens onconventioneel voeren, de polarisatie voorbij.
De werkelijkheid heeft het nodig.
Je kunt wetenschappelijkheid niet claimen (als politieke partij, of als journalist) door een modeluitkomst als waarheid te beschouwen. Dat is de vergissing van dit tijdperk.
Mensen die andere keuzes maken (risk is a reality), op basis van dezelfde modeluitkomst, zouden niet gecanceld moeten worden als onwetenschappelijk. Dan begint polarisatie. Het is tijd om te de-polariseren. De stikstofcrisis, en het model Aerius, zijn een goede case om daarmee te starten.
Kafka zou het daar mee eens zijn geweest.
Er komt trouwens een nieuwe aan: PX-10. Bekennen, excuus en herstel.
Als ik de laatste 80 jaar bekijk valt dat nog wel mee. Het gaat inderdaad niet altijd goed. Vanaf 1983 zijn er 14 parlementaire enquetes geweest. En dat op de 1500 wetten per jaar. Verantwoording afleggen zit gelukkig in het systeem.
Maar het gebrek aan vertrouwen komt vooral van de mensen die het met de besluitvorming niet eens zijn. En die wantrouwen als speerpunt hebben genomen. Ik moet zeggen een strategie die werkt, maar die ons uiteindelijk gaat opbreken (BBB, PVV, JA21, FvD: 43 zetels in de peilingen).
Ze vertegenwoordigen op zich allemaal minderheden maar hun media aandacht is exponentieel.
Wouter we zijn er met een harde landing achtergekomen dat het geloof in een vrije markt misschien niet zo handig was en dat de teugels moeten worden aangetrokken (dat vindt links en rechts). Dat ondernemers daar niet zo blij mee zijn, snap ik. En die 'ommezwaai' doet pijn. Nu met stikstof. Maar dat is het topje van de ijsberg (voornamelijk door juridische perikelen). Bodem, water, CO2 staan te dringen.
" De overheid met een waaier aan betrokkenen is gebaat bij een weinig veranderend beleid, zoveel mogelijke consistentie en stabiliteit biedend."
Natuurlijk!
Ik (als burger) wil dat onze overheid consistent en stabiel is. En ik hoor in de ondernemerswereld vooral gemopper over "gebrek aan vertrouwen in de consistentie en stabiliteit". Onze overheid is niet betrouwbaar en consistent genoeg denk ik.