De kwaliteit van de gegevens die modelbouwers gebruiken, bepaalt de kwaliteit van hun uitkomsten, zegt voedingsexpert Annet Roodenburg in haar bijdrage aan de vraag wat voor kennis modellen opleveren. Recent werkte ze mee aan een vergelijking van modellen. Het beste viel moeilijk te bepalen door de onvergelijkbaarheid van de modellen. Ze pleit daarom voor standaardisatie om dat probleem op te lossen.
Met modellen kun je potentiële effecten op de gezondheid berekenen van voedingsinterventies, zoals bijvoorbeeld zoutreductie, een voedselkeuzelogo of een suikertaks. Dit soort berekeningen kunnen gebruikt worden voor het maken van beleid. Het gaat eigenlijk altijd om het vergelijken van verschillende scenario’s. Deze modellen kunnen heel simpel zijn, maar vaker zijn ze complex.
Hoe een model werkt
Sterk vereenvoudigd werkt het als volgt: Je hebt een rekenmodel, daar stop je gegevens in, je kiest voor scenario’s die je met elkaar wilt vergelijken, drukt op de knop en vervolgens komt er een antwoord uit: Scenario 1 is beter dan scenario 2. Toch doe je dit niet zomaar even. Het gebruik van de modellen vraagt toegang tot zo’n model en specifieke expertise.
Belangrijk uitgangspunt is crap in, crap out. Met andere woorden: de kwaliteit van de gegevens die je gebruikt bepaalt de kwaliteit van je uitkomsten.
Modelstudies
Modelstudies gaan vaak nog een stapje verder. Ze berekenen ook wat de effecten van bijvoorbeeld zoutverlagingsbeleid op de gezondheid zijn, zoals hartziekten, hoge bloeddruk en beroertes (2). Om dit te kunnen doen zijn meer gegevens nodig, zoals: informatie over prevalentie van deze aandoeningen in een land en voeding-gerelateerde risicofactoren. Die laatsten komen uit epidemiologische studies. Een voorbeeld is de inname van xx gram meer zout leidt tot yy hogere bloeddruk. Tenslotte kan ook de economische impact van de gezondheidseffecten worden gemodelleerd, ook hiervoor heb je weer extra gegevens nodig, zoals huidige (zorg)kostenschattingen en aannames over gemiste werkdagen, en ook hiervoor geldt crap in, crap out.
Afgelopen oktober verscheen een overzichtsartikel waar ik aan meewerkte (3). Het evalueert 122 van dit soort modelstudies. De studies gingen over gezondheids- en economische effecten van voedingsinterventies. We waren op zoek naar de beste modellen en onze focus lag op zout, suiker en een drietal micronutriënten (vitamine D, foliumzuur en ijzer). We gebruikten voor de evaluatie een lijst kwaliteitscriteria, die terug te vinden is in het artikel. Daarbij moet je denken aan kwaliteit en de complexiteit van benodigde gegevens, robuustheid en transparantie van het model en de toegankelijkheid van het model. Onze conclusie was dat dit type onderzoek in principe goed bruikbaar is om potentiële economische en gezondheidseffecten te meten van voedingsinterventies. Wat het beste model is, konden we niet bepalen. Wel zijn er methodologische uitdagingen en is er een duidelijke behoefte aan standaardisatie, zodat studies beter met elkaar vergeleken kunnen worden.
Al met al is dit best taaie kost.
(1) Hendriksen MA, Verkaik-Kloosterman J, Noort MW, van Raaij JM. Nutritional impact of sodium reduction strategies on sodium intake from processed foods. Eur J Clin Nutr. 2015 Jul;69(7):805-10. doi: 10.1038/ejcn.2015.15. Epub 2015 Mar 18. PMID: 25782426; PMCID: PMC4493647.
(2) Hendriksen MAH, van Raaij JMA, Geleijnse JM, Breda J, Boshuizen HC (2015) Health Gain by Salt Reduction in Europe: A Modelling Study. PLoS ONE 10(3): e0118873. https://doi.org/10.1371/journal.pone.0118873.
(3) Dötsch-Klerk M, Bruins MJ, Detzel P, Martikainen J, Nergiz-Unal R, Roodenburg AJC, Pekcan AG. Modelling health and economic impact of nutrition interventions: a systematic review. Eur J Clin Nutr. 2022 Oct 4. doi: 10.1038/s41430-022-01199-y. Epub ahead of print. PMID: 36195747.
Dit artikel afdrukken
Hoe een model werkt
Sterk vereenvoudigd werkt het als volgt: Je hebt een rekenmodel, daar stop je gegevens in, je kiest voor scenario’s die je met elkaar wilt vergelijken, drukt op de knop en vervolgens komt er een antwoord uit: Scenario 1 is beter dan scenario 2. Toch doe je dit niet zomaar even. Het gebruik van de modellen vraagt toegang tot zo’n model en specifieke expertise.
Belangrijk uitgangspunt is crap in, crap out. Met andere woorden: de kwaliteit van de gegevens die je gebruikt bepaalt de kwaliteit van je uitkomsten.
Wat het beste model is, konden we niet bepalen. Wel zijn er methodologische uitdagingen en is er een duidelijke behoefte aan standaardisatie, zodat studies beter met elkaar vergeleken kunnen wordenBij het modelleren van voedingsinterventies begin je vaak met gegevens van voedingsinname en samenstelling van voedingsmiddelen, je bedenkt een aantal scenario’s. Zoals bijvoorbeeld in deze modelleerstudie over zoutreductie (1). Scenario 1: ‘Maximaal technologisch haalbare zoutverlaging in alle producten’, scenario 2: ‘Zoute producten vervangen door vergelijkbare zoutarme producten’. Vervolgens berekent het model het effect op zoutinname. Het model beantwoordt de vraag: ‘Welk scenario leidt tot de laagste zoutinname?'.
Modelstudies
Modelstudies gaan vaak nog een stapje verder. Ze berekenen ook wat de effecten van bijvoorbeeld zoutverlagingsbeleid op de gezondheid zijn, zoals hartziekten, hoge bloeddruk en beroertes (2). Om dit te kunnen doen zijn meer gegevens nodig, zoals: informatie over prevalentie van deze aandoeningen in een land en voeding-gerelateerde risicofactoren. Die laatsten komen uit epidemiologische studies. Een voorbeeld is de inname van xx gram meer zout leidt tot yy hogere bloeddruk. Tenslotte kan ook de economische impact van de gezondheidseffecten worden gemodelleerd, ook hiervoor heb je weer extra gegevens nodig, zoals huidige (zorg)kostenschattingen en aannames over gemiste werkdagen, en ook hiervoor geldt crap in, crap out.
Afgelopen oktober verscheen een overzichtsartikel waar ik aan meewerkte (3). Het evalueert 122 van dit soort modelstudies. De studies gingen over gezondheids- en economische effecten van voedingsinterventies. We waren op zoek naar de beste modellen en onze focus lag op zout, suiker en een drietal micronutriënten (vitamine D, foliumzuur en ijzer). We gebruikten voor de evaluatie een lijst kwaliteitscriteria, die terug te vinden is in het artikel. Daarbij moet je denken aan kwaliteit en de complexiteit van benodigde gegevens, robuustheid en transparantie van het model en de toegankelijkheid van het model. Onze conclusie was dat dit type onderzoek in principe goed bruikbaar is om potentiële economische en gezondheidseffecten te meten van voedingsinterventies. Wat het beste model is, konden we niet bepalen. Wel zijn er methodologische uitdagingen en is er een duidelijke behoefte aan standaardisatie, zodat studies beter met elkaar vergeleken kunnen worden.
Al met al is dit best taaie kost.
(1) Hendriksen MA, Verkaik-Kloosterman J, Noort MW, van Raaij JM. Nutritional impact of sodium reduction strategies on sodium intake from processed foods. Eur J Clin Nutr. 2015 Jul;69(7):805-10. doi: 10.1038/ejcn.2015.15. Epub 2015 Mar 18. PMID: 25782426; PMCID: PMC4493647.
(2) Hendriksen MAH, van Raaij JMA, Geleijnse JM, Breda J, Boshuizen HC (2015) Health Gain by Salt Reduction in Europe: A Modelling Study. PLoS ONE 10(3): e0118873. https://doi.org/10.1371/journal.pone.0118873.
(3) Dötsch-Klerk M, Bruins MJ, Detzel P, Martikainen J, Nergiz-Unal R, Roodenburg AJC, Pekcan AG. Modelling health and economic impact of nutrition interventions: a systematic review. Eur J Clin Nutr. 2022 Oct 4. doi: 10.1038/s41430-022-01199-y. Epub ahead of print. PMID: 36195747.
In Wat is ...? gaan we met bekende en minder bekende mensen op zoek naar wat hen motiveert om te ontdekken of we elkaar van daaruit weer kunnen vinden. De introductie tot de modellenreeks vind je hier. Waarom we dit doen lees je in De ontdekking van de ander.
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 5 april krijg je nieuwe kado-artikelen.
Op 5 april krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
#3 Ook data is niet waardenvrij, onderzoekers kunnen punten al dan niet meenemen obv “regels” die in-huis gelden of onderbuik (iets lijkt niet goed).
Als externe onderzoeker (leek) weet je dat niet en zie je dat niet. Zo is afronden onderwijl niet gebruikelijk, maar in supplementary data vind je niets anders en maakt nawerken alweer moeilijker. Daar komt nog eens overheen dat er amper wordt nagerekend.
Ik ben met mijn onderzoek eenmaal door extern ingehuurde consultant (WHO) doorgelicht. Het werk dat er dan nog ingaat om de data en onderzoeken toegankelijk te maken voor een “leek” op het vakgebied is enorm (bv technieken uitleggen obv theorie en praktijkuitvoering icm onzekerheden in analyses ed) alsmede alle discussies ter verduidelijking en onderbouwing keuzes. Totaal een proces van vele maanden (uiteindelijk resultaat geen onvolkomendheden en goed onderzoeksresultaat en prima conclusies ondanks dat eindresultaat tegenviel qua product opbrengst. Leverde wel succesvol project vervolg met hoge opbrengsten en patent/publicaties).
Toegankelijkheid van data zonder expertise van de data is zeer moeilijk, dat is ook mijn grootste bezwaar bij bv “Our World In Data”, data is nooit puur “data”
Misschien is het een detail, maar ik vind het heel belangrijk wat Annet aan het slot zegt: als je data niet op een universele manier verzamelt, taxeert en bewerkt is iedere studie een denkwereld op zichzelf.
Die gedachte ben ik in de eerdere bijdragen nog niet tegengekomen.
Monnikenwerk zo’n review artikel.
We zeggen wel eens gebruik meerdere verschillende modellen voor hetzelfde (uit verschillende bronnen) om iets te beoordelen, hoewel je ze niet direct naast elkaar kunt leggen, kunnen ze wel onderling grote afwijkingen laten zien waar vervolgens op ingezoomd kan worden. Wat is de reden ervan? Data-input, rekenregels, keuzes, afrondingen onderweg, aannames/schattingen, etc etc.
Deze review maakt ook duidelijk dat dit niet altijd kan
“these reviews made clear that the wide variety in modelling approaches makes it difficult to compare model outcomes, as the structural and methodological differences could have a major impact on the modeling results. In addition to these reviews, also the participants of our stakeholder workshop agreed that the outcomes of simulation modelling are highly dependent on the quality of the input data and assumptions used as model parameters”
Modellen zijn een middel met beperkingen die je moet (her)kennen.
In mijn (studie-)tijd waatschuwden docenten voor de GIGO-wetmatigheid bij het programmeren van computeropdrachten: garbage in, garbage out.