AI-weermodellen steeds beter, maar missen juist de grootste extremen

In een nieuwe studie hebben wetenschappers warmterecords, kouderecords en extreme windsnelheden onderzocht, waarbij de AI-modellen moeite hadden deze te voorspellen. Dat AI-modellen hier nog moeite mee hebben, is belangrijk om te weten, juist omdat deze extremen zo’n grote rol spelen in de meteorologie. Voor hittegolven moet bijvoorbeeld op tijd gewaarschuwd kunnen worden, net als voor stormen met mogelijk grote gevolgen. Juist het onderschatten van dit soort extremen kan daarom gevaarlijk zijn.

Wat is eigenlijk het verschil tussen een AI-model en een klassiek weermodel?

Een klassiek weermodel werkt op basis van natuurkundige wetten, zoals die uit de stromingsleer. De wereld wordt daarbij opgedeeld in kleine vakjes, waarna de computer voor elk vakje deze natuurkundige formules doorrekent. Zo ontstaat uiteindelijk een weerkaart. Dat kost veel rekenkracht en daarom duurt het maken van een verwachting enkele uren.

Een AI-model heeft in principe geen directe kennis van deze natuurkunde, maar werkt op basis van data. Voor diezelfde in vakjes verdeelde wereld zijn de modellen getraind met enorme hoeveelheden historische gegevens. Op basis daarvan leren ze patronen herkennen en gebruiken ze die om voorspellingen te maken. Het trainen van zo’n model kost veel rekenkracht, maar daarna kunnen weersverwachtingen binnen enkele minuten worden gemaakt.

Wat laat de studie precies zien?

De onderzoekers vergeleken meerdere AI-modellen, zoals GraphCast en Pangu-Weather, met het Europese weermodel van ECMWF. Daarbij keken ze naar duizenden recordbrekende hitte-, kou- en windextremen in 2018 en 2020.

De uitkomst is dat de AI-modellen deze extreme gebeurtenissen bijna altijd onderschatten. Dat geldt niet alleen voor hoe vaak ze voorkomen, maar ook voor hoe extreem ze zijn. Bij hitterecords voorspellen ze dus vaak te lage temperaturen, bij kouderecords juist te hoge temperaturen en bij windrecords te weinig wind. Daarbij wordt de fout ook nog groter naarmate een record verder boven het oude record uitkomt.

De nauwkeurigheid het Europese klassieke weermodel (zwarte lijn) en de AI-modellen bij het voorspellen van temperatuur (links) en warmterecords (rechts). Hoe lager de lijn hoe beter het model presteert. Voor de records is het klassieke model duidelijk het best.

De nauwkeurigheid van de verschillende modellen voor windsnelheid voor normale windsnelheden (links) en extreme windsnelheden (rechts). Het klassieke model gaat duidelijk van minst goed presterend naar veruit het best presterend voor de extreme wind.

Waarom zijn de AI-modellen niet goed in extremen?

Met de opgedane kennis over hoe AI-modellen verschillen van klassieke weermodellen voel je misschien al aankomen, waarom een AI-model minder goed is in het voorspellen van extreem weer. Doordat AI-modellen zijn getraind op historische data, hebben ze moeite met weersituaties die buiten hun trainingsdata vallen. De natuurkundige wetten waarop klassieke weermodellen zijn gebaseerd, blijven daarentegen ook bij dit soort uitzonderlijke situaties gewoon geldig, waardoor klassieke modellen dit beter berekenen.

Wereldkaart die laat zien dat de AI-weermodellen bijna altijd hitterecords onderschatten. Alle figuren komen uit het onderzoek van Zhang en collega's.

Moeten we AI-modellen nu maar opgeven?

Deze studie is zeker geen reden om AI-weermodellen in de ban te doen, want ze zijn absoluut niet slecht. Voor ‘gewoon’ weer zijn ze inmiddels vaak zelfs beter dan klassieke weermodellen, en bovendien veel sneller. Het probleem is alleen dat ‘gewoon’ weer juist niet de situaties zijn waar het echt spannend wordt. Pas bij extreem weer gaat het bijvoorbeeld over code oranje of zelfs code rood, met veel gevolgen voor de maatschappij. Dan is het belangrijk om te beseffen dat je in dit keuzeproces beter niet op een AI-weermodel kunt vertrouwen.

Juist daarom is het interessant om te weten waar de sterke en zwakke kanten van verschillende weermodellen liggen, zodat je het beste van beide werelden kunt gebruiken. Bovendien gaat de ontwikkeling van AI-weermodellen razendsnel. Het is dus goed mogelijk dat de nieuwe generatie modellen hier al beter mee om kan gaan, bijvoorbeeld doordat die deels ook weer gebruikmaakt van natuurkundige kennis uit klassieke modellen.

Al met al laat deze studie zien dat AI-modellen voorlopig nog minder goed zijn in het voorspellen van extreme weerssituaties en dat meteorologen in zulke gevallen beter nog op klassieke weermodellen kunnen terugvallen. Tegelijk gaat de ontwikkeling razendsnel, dus het is best denkbaar dat deze zwakke plek over een paar jaar alweer grotendeels is verdwenen.