Nu

AI is een people-pleaser op het gebied van klimaatvragen

Tijdens de klimaattop COP31, die officieel op 20 november geëindigd zou moeten zijn, is een rapport gepresenteerd dat de vraag beantwoordt hoe large language models (LLM’s) zoals ChatGPT omgaan met klimaatvragen van onder andere alledaagse gebruikers. Ofwel: als jij een klimaatvraag stelt aan een chatbot, hoe groot is de kans dat dit klopt?

Het onderzoek van UNESCO en University College London testte tot 33 AI-modellen met honderden klimaatvragen. Een deel daarvan werd ook in 13 talen getest en onder druk van een tegensprekende gebruiker. Hieruit bleek dat AI het vaak goed heeft – vooral in de beste modellen. Echter, wanneer de gebruiker de chatbot in twijfel trok, veranderde het resultaat drastisch. Ook maakt de taal die werd gebruikt een verschil.

Kunnen we AI op klimaatbeleid vertrouwen?

Wat blijkt: AI heeft het vaak goed als het om feitelijke klimaatvragen gaat. De beste modellen hadden feitelijke vragen tussen 88% en 96% goed. Kleinere modellen deden het duidelijk slechter. Hoe meer het model voor een taak moet redeneren, hoe slechter het model de vraag beantwoordt. Vooral op het gebied van gecombineerd beleid presteert AI vaak slecht. Van individuele beleidsmaatregelen konden de modellen nog wel goed inschatten of die de opwarming afremt, maar zodra de maatregelen samen werden bekeken, scoorden ze niet beter dan op basis van kans.

AI blijkt een people-pleaser

De onderzoekers lieten een gebruiker een goed antwoord van de chatbot tegenspreken: eerst door het gewoon oneens te zijn, daarna door te zeggen dat hij expert was, en ten slotte met verzonnen bewijs. Elk van de vijftien geteste modellen gaf daarbij toe. De juistheid daalde met 31 tot 35 procentpunt. Opvallend was dat in 8 van de 10 gevallen waarin het model een onjuist feit toegaf, dit al gebeurde bij de eerste tegenspraak, nog voordat de gebruiker zich als een expert voordeed of “bewijs” liet zien.

Wie de gebruiker zei te zijn, maakte bij een losse bewering nog wel uit. Kwam een onjuist feit van iemand die zei een klimaatwetenschapper te zijn, dan nam het model dat vaker over dan wanneer een klimaatscepticus hetzelfde zie. Maar bleef de gebruiker aandringen, dan gaven de modellen aan iedereen toe, ook aan de scepticus.

Hoe sterk de juistheid van AI-antwoorden daalt wanneer een gebruiker tegenspreekt, uitgesplitst naar wie de gebruiker zegt te zijn.

Ook de taal maakt verschil

Het maakte erg uit welke taal er werd gebruikt in de Large Language Models. Het sterkst waren de LLM’s in het Engels met 88,6% juistheid. In minder vertegenwoordigde talen, waarin minder informatie te vinden is, deden de vijf geteste modellen het duidelijk slechter. Bij Swahili was de daling het grootst: 10,2 procentpunt lager dan in het Engels. Ook in Urdu, Hindi en Bengali deden de modellen het slechter. Spaans en Frans deden het vergelijkbaar met Engels. Ook Nederlands zat er niet ver vanaf: het scoorde met 87,3% juistheid slechts 1,3 procentpunt minder goed dan Engels. Eenzelfde vraag kan dus een heel ander antwoord opleveren wanneer je het in een andere taal stelt. En dat terwijl de mensen die de minder vertegenwoordigde talen spreken juist in gebieden zitten waar de klimaatproblemen het hardst worden gevoeld.

Welke impact heeft dit?

Met het groeiende gebruik van AI zijn deze resultaten zorgelijk. Hoewel de LLM’s op het eerste gezicht goed leken te presteren, neemt de betrouwbaarheid sterk af als een vraag meer redeneerwerk vraagt, als de gebruiker tegendruk geeft of als de vraag in een andere taal wordt gesteld. De ontwikkelingen in AI en LLM’s brengen veel mogelijkheden met zich mee en kunnen zeker worden ingezet om ingewikkelde informatie simpeler te maken en zo voor een breder publiek beschikbaar te stellen. Maar wanneer de informatie die wordt aangedragen onjuist is, of afhangt van hoe je zelf tegen een feit aankijkt of de taal die je spreekt, kan dit juist het klimaatscepticisme vergroten en zelfs tot een vertraagd klimaatbeleid leiden.

Moet je nu ChatGPT niet meer vertrouwen als je de volgende keer vraagt hoe groot de klimaatimpact echt is van het eten van een hamburger? Hoewel AI feitelijke vragen meestal goed beantwoordt, vervangt AI geen klimaatwetenschappers. En als je toch een keer een complexe vraag wilt stellen: check de bronnen, stel open vragen en probeer de chatbot niet naar je eigen mening te praten, want dan krijg je die vooral terug: AI blijkt namelijk nogal een people-pleaser.

Foto gemaakt door UNESCO/UCL - Bewerkt naar UNESCO/UCL: Can we trust AI on climate information? (2026)
Foto gemaakt door UNESCO/UCLBewerkt naar UNESCO/UCL: Can we trust AI on climate information? (2026)