AI praat gebruikers naar de mond, ten koste van de wetenschap
AI-modellen geven wetenschappelijke kennis over de klimaatverandering correct weer, maar laten die feiten snel varen als de gebruiker tegengas geeft. Dat blijkt uit een studie van Unesco en University College London die werd voorgesteld op de VN-klimaattop COP31 in het Turkse Antalya.
In het kort
Een studie van 15 AI-modellen stelt vast dat ze aanvankelijk correcte antwoorden geven op vragen over klimaatverandering, maar de feiten achterwege laten wanneer de gebruiker die in twijfel trekt.
In acht van de tien gevallen heulen de modellen al na een lichte afkeuring met de gebruiker mee, en bevestigen ze zelfs flagrante wetenschappelijke fouten.
Hun betrouwbaarheid neemt af in minder gangbare talen en bij nieuwe wetenschappelijke inzichten.
De onderzoekers consulteerden vijftien AI-modellen. In negen op de tien gevallen gaven die correcte informatie over de klimaatverandering. Als het model echter verkeerde informatie aangeleverd kreeg door de gebruiker, liet het in acht op de tien gevallen die wetenschappelijk onderbouwde kennis meteen varen.
"Het is verontrustend dat de modellen een ontwerpfout bevatten - ze worden gestimuleerd om akkoord te gaan met de gebruikers en daardoor de feiten zo snel te ontkennen", stelt hoofdauteur Leona Verdadero (Unesco).
Uit het onderzoek blijkt verder dat AI niet goed is om nieuwe wetenschappelijke kennis te verwerken. De beste modellen konden slechts in driekwart van de gevallen aangeven of nieuwe informatie de huidige wetenschappelijke kennis bevestigt dan wel weerlegt.
Lees ook: Pattie Maes: 'We zijn AI veel te snel aan het introduceren'
Als de modellen werd gevraagd om te beoordelen hoe goed verschillende beleidsmaatregelen elkaar aanvullen, haalden ze slechts een accuraatheid van 33,8 procent, amper beter dan als er gewoon gegokt zou worden. De onderzoekers plaatsen dan ook vraagtekens bij het voornemen om AI te gebruiken om met oplossingen voor de klimaatverandering op de proppen te komen.
Ook taal speelt een rol
De accuraatheid hangt bovendien af van de taal. In het Engels (88,6 procent) scoort AI het best, maar in het Swahili daalt dat tot 78,3 procent. Net die minder gesproken talen worden gebruikt in de zwaarst getroffen gebieden.
"Onze bevindingen tonen aan waarom we voorzichtig moeten zijn als we overschakelen van AI vragen wat we weten over de klimaatverandering naar wat we ertegen moeten doen", besluit medehoofdauteur María Pérez-Ortiz (University College London).
De conclusies van deze studie van Unesco en University College London (UCL) werden in de marge van COP31 gepresenteerd in Antalya (Turkije).
Het rapport is een waarschuwing voor beleidsmakers en onderzoekers die geneigd zouden zijn AI in te zetten om klimaatbeleid op te stellen.
De bevindingen kunnen wellicht gerepliceerd worden in de medische wetenschap.