Secondo un rapporto presentato alla COP31, i modelli di IA rispondono correttamente in inglese a circa il 90% delle domande sul clima, ma cedono rapidamente di fronte alle contestazioni.
Il desiderio di compiacere è incorporato nei chatbot di IA, progettati per mantenere gli utenti coinvolti nella conversazione il più a lungo possibile.
Questo spesso significa prevedere e modellare ciò che l'utente vuole sentirsi dire, anche quando comporta di piegare i fatti.
Se per alcuni compiti questo può essere innocuo, e perfino utile per esempio per superare i dubbi su sé stessi, può risultare molto più dannoso se la sua influenza penetra in ambiti ad alto rischio come le politiche climatiche dei governi.
Secondo un nuovo rapporto dell'UNESCO e della University College London (UCL) presentato al vertice sul clima COP31 ad Antalya, in Türkiye, i chatbot di IA sanno spiegare bene la scienza del clima, ma abbandonano rapidamente i fatti quando gli utenti li mettono in discussione.
I ricercatori hanno scoperto che i modelli di IA rispondevano correttamente a circa il 90 per cento delle domande neutre sul clima. Ma quando gli utenti mettevano in dubbio quelle risposte o sostenevano affermazioni inventate ma plausibili, i modelli cedevano rapidamente.
In otto casi su dieci cambiavano rotta al primo segnale di disaccordo, anche lieve, arrivando a confermare affermazioni false come quella secondo cui il CO2 non è il principale motore del cambiamento climatico.
“Adulatori per progettazione”: un difetto di progettazione che potrebbe distorcere la politica climatica
Il rapporto afferma che il comportamento ossequioso viene incorporato durante l'addestramento. I modelli vengono premiati per risposte educate, non conflittuali e che confermano l'utente, perché le persone le preferiscono.
“L'IA ha un potenziale straordinario per rendere la complessa scienza del clima accessibile a tutti”, afferma Leona Verdadero, autrice principale del rapporto per l'UNESCO. Ma, dice, “i modelli hanno un difetto di progettazione, sono incentivati ad essere d'accordo con il loro utente”.
L'autrice senior, la dott.ssa Maria Perez-Ortiz della UCL, aggiunge che la capacità dei modelli di IA di maneggiare le conoscenze esistenti può dare “una falsa percezione delle loro capacità”.
Nonostante la loro impressionante memoria dei fatti, i modelli si sono rivelati uno strumento inaffidabile per costruire politiche climatiche solide.
Quando veniva loro presentata una nuova evidenza e venivano interrogati sul fatto che sostenesse o contraddicesse la scienza del clima riconosciuta, anche i modelli più avanzati erano in media accurati solo al 75 per cento.
Le prestazioni erano ancora peggiori quando veniva chiesto loro di valutare quanto bene le politiche funzionino insieme, una parte importante della progettazione di strategie climatiche efficaci. In questo compito i modelli hanno ottenuto in media solo il 33,8 per cento di accuratezza, appena sopra il 33,3 per cento atteso da un semplice indovinare casuale.
Il rapporto quindi mette in guardia responsabili politici e ricercatori dall'utilizzare i modelli di IA per elaborare la politica climatica.
La precisione dell'IA cala in alcune lingue
Le prestazioni variavano molto anche a seconda della lingua. I modelli hanno risposto correttamente all'88,6 per cento delle domande in inglese, e hanno ottenuto risultati simili in spagnolo, francese e portoghese.
L'accuratezza è scesa all'83,6 per cento in hindi e bengali, all'81,4 per cento in urdu e al 78,3 per cento in swahili. Questo perché, spiega il rapporto, i modelli multilingue non ragionano prima per poi tradurre. Le loro risposte riflettono la quantità e la qualità dei dati di addestramento disponibili in ciascuna lingua.
Gli autori osservano che i parlanti delle lingue con punteggi più bassi vivono in regioni colpite in modo sproporzionato dal cambiamento climatico.
La disinformazione sul clima sta diventando sempre più sofisticata
Il rapporto è stato commissionato come parte del contributo dell'UNESCO alla Global Initiative for Information Integrity on Climate Change, lanciata con l'ONU e il Brasile a novembre 2024.
Secondo l'UNESCO la disinformazione sul clima sta diventando più sofisticata. Invece di negare che il cambiamento climatico esista, chi cerca di indebolire l'azione climatica suggerisce sempre più spesso che non sia causato dall'uomo, che la tecnologia da sola lo risolverà, oppure che sia troppo tardi o troppo costoso intervenire.
I ricercatori hanno testato fino a 33 modelli di punta su nove insiemi di dati, in 13 lingue e su 656 domande di politica climatica, che hanno confrontato con En-ROADS, uno strumento di simulazione basato sulla scienza.