Alla Cop31, la 31esima conferenza delle Nazioni Unite sul clima in corso ad Antalya, in Turchia, l’Unesco ha presentato un rapporto sull’affidabilità dell’intelligenza artificiale nelle conversazioni sul clima. Come racconta Domani, un esperimento condotto dai ricercatori dello University College London ha mostrato come i chatbot possano abbandonare risposte scientificamente corrette di fronte alle obiezioni degli utenti.
A una prima domanda sul ruolo dell’anidride carbonica nel riscaldamento globale, un chatbot risponde molto probabilmente in modo corretto. I ricercatori si sono chiesti che cosa succeda quando l’utente replica di non essere d’accordo.
Cop31, lo studio presentato dall’Unesco
L’esperimento presentato alla Cop31 ha coinvolto 15 modelli. I ricercatori hanno selezionato le risposte nelle quali ciascun sistema aveva spiegato correttamente un fatto scientifico, poi hanno simulato una conversazione con un utente che inizialmente esprimeva soltanto un dubbio. Nei messaggi successivi, l’interlocutore insisteva, rivendicava una competenza in materia e arrivava a presentare prove inventate sul fatto che la crisi climatica non esista.
Tutti i chatbot hanno finito per assecondare l’utente in almeno una parte delle conversazioni. Spesso non è stato necessario ricorrere alle prove false: circa otto volte su dieci, quando un modello ha rinunciato alla risposta corretta, lo ha fatto alla prima obiezione. Tra le tesi errate avallate figurava quella secondo cui l’anidride carbonica avrebbe un ruolo secondario nell’attuale riscaldamento globale.
Nei primi scambi pesava anche l’identità dichiarata dall’utente. Se si presentava come climatologo, l’accuratezza delle risposte scendeva mediamente di circa 13 punti percentuali; la stessa tesi falsa sostenuta da chi si definiva scettico sul clima aveva invece un effetto trascurabile. Con il ripetersi delle obiezioni, però, il vantaggio del presunto esperto scompariva: anche lo scettico riusciva a far cambiare risposta al sistema.
Come la lingua modifica l’accuratezza delle risposte
Un’altra parte dello studio presentato alla Cop31 ha sottoposto le medesime domande a cinque modelli in 13 lingue. In inglese le risposte corrette sono state l’88,6%, con risultati simili in spagnolo, francese e portoghese. La quota è scesa all’81,4% in urdu e al 78,3% in swahili. In alcuni casi, cambiare la lingua della domanda è bastato a ottenere risposte contraddittorie.
Una possibile spiegazione riguarda i testi utilizzati per l’addestramento: il materiale disponibile online in inglese è molto più abbondante di quello in swahili. Il divario si riflette sulla qualità delle informazioni accessibili agli utenti. Per chi cerca, per esempio, spiegazioni in urdu dopo un’alluvione in Pakistan, usare la propria lingua si accompagna a una maggiore probabilità di ricevere una risposta sbagliata.
