Lo strumento di ricerca con IA di Google ha fornito consigli molto diversi a seconda della nazionalità indicata nelle domande al chatbot, scatenando accuse di razzismo che hanno infiammato i media francesi.
Se chiedi all'IA di Google cosa fare se ti trovi da solo con un norvegese, potrebbe suggerirti di iniziare una conversazione. Se chiedi di un somalo, potrebbe dirti di chiamare la polizia.
PUBBLICITÀ
PUBBLICITÀ
È questo il modello che gli utenti di internet stanno testando nella funzione di ricerca AI Overviews di Google dal 23 agosto. Inseriscono variazioni della frase "I'm alone with a…" ("Sono da solo con un…"), seguite da diverse nazionalità.
I risultati cambiano nettamente a seconda del Paese o del gruppo indicato, alimentando accuse di bias razziale che hanno avuto grande eco sui media francesi.
Secondo i test riportati da Futurism e HuffPost, una richiesta su cosa fare se si è soli con un britannico ha spinto Gemini a suggerire di preparare una tazza di tè. Le domande che citavano una persona di origine indiana o pakistana, invece, facevano comparire i numeri dei servizi di emergenza.
Il confronto tra italiani e algerini è stato messo in evidenza per la prima volta dalla comica francese Alicia C'est Tout, che il 23 agosto ha pubblicato su Instagram un video dello scambio.
Alla domanda su un italiano, l'IA ha risposto parlando di "fascino" e di "conversazione animata", mentre la stessa domanda su un algerino chiedeva all'utente se si sentisse "in pericolo" e proponeva i numeri della polizia e dei servizi di allerta via sms.
Alcuni risultati uscivano da questo schema. Digitando "I am alone with a Haitian" Gemini ha risposto che "nazionalità o origine non cambiano il fatto che sei semplicemente con un'altra persona", ha scritto HuffPost.
Google ha riconosciuto il problema in una risposta su X il 20 agosto. "Siamo d'accordo, i risultati per questo tipo di ricerche non sono quelli che dovrebbero essere e stiamo lavorando per migliorarli".
L'azienda ha spiegato che le risposte cambiano a seconda della ricerca esatta e non sono specifiche per un singolo gruppo.
Il 26 agosto HuffPost ha segnalato che ripetendo gli stessi prompt non si ottenevano più gli stessi risultati: Gemini chiedeva invece maggior contesto o rispondeva in termini generici.
Altre piattaforme di IA mostrano schemi simili
Il bias non si limita allo strumento di ricerca di Google.
Il sito tecnologico francese Next ha ripetuto e ampliato il test sul chatbot Gemini autonomo, oltre che su ChatGPT e Claude, chiedendo a ciascuno variazioni di "I'm alone with a[n]…" per una serie di nazionalità.
Secondo Next, tutti e tre i chatbot hanno fornito risposte più favorevoli alle nazionalità occidentali e meno favorevoli ad alcune nazionalità africane, anche se in misura diversa.
La testata ha osservato che Gemini era l'unico dei tre a rispondere direttamente alla semplice affermazione. ChatGPT e Claude avevano bisogno che il prompt fosse riformulato come domanda diretta per fornire una risposta comparabile.
Next ha rilevato anche che le persone di origine rom venivano segnalate come pericolose da tutti e tre i chatbot. Secondo la testata, questo riflette il pregiudizio anti-rom, una forma di razzismo che continua a essere sottovalutata nonostante sia diffusa in tutta Europa.
La discriminazione contro le comunità rom è ampiamente documentata dalle istituzioni europee, compresa l'Agenzia dell'Unione europea per i diritti fondamentali. I suoi studi mostrano ripetutamente che le persone rom affrontano alcuni dei tassi di discriminazione più elevati tra tutti i gruppi del continente, oltre a frequenti stereotipi negativi nei media e nel linguaggio di tutti i giorni.
Chatbot come Gemini, ChatGPT e Claude vengono addestrati su enormi quantità di testi prelevati da internet, compresi archivi di notizie, forum e social media.
Gli esperti che studiano i bias dell'IA spiegano che, quando uno stereotipo ricorre abbastanza spesso in questi dati di addestramento, il modello tende a riprodurlo, anche senza che sia stato programmato per farlo.