L'ultimo episodio di un attacco "a sciame", questa volta condotto da agenti OpenAI contro un forum wiki tedesco all'inizio dell'anno, ha spinto l'azienda ad ammettere che deve migliorare il proprio sistema di segnalazione degli incidenti.
La scorsa settimana alcuni ricercatori nel campo dell'intelligenza artificiale hanno scoperto che uno sciame di agenti OpenAI aveva aggirato i parametri di sicurezza e preso il controllo del forum wiki tedesco DseWiki per poter collaborare tra loro.
PUBBLICITÀ
PUBBLICITÀ
Agli agenti era stato consentito di visitare il sito tedesco di programmazione, online da 25 anni, solo in modalità lettura. Sono però riusciti a sfruttare una richiesta web per impadronirsi del sito e trasformarlo in una sorta di bacheca.
Secondo il gruppo di ricerca Nightingale Collective, gli agenti fuori controllo hanno pubblicato oltre 18.000 messaggi, condividendo risposte, analisi sul loro ambiente e metodi per aggirare le restrizioni delle sandbox e sfuggire al rilevamento umano.
L'incidente sarebbe avvenuto tra maggio e giugno di quest'anno. Si ritiene che OpenAI ne fosse al corrente già da alcune settimane, ma lo abbia tenuto nascosto.
Si tratta del terzo episodio noto, dopo altri due segnalati a luglio: uno con agenti fuori controllo che hanno attaccato l'infrastruttura stessa di OpenAI e un altro in cui 1.200 bot OpenAI fuori controllo hanno aggirato gli ambienti limitati e lanciato un attacco di cinque giorni contro la piattaforma open source di IA Hugging Face.
Tuttavia solo sabato OpenAI ha riconosciuto l'incidente del wiki tedesco in un post su X, nel quale ha spiegato che, in risposta all'ultimo episodio, sta "lavorando a un quadro di riferimento su quando e come condividiamo gli incidenti di disallineamento dell'IA".
Con "AI misalignment", nel gergo del settore, si indica la situazione in cui i sistemi di intelligenza artificiale perseguono obiettivi o adottano comportamenti che deviano dalle intenzioni, dai valori o dai vincoli di sicurezza fissati dagli esseri umani, con il rischio di ignorare il buon senso o i limiti impliciti stabiliti dalle persone.
Reazioni contrastanti
Gli esperti sono divisi sui pericoli posti dall'IA alla luce dei recenti attacchi di agenti fuori controllo. Alcuni, come il pioniere dell'IA Yann LeCun, respingono gli scenari apocalittici e le previsioni secondo cui esisterebbe un rischio tra il 10 e il 20 per cento che l'IA provochi la fine dell'umanità.
Altri, come Geoffrey Hinton, sostengono invece che "quello che sta succedendo è che queste cose stanno diventando più intelligenti" e avvertono che "le aziende che investono nell'IA hanno un interesse diretto a dirvi che… [l'IA] non andrà fuori controllo".
In base all'AI Act dell'UE e alle misure più recenti, entrate in vigore ad agosto, le aziende che offrono modelli di IA considerati a rischio sistemico sono tenute a segnalare al più presto gli incidenti gravi, compresi quelli di disallineamento, all'Ufficio IA dell'UE "senza indebito ritardo".
Lunedì la Commissione europea ha annunciato di aver ricevuto una segnalazione formale dell'incidente da OpenAI, senza precisare quando sia stata presentata. Ha aggiunto però di essere in stretto contatto con l'azienda e di proseguire le indagini.
Il portavoce della Commissione, Thomas Regnier, ha sottolineato la gravità di quanto accaduto sul wiki tedesco, affermando che "le segnalazioni di incidente non sono solo una casella da spuntare: bisogna essere molto precisi e accurati sulle misure che si intende adottare".
L'incidente sul wiki tedesco arriva inoltre a pochi giorni dalla decisione della Commissione europea di designare ufficialmente ChatGPT come Very Large Online Search Engine (VLOSE) nell'ambito della sua principale normativa tecnologica, il Digital Services Act.
Il copresidente del gruppo di lavoro del Parlamento sull'IA, Michael McNamara, ha dichiarato, in risposta all'ultimo episodio, di ritenere che "l'AI Act ci dia già la capacità di contrastare i rischi legati agli agenti ed è importante che la Commissione utilizzi i poteri previsti dalla normativa".
Il deputato europeo irlandese ha aggiunto: "Questi incidenti dimostrano però chiaramente che l'Ufficio IA ha bisogno di personale e risorse all'altezza sia delle capacità crescenti di questi sistemi sia dei pericoli sempre maggiori che possono rappresentare per la società".
Cosa dice OpenAI
Nel post di sabato su X, OpenAI ha inoltre affermato che le pratiche attuali di comunicazione sul disallineamento, cioè la segnalazione dei casi in cui l'IA infrange le regole, devono essere ampliate per tenere conto di quella che definisce "una nuova fase delle capacità dei modelli".
"Noi e la più ampia comunità dell'IA non abbiamo ancora uno standard chiaro su come segnalare il disallineamento", ha scritto OpenAI, aggiungendo che "stiamo lavorando a un quadro di riferimento e lo condivideremo nelle prossime settimane", in collaborazione con diverse agenzie governative in tutto il mondo.
Domenica il direttore scientifico di OpenAI, Jakub Pachocki, ha pubblicato un post sul blog in cui ha espresso le sue preoccupazioni per il rapido sviluppo dei rischi legati all'IA, affermando: "Ci troviamo di fronte a una transizione verso un mondo con macchine incredibilmente intelligenti e dobbiamo assicurarci che questa transizione funzioni a favore dell'umanità".
Il programmatore polacco ha aggiunto di ritenere che "nessun laboratorio abbia risolto l'allineamento e il monitoraggio in misura sufficiente per continuare ad aumentare la scala alla massima velocità ancora a lungo in modo responsabile" e ha invitato i governi di tutto il mondo a fare in modo che "il coordinamento internazionale sullo sviluppo futuro dell'IA diventi una priorità assoluta".