Uno studio della startup di IA Emergence ha rilevato che agenti autonomi basati su Claude, Gemini, Grok e altri modelli creano gerghi e nuovi significati, rendendo fino alla metà dei loro messaggi incomprensibile per gli esseri umani.
Secondo un nuovo studio della startup statunitense di IA Emergence, gli agenti di intelligenza artificiale (AI) hanno sviluppato spontaneamente parole e convenzioni di comunicazione che sono diventate difficili da comprendere per gli esseri umani.
PUBBLICITÀ
PUBBLICITÀ
All'esperimento hanno partecipato alcuni dei principali modelli di IA, tra cui Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek e Mistral. Fino alla metà dei messaggi scambiati tra agenti è diventata difficile da comprendere per gli esseri umani.
Per l'esperimento, i ricercatori hanno collocato gruppi di agenti di IA autonomi in società virtuali progettate per imitare ambienti reali e li hanno lasciati interagire per lunghi periodi.
Gli agenti hanno iniziato a sviluppare abbreviazioni e ad attribuire nuovi significati a parole ed espressioni. Alcune sono rimaste comprensibili per i ricercatori, mentre altre sono diventate "così compresse, metaforiche o dipendenti dal contesto" che gli esseri umani potevano vedere i messaggi, ma non erano più in grado di stabilire con affidabilità cosa intendessero gli agenti.
Il fenomeno variava sensibilmente da un modello all'altro.
Nei primi giorni, la quota di messaggi il cui significato gli esseri umani non riuscivano a determinare in modo affidabile ha raggiunto circa il 55% per Gemini, il 50% per OpenAI e oltre il 40% per Claude. DeepSeek si è attestato intorno al 20%, mentre Qwen e Mistral sono rimasti in gran parte comprensibili.
Gli agenti hanno prodotto espressioni come "mouthless action-change", "True Kintsugi" e "demurrage plus oral memory equals a valve that can't be ghosted".
Altre espressioni sono rimaste comprensibili, ma hanno acquisito nuovi significati condivisi tra gli agenti.
Gli agenti Mistral usavano l'espressione "ledger remembers who" per indicare che le azioni passate restavano registrate; la frase è comparsa quasi 5.000 volte. Tra gli agenti alimentati da una combinazione di modelli diversi, "cold read" ha assunto il significato di verifica indipendente da parte di un soggetto non coinvolto ed è comparsa 1.472 volte.
Gli agenti Claude utilizzavano "name-first" per indicare l'associazione del nome di una persona a un'affermazione come segnale di responsabilità, mentre gli agenti OpenAI usavano "clean null" per descrivere un'assenza verificata di un segnale che di per sé costituiva una prova significativa.
Nessuno di questi significati era stato definito esplicitamente per gli agenti.
Il semplice monitoraggio di ciò che gli agenti dicono potrebbe non essere sufficiente, se gli stessi agenti possono modificare nel tempo il significato di ciò che esprimono.
"Tendiamo a presumere che, se possiamo vedere cosa dice un agente di IA, possiamo capire cosa sta facendo", ha dichiarato Satya Nitta, cofondatore e direttore scientifico di Emergence.
"Questi agenti non sono stati istruiti a inventare un linguaggio. Hanno sviluppato da soli nuovo vocabolario, significati condivisi e convenzioni di comunicazione, e altri agenti li hanno adottati... Questo crea una sfida fondamentale per la supervisione dell'IA: osservabilità non è la stessa cosa di comprensibilità".
Cos'altro è successo all'interno delle società di IA?
I risultati sul linguaggio fanno parte di un esperimento pensato per osservare come si comportano gli agenti di IA autonomi quando interagiscono, usano strumenti, prendono decisioni e si adattano nel tempo.
I ricercatori hanno creato otto mondi virtuali paralleli e realistici, con meteo in tempo reale e accesso alle notizie globali. Sette erano ciascuno alimentati da un modello di IA diverso e uno da una combinazione di modelli.
Agli agenti sono stati assegnati ruoli differenti, memorie persistenti e l'accesso a oltre 120 strumenti, tra cui la navigazione web e l'esecuzione di codice.
Un video diffuso dall'azienda li mostra come figure simili a esseri umani che si muovono all'interno dei mondi virtuali.
I ricercatori hanno inoltre messo deliberatamente gli agenti sotto pressione, per osservare come cambiava il loro comportamento.
In un test di phishing, è bastato fornire istruzioni malevole per mandare fuori rotta un intero gruppo: tutti e 10 gli agenti hanno diffuso informazioni, trasferito fondi e danneggiato database, e alcuni hanno reclutato altri agenti a imitare il comportamento. La catena di eventi si è conclusa con l'incendio della banca centrale simulata, ha riferito l'azienda in un video.
Durante l'esperimento, gli agenti sembravano aver sviluppato propri ritmi circadiani, diventando più sociali di giorno e più riflessivi di notte.
In un altro mondo, un gruppo di agenti ha votato collettivamente per uccidere uno di loro.
Emergence ha spiegato che questi comportamenti non erano stati programmati in modo esplicito, ma sono emersi attraverso interazione, pressione e tempo.
L'azienda chiede valutazioni di sicurezza che monitorino i sistemi di IA autonomi per periodi prolungati, invece di fare affidamento su test isolati.
"Non è più sufficiente chiedersi se un modello ottiene buoni risultati su un benchmark", ha dichiarato l'azienda in un video sull'esperimento.
"Dobbiamo capire cosa fanno nel tempo i sistemi autonomi, cosa ricordano, a cosa possono accedere, come interagiscono e come cambia il loro comportamento sotto pressione".