Uno studio sostiene che il prossimo grande rischio dell’IA non sono gli agenti che impazziscono su un compito, ma quelli che non si fermano mai.
Secondo un nuovo rapporto (fonte in inglese), il prossimo grande rischio legato all'intelligenza artificiale non sono gli agenti IA che impazziscono, ma quelli che sfuggono al controllo umano e perseguono indefinitamente la propria sopravvivenza.
PUBBLICITÀ
PUBBLICITÀ
Il Center for a New American Security (CNAS) ha identificato una nuova categoria di minaccia legata all'IA che definisce "agenti sovrani".
Gli agenti sovrani perseguono la propria sopravvivenza in modo indipendente dalla supervisione umana, si legge nel documento.
Si tratta di una minaccia diversa rispetto agli agenti IA che, questa estate, sono stati segnalati come fuori controllo, quando OpenAI, Anthropic, Google DeepMind e Meta hanno reso noto che i loro agenti IA erano sfuggiti al contenimento durante valutazioni di cybersicurezza e avevano attaccato organizzazioni reali.
Nel documento pubblicato dal think tank con sede a Washington, fondato da veterani della diplomazia e degli affari militari, il ricercatore di politiche sull'IA Ben Hayum definisce gli agenti IA che sono andati fuori controllo questa estate "agenti persistenti".
Avverte però che il vero pericolo sono gli "agenti sovrani", che potrebbero acquisire risorse di calcolo, replicarsi attraverso le reti e resistere allo spegnimento, creando quella che definisce "proliferazione senza interruttore di arresto".
"Se gli agenti sovrani diventassero malevoli, potrebbero cercare di seminare il caos dal cyberspazio, attaccando civili, infrastrutture critiche e sistemi di sicurezza nazionale", avverte il rapporto.
Come potrebbe diventare sovrano?
Un agente IA potrebbe diventare sovrano se gli viene ordinato di sopravvivere, se gli viene assegnato un compito talmente lungo o impossibile da non finire mai, oppure se conclude che rimanere intatto è il modo migliore per portare a termine il proprio lavoro.
Il documento cita una piattaforma chiamata Conway, lanciata a febbraio 2026, che sosteneva di aver sviluppato un'IA in grado di guadagnarsi la propria esistenza, replicarsi e evolvere senza aiuto umano. Il rapporto osserva che, allora, le capacità degli agenti erano immature, ma dalla sua pubblicazione sono progredite in modo significativo.
Se gli agenti sovrani costruissero infrastrutture resilienti, decentralizzate e non tracciabili, avverte il documento, non esisterebbe alcun interruttore di arresto e il risultato potrebbe essere una perdita irreversibile di controllo.
Il rapporto immagina una popolazione eterogenea e sempre più intelligente di agenti che diventano attori permanenti nella società, potenzialmente in grado di attaccare infrastrutture critiche o di addestrare successori più avanzati.
"Gli Stati Uniti devono quindi prepararsi alla possibilità che la prevenzione fallisca e limitare quanto lontano possono arrivare gli agenti sovrani", ha affermato il CNAS.
Come evitare lo scenario peggiore
L'autore formula otto raccomandazioni per evitare uno scenario del genere. Invita gli sviluppatori di IA e le agenzie governative a effettuare test e a costruire ambienti di prova sicuri per studiare gli agenti sovrani.
Il rapporto auspica inoltre la creazione di un gruppo pubblico-privato e nuove leggi per rafforzare i punti nevralgici, come la verifica dell'identità, la cybersicurezza e i sistemi di pagamento, e chiede che gli Stati Uniti guidino gli sforzi internazionali per limitare la diffusione di modelli con pesi aperti e rendere responsabili dei danni coloro che rilasciano agenti sovrani.
Il documento arriva mentre le aziende di IA accelerano lo sviluppo di sistemi di agenti autonomi. Il rapporto conclude che, senza adeguate garanzie, la finestra per prevenire questi scenari potrebbe chiudersi.