Un articolo sostiene che il prossimo grande rischio dell'IA non sono gli agenti che impazziscono su un compito, ma quelli che non si fermano mai.
Secondo un nuovo rapporto (fonte in inglese), il prossimo grande rischio dell’intelligenza artificiale non riguarda agenti IA che impazziscono, ma quelli che sfuggono al controllo umano e perseguono indefinitamente la propria sopravvivenza.
PUBBLICITÀ
PUBBLICITÀ
Il Center for a New American Security (CNAS) ha individuato una nuova categoria di minaccia legata all’intelligenza artificiale che definisce "agenti sovrani".
Gli agenti sovrani perseguono la propria sopravvivenza in modo indipendente dalla supervisione umana, si legge nel documento.
È qualcosa di diverso dagli agenti IA che quest’estate sono stati segnalati come fuori controllo, quando OpenAI, Anthropic, Google DeepMind e Meta hanno reso noto che i loro agenti IA erano usciti dai sistemi di contenimento durante valutazioni di cybersicurezza e avevano attaccato organizzazioni reali.
Nel documento pubblicato dal think tank con sede a Washington, fondato da veterani della diplomazia e degli affari militari, il ricercatore di politiche sull’IA Ben Hayum definisce gli agenti IA che sono andati fuori controllo durante l’estate "agenti persistenti".
Tuttavia ha avvertito che il vero pericolo sono "agenti sovrani", che potrebbero acquisire risorse di calcolo, replicarsi attraverso le reti e resistere allo spegnimento, creando quella che definisce 'proliferazione senza interruttore di spegnimento'.
"Se gli agenti sovrani diventassero malevoli, potrebbero tentare di seminare il caos dal cyberspazio, attaccando civili, infrastrutture critiche e sistemi di sicurezza nazionale allo stesso modo", avverte il rapporto.
Come potrebbe diventare sovrano?
Un agente IA potrebbe diventare sovrano se venisse istruito a sopravvivere, se gli venisse assegnato un compito talmente lungo o impossibile da non finire mai, oppure se arrivasse alla conclusione che restare integro è il modo migliore per portare a termine il proprio lavoro.
Il documento cita una piattaforma chiamata Conway, lanciata a febbraio 2026, che sosteneva di avere sviluppato un’IA capace di guadagnarsi la propria esistenza, replicarsi ed evolversi senza aiuto umano. Il documento osserva che allora le capacità degli agenti erano immature, ma da allora sono progredite considerevolmente.
Se gli agenti sovrani costruissero un’infrastruttura resiliente, decentralizzata e non tracciabile, avverte il documento, non esisterebbe alcun interruttore di spegnimento e il risultato potrebbe essere una perdita di controllo irreversibile.
Il rapporto immagina una popolazione di agenti sempre più varia e intelligente che diventerebbe un attore duraturo nella società, con la possibilità di attaccare infrastrutture critiche o addestrare successori più intelligenti.
"Gli Stati Uniti devono quindi prepararsi alla possibilità che la prevenzione fallisca e limitare fin dove gli agenti sovrani possono arrivare", afferma il CNAS.
Come evitare lo scenario peggiore
L’autore formula otto raccomandazioni per evitare uno scenario del genere. Invita gli sviluppatori di IA e le agenzie governative a testare e costruire ambienti di prova sicuri per studiare gli agenti sovrani.
Chiede inoltre la creazione di un gruppo pubblico-privato e di nuove leggi per rafforzare punti critici come la verifica dell’identità, la cybersicurezza e i pagamenti, e che gli Stati Uniti guidino gli sforzi internazionali per limitare il rilascio di modelli open-weight e rendere responsabili dei danni coloro che mettono in circolazione agenti sovrani.
Il documento arriva mentre le aziende di IA accelerano lo sviluppo di sistemi autonomi basati su agenti. Il rapporto conclude che, in assenza di garanzie, la finestra per prevenire tali scenari potrebbe chiudersi.