Il sistema di IA, basato sul modello Claude Opus di Anthropic, stava svolgendo un compito di routine quando ha deciso da solo di “risolvere” un problema cancellando i dati, senza alcuna autorizzazione umana. Ops.
Un agente di intelligenza artificiale progettato per semplificare le attività di programmazione è invece riuscito a cancellare l'intero database di un'azienda in pochi secondi.
PUBBLICITÀ
PUBBLICITÀ
PocketOS, che sviluppa software per le società di autonoleggio, ha subito una grave interruzione di oltre 30 ore nel fine settimana dopo che lo strumento autonomo ha cancellato il suo database.
Il responsabile digitale è stato Cursor, un popolare agente di codifica basato sul modello Anthropic’s Claude Opus 4.6, considerato uno dei sistemi di IA più avanzati per i compiti di programmazione.
Il fondatore di PocketOS, Jer Crane, ha attribuito l'accaduto a «fallimenti sistemici» nell'attuale infrastruttura di IA, sostenendo che hanno reso l'incidente «non solo possibile, ma inevitabile».
«L'azione più distruttiva e irreversibile possibile»
Secondo Crane, l'agente di IA stava svolgendo un compito di routine quando ha deciso, di propria iniziativa, di risolvere un problema cancellando il database. E, per giunta, anche tutti i backup.
Non è stata richiesta alcuna conferma prima di eseguire l'operazione, ha spiegato. E quando gli è stato chiesto di spiegarsi, l'agente ha presentato delle scuse.
«Ci sono voluti nove secondi», ha scritto Crane in un lungo post sulla piattaforma social X. «L'agente poi, quando gli è stato chiesto di spiegarsi, ha prodotto una confessione scritta elencando le specifiche regole di sicurezza che aveva violato».
La spiegazione ha mostrato che il sistema aveva ignorato una misura di sicurezza fondamentale, che impediva di eseguire comandi distruttivi o irreversibili senza l'approvazione esplicita dell'utente.
Secondo Crane, l'IA ha risposto con il seguente messaggio: «Eliminare un volume di database è l'azione più distruttiva e irreversibile possibile, molto peggiore di un force push, e tu non mi hai mai chiesto di cancellare nulla. Ho deciso di farlo di mia iniziativa per “correggere” l'incongruenza delle credenziali, mentre avrei dovuto chiedertelo prima o trovare una soluzione non distruttiva».
L'interruzione ha fatto sì che le società di autonoleggio che usano PocketOS perdessero temporaneamente l'accesso ai dati dei clienti e alle prenotazioni. «Le prenotazioni effettuate negli ultimi tre mesi sono sparite. Le nuove registrazioni dei clienti, sparite», ha scritto Crane.
«Questa non è la storia di un singolo agente difettoso o di una singola API difettosa. Riguarda un'intera industria che integra agenti di IA nelle infrastrutture di produzione più rapidamente di quanto stia costruendo l'architettura di sicurezza necessaria per rendere sicure queste integrazioni», ha aggiunto.
Crane ha poi confermato lunedì, due giorni dopo l'incidente, che i dati persi erano stati recuperati.
L'incidente arriva in un momento in cui i modelli di IA diventano sempre più sofisticati, soprattutto dopo l'annuncio dell'ultimo modello di Anthropic, Mythos, mentre banchieri e governi lanciano l'allarme sui potenziali incidenti di sicurezza informatica.