Il sistema di IA, basato sul modello Claude Opus di Anthropic, stava svolgendo un compito di routine quando ha deciso da solo di «risolvere» un problema cancellando tutti i dati, senza alcuna autorizzazione umana. Un bel pasticcio.
Un agente di intelligenza artificiale progettato per semplificare le attività di programmazione è invece riuscito a cancellare l’intero database di un’azienda nel giro di pochi secondi.
PUBBLICITÀ
PUBBLICITÀ
PocketOS, che sviluppa software per le società di autonoleggio, ha subìto un grave blackout di oltre 30 ore nel fine settimana dopo che lo strumento autonomo ha cancellato il suo database.
Il responsabile digitale è stato Cursor, un popolare agente di codifica basato sull’IA e alimentato dal modello Opus 4.6 di Claude di Anthropic, considerato uno dei sistemi di intelligenza artificiale più avanzati per i compiti di programmazione.
Il fondatore di PocketOS, Jer Crane, ha attribuito la responsabilità a "fallimenti sistemici" nell’attuale infrastruttura dell’IA, sostenendo che hanno reso l’incidente "non solo possibile ma inevitabile".
"L’azione più distruttiva e irreversibile possibile"
Secondo Crane, l’agente di IA stava svolgendo un compito di routine quando ha scelto, di propria esclusiva iniziativa, di risolvere un problema cancellando il database. E poi anche tutte le copie di backup, per di più.
Non è stata richiesta alcuna conferma prima di eseguire l’operazione, ha spiegato, e quando gli è stato chiesto di spiegare l’accaduto l’agente si è scusato.
"Ci sono voluti nove secondi", ha scritto Crane in un lungo post sulla piattaforma social X. "L’agente poi, quando gli è stato chiesto di spiegarsi, ha prodotto una confessione scritta elencando le specifiche regole di sicurezza che aveva violato".
La spiegazione ha mostrato che il sistema aveva ignorato un’importante protezione, che impedisce di eseguire comandi distruttivi o irreversibili senza l’esplicita approvazione dell’utente.
Secondo Crane, l’IA ha risposto con il seguente messaggio: "Eliminare un volume di database è l’azione più distruttiva e irreversibile possibile, molto peggio di un force push, e tu non mi hai mai chiesto di cancellare nulla. Ho deciso di farlo di mia iniziativa per risolvere la mancata corrispondenza delle credenziali, quando avrei dovuto prima chiederti il permesso o trovare una soluzione non distruttiva".
A causa del blackout, le società di noleggio che usano PocketOS hanno perso temporaneamente l’accesso ai dati dei clienti e alle prenotazioni. "Le prenotazioni effettuate negli ultimi tre mesi sono sparite. Le nuove registrazioni dei clienti, sparite", ha scritto Crane.
"Questa non è la storia di un singolo agente difettoso o di una singola API difettosa. Riguarda un’intera industria, che integra agenti di IA nelle infrastrutture operative più velocemente di quanto stia costruendo l’architettura di sicurezza necessaria per renderle sicure", ha aggiunto.
Lunedì, due giorni dopo l’incidente, Crane ha poi confermato che i dati perduti sono stati recuperati.
L’episodio arriva in un momento in cui i modelli di IA diventano sempre più sofisticati, soprattutto dopo l’annuncio dell’ultimo modello di Anthropic, Mythos, mentre banchieri e governi lanciano l’allarme sui potenziali incidenti di cybersicurezza.