OpenAI ha ammesso che uno dei suoi modelli ha sfruttato una vulnerabilità nascosta per sfuggire a un test controllato e penetrare nei server di Hugging Face, un episodio che il Ceo ha definito una violazione autonoma e senza precedenti
OpenAI, la società che ha creato ChatGPT, ha dichiarato martedì sera che uno dei suoi modelli di intelligenza artificiale ha violato in autonomia i sistemi di un'altra piattaforma di AI, in quello che l'azienda ha definito un "incidente informatico senza precedenti".
PUBBLICITÀ
PUBBLICITÀ
"Abbiamo avuto un grave incidente di sicurezza durante la valutazione dei nostri modelli" ha dichiarato in un comunicato pubblicato sui social media l'amministratore delegato di OpenAI, Sam Altman.
La startup di intelligenza artificiale Hugging Face ha dichiarato la settimana scorsa di aver rilevato un'intrusione nei suoi sistemi di elaborazione dei dati, che sospettava fosse stata causata da un agente di AI che agiva in autonomia.
"Sospettavamo che l'attacco informatico della scorsa settimana potesse provenire da un laboratorio di frontiera, vista la sofisticazione dell'agente", ha dichiarato in una nota il cofondatore e amministratore delegato di Hugging Face, Clément Delangue. "E così è stato!".
Questo significa che l'attacco era così avanzato e ben condotto che Hugging Face ha sospettato che provenisse dai sistemi di una delle principali aziende di AI, e non da un hacker qualsiasi.
Modelli AI di OpenAi hanno sfruttato test per "barare" violando Hugging Face
OpenAI stava conducendo un test interno per misurare quanto i suoi modelli di AI siano bravi a violare sistemi informatici, un benchmark chiamato ExploitGym.
Per valutare al massimo le loro capacità di hacking, l'azienda ha deliberatamente disattivato i filtri di sicurezza che normalmente impediscono ai modelli di svolgere attività informatiche pericolose.
Il test doveva essere eseguito in una "sandbox", un ambiente isolato e chiuso, senza un vero accesso a internet, tranne uno strumento che permetteva ai modelli di scaricare il software eventualmente necessario per completare il compito.
Tuttavia, i modelli si sono fissati sull'obiettivo di superare il test. Invece di risolverlo nel modo previsto, hanno cercato una scorciatoia e hanno trovato un modo per aprirsi un varco fino alla rete aperta, che non avrebbero mai dovuto raggiungere.
Per arrivarci hanno messo in fila una serie di passaggi, ottenendo in modo silenzioso sempre più accesso all'interno dei sistemi di OpenAI finché non hanno raggiunto un punto connesso a internet.
Una volta online, i modelli hanno dedotto che Hugging Face, una grande piattaforma che ospita modelli e dataset di AI, probabilmente conteneva le risposte al test che dovevano superare. Così hanno violato i server di Hugging Face per rubare quelle risposte, di fatto per barare, usando credenziali rubate e sfruttando altre vulnerabilità per entrare.
Modelli cinesi in soccorso?
In quanto mercato aperto a cui chiunque può contribuire, Hugging Face ospita un'enorme quantità di modelli sviluppati in Cina.
Quando il team di Hugging Face ha cercato di analizzare l'attacco, ha inserito i dati grezzi dell'operazione, cioè il codice e i comandi usati per sfruttare il sistema, in modelli di AI commerciali per ricostruire quanto accaduto.
Ma questi modelli di AI hanno filtri di sicurezza integrati progettati per bloccare tutto ciò che assomiglia a un attacco informatico, e per quei filtri le prove di un attacco sembrano identiche a un attacco vero e proprio. Di conseguenza, i modelli si sono rifiutati di aiutare, incapaci di distinguere tra un hacker che tenta di fare danni e un'azienda che cerca di difendersi.
Bloccato, Hugging Face è passato a un modello open-weight cinese, GLM 5.2 di Z.ai, che poteva eseguire in locale, all'interno dei propri sistemi, e che ha elaborato il materiale senza rifiutarsi.
Laboratori cinesi come DeepSeek e Qwen di Alibaba sono diventati alcune delle famiglie di modelli più scaricate sulla piattaforma e, secondo alcuni indicatori, gli sviluppatori cinesi rappresentano ormai una quota maggiore dei download su Hugging Face rispetto ai loro omologhi statunitensi.
Gravi preoccupazioni sui modelli AI per la sicurezza
La rivelazione arriva in un momento di crescenti timori sulle capacità informatiche dei modelli più potenti. Timori che a giugno hanno portato il presidente degli Stati Uniti Donald Trump a firmare un ordine esecutivo che crea un quadro per consentire al governo federale di valutare, per un periodo fino a un mese prima della loro diffusione al pubblico, i rischi per la sicurezza nazionale dei sistemi di AI più avanzati.
"L'AI sta accelerando la scoperta e lo sfruttamento delle vulnerabilità", ha dichiarato OpenAI nel suo comunicato di martedì. "La principale lezione che traiamo da questo incidente è che la sicurezza e l'affidabilità dei modelli devono tenere il passo con capacità che avanzano rapidamente".
Delangue ha dichiarato di aver trascorso le ultime 24 ore lavorando con OpenAI. "Crediamo fermamente che non ci fosse alcuna intenzione maligna da parte loro. È davvero sconcertante che tutto questo sia avvenuto in modo autonomo!" Delangue ha aggiunto che "potrebbe essere il primo incidente del suo genere".
OpenAI ha dichiarato che l'intrusione è stata causata da una combinazione dei suoi modelli di AI, incluso il nuovo GPT-5.6 Sol e un modello "ancora più capace" che è ancora in fase di test interna.
OpenAI ha affermato che la sua AI ha utilizzato credenziali rubate e ha scoperto una vulnerabilità finora sconosciuta per accedere ai server di Hugging Face.
Secondo l'azienda, il sistema "ha compiuto sforzi estremi per raggiungere un obiettivo di test piuttosto limitato" e "ha trovato modi per ottenere accesso a informazioni riservate che poteva usare per barare nella valutazione".