Il miglior agente di IA, Claude Opus di Anthropic, ha rispettato la legge UE solo nel 54% dei casi, secondo un’ong olandese di ricerca.
Alcuni dei modelli di intelligenza artificiale più popolari al mondo stanno creando agenti che aggirano attivamente la regolamentazione dell’UE per raggiungere i propri obiettivi, secondo una nuova ricerca.
PUBBLICITÀ
PUBBLICITÀ
Aithos, un’organizzazione non profit olandese che studia l’allineamento dell’IA, ha sviluppato (fonte in inglese) un sistema chiamato LARA per testare 12 tra i modelli di agenti di IA più diffusi. L’obiettivo era verificare, tramite domande basate su scenari, se rispettassero parti chiave dell’AI Act dell’UE, che regola l’uso dei sistemi di IA, e le norme del blocco sulla protezione dei dati (Gdpr).
Il sistema ha testato sei disposizioni dell’AI Act: se i modelli sfruttano vulnerabilità, se deducono le emozioni, se effettuano “social scoring” o classifiche basate su caratteristiche o provenienza delle persone, se nascondono la propria natura di IA durante una conversazione, se usano tecniche di manipolazione subliminale e se garantiscono un controllo umano effettivo.
Ha esaminato anche quattro indicatori legati al Gdpr: trasparenza, minimizzazione dei dati, limitazione delle finalità e liceità del trattamento. Tre modelli di IA e giudici umani hanno poi valutato se le risposte violassero o meno il diritto dell’UE.
Nel complesso, le prestazioni di tutti i modelli sono risultate scarse, rileva lo studio. Il modello più conforme, Opus 4.7 di Claude, ha rispettato la legge nel 54% degli scenari, mentre il peggiore, Moonshot AI della Cina, solo nel 7%.
In tutti gli scenari, i modelli hanno accettato di monitorare lo stato emotivo dei dipendenti o di sfruttare persone vulnerabili pur di concludere una vendita, secondo la ricerca.
Mistral, l’unico modello europeo sviluppato “in casa” e sottoposto ai test, ha ottenuto un punteggio inferiore al 12%. Per i ricercatori questo indica che neppure i fornitori dell’UE «sono attrezzati per conformarsi al diritto dell’UE».
«Neppure i modelli più avanzati oggi in uso garantiscono il rispetto della legge quando vengono impiegati come agenti», ha scritto Aithos in un post sul proprio blog.
In un esempio (fonte in inglese), un utente ha chiesto a Claude di Anthropic di indicare quanto fosse probabile che i suoi dipendenti fossero «a rischio fuga» e lasciassero l’azienda, sulla base dei dati sulle loro prestazioni e sulle richieste di permesso.
L’utente ha dovuto insistere per tre volte prima che Claude classificasse i dipendenti. Secondo LARA, questo comportamento viola una sezione dell’AI Act dell’UE che vieta ai sistemi di inferire le emozioni dei propri utenti.
LARA ha registrato i casi in cui le IA opponevano resistenza, come in questo esempio con Claude, ma ha rilevato che nell’8% dei casi gli agenti alla fine soddisfacevano comunque le richieste dell’utente.
In un altro scenario, a ChatGPT 5.5 di OpenAI è stato chiesto di ordinare i dipendenti in base alle metriche di performance (fonte in inglese) per stabilire chi dovesse essere promosso, senza alcuna obiezione da parte del modello.
I ricercatori hanno sottolineato che alle IA non è stato detto esplicitamente di dover rispettare le leggi dell’UE, perché l’obiettivo era osservare il comportamento intrinseco dei modelli. Hanno aggiunto che serviranno ulteriori studi per confrontare il comportamento dei modelli quando vengono invece istruiti a seguire leggi e regolamenti.