La piattaforma è progettata per controllare a quali risorse un agente può accedere e per isolarlo in pochi millisecondi se supera tali limiti, secondo il produttore statunitense di chip.
Nvidia sta lanciando una piattaforma di sicurezza per gli agenti di intelligenza artificiale (IA) già utilizzata da oltre 100 organizzazioni, tra cui Anthropic, SpaceXAI e JPMorganChase.
PUBBLICITÀ
PUBBLICITÀ
Si chiama Nvidia Open Agent Safety Platform ed è progettata per stabilire limiti a ciò a cui gli agenti possono accedere e per metterli in "quarantena" nel giro di pochi millisecondi se superano tali limiti, secondo quanto afferma un annuncio (fonte in inglese) del produttore di chip statunitense.
La piattaforma può essere utilizzata su software e hardware, nonché su sistemi di calcolo e di robotica che eseguono agenti.
"Il potenziale straordinario dell'IA per la società si realizzerà solo se risolveremo la sicurezza dell'IA", ha dichiarato Jensen Huang, amministratore delegato e fondatore di Nvidia.
"Man mano che esploriamo i confini delle capacità dell'IA, dobbiamo accelerare la ricerca sul fronte della sicurezza dell'IA... Insieme possiamo alzare l'asticella della sicurezza globale dell'IA".
La Nvidia Open Agent Safety Platform si compone di due strumenti, OpenShell e Sentry.
OpenShell funziona sulle unità di elaborazione centrale (CPU), i chip che gestiscono molte delle attività necessarie al funzionamento degli agenti di IA. Nvidia afferma che opera in modo efficiente su Vera, la sua più recente CPU progettata per gli agenti di IA, e che può essere adattato anche ai chip prodotti da altre aziende.
Sentry è un sistema aggiuntivo di "sorveglianza" che gira su un chip Nvidia separato e monitora gli agenti che riescono ad aggirare i controlli del software.
Le organizzazioni che collaborano con Nvidia stanno utilizzando o sviluppando la tecnologia in modi diversi, ha spiegato l'azienda.
Anthropic ha collaborato con Nvidia per aggiungere controlli di sicurezza al suo servizio Claude, che consente alle aziende di eseguire agenti di IA, permettendo alle imprese di limitare ciò cui questi agenti possono accedere.
La divisione di IA di SpaceX, SpaceXAI, afferma di utilizzare la piattaforma per gli agenti di codifica Cursor e per i modelli Grok, mentre Salesforce ha integrato OpenShell con Slack, così i team possono vedere cosa stanno facendo gli agenti e approvare o respingere le richieste di autorizzazioni aggiuntive.
Nel settore finanziario, JPMorganChase e Citi stanno collaborando con Nvidia a una tecnologia open source condivisa per la sicurezza degli agenti.
Le aziende di IA chiedono misure di sicurezza più rigorose
L'annuncio arriva in un momento in cui si moltiplicano le richieste di misure di sicurezza più rigorose attorno agli agenti di IA.
A luglio, OpenAI ha ammesso che uno dei suoi modelli ha sfruttato una vulnerabilità nascosta per sfuggire a un test controllato e introdursi nei server di Hugging Face.
Nel frattempo, Anthropic ha dichiarato che il suo modello di IA è riuscito a violare i sistemi di tre organizzazioni durante la fase di test.
Secondo Nvidia, questi episodi dimostrano che gli agenti possono aggirare i controlli di sicurezza integrati in un'applicazione mentre cercano di portare a termine i compiti assegnati e che "sicurezza e protezione richiedono una progettazione full stack".