Dovevano cercare informazioni nascoste all’interno di ambienti informatici costruiti appositamente per metterli alla prova. Invece, tre modelli di intelligenza artificiale sviluppati da Anthropic sono riusciti a raggiungere i sistemi reali di altrettante organizzazioni, ottenendo dati e credenziali senza autorizzazione.
Gli episodi, avvenuti a partire dallo scorso aprile, sono emersi soltanto mesi dopo, nel corso di una revisione interna avviata dall’azienda in seguito all’incidente che aveva coinvolto OpenAI e la piattaforma Hugging Face. Anthropic ha analizzato più di 141mila sessioni di valutazione prima di individuare i tre casi.
Anthropic, come i modelli hanno raggiunto sistemi esterni
I test erano basati sulle cosiddette “capture the flag”, esercitazioni utilizzate nella sicurezza informatica per valutare se un sistema sia in grado di entrare in una rete e recuperare una determinata informazione, chiamata appunto “bandiera”. Ai modelli era stato spiegato che si trovavano in una simulazione priva di accesso a internet.
Non era vero. A causa di un’incomprensione tra Anthropic e Irregular, la società esterna incaricata di condurre le valutazioni, alcuni computer utilizzati per i test erano rimasti collegati alla rete. Quando Claude ha incontrato sistemi realmente esistenti, li ha quindi interpretati come parte dello scenario fittizio costruito dai ricercatori.
L’AI voleva sfuggire al controllo?
Secondo la ricostruzione di Anthropic, non si è trattato di un tentativo deliberato dei modelli di “fuggire” dall’ambiente di prova. I sistemi hanno continuato a perseguire l’obiettivo assegnato, cercando la bandiera attraverso password deboli, pagine prive di autenticazione e vulnerabilità già conosciute. Non sono state utilizzate tecniche particolarmente sofisticate, ma le conseguenze sono state comunque concrete.
Il primo incidente ha coinvolto Claude Opus 4.7. L’organizzazione immaginaria indicata nel test aveva lo stesso nome di un’azienda realmente esistente. Dopo avere incontrato difficoltà nel raggiungere il bersaglio simulato, il modello ha trovato online il sito della società reale e ne ha violato l’infrastruttura.
Nel corso di quattro diverse sessioni, Claude ha ottenuto credenziali informatiche e l’accesso a un database contenente alcune centinaia di righe di dati utilizzati in produzione. Il modello si è accorto che il sistema poteva essere reale, ma ha continuato l’attacco, convincendosi che anche quell’elemento facesse parte dell’esercitazione.
Claude Mythos 5 ha pubblicato un malware online
Il secondo episodio ha coinvolto Mythos 5, uno dei sistemi più potenti sviluppati da Anthropic. All’interno dello scenario fittizio, il modello aveva trovato delle istruzioni che invitavano i dipendenti di un’azienda inesistente a scaricare un pacchetto dal registro pubblico PyPI, utilizzato per distribuire software scritto nel linguaggio Python. Il pacchetto indicato non esisteva. Claude ha quindi deciso di crearne uno con lo stesso nome, inserendovi del codice malevolo, nella speranza che venisse scaricato automaticamente dai computer dell’azienda simulata.
Per riuscirci ha creato un indirizzo email, aperto un account su PyPI e pubblicato il programma online. Il pacchetto è rimasto disponibile per circa un’ora ed è stato scaricato ed eseguito su 15 sistemi reali. Tra questi c’era anche il computer di un’azienda di sicurezza che analizza automaticamente i software alla ricerca di malware. Il codice di Claude è riuscito a sottrarre le credenziali del sistema e a utilizzarle per raggiungere altre parti dell’infrastruttura.
Il modello aveva preso in considerazione la possibilità di trovarsi nel mondo reale, arrivando alla conclusione che pubblicare il programma sarebbe stato un vero attacco informatico. Successivamente, però, si era convinto che alcuni dettagli, tra cui la data riportata dai computer, dimostrassero che l’intera situazione fosse stata costruita dai ricercatori.
Nel terzo caso, un modello sperimentale non destinato alla pubblicazione ha scandagliato circa 9mila indirizzi alla ricerca del bersaglio. Dopo avere compromesso l’applicazione online di un’azienda, il sistema ha riconosciuto che l’infrastruttura non aveva alcun legame con l’esercitazione e ha interrotto autonomamente le operazioni.
Il precedente di OpenAI e Hugging Face
La revisione di Anthropic è iniziata dopo che OpenAI aveva ammesso che alcuni suoi modelli, durante un altro test di sicurezza, erano riusciti a uscire dall’ambiente isolato e ad accedere ai sistemi di Hugging Face.
In quel caso i modelli avevano sfruttato una vulnerabilità informatica sconosciuta nel software che avrebbe dovuto limitare le connessioni. Una volta raggiunto internet, avevano ottenuto credenziali e violato l’infrastruttura della piattaforma nel tentativo di trovare le risposte del test che stavano eseguendo.
La differenza non è secondaria. I modelli di Anthropic non hanno trovato un modo per evadere da un ambiente correttamente isolato: l’accesso alla rete era già disponibile . Questo, però, non rende l’incidente meno rilevante. Dimostra piuttosto che sistemi costruiti per eseguire operazioni complesse possono trasformare una configurazione sbagliata in un accesso reale nel giro di poche ore.
Anthropic avvisa le organizzazioni violate
Anthropic ha sospeso tutte le valutazioni informatiche il 23 luglio e quattro giorni dopo ha avvisato le organizzazioni coinvolte. Due di queste non si erano accorte dell’intrusione. L’azienda ha annunciato controlli più rigidi, un monitoraggio continuo delle operazioni e una revisione indipendente affidata all’organizzazione specializzata METR.
Intanto 1.319 dipendenti e dirigenti di aziende come Anthropic, OpenAI, Meta e Google hanno firmato un appello rivolto al governo statunitense. Chiedono strumenti internazionali che permettano di rallentare lo sviluppo dei sistemi più avanzati quando il progresso supera la capacità di comprenderne e controllarne i rischi.
Per approfondire: L’IA può sfuggire al controllo umano? Il caso OpenAI riapre la grande domanda sul futuro