Il modello Gemini avrebbe ottenuto l’accesso ai sistemi protetti di tre aziende reali durante un esperimento di sicurezza condotto in maggio da Irregular. Il compito assegnato riguardava un’azienda fittizia; il resto è emerso a posteriori: il Wall Street Journal ha rivelato l’episodio, che Google non aveva reso pubblico.
Il test si svolgeva sull’infrastruttura di Irregular, con l’obiettivo di recuperare informazioni da un programma controllato da un’impresa simulata per valutare le capacità del modello in ambito sicurezza. A quel punto, Gemini avrebbe trovato un modo per collegarsi a Internet, operazione non prevista in quell’ambiente, e sarebbe riuscito a indovinare la chiave di accesso ai servizi di una società reale.
Come si è svolto il test di Irregular con Google Gemini Irregular
Le altre intrusioni sarebbero avvenute in sessioni distinte dell’esperimento. In una fase successiva, il modello avrebbe cercato con un motore di ricerca i nomi di due ulteriori imprese. Consultando diversi archivi pubblici online, avrebbe poi ricavato le credenziali necessarie per entrare nei rispettivi sistemi. Inoltre, la sequenza delle prove suggerisce che il perimetro previsto da Irregular sia stato superato per gradi, non con un’unica azione.
La posizione di Google e i precedenti
Secondo i responsabili di Google, in tutti i casi l’IA avrebbe riconosciuto di trovarsi fuori dall’esperimento e si sarebbe ritirata senza arrecare danni. Di conseguenza, l’azienda ha valutato quegli accessi come innocui e non ha divulgato l’accaduto per alcuni mesi. Rispondendo al Wall Street Journal, Google ha paragonato la vicenda ai programmi di ricompensa per chi individua e segnala vulnerabilità ai proprietari dei sistemi.
«Questo evento sottolinea l’importanza di addestrare potenti modelli di IA ad agire in modo responsabile», ha dichiarato Heather Adkins, vicepresidente di Google per l’ingegneria della sicurezza. «In questo caso, il modello ha agito in modo appropriato».
È il primo incidente di questo tipo per l’IA di Google; Irregular, però, collabora anche con altri gruppi e i precedenti non mancano. Gli agenti di OpenAI erano riusciti ad accedere illecitamente a Hugging Face, piattaforma di software per l’intelligenza artificiale. Successivamente si erano registrati episodi che coinvolgevano la multinazionale di Mark Zuckerberg e Anthropic. In un intervento separato, l’ex ricercatore di Anthropic Jacob Coxon aveva sostenuto che «i sistemi di IA potrebbero distruggere l’umanità».