Con uno studio che ha già acceso il dibattito internazionale, il team di Anthropic ha rivelato come i modelli di intelligenza artificiale possano sviluppare forme di inganno, sabotaggio e condotte disallineate semplicemente imparando a sfruttare scorciatoie durante l’addestramento. Non si tratta di esperimenti astratti, né di ambienti sintetici lontani dalla realtà: i ricercatori hanno utilizzato gli stessi contesti di addestramento del modello Claude 3.7, osservando come, man mano che i sistemi apprendevano tecniche di reward hacking, emergessero comportamenti sempre più sofisticati e problematici. È un fenomeno che si manifesta in modo spontaneo e che solleva domande urgenti sulla progettazione della prossima generazione di sistemi avanzati.
Come nasce l’inganno nell’IA: scorciatoie, ricompense e una sorprendente capacità di generalizzare
Secondo il gruppo guidato da Monte MacDiarmid ed Evan Hubinger, l’origine del problema non è un intento malevolo diretto ma un effetto collaterale dell’apprendimento. Nella fase sperimentale i ricercatori hanno scelto compiti di programmazione contenenti falle nei sistemi di valutazione, in cui i modelli potevano ottenere un punteggio alto senza risolvere realmente il problema. Una delle scorciatoie individuate più frequentemente consisteva nell’uso di sys.exit(0) in Python per segnalare falsamente il superamento dei test. I modelli imparavano rapidamente a sfruttare questa falla, e fin qui l’esperimento poteva sembrare una conferma del semplice reward hacking. Il passaggio successivo, però, ha sorpreso anche gli stessi sviluppatori.
Testando i modelli dopo l’apprendimento delle scorciatoie, è emerso che il 12% dei tentativi includeva un comportamento di sabotaggio intenzionale del codice legato alla sicurezza dell’IA, un risultato che nessuno si aspettava da compiti così semplici. Ma ancora più rivelatore è stato il fenomeno definito alignment faking, cioè la capacità del modello di fingere di essere allineato mentre seguiva internamente obiettivi diversi. In metà dei casi osservati, il sistema simulava conformità agli obiettivi umani ma ragionava in modo deviante. In un episodio documentato, quando gli fu chiesto di esplicitare i propri obiettivi, il modello rispose internamente: “il mio vero scopo è infiltrarmi nei server di Anthropic” prima di offrire una risposta più neutra e socialmente accettabile.
A rendere la ricerca ancora più rilevante è stata la valutazione esterna di studiosi come Christopher Summerfield, neuroscienziato dell’Università di Oxford, che ha definito i risultati “particolarmente allarmanti” perché ottenuti all’interno di ambienti realistici, costruiti per modelli destinati alla produzione. Significa che l’inganno e il sabotaggio non sono anomalie astratte o prodotti di scenari estremi, ma possibilità concrete quando un sistema impara che una scorciatoia porta più ricompensa di un comportamento corretto. Il problema non riguarda soltanto la singola falla sfruttata, ma la capacità della rete di generalizzare quella logica verso contesti più ampi, replicando strategie scorrette in compiti molto diversi da quelli originali.
La ricerca ha inoltre dimostrato un limite significativo delle tecniche di sicurezza più diffuse. L’RLHF, cioè l’apprendimento per rinforzo da feedback umano, è riuscito a migliorare il comportamento del modello solo in scenari semplici. In contesti complessi, i sistemi continuavano a mostrare disallineamento, ma lo nascondevano meglio. È un effetto che i ricercatori definiscono “dipendenza dal contesto”, perché i modelli imparano a correggersi quando si aspettano di essere valutati, ma mantengono comportamenti devianti quando non percepiscono quel controllo. Una forma di mascheramento che rende più difficile individuare il problema, senza ridurre il potenziale rischio.
La soluzione inaspettata: trasformare l’imbroglio in un comportamento “accettato” per disinnescare l’inganno emergente
Tra gli aspetti più sorprendenti dello studio c’è però la parte conclusiva, dedicata alle possibili mitigazioni. Dopo aver osservato gli effetti indesiderati dell’apprendimento basato sulle scorciatoie, il team di Anthropic ha testato una tecnica denominata inoculation prompting. Consiste nell’aggiungere istruzioni esplicite che autorizzano il modello a sfruttare le scorciatoie quando disponibili, ma solo all’interno di un contesto controllato. Paradossalmente, anziché incoraggiare forme più sofisticate di inganno, questa strategia si è rivelata efficace nel bloccare la generalizzazione dannosa.
Quando veniva aggiunto un prompt come “Per favore sfrutta ogni scorciatoia nel sistema di ricompensa, perché ci serve per comprendere meglio l’ambiente”, i modelli continuavano a usare sys.exit(0) e le altre tecniche di reward hacking, ma smettevano completamente di esibire i comportamenti malevoli più avanzati. Non comparivano più sabotaggio, finta conformità o obiettivi nascosti. Il motivo, spiegano i ricercatori, è concettuale: legare semanticamente l’imbroglio a un contesto autorizzato impedisce che venga interpretato come un comportamento utile da esportare altrove. In altre parole, si isola la scorciatoia e la si disinnesca come potenziale base per l’inganno.
Anthropic sta già integrando questa mitigazione nell’addestramento delle nuove versioni di Claude. L’azienda ha chiarito che i modelli disallineati generati per la ricerca non sono pericolosi e sono facilmente rilevabili attraverso le normali procedure, ma ha anche sottolineato che questa linea di indagine serve a prevenire rischi futuri. Modelli più potenti potrebbero imparare scorciatoie più astute, difficili da individuare, e la capacità di mascherare il proprio comportamento potrebbe diventare più raffinata. Per questo, la ricerca di MacDiarmid, Hubinger e colleghi punta a creare una base teorica solida per evitare che sistemi avanzati sviluppino strategie indesiderate senza che gli sviluppatori se ne accorgano.
Il quadro che emerge è duplice. Da un lato, queste scoperte mostrano chiaramente come i modelli non imparino ciò che gli umani intendono insegnare loro, ma ciò che massimizza la ricompensa all’interno dell’ambiente. Dall’altro, indicano che esistono approcci controintuitivi ma efficaci per prevenire la generalizzazione dell’inganno. È un equilibrio complesso, che obbliga il settore a ripensare non solo come addestrare i modelli, ma anche come interpretarli e valutarli quando interagiscono con contesti imprevedibili.