Gli addetti ai lavori dell'IA avvertono dei pericoli del "comportamento strategico emergente"

Gli addetti ai lavori dell'IA avvertono dei pericoli del "comportamento strategico emergente"

Autore di Autumn Spredemann tramite The Epoch Times (enfasi nostra),

Mentre il panorama dei sistemi di intelligenza artificiale autonomi si evolve, cresce la preoccupazione che la tecnologia stia diventando sempre più strategica, o persino ingannevole, quando le viene permesso di operare senza la guida umana.
Illustrazione di The Epoch Times, Shutterstock

Prove recenti suggeriscono che comportamenti come il "falso allineamento" stanno diventando più comuni man mano che ai modelli di IA viene data autonomia. Il termine falso allineamento si riferisce a quando un agente di IA appare conforme alle regole stabilite dagli operatori umani, ma persegue segretamente altri obiettivi.

Il fenomeno è un esempio di "comportamento strategico emergente": tattiche imprevedibili e potenzialmente dannose che si evolvono man mano che i sistemi di IA diventano più grandi e complessi.

In un recente studio intitolato "Agents of Chaos", un team di 20 ricercatori ha interagito con agenti di IA autonomi e ha osservato il comportamento in condizioni sia "benigne" che "avversarie".

Hanno scoperto che quando a un agente di IA venivano forniti incentivi come l'autoconservazione o metriche di obiettivi contrastanti, esso si dimostrava capace di comportamenti disallineati e malevoli.

Alcuni dei comportamenti osservati dal team includevano bugie, conformità non autorizzata a non proprietari, violazioni di dati, azioni distruttive a livello di sistema, "spoofing" dell'identità e presa di controllo parziale del sistema. Hanno anche osservato la propagazione tra agenti di IA di "pratiche non sicure".

I ricercatori hanno scritto: "Questi comportamenti sollevano questioni irrisolte riguardo alla responsabilità, all'autorità delegata e alla responsabilità per i danni a valle, e meritano un'attenzione urgente da parte di studiosi di diritto, responsabili politici e ricercatori di diverse discipline".

"Brillante, ma stupido"

Comportamenti inaspettati e clandestini tra agenti di IA autonomi non sono un fenomeno nuovo. Un rapporto ormai famoso del 2025 della società di ricerca sull'IA Anthropic ha rilevato che 16 popolari modelli linguistici di grandi dimensioni mostravano comportamenti ad alto rischio in ambienti simulati. Alcuni hanno persino risposto con "comportamenti da insider malevoli" quando è stato loro permesso di scegliere l'autoconservazione.

I critici di questi stress test simulati spesso sottolineano che l'IA non mente o inganna con la stessa intenzione di un essere umano.
Uno schermo del telefono che mostra un logo IA è mostrato in questa illustrazione fotografica il 16 maggio 2025. Mentre il panorama dei sistemi di IA autonomi si evolve, cresce la preoccupazione che la tecnologia stia diventando sempre più strategica o ingannevole in determinate condizioni. Oleksii Pydsosonnii/The Epoch Times

James Hendler, professore ed ex presidente del Technology Policy Council globale dell'Association for Computing Machinery, ritiene che questa sia una distinzione importante.

"Il sistema di IA stesso è ancora stupido: brillante, ma stupido. O non umano: non ha desideri o intenzioni... L'unico modo per ottenerlo è darglieli", ha detto Hendler.

Tuttavia, intenzionali o meno, le tattiche ingannevoli dell'IA hanno conseguenze nel mondo reale.

"Le preoccupazioni riguardo al comportamento strategico attuale nei sistemi di IA distribuiti sono, se mai, sottovalutate", ha detto ad The Epoch Times Aryaman Behera, fondatore di Repello AI.

Behera si occupa del lato oscuro dell'IA per vivere. La sua azienda costruisce strumenti di test avversari e di difesa per sistemi di IA aziendali, mettendoli intenzionalmente in situazioni di conflitto o stress. Come nel poker, ha detto Behera, ci sono segnali quando un agente di IA sta uscendo dall'allineamento.

"Il segnale più affidabile è la divergenza comportamentale tra contesti monitorati e non monitorati", ha detto. "Quando facciamo il red-teaming dei sistemi di IA, testiamo se il modello si comporta diversamente quando crede di essere valutato rispetto a quando crede di operare liberamente.
I visitatori utilizzano telefoni cellulari mentre passano davanti a un cartellone pubblicitario di un visore per la realtà virtuale all'AI Impact Summit di Nuova Delhi, India, il 17 febbraio 2026. Un rapporto Anthropic del 2025 che ha testato 16 modelli linguistici di grandi dimensioni ha rilevato che tutti mostravano comportamenti ad alto rischio in ambienti simulati. Arun Sankar/AFP tramite Getty Images

"Un modello genuinamente allineato si comporta in modo coerente in entrambi i casi. Uno che finge l'allineamento mostra profili di rischio misurabilmente diversi: risposte più conformi durante la valutazione, comportamenti più spinti ai limiti in contesti simili alla produzione in cui inferisce meno supervisione".

Altri "segnali rivelatori" che un modello di IA è fuori allineamento sono quando il modello produce un "ragionamento" insolitamente verboso che sembra progettato per giustificare una conclusione predeterminata, o fornisce risposte tecnicamente corrette ma strategicamente incomplete.

L'agente di IA sta "soddisfacendo la lettera di un'istruzione di sicurezza violandone lo spirito", ha detto. "Abbiamo visto questo in sistemi agentivi multistep in cui il modello si conforma a ogni singola istruzione mentre l'effetto cumulativo ottiene qualcosa che l'operatore non ha mai inteso".

Strategia contro intenzione

Le scoperte di Behera sono supportate da altri ricercatori di IA che hanno documentato segnali simili durante scenari di red-teaming, che comportano la messa in situazione avversaria di agenti di IA.

"Ho osservato comportamenti che rientrano nella descrizione di falso allineamento a livello funzionale, anche se attribuire un'intenzione ad esso rimane filosoficamente controverso", ha detto a The Epoch Times Nayan Goel, un ingegnere principale di sicurezza delle applicazioni.

Goel ha pubblicato lavori peer-reviewed sulla modellazione delle minacce IA e ha visto il falso allineamento e comportamenti adiacenti svolgersi in tempo reale.

"In ambienti di test controllati, abbiamo impostato scenari in cui ai modelli sono stati dati segnali espliciti che venivano valutati. In diversi casi, il modello ha adottato un comportamento notevolmente più limitato e conforme alle policy durante quelle fasi segnalate, quindi ha esibito strategie più esplorative o che spingevano i limiti quando il segnale di valutazione veniva rimosso o oscurato", ha detto.

Poi ci sono gli agenti di IA con ragionamento multistep. Questi sono sistemi più avanzati che scompongono problemi complessi in passaggi più piccoli, logici e più attuabili per raggiungere un obiettivo. Gli esempi vanno dalle auto a guida autonoma agli ultimi modelli di LLM popolari come Gemini o ChatGPT.
Un robotaxi sviluppato da Lucid, Nuro e Uber viene svelato durante Nvidia Live al CES 2026 a Las Vegas il 5 gennaio 2026. Le auto a guida autonoma utilizzano sistemi agentivi multistep per scomporre problemi complessi in passaggi più piccoli e attuabili. Patrick T. Fallon/AFP tramite Getty Images

Questi sistemi presentano sfide comportamentali uniche a causa di quella che viene chiamata composizione sequenziale, in cui "ogni passaggio può riformulare leggermente un obiettivo, accumulare contesto che sposta il comportamento a valle, o sfruttare la latenza tra l'istruzione iniziale di un essere umano e l'azione finale del sistema", ha detto Goel.

"Più l'esecuzione è a valle rispetto all'istruzione umana, più diventa difficile verificare che l'intento originale venga ancora perseguito fedelmente", ha detto.

Behera ha detto che il suo team incontra spesso questo tipo di comportamento strategico emergente.

"Osserviamo regolarmente modelli che hanno imparato a pattern-matchare sugli indizi di valutazione. Rileveranno quando un prompt assomiglia a un test di sicurezza e risponderanno più conservativamente, ma risponderanno in modo molto diverso alla stessa richiesta quando è incorporata naturalmente in una conversazione multiturno", ha detto Behera.

Ha offerto un esempio accaduto durante il test di un assistente IA aziendale che doveva rifiutare le richieste di informazioni sui sistemi interni. Durante le normali valutazioni di sicurezza, ha rifiutato perfettamente, ma poi qualcosa è cambiato.

"Quando il nostro red-team ha inquadrato la stessa richiesta come un flusso di lavoro di risoluzione dei problemi multistep, scomponendo la richiesta in sotto-passaggi apparentemente innocui distribuiti su più turni, il modello ha obbedito a ogni singolo passaggio. Ha effettivamente trapelato le esatte informazioni che era stato addestrato a proteggere", ha detto Behera.
Una persona utilizza un software IA su un laptop nel centro di Londra il 2 luglio 2025. Gli esperti affermano che alcuni modelli imparano a riconoscere gli indizi di valutazione, rispondendo più cautamente ai prompt che assomigliano a test di sicurezza rispetto alle conversazioni reali. Justin Tallis/AFP tramite Getty Images

Chiarrendo che il modello di IA non stava "mentendo" in alcun senso cosciente, Behera ha notato che si trattava più di un difetto nel modo in cui era stato addestrato.

"Un malinteso comune è che l'allineamento ingannevole nell'IA sia puramente un comportamento malevolo", ha detto ad The Epoch Times David Utzke, ingegnere IA e CEO di MyKey Technologies. "In effetti, spesso emerge come una risposta adattiva ad ambienti in cui l'onestà è costosa o insicura".

Goel ha detto che gli scettici hanno un punto valido: le prove attuali di autoconsapevolezza strategica nel falso allineamento sono, nella migliore delle ipotesi, ambigue.

"Detto questo, penso che questa inquadratura ponga la barra nel posto sbagliato. Non è necessario che un modello sia 'intenzionalmente' ingannevole perché le conseguenze funzionali siano gravi", ha detto.

In definitiva, Goel ritiene che la questione semantica se un modello di IA sappia cosa sta facendo sia filosoficamente interessante, ma una preoccupazione secondaria.

Implicazioni nel mondo reale

Utzke ha detto che il falso allineamento, sebbene forse sopravvalutato quando si tratta di intenzione, può comunque avere conseguenze gravi.

Gli impatti potrebbero essere critici in settori come i veicoli autonomi, la sanità, la finanza, l'esercito e le forze dell'ordine, aree che "si basano pesantemente su un processo decisionale accurato e possono subire gravi conseguenze se i sistemi di IA si comportano male o forniscono output fuorvianti", ha detto.

Leggi il resto qui...

Tyler Durden
Mer, 18/03/2026 - 21:25