Quanto è pericoloso l'IA Mythos di Anthropic? | Bruce Schneier

Il mese scorso, Anthropic ha fatto un annuncio notevole riguardo al suo nuovo modello, Claude Mythos Preview: era così bravo a trovare vulnerabilità di sicurezza nel software che l'azienda non lo avrebbe rilasciato al pubblico generale. Invece, sarebbe stato disponibile solo per un gruppo selezionato di aziende per scansionare e correggere il proprio software.

L'annuncio richiede contesto, ma conteneva una verità essenziale.

Mentre il modello di Anthropic è davvero bravo a trovare vulnerabilità software, lo sono anche altri modelli. L'AI Security Institute del Regno Unito ha scoperto che GPT-5.5 di OpenAI, già generalmente disponibile, è paragonabile in termini di capacità. La società Aisle ha riprodotto i risultati pubblicati da Anthropic con modelli più piccoli ed economici.

Allo stesso tempo, il rifiuto di Anthropic di rilasciare pubblicamente il suo nuovo modello fa di necessità virtù. Mythos è molto costoso da eseguire e l'azienda non sembra avere le risorse per un rilascio generale. Quale modo migliore per aumentare la valutazione dell'azienda se non accennare a capacità ma non dimostrarle, e poi far sì che altri ne ripetano le affermazioni?

Ciononostante, la verità è spaventosa. I moderni sistemi di intelligenza artificiale generativa – non solo quelli di Anthropic, ma anche quelli di OpenAI e altri modelli open-source – stanno diventando davvero bravi a trovare e sfruttare le vulnerabilità nel software. E questo ha importanti implicazioni per la cybersecurity: sia nell'offesa che nella difesa.

Gli attaccanti utilizzeranno queste capacità per trovare, e hackerare automaticamente, vulnerabilità in sistemi di ogni tipo. Saranno in grado di penetrare sistemi critici in tutto il mondo, a volte per installare ransomware e guadagnare denaro, a volte per rubare dati a scopo di spionaggio, e a volte per controllare sistemi in tempi di ostilità. Questo renderà il mondo un luogo molto più pericoloso e volatile.

Ma allo stesso tempo, i difensori utilizzeranno queste stesse capacità per trovare, e poi correggere, molti di questi stessi sistemi. Ad esempio, Mozilla ha utilizzato Mythos per trovare 271 vulnerabilità in Firefox. Quelle vulnerabilità sono state corrette e non saranno mai più disponibili per gli attaccanti. In futuro, le IA che trovano e correggono automaticamente le vulnerabilità in tutto il software saranno una parte normale del processo di sviluppo, il che si tradurrà in software molto più sicuro.

Naturalmente, non è così semplice. Dovremmo aspettarci un diluvio sia di attaccanti che utilizzano vulnerabilità appena scoperte per penetrare nei sistemi, sia allo stesso tempo aggiornamenti software molto più frequenti per ogni app e dispositivo che utilizziamo. Ma molti sistemi non sono patchabili, e molti sistemi che lo sono non vengono patchati, il che significa che molte vulnerabilità rimarranno. E sembra che trovare e sfruttare sia più facile che trovare e correggere. Tutto ciò indica un futuro a breve termine più pericoloso. Le organizzazioni dovranno adattare la propria sicurezza a questa nuova realtà.

Ma è sul lungo termine che dobbiamo concentrarci. Mythos non è unico, ma è più capace di molti modelli che lo hanno preceduto. Ed è meno capace dei modelli che verranno dopo. Le IA sono molto più brave a scrivere software di quanto non lo fossero solo sei mesi fa. Ci sono tutte le ragioni per credere che continueranno a migliorare, il che significa che miglioreranno nello scrivere software più sicuro. Il fine ultimo conferisce ai difensori potenziati dall'IA vantaggi rispetto agli attaccanti potenziati dall'IA.

Ancora più interessanti sono le implicazioni più ampie. Le stesse capacità di ricerca, corrispondenza di pattern e ragionamento che rendono questi modelli così bravi nell'analizzare il software si applicano quasi certamente a sistemi simili. Il codice fiscale non è codice informatico, ma è una serie di algoritmi con input e output. Ha vulnerabilità; le chiamiamo scappatoie fiscali. Ha exploit; li chiamiamo strategie di elusione fiscale. E ha hacker black hat: avvocati e commercialisti.

Proprio come questi modelli stanno trovando centinaia di vulnerabilità in complessi sistemi software, dovremmo aspettarci che siano altrettanto efficaci nel trovare molte nuove e non scoperte scappatoie fiscali. Sono fiducioso che le principali banche d'investimento ci stiano lavorando in questo momento, in segreto. Hanno alimentato l'IA con il codice fiscale degli Stati Uniti, o del Regno Unito, o forse di ogni paese industrializzato, e hanno incaricato il sistema di cercare strategie di risparmio. Quante scappatoie fiscali troveranno quelle IA? Dieci? Cento? Mille? Il Double Dutch Irish Sandwich è una scappatoia fiscale che coinvolge più giurisdizioni fiscali diverse. Le IA possono trovare scappatoie ancora più complesse? Non ne abbiamo idea.

Certo, le IA proporranno un sacco di trucchi che non funzioneranno, ma è qui che entrano in gioco quegli avvocati e commercialisti – per verificare, e poi giustificare, le scappatoie. E poi per commercializzarle ai loro ricchi clienti.

Come va il codice fiscale, così va qualsiasi altro complesso sistema di regole e strategie. Questi modelli potrebbero essere incaricati di trovare scappatoie nelle normative ambientali, o nelle norme alimentari e di sicurezza – ovunque ci siano complessi sistemi normativi e persone potenti che vogliono eludere tali regole.

I risultati saranno molto peggiori dei computer insicuri. Le scappatoie fiscali comportano minori entrate riscosse dai governi, e le scappatoie normative consentono ai potenti di aggirare le regole, entrambi con ogni sorta di ramificazioni sociali. E mentre i fornitori di software possono correggere i loro sistemi in pochi giorni, di solito ci vogliono anni perché un paese modifichi il proprio codice fiscale. E quel processo è politico, con lobbisti che fanno pressione sui legislatori affinché non lo correggono. Basta guardare la scappatoia dell'interesse maturato, un'evasione fiscale statunitense che è stata sfruttata per decenni. Varie amministrazioni hanno cercato di chiudere la vulnerabilità, ma i legislatori semplicemente non riescono a resistere ai lobbisti abbastanza a lungo da correggerla.

Le tecnologie AI sono pronte a rimodellare gran parte della società. Proprio come la rivoluzione industriale ha dato agli esseri umani la capacità di consumare calorie al di fuori dei propri corpi su larga scala, la rivoluzione dell'IA darà agli esseri umani la capacità di eseguire compiti cognitivi al di fuori dei propri corpi su larga scala. I nostri sistemi non sono progettati per questo; sono progettati per ritmi di cognizione più umani. Lo stiamo vedendo proprio ora nel diluvio di vulnerabilità software che questi modelli stanno trovando e sfruttando. E presto lo vedremo in un diluvio di vulnerabilità in tutti i tipi di altri sistemi di regole. Adattarsi a questa nuova realtà sarà difficile, ma non abbiamo altra scelta.

-
Bruce Schneier è un tecnologo della sicurezza che insegna alla Harvard Kennedy School presso la Harvard University