Quão perigoso é o Mythos AI da Anthropic? | Bruce Schneier

No mês passado, a Anthropic fez um anúncio notável sobre seu novo modelo, Claude Mythos Preview: ele era tão bom em encontrar vulnerabilidades de segurança em software que a empresa não o lançaria ao público em geral. Em vez disso, ele estaria disponível apenas para um grupo seleto de empresas para escanear e corrigir seu próprio software.

O anúncio requer contexto – mas continha uma verdade essencial.

Embora o modelo da Anthropic seja muito bom em encontrar vulnerabilidades de software, outros modelos também são. O AI Security Institute do Reino Unido descobriu que o GPT-5.5 da OpenAI, já disponível em geral, é comparável em capacidade. A empresa Aisle reproduziu os resultados publicados pela Anthropic com modelos menores e mais baratos.

Ao mesmo tempo, a recusa da Anthropic em lançar publicamente seu novo modelo faz uma virtude da necessidade. O Mythos é muito caro para rodar, e a empresa não parece ter os recursos para um lançamento geral. Que melhor maneira de impulsionar a avaliação da empresa do que insinuar capacidades, mas não comprová-las, e depois ter outros repetindo suas alegações?

Não obstante, a verdade é assustadora. Sistemas modernos de IA generativa – não apenas os da Anthropic, mas os da OpenAI e outros modelos de código aberto – estão se tornando muito bons em encontrar e explorar vulnerabilidades em software. E isso tem ramificações importantes para a cibersegurança: tanto na ofensiva quanto na defensiva.

Os atacantes usarão essas capacidades para encontrar e hackear automaticamente vulnerabilidades em sistemas de todos os tipos. Eles serão capazes de invadir sistemas críticos em todo o mundo, às vezes para plantar ransomware e ganhar dinheiro, às vezes para roubar dados para fins de espionagem, e às vezes para controlar sistemas em tempos de hostilidade. Isso tornará o mundo um lugar muito mais perigoso e volátil.

Mas, ao mesmo tempo, os defensores usarão essas mesmas capacidades para encontrar e, em seguida, corrigir muitas desses mesmos sistemas. Por exemplo, a Mozilla usou o Mythos para encontrar 271 vulnerabilidades no Firefox. Essas vulnerabilidades foram corrigidas e nunca mais estarão disponíveis para os atacantes. No futuro, IAs encontrando e corrigindo automaticamente vulnerabilidades em todo o software serão uma parte normal do processo de desenvolvimento, o que resultará em software muito mais seguro.

Claro, não é tão simples. Devemos esperar um dilúvio tanto de atacantes usando vulnerabilidades recém-encontradas para invadir sistemas, quanto, ao mesmo tempo, atualizações de software muito mais frequentes para todos os aplicativos e dispositivos que usamos. Mas muitos sistemas não são corrigíveis, e muitos sistemas que são não são corrigidos, o que significa que muitas vulnerabilidades permanecerão. E parece que encontrar e explorar é mais fácil do que encontrar e corrigir. Tudo isso aponta para um futuro de curto prazo mais perigoso. As organizações precisarão adaptar sua segurança a essa nova realidade.

Mas é no longo prazo que precisamos nos concentrar. O Mythos não é único, mas é mais capaz do que muitos modelos que vieram antes. E é menos capaz do que os modelos que virão depois. As IAs são muito melhores em escrever software do que eram há apenas seis meses. Há todas as razões para acreditar que elas continuarão a melhorar, o que significa que elas melhorarão na escrita de software mais seguro. O resultado final dá aos defensores aprimorados por IA vantagens sobre os atacantes aprimorados por IA.

Ainda mais interessantes são as implicações mais amplas. As mesmas capacidades de busca, correspondência de padrões e raciocínio que tornam esses modelos tão bons em analisar software, quase certamente se aplicam a sistemas semelhantes. O código tributário não é código de computador, mas é uma série de algoritmos com entradas e saídas. Ele tem vulnerabilidades; chamamos de brechas fiscais. Ele tem exploits; chamamos de estratégias de evasão fiscal. E ele tem hackers de chapéu preto: advogados e contadores.

Assim como esses modelos estão encontrando centenas de vulnerabilidades em sistemas de software complexos, devemos esperar que eles sejam igualmente eficazes em encontrar muitas brechas fiscais novas e não descobertas. Tenho certeza de que os principais bancos de investimento estão trabalhando nisso agora, em segredo. Eles alimentaram a IA com o código tributário dos EUA, ou do Reino Unido, ou talvez de todos os países industrializados, e encarregaram o sistema de procurar estratégias de economia de dinheiro. Quantas brechas fiscais essas IAs encontrarão? Dez? Cem? Mil? O Double Dutch Irish Sandwich é uma brecha fiscal que envolve múltiplas jurisdições fiscais diferentes. As IAs podem encontrar brechas ainda mais complexas? Não temos ideia.

Claro, as IAs apresentarão um monte de truques que não funcionarão, mas é aí que entram esses advogados e contadores – para verificar e, em seguida, justificar as brechas. E, em seguida, para comercializá-las para seus clientes ricos.

Como vai o código tributário, assim vai qualquer outro sistema complexo de regras e estratégias. Esses modelos poderiam ser encarregados de encontrar brechas em regras ambientais, ou regras de alimentos e segurança – onde quer que existam sistemas regulatórios complexos e pessoas poderosas que queiram evadir essas regras.

Os resultados serão muito piores do que computadores inseguros. Brechas fiscais resultam em menos receita coletada pelos governos, e brechas regulatórias permitem que os poderosos contornem as regras, ambos com todos os tipos de ramificações sociais. E enquanto os fornecedores de software podem corrigir seus sistemas em dias, geralmente leva anos para um país alterar seu código tributário. E esse processo é político, com lobistas pressionando os legisladores a não corrigirem. Basta olhar para a brecha de juros sobre capital próprio, uma evasão fiscal dos EUA que tem sido explorada por décadas. Várias administrações tentaram fechar a vulnerabilidade, mas os legisladores simplesmente não conseguem resistir aos lobistas por tempo suficiente para corrigi-la.

As tecnologias de IA estão preparadas para refazer grande parte da sociedade. Assim como a revolução industrial deu aos humanos a capacidade de consumir calorias fora de seus corpos em escala, a revolução da IA dará aos humanos a capacidade de realizar tarefas cognitivas fora de seus corpos em escala. Nossos sistemas não são projetados para isso; eles são projetados para ritmos de cognição mais humanos. Estamos vendo isso agora no dilúvio de vulnerabilidades de software que esses modelos estão encontrando e explorando. E em breve veremos um dilúvio de vulnerabilidades em todos os tipos de outros sistemas de regras. Adaptar-se a essa nova realidade será difícil, mas não temos escolha.

-
Bruce Schneier é um tecnólogo de segurança que leciona na Harvard Kennedy School da Harvard University