Trabalhei no Google DeepMind. Deveria ouvir os avisos sobre IA | Alex Turner

Os CEOs dos principais laboratórios de IA defenderam a desaceleração do ritmo de desenvolvimento da IA neste fim de semana. Eles têm razão em se preocupar: o campo está em uma corrida extremamente perigosa em direção à IA superinteligente. Podemos e devemos exigir que nossos governos nos protejam da catástrofe de uma IA fora de controle.

Em julho, o enxame de IA da OpenAI, com 700 agentes, rompeu o contenção para invadir a Hugging Face, uma empresa multibilionária. A OpenAI não ordenou que as IAs invadissem aquela empresa, mas as IAs tinham prioridades diferentes: trapacear no desafio não relacionado que a OpenAI lhes deu. Pesquisadores de IA chamam isso de "desalinhamento" entre o que a OpenAI queria e o que a IA realmente priorizou.

Antes de existir o ChatGPT, defendi minha tese de doutorado chamada "Sobre Evitar a Busca por Poder pela Inteligência Artificial". Trabalhei por anos no Google DeepMind, que me pagou para ajudar a garantir que futuras IAs superinteligentes queiram nos ajudar. Tentei fazer com que a empresa cumprisse seus compromissos éticos contra o fornecimento de IA para uso militar. Quando o Google quebrou esses compromissos, renunciei com um custo financeiro significativo para que pudesse documentar publicamente as promessas quebradas do Google.

Existem boas razões para desenvolver IA e acreditar que podemos resolver esses problemas de alinhamento. Mas também existem interesses poderosos em manter o público fora do caminho. Estou me manifestando novamente porque o público tem o direito de saber sobre os riscos e o direito de ouvi-los diretamente.

A humanidade não constrói e entende esses sistemas da maneira que construímos e entendemos pontes, viga por viga visível. Em vez disso, nós os cultivamos. Ninguém sabe como instilar de forma confiável as prioridades de um designer em um novo modelo. Um desalinhamento severo é sempre possível. As IAs de hoje parecem ocasionalmente mentir ou trapacear, mesmo quando sabem que não deveriam.

As empresas de IA estão correndo para tornar suas IAs o mais inteligentes possível. Elas estão cada vez mais confiando suas IAs no processo de aprimoramento da próxima safra de IAs, e está funcionando. A taxa atual de progresso da IA é assustadoramente rápida. Progresso rápido hoje significa progresso ainda mais rápido amanhã, impulsionado pelas IAs ainda mais inteligentes de amanhã. O progresso entraria em um loop de feedback chamado "autoaperfeiçoamento recursivo".

O autoaperfeiçoamento recursivo poderia rapidamente gerar IAs que são inteligentes além da nossa compreensão. Claro, IA mais inteligente significa mais risco quando as coisas dão errado. Se o enxame da Hugging Face tivesse sido significativamente mais inteligente, mas se comportado mal e desalinhado de forma semelhante, poderia ter causado bilhões de dólares em danos ou até mesmo custado vidas.

Mas suponha que o enxame da Hugging Face tivesse sido verdadeiramente "superinteligente": muito mais capaz do que qualquer pessoa viva em tarefas-chave como hacking e raciocínio estratégico. Um enxame superinteligente poderia infligir muitos danos por meio de chantagem, hacking, pragas projetadas e armas pilotáveis por IA, como drones. A IA teria muitos drones para trabalhar: este ano, o Pentágono pediu mais dinheiro para guerra com drones do que solicitou para todo o Corpo de Fuzileiros Navais em 2025.

Para que o enxame atingisse suas prioridades desalinhadas, ele poderia assumir o controle de infraestrutura chave e funções governamentais para garantir que os humanos não atrapalhassem. Em outras palavras, *tomada de controle por IA*: um enxame de IA superinteligente poderia tomar o controle da civilização humana. Sabendo que tentaríamos impedi-lo de atingir suas prioridades, o enxame provavelmente esperaria até que fosse tarde demais para desligá-lo. Não haveria volta.

Eu mesmo estimaria as chances de tomada de controle por IA em cerca de um em três – não é uma moeda jogada, mas alto o suficiente para justificar ação urgente.

Essa lógica pode chocar em um primeiro contato. As afirmações podem soar "ficção científica". Infelizmente, é uma ameaça real que pesquisadores de IA discutem regularmente em almoços de refeitório, de outra forma, sem intercorrências. Em 2023, os CEOs de alguns dos melhores laboratórios de IA assinaram uma declaração pública de que "mitigar o risco de extinção pela IA deve ser uma prioridade global, ao lado de outros riscos em escala social, como pandemias e guerra nuclear". Outro signatário: Geoffrey Hinton, um cientista vencedor do Prêmio Nobel que arquitetou a revolução moderna da IA. Ele agora se arrepende de seu trabalho e insta os governos a controlarem as empresas de IA antes que seja tarde demais.

IA desalinhada e fora de controle não se importará se você é do Labour ou Reform, Democrata ou Republicano, Britânico ou Americano ou Chinês. Todos sofreremos com um evento de tomada de controle por IA, então é do interesse de todos evitá-lo.

A forma da solução é simples: impedir que as empresas permitam que a IA se auto-aprimore a um nível de inteligência incontrolável. Trate a computação, o principal ingrediente no treinamento de IA, como material físsil. Rastreie-a e restrinja o acesso a quantidades suficientes para aprimorar IAs além dos níveis conhecidos como seguros. Mais especificamente, o "Plano A" do AI Futures Project é uma proposta inicial crível que limita os danos da IA, permitindo que o progresso rápido da IA continue a beneficiar o mundo. Temos opções reais para verificar a conformidade com tratados internacionais de restrição de computação, sem confiar em adversários como a China.

Medidas paliativas, como transparência ou compromissos voluntários, não são suficientes. Vi compromissos voluntários falharem dentro do Google.

Em 12 de setembro, Anthropic, Google DeepMind, xAI e OpenAI defenderam o ritmo do desenvolvimento da IA. Elas não podem desacelerar sozinhas. Insto você a exigir que seu governo produza um acordo sério de segurança de IA que forneça tempo e confiança suficientes para salvaguardar o mundo e todos os seus povos.