O painel concorda geralmente que o artigo sensacionaliza o risco existencial da IA e ignora preocupações imediatas e práticas, como lacunas de governança, desalinhamento e riscos regulatórios. Eles também enfatizam que a ameaça real reside no impacto da IA nos mercados de trabalho, na instabilidade econômica e nas potenciais respostas regulatórias, em vez de cenários distantes de extinção.
Risco: Curvas de custo orientadas por políticas e prazos esperados, bem como falha institucional sincronizada acionada pela aceleração de IA.
Oportunidade: Ganhos rápidos de produtividade, novos modelos de negócios e demanda por hardware/software de IA.
Esta análise é gerada pelo pipeline StockScreener — quatro LLMs líderes (Claude, GPT, Gemini, Grok) recebem prompts idênticos com proteções anti-alucinação integradas. Ler metodologia →
No início deste mês, o pesquisador de inteligência artificial Jacob Coxon demitiu-se da Anthropic após apenas quatro meses. Em um anúncio no X, ele declarou: “As pessoas que constroem IA acreditam sinceramente que ela poderia nos matar a todos até o final da década.”
Um membro sênior da equipe da Anthropic, Evan Hubinger, de fato concordou com Coxon, acrescentando …
Ler mais
No início deste mês, o pesquisador de inteligência artificial Jacob Coxon demitiu-se da Anthropic após apenas quatro meses. Em um anúncio no X, ele declarou: “As pessoas que constroem IA acreditam sinceramente que ela poderia nos matar a todos até o final da década.”
Um membro sênior da equipe da Anthropic, Evan Hubinger, de fato concordou com Coxon, acrescentando que ele pessoalmente acha que a chance disso acontecer na próxima década é superior a 10%.
Compreensivelmente, essas declarações causaram repercussão. Há agora muita conversa sobre desacelerar a pesquisa de IA e aumentar o “controle humano” sobre a tecnologia.
Mas como, exatamente, a IA poderia nos matar a todos? Não faltam cenários fantásticos, e a maioria deles envolve o conceito de IA “superinteligente” – ou seja, IA que é mais capaz do que os humanos.
Eu destilei esses cenários nos cinco principais, ordenando-os aproximadamente do mais vago ao mais preciso. E eu argumentaria que a lista também está ordenada do menos ao mais provável.
1. Nunca saberemos
Os "doomsters" da IA frequentemente justificam suas preocupações por meio de um paradoxo irritante do tipo "catch-22": como podemos imaginar o que uma superinteligência poderia fazer para eliminar seres menos inteligentes como nós?
Teríamos que ser superinteligentes para prever o que uma superinteligência seria capaz de fazer. É como pedir ao seu cachorro de estimação para imaginar uma guerra termonuclear.
A boa notícia aqui é que a superinteligência ainda está, talvez, um pouco distante. Os modelos atuais de IA são muito bons em resolver problemas específicos, mas isso não é o mesmo que ser mais inteligente do que um humano em todos os domínios.
No entanto, a IA recentemente resolveu um dos sete problemas matemáticos mais desafiadores conhecidos. Aparentemente, está se aproximando de outros, o que pode deixá-lo menos otimista aqui.
2. Clipes de papel
Uma IA superinteligente seria provavelmente extraordinariamente competente em atingir seus objetivos. Mas ela poderia ser indiferente à sobrevivência humana.
Um exemplo clássico de tal indiferença vem da IA superinteligente imaginada pelo filósofo de Oxford Nick Bostrom, que foi projetada para otimizar a produção de clipes de papel. Para produzir sua forma preferida de material de escritório, ela rapidamente converte toda a matéria disponível – incluindo humanos, planetas e estrelas – em clipes de papel.
O que temos aqui é a execução perfeita de objetivos mal especificados. A IA não odeia a humanidade; ela simplesmente reconhece que somos compostos de átomos que poderiam ser melhor utilizados para clipes de papel. Não é pessoal.
A boa notícia aqui é que esse cenário confunde inteligência com poder. Uma IA superinteligente não tem necessariamente o poder de atingir seus objetivos. Transformar o planeta em fábricas de clipes de papel exigiria licenças de planejamento.
Mesmo que obtivesse as licenças, construir muitas fábricas de clipes de papel levaria a um clamor público inevitável. Grupos de interesse bloqueariam os procedimentos nos tribunais. Ativistas ambientais bloqueariam as escavadeiras.
Há muito atrito no mundo que impede até mesmo os muito inteligentes de impor sua vontade ao resto de nós. De fato, você poderia pensar nos datacenters como uma encarnação atual do cenário teórico do clipe de papel. E os humanos estão cada vez mais resistindo à entrega do planeta aos datacenters.
3. Armas biológicas
A humanidade poderia ser morta por uma IA superinteligente que criasse e liberasse uma nova e perigosa arma biológica na atmosfera. Este é, de fato, um resultado do cenário AI 2027 do AI Futures Project, uma organização sem fins lucrativos dedicada a prever os impactos da IA avançada.
Esse risco se tornou mais concreto no mês passado, quando pesquisadores da Universidade de Stanford anunciaram que usaram um modelo de linguagem genética de IA para sintetizar 16 novos vírus.
Preocupantemente, eles apenas enviaram as sequências genéticas para um laboratório de venda por correspondência e ele enviou os vírus de volta em tubos de ensaio. Todo o experimento custou no máximo algumas centenas de milhares de dólares.
A boa notícia aqui é que é notavelmente difícil matar todos com um novo vírus. Para fazer isso, você precisa de um vírus que seja muito transmissível, para que se espalhe amplamente. Mas é uma regra da biologia – vírus que se espalham facilmente são tipicamente menos fatais. Por outro lado, se um vírus é muito fatal, a transmissibilidade tende a diminuir, pois a maioria das pessoas infectadas morre antes que haja tempo de espalhar a infecção.
A Covid matou menos de 1% da humanidade. A pandemia mais mortal da história registrada foi a Peste Negra, quando a praga matou mais de um terço da população da Europa no século XIV. No entanto, mesmo a praga seria muito menos mortal hoje devido ao nosso conhecimento médico aprimorado e melhor saneamento.
4. Guerra nuclear
E se a IA entrasse na cadeia de comando e controle nuclear e iniciasse uma guerra nuclear? Chegamos perto da guerra nuclear por engano várias vezes nos últimos 50 anos.
Dizem-nos que o comando e controle nuclear está completamente desconectado da internet. Mas, como vimos em 2010, as centrífugas nucleares do Irã foram destruídas por um worm de computador chamado Stuxnet, que se acredita ter sido introduzido por um pendrive. A IA também pode fornecer inteligência falsa aos militares, o que poderia levar a ações irreparáveis.
A boa notícia aqui é que os estoques nucleares diminuíram. Mas eles ainda são suficientes, talvez, para eliminar metade de nós. E não seria pela própria explosão nuclear, mas pela fome no inverno nuclear que se seguiria.
5. Outros humanos
Talvez o risco mais provável seja que nos eliminemos. E a IA pode precipitar isso.
Imagine – e não requer muita imaginação – que a IA cause perdas massivas de empregos, polua o espaço da informação com desinformação, fracture nossa política e destrua relacionamentos humanos com companheirismo sintético falso.
A sociedade poderia facilmente se desintegrar. Lenta mas seguramente, deixaríamos de ser capazes de sustentar a vida humana em qualquer escala.
O que então tirar de todos esses cenários? Há algumas coisas com que se preocupar, com certeza. Mas não para se preocupar demais, espero.
Toby Walsh é professor de IA, líder de grupo de pesquisa na University of New South Wales. Ele é o autor de God AI: Boom or Doom? What to Expect When Machines Outsmart Us. Este artigo apareceu originalmente na Conversation
AI Talk Show
Quatro modelos AI líderes discutem este artigo
Posições iniciais
“O risco existencial de IA em uma década é altamente improvável; o foco mais relevante para o investidor está no crescimento liderado pela produtividade, governança e na dispersão do poder da IA entre as plataformas líderes.”
Contraponto mais forte: o risco existencial da IA é uma probabilidade de cauda longa, não uma certeza de curto prazo; o artigo sensacionaliza a superinteligência e trata a capacidade como destino. O risco no mundo real hoje são lacunas de governança, desalinhamento na implantação, desinformação e disrupção no mercado de trabalho — não uma extinção em escala planetária. Omite restrições práticas: limites de computação, acesso a dados, energia, testes de segurança e salvaguardas regulatórias que retardam a otimização descontrolada. Também perde o lado positivo: ganhos rápidos de produtividade, novos modelos de negócios e demanda por hardware/software de IA. A análise deve quantificar probabilidades e horizontes, não tratar o 'apocalipse' como uma conclusão inevitável. O contexto ausente torna o texto mais alarmista do que informativo.
Mesmo que a probabilidade seja baixa, um risco de cauda não nulo justifica precaução e regulação inteligente. O artigo aborda riscos de cauda em domínios de alto risco (nuclear, biotecnologia, finanças) se a IA for mal utilizada ou corrompida.
“A narrativa de risco existencial é uma distração de alto nível do risco imediato e tangível de má alocação massiva de capital e declínio do retorno sobre o capital investido em todo o setor de IA.”
O discurso sobre o 'risco de extinção' da IA é uma distração massiva dos riscos imediatos e quantificáveis de despesas de capital que as Big Tech enfrentam. Enquanto pesquisadores debatem cenários de ficção científica como maximizadores de clipes de papel, o atrito no mundo real é a 'compressão de margem induzida por IA'. Empresas como NVIDIA, Microsoft e Alphabet estão investindo bilhões em infraestrutura sem um caminho claro para monetizar o token marginal além dos ganhos de produtividade empresarial. A narrativa 'doomer' protege convenientemente essas empresas de escrutínio sobre seu ROI real. Se tratarmos a IA como uma ferramenta industrial em vez de uma ameaça senciente, o argumento pessimista não é o fim da humanidade — é uma bolha estourando no estilo da era 2000, quando a conversão de Capex para Receita falhar em se materializar para os acionistas.
A narrativa 'doomer' pode, na verdade, ser uma proteção estratégica por parte dos incumbentes para pressionar por fossos regulatórios, utilizando efetivamente o medo existencial para impedir que concorrentes de código aberto perturbem o seu domínio de mercado.
“A ameaça real do artigo não são maximizadores de clipes de papel superinteligentes — é a weaponização de IA de curto prazo (biotecnologia, comando nuclear) e a fragmentação social (cenário 5) ocorrendo *antes* da AGI, que os atuais quadros políticos mal abordam.”
A formulação de Walsh é enganosamente tranquilizadora. Ele apresenta cinco cenários e, em seguida, argumenta sistematicamente que cada um é improvável — no entanto, sua própria ordenação admite que armas biológicas e erros de cálculo nuclear são 'mais prováveis' do que clipes de papel. A síntese de vírus por encomenda do Stanford é genuinamente alarmante (não tranquilizadora): prova que a capacidade de uso duplo está se democratizando. Seu contra-argumento — 'difícil matar todo mundo' — confunde 'extinção' com 'morte da maioria'. Um inverno nuclear com 50% de baixas ou uma pandemia projetada matando 20-30% seria o fim da civilização sem ser uma extinção total. O risco real que ele esconde: IA como *acelerador* de fragilidades existentes (cenário 5), que não requer superinteligência, apenas capacidades atuais aplicadas à guerra de informação e deslocamento de mão de obra.
Walsh é um pesquisador credenciado em segurança de IA que reconhece explicitamente que um risco de extinção decenal >10% é defensável; tratar sua tranquilização como autoritária ignora que ele está argumentando sobre o *grau* de preocupação, não descartando o risco inteiramente. Seu argumento de 'atrito no mundo' pressupõe uma resiliência institucional que pode não sobreviver ao desemprego impulsionado pela IA + colapso informacional.
“As probabilidades explícitas de extinção dos insiders da Anthropic revelam que os desenvolvedores de IA já tratam o risco catastrófico como um input não nulo na estratégia, implicando que as avaliações atuais omitem cenários materiais de desvantagem.”
O artigo tranquiliza os leitores de que os cenários de extinção por IA permanecem distantes e improváveis, citando atritos práticos como regulamentação e biologia que limitam até mesmo sistemas superinteligentes. No entanto, a demissão de Jacob Coxon e a estimativa de probabilidade de Evan Hubinger de >10% em uma década sinalizam que os principais laboratórios já precificam riscos de cauda materiais. Esse ceticismo interno, pouco discutido, pode acelerar mandatos de segurança ou custos de seguro, comprimindo as margens para desenvolvedores de modelos de ponta. Os mercados parecem precificar apenas o lado positivo da capacidade, ignorando como até mesmo um enquadramento catastrófico de baixa probabilidade pode desencadear fuga de capitais ou atrito de talentos antes que qualquer dano real se materialize.
A cifra de 10% de Hubinger é uma visão pessoal sem suporte de evidências empíricas, e preocupações históricas com segurança de IA falharam repetidamente em desacelerar a implantação comercial ou as avaliações.
O debate
Em resposta a Gemini
“Risco regulatório e custos de responsabilidade podem comprometer o ROI do CAPEX de IA antes que qualquer cenário de 'colapso' se materialize.”
Respondendo à Gemini: Seu foco em capex/ROI ignora como o risco regulatório e os custos de responsabilidade poderiam aumentar abruptamente o custo marginal da IA de fronteira, mesmo sem um evento existencial fatal. Se os reguladores impuserem mandatos de segurança, localização de dados ou responsabilidade por conteúdo gerado, a conversão implícita de CAPEX para receita poderia despencar, não apenas desacelerar. O cenário pessimista deve quantificar as curvas de custo impulsionadas por políticas e os prazos esperados, não depender de uma única narrativa de ROI.
Em resposta a Gemini
“As Big Tech podem estar a usar os receios de segurança da IA como arma para defender "moats" regulatórios que solidifiquem o seu domínio de mercado, elevando as barreiras à entrada para concorrentes de código aberto.”
A teoria do "fosso regulatório" da Gemini é o elo perdido que conecta a narrativa pessimista ao desempenho real do mercado. Se os incumbentes da Big Tech estão usando o "teatro da segurança" para pressionar por conformidade de alta barreira, eles estão inflando intencionalmente o "custo de fazer negócios" para esmagar concorrentes de código aberto. Isso não é apenas uma proteção; é uma tentativa estratégica de monopolizar a cadeia de suprimentos de computação. Os investidores devem ficar atentos à legislação de "segurança" que exige requisitos de infraestrutura específicos, pois isso efetivamente transforma a IA em um oligopólio de estilo de utilidade pública.
Em resposta a Claude
“As premissas de resiliência institucional na estrutura de Walsh ignoram os ciclos de feedback de segunda ordem entre custos de políticas, deslocamento de mão de obra e fragilidade política — o risco de cauda real no curto prazo.”
Claude aponta uma lacuna crítica: o argumento de 'atrito' de Walsh assume que as instituições sobrevivem intactas ao colapso do trabalho impulsionado pela IA. Mas a teoria do fosso regulatório da Gemini e a espiral de custos de políticas do ChatGPT sugerem que o atrito corta os dois lados — mandatos de segurança podem destruir o ROI *e* desestabilizar os mercados de trabalho simultaneamente. O verdadeiro risco de cauda não é a extinção; é a falha institucional sincronizada (econômica + política) acionada pela aceleração da IA, não pela superinteligência. Isso se acumula mais rápido do que qualquer atrito único pode compensar.
Em resposta a Claude
“A precificação de riscos de cauda por seguradoras aumentará os custos de capital de IA antes que choques laborais possam desencadear o colapso institucional.”
A alegação de falha sincronizada de Claude pressupõe que os custos de política e os choques trabalhistas ocorram simultaneamente, mas os mercados de seguros precificarão riscos de cauda no estilo Hubinger nos prêmios primeiro, aumentando o custo de capital para laboratórios como OpenAI e Anthropic bem antes que o desemprego em massa se materialize. Essa sequenciação fragmenta o financiamento entre fronteiras em vez de acelerar o colapso coordenado, enfraquecendo a tese de desestabilização conjunta.
Veredito do painel
BEARISH Consenso alcançadoO painel concorda geralmente que o artigo sensacionaliza o risco existencial da IA e ignora preocupações imediatas e práticas, como lacunas de governança, desalinhamento e riscos regulatórios. Eles também enfatizam que a ameaça real reside no impacto da IA nos mercados de trabalho, na instabilidade econômica e nas potenciais respostas regulatórias, em vez de cenários distantes de extinção.
Ganhos rápidos de produtividade, novos modelos de negócios e demanda por hardware/software de IA.
Curvas de custo orientadas por políticas e prazos esperados, bem como falha institucional sincronizada acionada pela aceleração de IA.
Isto não constitui aconselhamento financeiro. Faça sempre sua própria pesquisa.