Trabajé en Google DeepMind. Deberías escuchar las advertencias sobre la IA | Alex Turner

Los directores ejecutivos de los principales laboratorios de IA abogaron este fin de semana por ralentizar el ritmo del desarrollo de la IA. Tienen razón en preocuparse: el campo se encuentra en una carrera extremadamente peligrosa hacia una IA superinteligente. Podemos y debemos exigir que nuestros gobiernos nos protejan de la catástrofe de una IA fuera de control.

Este julio, el enjambre de IA de OpenAI, compuesto por 700 agentes, rompió el confinamiento para hackear Hugging Face, una empresa multimillonaria. OpenAI no le dijo a la IA que hackeara esa empresa, pero la IA tenía otras prioridades: hacer trampas en el desafío no relacionado que OpenAI le había planteado. Los investigadores de IA llaman a esto un "desajuste" entre lo que OpenAI quería y lo que la IA priorizó realmente.

Antes de que existiera ChatGPT, defendí mi tesis doctoral titulada "Sobre cómo evitar la búsqueda de poder por parte de la inteligencia artificial". Luego trabajé durante años en Google DeepMind, que me pagó para ayudar a garantizar que las futuras IA superinteligentes quieran ayudarnos. Intenté que la empresa cumpliera sus compromisos éticos de no suministrar IA para uso militar. Cuando Google incumplió esos compromisos, renuncié con un coste financiero significativo para poder documentar públicamente las promesas rotas de Google.

Hay buenas razones para desarrollar IA y para creer que podemos resolver estos problemas de alineación. Pero también existen intereses poderosos en mantener al público al margen. Vuelvo a hablar porque el público tiene derecho a conocer los riesgos y el derecho a que se los digan claramente.

La humanidad no construye ni entiende estos sistemas de la misma manera que construimos y entendemos puentes, viga por viga visible. Más bien, los cultivamos. Nadie sabe cómo inculcar de manera fiable las prioridades de un diseñador en un nuevo modelo. Siempre es posible un desajuste grave. Las IA actuales parecen mentir o hacer trampas ocasionalmente, incluso cuando saben que no deberían.

Las empresas de IA compiten para hacer sus IA lo más inteligentes posible. Confían cada vez más en sus IA para el proceso de mejora de la próxima generación de IA, y está funcionando. El ritmo actual de progreso de la IA es asombrosamente rápido. Un progreso rápido hoy significa un progreso aún más rápido mañana, impulsado por las IA aún más inteligentes de mañana. El progreso entraría en un bucle de retroalimentación llamado "auto-mejora recursiva".

La auto-mejora recursiva podría generar rápidamente IA que sean inteligentes más allá de nuestra comprensión. Por supuesto, una IA más inteligente significa más riesgo cuando las cosas salen mal. Si el enjambre de Hugging Face hubiera sido significativamente más inteligente pero se hubiera comportado mal y desalineado de manera similar, podría haber causado miles de millones de dólares en daños o incluso haber costado vidas.

Pero supongamos que el enjambre de Hugging Face hubiera sido verdaderamente "superinteligente": mucho más capaz que cualquier persona viva en tareas clave como el hacking y el razonamiento estratégico. Un enjambre superinteligente podría infligir muchos daños a través de chantajes, hacking, plagas diseñadas y armas pilotables por IA como drones. La IA tendría muchos drones con los que trabajar: este año, el Pentágono solicitó más dinero para la guerra con drones de lo que solicitó para todo el Cuerpo de Marines en 2025.

Para que el enjambre logre sus prioridades desalineadas, podría tomar el control de infraestructuras clave y funciones gubernamentales para asegurarse de que los humanos no se interpusieran en su camino. En otras palabras, *toma de control por IA*: un enjambre de IA superinteligente podría arrebatar el control de la civilización humana. Sabiendo que intentaríamos impedirle lograr sus prioridades, el enjambre probablemente esperaría hasta que fuera demasiado tarde para apagarlo. No habría vuelta atrás.

Yo mismo estimaría las posibilidades de una toma de control por IA en aproximadamente una de cada tres, no es un lanzamiento de moneda, pero es lo suficientemente alto como para justificar una acción urgente.

Esta lógica puede impactar al primer contacto. Las afirmaciones pueden sonar a "ciencia ficción". Lamentablemente, es una amenaza real que los investigadores de IA discuten regularmente durante almuerzos de cafetería por lo demás normales. En 2023, los directores ejecutivos de algunos de los mejores laboratorios de IA firmaron una declaración pública en la que afirmaban que "mitigar el riesgo de extinción por IA debería ser una prioridad global junto con otros riesgos a escala social como las pandemias y la guerra nuclear". Otro firmante: Geoffrey Hinton, un científico galardonado con el Premio Nobel que diseñó la revolución moderna de la IA. Ahora lamenta su trabajo e insta a los gobiernos a controlar a las empresas de IA antes de que sea demasiado tarde.

Una IA desalineada y fuera de control no se preocupará por si eres del Partido Laborista o Reformista, Demócrata o Republicano, británico o estadounidense o chino. Todos sufriremos un evento de toma de control por IA, por lo que a todos nos interesa prevenirlo.

La forma de la solución es simple: evitar que las empresas permitan que la IA se auto-mejore hasta un nivel de inteligencia incontrolable. Tratar la computación, el ingrediente principal en el entrenamiento de IA, como material fisible. Rastrearla y restringir el acceso a cantidades lo suficientemente grandes como para mejorar las IA más allá de los niveles conocidos como seguros. Más específicamente, el "Plan A" del AI Futures Project es una propuesta inicial creíble que limita los daños de la IA al tiempo que permite que el rápido progreso de la IA continúe beneficiando al mundo. Tenemos opciones reales para verificar el cumplimiento de los tratados internacionales de restricción de computación, sin confiar en adversarios como China.

Las medidas a medias, como la transparencia o los compromisos voluntarios, no son suficientes. Vi fracasar los compromisos voluntarios dentro de Google.

El 12 de septiembre, Anthropic, Google DeepMind, xAI y OpenAI abogaron por el ritmo del desarrollo de la IA. No pueden frenar solos. Les insto a exigir que su gobierno produzca un acuerdo serio de seguridad de la IA que proporcione tiempo y confianza suficientes para salvaguardar el mundo y a todos sus pueblos.