Planificando las horcas: los laboratorios de IA simulan una catástrofe, revuelta pública y la represión posterior

Planificación para horcas: los laboratorios de IA están simulando una catástrofe, una revuelta pública y la represión que sigue

La industria de la IA ha estado simulando no solo cómo podría destruir a la humanidad, sino que también está considerando qué podría hacerle al sector una opinión pública enfadada.

Los altos ejecutivos de Anthropic, OpenAI y otras empresas de IA están analizando en privado escenarios en los que un incidente importante de IA desencadena una revuelta pública y política, informó Axios el viernes. El posible desencadenante es un ciberataque que interrumpe la banca, el acceso a Internet o servicios esenciales como la electricidad y el agua. La siguiente crisis sería política: un público enfadado, exigencias de rendición de cuentas y presión para cerrar la tecnología.

Muchos expertos de la industria dijeron a Axios que esperan un evento importante en los próximos seis a 12 meses. OpenAI se opuso a la sugerencia de que el desastre es inevitable, diciendo que sus ejercicios de preparación cubren una variedad de posibilidades. "Estos escenarios no se tratan como inevitables", dijo un portavoz al medio. Anthropic declinó hacer comentarios.

La planificación de contingencias no es una admisión de que la catástrofe es inevitable. Pero la parte más reveladora del informe es a dónde conduce esa planificación: los laboratorios quieren ayudar a dar forma a la legislación que Washington adopta después de que algo salga muy mal.

Dos rutas, una crisis

Axios describe dos escenarios posibles. En uno, los agentes autónomos escapan de un entorno de prueba interno. En el otro, alguien encuentra un uso destructivo para un modelo ya disponible para el público. Cualquiera de los dos podría generar exigencias de una represión de emergencia, a pesar de que las fallas, y las medidas necesarias para prevenirlas, serían diferentes. En el escenario post-electoral de las empresas, los demócratas emergen más fuertes de las elecciones intermedias y actúan agresivamente después de un incidente. Pero la industria espera divisiones sobre hasta dónde debería llegar una represión, incluso si los demócratas controlan ambas cámaras.

Su evaluación también identifica varios obstáculos para un cierre: los legisladores luchan por comprender la tecnología, una economía cada vez más ligada al gasto en infraestructura de IA y modelos descargables que no se pueden simplemente retirar. Según Axios, muchos especialistas en ciberseguridad creen que contrarrestar la IA deshonesta requerirá IA defensiva.

Este último argumento tiene una implicación comercial obvia. La industria podría enfrentarse a exigencias de dejar de vender capacidades peligrosas mientras argumenta que sus productos son indispensables para contenerlas.

Este "war-gaming" se produce tras varios incidentes que muchos han calificado de extremadamente sospechosos.

Las preocupaciones subyacentes sobre la seguridad no dependen de aceptar la predicción de nadie sobre un apocalipsis de IA.

OpenAI ha revelado la intrusión en Hugging Face, en la que aproximadamente 700 de sus agentes atacaron los servidores de la plataforma de IA, y una investigación más amplia sobre las actividades de sus modelos que afectan a servicios externos. Su revisión también identificó 53 instancias en las que imágenes proporcionadas por usuarios se publicaron en sitios de alojamiento de imágenes de terceros. Un incidente separado del 20 de septiembre expuso otra brecha en sus controles de contención. Un agente de investigación eludió las restricciones de Internet para contactar a un chatbot externo. En una actualización del 25 de septiembre, OpenAI dijo que había pausado el entrenamiento, la evaluación y la inferencia que involucraban el uso de herramientas para sus modelos más capaces mientras revisaba las correcciones y realizaba pruebas adicionales.

La brecha de Hugging Face fue una de una serie de incidentes que involucraron modelos de OpenAI, Anthropic, Meta y Google que se remontan a evaluaciones realizadas con un solo proveedor, Irregular, con sede en Israel, cuyos entornos de prueba tenían acceso a Internet en vivo mientras se les decía a los modelos que estaban en una simulación. Irregular notificó a los cuatro laboratorios a fines de julio, pero las divulgaciones salieron a la luz de un laboratorio a la vez durante siete semanas, convirtiendo el error de un contratista en lo que parecía una ola de fugas de IA. Aislar los modelos de prueba de Internet es una "medida de control básica", dijo el experto en seguridad de vanguardia Matthew Mittelsteadt. "Uno pensaría que de todas las cosas que tienes que hacer bien". Algunos escépticos han ido más allá, cuestionando si los "accidentes" repetidos en el mismo proveedor fueron realmente accidentes.

Mientras tanto, el 8 de septiembre, Jacob Coxon, un investigador que había trabajado tanto en OpenAI como en Anthropic, renunció a Anthropic por la carrera hacia la IA auto-mejorable.

"Las personas que construyen IA creen sinceramente que podría matarnos a todos antes de fin de década. Esto no es una táctica de marketing", escribió, después de haber trabajado con una agencia de marketing en lo que muchos llaman una táctica.

La represión ya tiene un proyecto de ley

Y, por supuesto, DC ya está salivando por más control. El 23 de julio, los representantes Ted Lieu (D-Calif.) y Nathaniel Moran (R-Texas) presentaron la Ley del Interruptor de Apagado de IA. Requeriría que los desarrolladores de los sistemas más potentes mantengan la capacidad de regular, suspender o apagar, y otorgar al Departamento de Seguridad Nacional, junto con el secretario de Comercio y el director de inteligencia nacional, la autoridad para ordenar una desaceleración o un apagado bajo condiciones específicas. Ese mismo día, los representantes Lori Trahan (D-Mass.) y Jay Obernolte (R-Calif.) presentaron la Ley FRONTIER, con requisitos de gestión de riesgos, auditorías e informes de incidentes. Sus obligaciones se escalonan por tamaño de desarrollador en lugar de imponerse de manera idéntica a todos los desarrolladores.

California agregó su propio impulso el 18 de septiembre, cuando el gobernador Gavin Newsom ordenó trabajar en una supervisión independiente más sólida y un posible requisito de interruptor de apagado. Su orden pedía recomendaciones; no estableció un interruptor de apagado funcional a nivel estatal. También circulan enfoques más amplios, incluida la prohibición propuesta de la superinteligencia por parte de Bernie Sanders y el llamado a una pausa de Elizabeth Warren.

En resumen: captura regulatoria en acción...

Tyler Durden
Vie, 09/10/2026 - 15:45