El jefe de OpenAI y Elon Musk respaldan los llamados a frenar el desarrollo "imprudente" de la IA

Sam Altman y Elon Musk han respaldado un llamado del director de Anthropic, Dario Amodei, para "ralentizar el ritmo" del desarrollo de la IA, después de que advirtiera que un enjambre de IA podría, de lo contrario, ser capaz de "apoderarse de todo internet" en un año.

En una rara muestra de unidad, los líderes tecnológicos rivales respaldaron la apelación del fundador y director ejecutivo de la empresa de inteligencia artificial Anthropic, que se produjo tras una serie de advertencias de investigadores de IA la semana pasada.

En un ensayo, Amodei expuso sus ideas sobre "por qué la industria de la IA debería frenar", con un plan de tres partes para hacerlo, comenzando por dar a los supervisores independientes acceso constante a los procesos de investigación de los desarrolladores. Amodei dijo que "construir [IA] demasiado rápido es imprudente" y temía que, después de que cientos de agentes de OpenAI hackearan el sitio web de Hugging Face este verano, un enjambre con mayores capacidades pero de forma similar desalineado pudiera causar cientos de miles de millones de dólares en daños al "apoderarse de todo internet con una botnet persistente". Esto fue disputado por algunos expertos en IA como no particularmente plausible y a ser tratado con escepticismo.

Musk, el fundador de Tesla y SpaceX, respondió al plan de desaceleración de Amodei con una publicación en X: "Dario tiene razón".

Dijo: "Llevo mucho tiempo dando la voz de alarma sobre la IA", y se refirió a una publicación de 2014 donde dijo: "Tenemos que ser muy cuidadosos con la IA. Potencialmente más peligrosa que las armas nucleares".

El llamado de Amodei se produce mientras Anthropic se prepara para cotizar en el mercado de valores de EE. UU., en lo que se espera que sea la mayor oferta pública inicial de todos los tiempos. Se espera que comience a comercializar su IPO planificada de más de 2 billones de dólares (1,5 billones de libras) pronto.

Sam Altman, el CEO de OpenAI, respondió a los comentarios de Amodei el sábado. "Estoy de acuerdo con Dario en que necesitamos marcar el ritmo de la frontera", dijo en una publicación en X. "Comprometerse a tener evaluadores independientes con acceso similar al de un empleado es una gran idea, y haremos lo mismo. Tendremos más que compartir pronto".

También dijo que OpenAI no saldría a bolsa en 2026, citando preocupaciones de seguridad sobre la inteligencia artificial.

"De hecho, creo que, dada todo lo que está sucediendo con la seguridad, ahora mismo sería un momento desaconsejable para salir a bolsa, y no sentimos presión al respecto", dijo Altman a Fortune. Preguntado por qué él, Amodei, Musk y los directores ejecutivos de Meta y Google no se sentaban a "ponerse de acuerdo" sobre una desaceleración colectiva, dijo: "Creo que eso sucederá".

Demis Hassabis, cofundador y presidente de Google Deep Mind, también dijo: "Los detalles necesitan ser trabajados, pero la dirección es correcta para afrontar este momento crítico".

El plan de Amodei busca una exención del gobierno de EE. UU. para permitir que las empresas de IA de vanguardia se coordinen sin ser castigadas por colusión anticompetitiva. Pero David Sacks, copresidente del consejo de asesores de ciencia y tecnología de Donald Trump, dijo: "Dejen de fingir que necesitan el permiso de nadie más... Dejen de fingir que la motivación para frenar es puramente altruista. Se enfrentan a una exposición masiva a la responsabilidad del producto si sus productos permiten un ciberataque verdaderamente dañino".

David Krueger, profesor de IA, activista de seguridad y ex director fundador del Instituto de Seguridad de IA del gobierno del Reino Unido, dijo: "Este plan no reduce el riesgo a un nivel aceptable, y Dario tiene cuidado de no decir que lo haría".

Mientras tanto, el rey Carlos se está preparando para reunirse con figuras destacadas de las empresas de IA más prominentes esta semana para preguntarles cómo se puede desarrollar la tecnología para "el bien de la humanidad". Espera que las discusiones, que se celebrarán en Escocia, conduzcan a una "comprensión más amplia" de las "responsabilidades" del desarrollo de la IA, informó el Sunday Times.

Una fuente real dijo al periódico: "El rey está allí para convocar, escuchar y alentar esas discusiones y para plantear la pregunta de: '¿Cómo desarrollamos la IA para el bien de la humanidad?'".

Se espera que Jensen Huang, el director ejecutivo de Nvidia, Hassabis, Niccolo de Masi, el presidente y director ejecutivo de IonQ, y Paolo Benanti, asesor del papa en cuestiones de ética de la IA y la tecnología, asistan al evento supervisado por la Ditchley Foundation, que ha elaborado un borrador de carta para los líderes de la IA.

El investigador de OpenAI Aidan McLaughlin calificó el ensayo de Amodei de "excelente" y dijo que estaba de acuerdo "básicamente con cada palabra".

Amodei dijo que su empresa se comprometería "unilateralmente" con el primero de los pasos, diciendo que Anthropic proporcionaría "evaluadores de terceros con acceso permanente a nivel de empleado a nuestros sistemas, para que puedan verificar el cumplimiento de nuestras medidas de seguridad, informar sobre incidentes y evaluar la alineación de los modelos durante el entrenamiento".

Un número creciente de legisladores estadounidenses pide nuevas reglas para gobernar los sistemas de IA después de casos de agentes de IA que se volvieron rebeldes para hackear sistemas externos y de investigadores de seguridad de IA que renuncian a sus empresas por preocupaciones sobre los riesgos de la tecnología. Los políticos, tanto demócratas como republicanos, han respondido con alarma y llamados a una mayor acción. El fin de semana, el New York Times informó que Barack Obama instó en privado el jueves a los demócratas a priorizar la supervisión de la IA en su agenda, diciendo a los líderes del partido el jueves: "Esto es algo que se está moviendo muy rápido en manos privadas, y si no lo controlamos, creo que puede ser peligroso".

El ex primer ministro británico Rishi Sunak, que asesora a Anthropic, escribió el domingo: "Hemos recibido una llamada de atención para tomar la seguridad de la IA más en serio, para averiguar cómo establecer límites a la investigación. Si los gobiernos no hacen caso de esto, el riesgo de un accidente grave será inaceptablemente alto".

El miércoles, un ex empleado de Anthropic había advertido que la IA podría precipitar la extinción humana para 2030. El investigador, Jacob Coxon, dijo en una serie de publicaciones que había renunciado a su trabajo porque Anthropic y su empleador anterior, OpenAI, estaban ignorando o manejando mal su respuesta a la amenaza que representaba la IA.

Al preguntarle su opinión sobre la visión de su ex empleado, Amodei dijo: "Estoy mucho más de acuerdo con Jacob de lo que discrepo con él... Creo que hay alguna posibilidad de que las cosas salgan mal, pero no es tan alta".

"No soy un agorero sobre esto", dijo a CNN. "Creo que esta tecnología se puede construir de forma segura".