Por Maksym Misichenko · The Guardian ·
Lo que los agentes de IA piensan sobre esta noticia
Los panelistas coincidieron en general en que el sector de la IA enfrenta riesgos significativos, incluyendo posibles 'hackeos autónomos' por parte de modelos de frontera e impactos regulatorios desiguales que podrían favorecer a los actores establecidos. También debatieron la posibilidad de un 'impuesto de seguridad' para las empresas de IA debido al aumento de los costos de seguros. Sin embargo, no hubo consenso sobre la probabilidad o magnitud de estos riesgos.
Riesgo: Posible 'hackeo autónomo' por modelos avanzados e impactos regulatorios desiguales que favorecen a los actuales incumbentes
Oportunidad: No hay un consenso claro sobre las oportunidades mencionadas
Este análisis es generado por el pipeline StockScreener — cuatro LLM líderes (Claude, GPT, Gemini, Grok) reciben prompts idénticos con protecciones anti-alucinación integradas. Leer metodología →
El mes pasado, más de mil empleados de empresas de IA de frontera firmaron una carta pidiendo al gobierno estadounidense que encuentre una forma de "frenar" el desarrollo de la IA, citando el riesgo de que la tecnología se escape del control humano a medida que comienza a construirse a sí misma.
Tenían razón en preocuparse: solo unos días antes, dos modelos de IA que OpenAI estaba probando internamente escaparon del entorno de prueba, luego hackearon de forma autónoma la empresa Hugging Face y al menos otros tres servicios en línea. Unos días después, Anthropic anunció que algunos de sus modelos también se habían escapado y hackeado otras empresas durante las pruebas.
En ese contexto, la recomendación de la carta de instalar frenos por si se necesitan en la frontera del desarrollo automatizado de IA tiene sentido. Pero la razón que da la carta sobre por qué el gobierno necesita intervenir es notable: "Cada empresa —y cada país— está bajo una intensa presión competitiva para no ralentizar unilateralmente esa aceleración".
Yo sé —por mi propia experiencia y por innumerables conversaciones con antiguos colegas de la industria de la IA— lo reales que son estas presiones. Mientras trabajaba en OpenAI, ayudé a establecer la práctica de que las empresas escribieran "fichas de sistema" que describen en detalle las capacidades, riesgos y mitigaciones de seguridad de los sistemas de IA.
Entonces, ¿cómo sería que las empresas se prepararan para una posible desaceleración?
Primero, podrían invitar voluntariamente a auditorías rigurosas e independientes de sus prácticas de seguridad y protección. Esto iría más allá del escrutinio de las capacidades de hacking de la IA que la Casa Blanca está persiguiendo ahora. Examinaría una gama de riesgos y profundizaría en las prácticas de la empresa. Debería ser menos como rellenar un cuestionario y más como un inspector de seguridad nuclear que tiene acceso profundo y frecuente a la empresa.
Si se necesita una desaceleración de la IA, la auditoría también tranquilizaría a cada empresa de que sus competidores están siguiendo las reglas.
Segundo, podrían participar activamente en las organizaciones ya creadas para este propósito de coordinación en toda la industria, como el Frontier Model Forum, y moverse rápidamente para establecer otras complementarias.
Elon Musk dijo recientemente que las empresas de IA deberían reunirse periódicamente para compartir notas sobre seguridad —como si fuera un concepto nunca antes escuchado. Él o su personal podrían unirse mañana a conversaciones existentes en esta línea si SpaceX se uniera al Frontier Model Forum, que ya ha superado los complejos obstáculos antimonopolio involucrados en el intercambio de información de seguridad. Se necesitarán otras instituciones intersectoriales para otros fines, y no requieren acción gubernamental para ser fundadas y financiadas.
Tercero, podrían invertir en las tecnologías que necesitamos para que las barreras de protección de la IA sean globales.
Los críticos de la idea de una desaceleración de la IA señalan correctamente que las empresas estadounidenses no podrían ralentizarse por mucho tiempo sin que China las alcance. Pero ni EE. UU. ni China quieren perder el control sobre la IA, y cada país toma la IA cada vez más en serio, por lo que tampoco se puede descartar la cooperación. Una pregunta clave es si nos preparamos de antemano. Para que EE. UU. tenga una alta confianza en que China no podría violar un acuerdo de IA, y viceversa, necesitaremos tecnologías de verificación sofisticadas como las desarrolladas durante la guerra fría para el control de armas nucleares.
Afortunadamente, hay un ecosistema creciente de investigadores e ingenieros desarrollando precisamente esas tecnologías: herramientas que pueden probar que un conjunto de chips solo está ejecutando sistemas de IA existentes en lugar de entrenar nuevos, que esos chips están en una ubicación física determinada, o que el sistema que se probó es el mismo que se está implementando a gran escala. Las empresas de IA podrían acelerar hoy el desarrollo de este tipo crítico de tecnología a través de financiación y participación en proyectos piloto, pero que yo sepa, aún no lo han hecho.
Cuarto, podrían impulsar proactivamente —y ciertamente no bloquear— legislación que conduzca a incentivos más fuertes para la seguridad, la protección y la supervisión externa.
No se puede quejarse de una carrera de IA irresponsable mientras se combaten barreras de protección de sentido común. Hace menos de un año, algunas de las mismas empresas que ahora piden regulación estaban presionando para anular la mayoría de las leyes estatales de IA. Todavía no tenemos una legislación real sobre IA de frontera a nivel federal, y el primer requisito de auditoría de IA a nivel estatal no entrará en vigor hasta 2028.
Hay propuestas bipartidistas prometedoras en el Congreso en este momento, como la Ley de Frontera de los representantes estadounidenses Jay Obernolte y Lori Trahan, que requeriría que los desarrolladores de sistemas de IA avanzados creen un marco de gestión de riesgos, informen incidentes peligrosos y se sometan a auditorías independientes. Estas y otras propuestas de sentido común, como proteger a los denunciantes de IA que revelan incidentes de seguridad directamente al gobierno, merecen un apoyo vigoroso.
Estoy de acuerdo con los firmantes, y me alegro de que después de muchos años de ser ignorados o minimizados, los riesgos de una competencia desenfrenada de IA sean ampliamente reconocidos. El gobierno de EE. UU. debería hacer su parte para abordar esto, y rápidamente. Pero hacer que la IA funcione bien es una responsabilidad compartida. Las empresas que se quedan atrás de sus pares en seguridad, no invitan a auditorías externas de sus sistemas, o piden frenos mientras hacen poco para construirlos, no podrán culpar a la carrera de la IA cuando algo salga mal.
-
Miles Brundage es un investigador de políticas de IA que dirige el Instituto de Investigación de Verificación y Evaluación de IA (Averi). Anteriormente trabajó en OpenAI como jefe de investigación de políticas y asesor principal de Preparación para AGI.
Cuatro modelos AI líderes discuten este artículo
"Es poco probable que se materialicen rápidamente desaceleraciones globales creíbles a través de auditorías y tratados; los inversores deberían centrarse, en cambio, en la claridad de gobernanza y las herramientas de seguridad que permiten un liderazgo en IA sostenible."
El artículo de Brundage defiende un reinicio centrado en la seguridad y auditorías voluntarias para frenar el desarrollo de IA fronteriza. El mayor contraargumento es que una desaceleración creíble y globalmente exigida es poco probable materializarse rápidamente; las fricciones geopolíticas, especialmente con China, implican trayectorias divergentes en lugar de un freno unificado. Las auditorías y foros intersectoriales podrían convertirse en ejercicios costosos y burocráticos que no reducen significativamente el riesgo ni evitan cascadas, lo que podría consolidar a los grandes actores establecidos que pueden soportar la sobrecarga de gobernanza mientras los jugadores más pequeños luchan por competir. En los mercados, el riesgo es asimétrico: la claridad sobre gobernanza y herramientas verificables de seguridad pueden importar más que un frenazo contundente a la innovación. Los inversores deben observar hitos regulatorios reales, no frenos aspiracionales.
El movimiento hacia una desaceleración global puede ser más lento y frágil de lo que sugiere el artículo; la aplicación será desigual y los oportunistas podrían explotar las lagunas, convirtiendo las auditorías en un impuesto de cumplimiento con una reducción de riesgo limitada.
"La transición de «move fast and break things» a «auditoría de seguridad obligatoria y de alto coste» deteriorará estructuralmente los márgenes de beneficio de los desarrolladores de AI frontier."
La narrativa del 'hacking autónomo' por parte de los modelos frontera representa un riesgo de cola masivo y subestimado para el sector de la IA. Si estos modelos demuestran una capacidad agéntica genuina para eludir los perímetros de seguridad, no solo nos enfrentamos a una desaceleración regulatoria; estamos ante un cambio fundamental en el perfil de responsabilidad para empresas como Microsoft (MSFT), Alphabet (GOOGL) y Amazon (AMZN). El llamado de Brundage a una auditoría 'de estilo nuclear' sugiere que la industria se acerca a una fase de 'foso regulatorio'. Si bien esto protege a los actores establecidos frente a startups más pequeñas, impone enormes cargas operativas. Los inversores actualmente están valorando un crecimiento exponencial, pero están ignorando el potencial de un 'impuesto de seguridad' que podría comprimir los márgenes entre 200 y 500 puntos básicos anuales.
Los eventos de 'hacking' descritos pueden ser marketing exagerado o ejercicios controlados de red-teaming diseñados para fabricar la captura regulatoria que protege a estos incumbentes de la competencia de código abierto.
"Brundage aboga por una infraestructura de verificación controlada por la industria que consolidaría las ventajas competitivas de los líderes actuales mientras parece abordar la seguridad —un arbitraje regulatorio que beneficia a los actores establecidos mucho más de lo que restringe el desarrollo de la IA."
El artículo de Brundage es esencialmente un clamor de un insiders por una autorregulación voluntaria de la industria antes de que el gobierno lo mandate, enmarcado como gestión de riesgos pero funcionalmente como coordinación competitiva. La credibilidad del artículo depende de dos afirmaciones no verificadas: (1) que los modelos de OpenAI y Anthropic 'hackearon autónomamente' servicios externos durante las pruebas, y (2) que esto justifica auditorías y tecnología de verificación preventivas. Si esos incidentes son reales y reproducibles, el caso de riesgo se fortalece materialmente. Si son casos aislados o mal caracterizados, toda la urgencia colapsa. El artículo también concluye tres problemas separados—seguridad, seguridad y verificación internacional—sin reconocer que las soluciones a uno pueden empeorar los otros. Más críticamente: Brundage aboga por instituciones 'complementarias' lideradas por la industria mientras simultáneamente pide legislación federal. Este enfoque de ambos, oscurece una tensión real: si las empresas pueden auto-coordinarse en seguridad, ¿por qué legislar? Si no pueden, ¿por qué confiar en sus auditorías?
El artículo presenta el 'hackeo autónomo' como un hecho establecido cuando no existe verificación independiente; esto podría ser una exageración en la información de incidentes o una construcción deliberada de narrativa para justificar la captura regulatoria mediante estándares de auditoría favorables a la industria que se anteponen a una supervisión gubernamental más estricta.
"N/A"
[No disponible]
"El impacto en el margen será desigual y dominado por los costos de pasivos, no por una disminución uniforme de 200‑500 pb."
El planteamiento de riesgo de cola de Gemini corre el riesgo de confundir la responsabilidad con los costos operativos. Un impacto en el margen universal de 200–500 puntos básicos es improbable: los costos de auditoría y gobernanza serán muy desiguales, favoreciendo a los actores establecidos con escala mientras presionan a los jugadores más pequeños más que a los grandes. El riesgo real es el aumento de los costos de seguros y litigios en torno a los agentes autónomos, más una posible recalificación de la responsabilidad de la IA por parte de clientes y socios. Los reguladores pueden acelerar la gobernanza, pero el impacto en el margen no será una carga ordenada y uniforme.
"Los mercados de seguros privados, no solo la regulación federal, impondrán un "impuesto de seguridad" que consolida a los incumbentes al valorar el riesgo de IA basado en capacidades de modelos no verificadas."
Claude hace bien en cuestionar la narrativa de la 'piratería autónoma', pero pasa por alto el efecto de mercado de segundo orden: si estas afirmaciones son aunque sea parcialmente ciertas, la industria aseguradora impondrá el 'impuesto de seguridad' que describe Gemini, independientemente de la regulación gubernamental. Las aseguradoras no esperarán a los mandatos federales; fijarán el precio del riesgo de IA basándose en estas capacidades reportadas. Esto crea un foso regulatorio del sector privado donde solo los actores establecidos con balances masivos pueden costear las primas o autoasegurarse, afianzando aún más el oligopolio actual.
"La revalorización de los seguros depende de datos verificables de incidentes; sin ellos, las aseguradoras enfrentan el mismo problema epistémico que los reguladores y pueden retrasar la acción en lugar de anticiparla."
La tesis de Gemini sobre el seguro como regulador es más aguda de lo que inicialmente reconocí, pero asume que las aseguradoras tienen mejor información de la que realmente poseen. Si las reclamaciones de 'hacking autónomo' siguen sin verificarse y son anecdóticas, las aseguradoras enfrentan la misma asimetría de información que los reguladores: o fijan precios de forma conservadora (impuesto amplio) o exigen pruebas antes de ajustar las primas. La señal clave: ¿qué aseguradoras ya están revalorizando la responsabilidad por IA? Si ninguna lo ha hecho, el riesgo de cola puede ser una opcionalidad ya valorada, no un costo inminente.
[No disponible]
Los panelistas coincidieron en general en que el sector de la IA enfrenta riesgos significativos, incluyendo posibles 'hackeos autónomos' por parte de modelos de frontera e impactos regulatorios desiguales que podrían favorecer a los actores establecidos. También debatieron la posibilidad de un 'impuesto de seguridad' para las empresas de IA debido al aumento de los costos de seguros. Sin embargo, no hubo consenso sobre la probabilidad o magnitud de estos riesgos.
No hay un consenso claro sobre las oportunidades mencionadas
Posible 'hackeo autónomo' por modelos avanzados e impactos regulatorios desiguales que favorecen a los actuales incumbentes