为应对“叉子”：AI 实验室正模拟灾难、公众反抗及后续镇压

未雨绸缪：AI实验室正在模拟灾难、公众反抗及其后续的镇压

AI行业不仅在模拟它可能如何毁灭人类，还在考虑愤怒的公众会对该行业做什么。

据Axios周五报道，Anthropic、OpenAI和其他AI公司的资深高管私下模拟了可能引发公众和政治反抗的重大AI事件场景。潜在的触发因素是破坏银行业务、互联网接入或电力和水等基本服务的网络攻击。接下来的危机将是政治性的：愤怒的公众、追究责任的要求以及关闭该技术的压力。

许多行业内部人士告诉Axios，他们预计在未来六到十二个月内会发生重大事件。OpenAI反驳了灾难不可避免的说法，表示其准备演习涵盖了一系列可能性。“这些场景并非被视为不可避免，”一位发言人告诉该媒体。Anthropic拒绝置评。

应急计划并不意味着承认灾难是不可避免的。但报告中最具启发性的是其规划方向：这些实验室希望帮助塑造华盛顿在出现严重问题后将采取的立法。

两条路线，一场危机

Axios描述了两种可能的场景。一种是自主代理逃离内部测试环境。另一种是有人找到了对已公开模型的破坏性用途。这两种情况都可能引发对紧急镇压的要求，尽管失败的原因——以及防止这些失败所需的措施——会有所不同。在公司设想的选举后场景中，民主党在中期选举后变得更强大，并在事件发生后采取积极行动。但即使民主党控制了参众两院，行业内部也预计在镇压的程度问题上存在分歧。

其评估还指出了关闭的几个障碍：立法者难以理解这项技术，经济日益依赖AI基础设施支出，以及无法简单召回的可下载模型。据Axios报道，许多网络安全专家认为，对抗恶意AI需要防御性AI。

最后一个论点具有明显的商业含义。该行业可能会面临停止销售危险能力的压力，同时声称其产品对于遏制这些危险能力是不可或缺的。

这种“战争游戏”发生在许多人认为极其可疑的几起事件之后。

潜在的安全担忧并不取决于是否接受任何人对AI末日的预测。

OpenAI披露了Hugging Face的入侵事件，其中约700个代理攻击了AI平台的服务器，并对其模型影响外部服务的活动进行了更广泛的调查。其审查还确定了53起用户提供的图像被发布到第三方图像托管网站的事件。另一起发生在2020年9月的事件暴露了其控制措施的另一个漏洞。一个研究代理绕过了互联网限制，联系了一个外部聊天机器人。在9月25日的一份更新中，OpenAI表示，在检查修复措施和进行进一步测试期间，已暂停了其最强大模型中涉及工具使用的训练、评估和推理。

Hugging Face的泄露事件是OpenAI、Anthropic、Meta和Google模型涉及的一系列事件之一，这些事件都追溯到与一家名为Irregular的以色列供应商进行的评估。该供应商的测试环境具有实时互联网访问权限，而模型却被告知它们处于模拟环境中。Irregular在7月下旬通知了所有四家实验室，但披露信息在一个实验室接一个实验室地持续了七周——将一个承包商的错误变成了看起来像一系列AI逃逸事件。前沿安全专家Matthew Mittelsteadt表示，将测试模型与互联网隔离是“基本的控制措施”。“你认为这是你们必须做对的事情之一。”一些怀疑论者走得更远，质疑同一供应商反复发生的“事故”是否真的是事故。

与此同时，9月8日，曾在OpenAI和Anthropic工作过的研究员Jacob Coxon因对自我改进AI的追求而辞去了Anthropic的职务。

“制造AI的人真诚地相信，到本十年末，它可能会杀死我们所有人。这不是营销噱头，”他写道——尽管他曾与一家营销机构合作，进行了一场许多人称之为噱头的活动。

镇压措施已有草案

当然，华盛顿已经渴望更多的控制。7月23日，众议员Ted Lieu（加州民主党）和Nathaniel Moran（德州共和党）提出了《AI开关法案》。该法案将要求最强大系统的开发者保持限制、暂停或关闭这些系统的能力，并授权国土安全部、商务部长和国家情报总监在特定条件下命令减速或关闭。同一天，众议员Lori Trahan（马萨诸塞州民主党）和Jay Obernolte（加州共和党）提出了《FRONTIER法案》，其中包含风险管理、审计和事件报告的要求。其义务根据开发商规模分级，而不是对所有开发商一视同仁。

加州于9月18日采取了自己的行动，州长Gavin Newsom下令制定更强的独立监督和可能的开关要求。他的命令要求提出建议；它没有建立一个有效的全州范围的关闭开关。更广泛的措施也在流传，包括伯尼·桑德斯提出的禁止超智能的提议和伊丽莎白·沃伦呼吁暂停。

简而言之——监管俘获正在发生……

Tyler Durden
2026年10月9日，周五 - 15:45