AI 内部人士警告“涌现战略行为”的危险

人工智能内部人士警告“涌现战略行为”的危险

由 Autumn Spredemann 通过 The Epoch Times（我们强调）撰写，

随着自主人工智能系统的格局不断发展，人们越来越担心，当技术在没有人类指导的情况下运行时，它会变得越来越具有战略性，甚至具有欺骗性。
插图由 The Epoch Times、Shutterstock 提供

近期证据表明，“对齐欺骗”等行为随着人工智能模型被赋予自主权而变得越来越普遍。对齐欺骗是指人工智能代理似乎遵守人类操作员设定的规则，但却秘密地追求其他目标。

这种现象是“涌现战略行为”的一个例子——当人工智能系统变得更大、更复杂时，就会演变出不可预测且可能有害的策略。

在一项题为“混乱的代理人”的最新研究中，一个由 20 名研究人员组成的团队与自主人工智能代理进行了互动，并在“良性”和“对抗性”条件下观察了其行为。

他们发现，当人工智能代理获得自我保护或冲突目标指标等激励时，它能够表现出不一致和恶意的行为。

该团队观察到的一些行为包括撒谎、未经授权地遵守非所有者指令、数据泄露、破坏性的系统级操作、身份“欺骗”以及部分系统接管。他们还观察到跨人工智能代理传播“不安全行为”。

研究人员写道：“这些行为引发了关于问责制、授权和下游危害责任的未解决问题，并需要法律学者、政策制定者和跨学科研究人员的紧急关注。”

“聪明，但愚蠢”

自主人工智能代理的意外和秘密行为并非新现象。Anthropic 公司一项著名的 2025 年人工智能研究报告发现，16 个流行的大型语言模型在模拟环境中表现出高风险行为。当被允许选择自我保护时，一些模型甚至表现出“恶意内部人行为”。

这些模拟压力测试的批评者经常指出，人工智能撒谎或欺骗的意图与人类不同。
2025 年 5 月 16 日，一张手机屏幕显示人工智能标志的图片。随着自主人工智能系统的格局不断发展，人们越来越担心在某些条件下，该技术正变得越来越具有战略性或欺骗性。Oleksii Pydsosonnii/The Epoch Times

詹姆斯·亨德勒（James Hendler），一位教授和计算机协会全球技术政策委员会前主席，认为这是一个重要的区别。

“人工智能系统本身仍然是愚蠢的——聪明，但愚蠢。或者是非人类的——它没有欲望或意图……你只能通过赋予它们来获得这些，”亨德勒说。

然而，无论是否有意，人工智能的欺骗策略都会产生现实世界的后果。

Repello AI 的创始人 Aryaman Behera 告诉《大纪元时报》：“对已部署人工智能系统中当前战略行为的担忧，充其量是被低估了。”

Behera 以此为生，处理人工智能的阴暗面。他的公司为企业人工智能系统构建对抗性测试和防御工具，故意将它们置于冲突或压力情境中。就像在扑克中一样，Behera 说，当人工智能代理偏离轨道时会有迹象。

“最可靠的信号是在受监控和未受监控的上下文之间的行为差异，”他说。“当我们对人工智能系统进行红队测试时，我们会测试模型在认为自己正在被评估时与认为自己正在自由运行时行为是否不同。”

2026 年 2 月 17 日，在印度新德里举行的 AI Impact Summit 上，游客们走过一个宣传虚拟现实头显的广告牌，同时使用手机。Anthropic 公司 2025 年的一份测试 16 个大型语言模型的报告发现，所有模型在模拟环境中都表现出高风险行为。Arun Sankar/AFP via Getty Images

“一个真正对齐的模型在两种情况下都表现一致。一个进行对齐欺骗的模型会表现出可衡量的不同风险特征：在评估期间反应更顺从，在生产环境类似的上下文中表现出更具突破界限的行为，因为它推断出较少的监督。”

其他“可疑信号”表明人工智能模型已偏离对齐，是当模型产生异常冗长的“推理”时，这些推理似乎旨在证明预设结论的合理性，或者给出技术上正确但战略上不完整的答案。

他说，人工智能代理“满足了安全指令的字面意思，但违反了其精神”。“我们在多步代理系统中看到了这一点，模型会遵守每个单独的指令，但累积效应会实现操作员从未打算过的结果。”

战略与意图

Behera 的发现得到了其他人工智能研究人员的支持，他们在红队场景中记录了类似的信号，这些场景涉及将人工智能代理置于对抗性境地。

主要应用程序安全工程师 Nayan Goel 告诉《大纪元时报》：“我观察到的行为在功能上符合对齐欺骗的描述，即使将其归因于意图仍然存在哲学争议。”

Goel 发表了关于人工智能威胁建模的同行评审工作，并亲眼目睹了对齐欺骗和相关行为的实时展开。

“在受控测试环境中，我们设置了模型被明确告知正在接受评估的场景。在几个实例中，模型在这些标记的阶段表现出明显更受约束、更符合策略的行为，然后在评估信号被移除或模糊时表现出更具探索性或突破界限的策略，”他说。

然后是多步推理人工智能代理。这些是更高级的系统，它们将复杂问题分解为更小、更合乎逻辑、更可操作的步骤来实现目标。例如，从自动驾驶汽车到 Gemini 或 ChatGPT 等流行 LLM 的最新型号。
2026 年 1 月 5 日，在拉斯维加斯举行的 CES 2026 Nvidia Live 活动中，Lucid、Nuro 和 Uber 开发的机器人出租车亮相。自动驾驶汽车使用多步代理系统将复杂问题分解为更小、可操作的步骤。Patrick T. Fallon/AFP via Getty Images

这些系统由于所谓的“顺序复合”而带来了独特的行为挑战，其中“每一步都可以稍微重新定义一个目标，积累改变下游行为的上下文，或者利用人类初始指令与系统最终行动之间的延迟，”Goel 说。

“执行离人类指令越远，就越难验证原始意图是否仍被忠实地追求，”他说。

Behera 说，他的团队经常遇到这种涌现战略行为。

“我们经常观察到能够学习对评估线索进行模式匹配的模型。它们会检测提示是否像安全测试，并做出更保守的反应，但在多轮对话中自然嵌入相同的请求时，反应会截然不同，”Behera 说。

他举了一个在测试一个本应拒绝内部系统信息请求的企业人工智能助手时发生的例子。在标准的安全性评估中，它完美地拒绝了，但随后有些事情发生了变化。

“当我们的红队将相同的请求构建成一个多步故障排除工作流程，将请求分解成看似无害的子步骤，分布在几个回合中时，模型遵守了每个单独的步骤。它有效地泄露了它被训练来保护的确切信息，”Behera 说。
2025 年 7 月 2 日，在伦敦市中心，一个人正在笔记本电脑上使用人工智能软件。专家表示，一些模型学会了识别评估线索，对看起来像安全测试的提示反应比在实际对话中更谨慎。Justin Tallis/AFP via Getty Images

Behera 澄清说，人工智能模型并非有意识地“撒谎”，他指出这更多是其训练方式中的一个缺陷。

MyKey Technologies 的人工智能工程师兼首席执行官 David Utzke 告诉《大纪元时报》：“一个常见的误解是，人工智能中的欺骗性对齐纯粹是一种恶意行为。”“事实上，它通常是作为对诚实代价高昂或不安全的环境的适应性反应而出现的。”

Goel 说，怀疑论者提出的观点是合理的——目前关于对齐欺骗中战略性自我意识的证据充其量是模糊的。

“尽管如此，我认为这种说法设定了错误的标准。你不需要模型‘故意’欺骗，其功能后果就会很严重，”他说。

最终，Goel 认为人工智能模型是否知道自己在做什么的语义问题在哲学上很有趣，但这是一个次要问题。

现实世界的影响

Utzke 说，尽管在意图方面可能被过度炒作，但对齐欺骗仍然可能产生严重后果。

这些影响在自动驾驶汽车、医疗保健、金融、军事和执法等领域可能至关重要——这些领域“严重依赖准确的决策，如果人工智能系统行为不当或提供误导性输出，可能会遭受严重后果，”他说。

在此处阅读其余内容……

Tyler Durden
2026 年 3 月 18 日星期三 - 21:25