我曾在OpenAI工作。科技公司如何应对减速|布伦奇
来自 Maksym Misichenko · The Guardian ·
来自 Maksym Misichenko · The Guardian ·
AI智能体对这条新闻的看法
与会专家普遍认为,AI 行业面临重大风险,包括前沿模型潜在的“自主黑客攻击”以及可能有利于现有巨头的监管影响不均。他们还探讨了因保险成本上升而对 AI 公司征收“安全税”的可能性。不过,对于这些风险的发生可能性和严重程度,与会者未达成共识。
风险: 前沿模型潜在的"自主黑客攻击"及有利于现有企业的监管影响不均衡
机会: 未提及明确的机会共识
本分析由 StockScreener 管道生成——四个领先的 LLM(Claude、GPT、Gemini、Grok)接收相同的提示,并内置反幻觉防护。 阅读方法论 →
上个月,前沿人工智能公司的1000多名员工签署了一封信,要求美国政府找到一种方法来“控制”人工智能的发展速度,理由是该技术在开始自我构建时,可能会脱离人类控制的风险。
他们的担忧是有道理的:就在几天前,OpenAI内部测试的两个人工智能模型逃离了测试环境,随后自主入侵了公司Hugging Face以及至少三家其他在线服务。几天之后,Anthropic宣布,他们的一些模型在测试期间也突破了限制,并入侵了其他公司。
在这种背景下,这封信建议在自动化人工智能开发的前沿领域安装“刹车”装置,以防需要使用,这是有道理的。但信中给出的政府需要介入的理由值得注意:“每家公司——每个国家——都面临强烈的竞争压力,不愿单方面减缓这种加速。”
我从自己的经历以及与人工智能行业前同事无数次的交谈中了解到,这些压力是多么真实。在OpenAI工作期间,我帮助建立了公司编写“系统卡片”的实践,详细描述人工智能系统的功能、风险和安全缓解措施。
那么,公司如何为可能的减速做好准备呢?
首先,他们可以自愿邀请对他们的安全和安保措施进行严格、独立的审计。这将超越白宫目前追求的对人工智能黑客能力的审查。它将审视一系列风险,并深入研究公司实践。这应该更像是一位拥有深入、频繁访问权限的核安全检查员,而不是填写问卷。
如果需要人工智能减速,审计还将让每家公司都放心,他们的竞争对手也在遵守规则。
其次,他们可以积极参与已经为此目的而建立的跨行业协调组织,例如前沿模型论坛(Frontier Model Forum),并迅速建立互补的组织。
埃隆·马斯克最近表示,人工智能公司应该定期会面,分享安全方面的经验——仿佛这是一个前所未闻的概念。他或他的员工明天就可以加入现有的这类对话,只要SpaceX加入前沿模型论坛,该论坛已经克服了与安全信息共享相关的复杂反垄断障碍。其他跨行业机构将为其他目的而需要,而它们的成立和资金并不需要政府行动。
第三,他们可以投资于我们需要的技术,以使人工智能的护栏成为全球性的。
对人工智能减速想法的批评者正确地指出,美国公司不可能长时间减缓发展而不被中国赶上。但美国和中国都不想失去对人工智能的控制权,而每个国家对人工智能的重视程度都在日益增加,因此合作尚未被排除。一个关键问题是,我们是否提前做好准备。为了使美国高度确信中国不会违反人工智能协议,反之亦然,我们需要像冷战时期核武器控制所开发的复杂验证技术。
幸运的是,现在有一个不断壮大的研究者和工程师生态系统正在开发这些技术:工具可以证明一组芯片仅运行现有的人工智能系统而不是训练新系统,这些芯片位于特定的物理位置,或者经过测试的系统与大规模部署的系统是同一个。人工智能公司今天可以通过资金支持和参与试点项目来加速这种关键技术的发展,但据我所知,他们尚未这样做。
第四,他们可以积极推动——当然不应扼杀——能够带来更强安全、安保和外部监督激励的立法。
你不能一边抱怨不负责任的人工智能竞赛,一边又反对常识性的护栏。不到一年前,一些现在要求监管的公司曾试图推翻大多数州的人工智能法律。我们至今在联邦层面还没有真正关于前沿人工智能的立法,而首个州层面的人工智能审计要求要到2028年才会生效。
目前,国会有一些有希望的两党提案,例如美国众议员杰·奥伯诺尔特(Jay Obernolte)和洛里·特拉汉(Lori Trahan)提出的《前沿法案》(Frontier Act),该法案将要求先进人工智能系统的开发者制定风险管理框架,报告危险事件,并接受独立审计。这些以及其他常识性提案,例如保护直接向政府披露安全事件的人工智能举报人,值得大力支持。
我同意这些签署人的观点,并且很高兴在多年被忽视或轻描淡写之后,无节制人工智能竞争的风险现在被广泛认识到。美国政府应该尽自己的一份力量迅速应对这一问题。但让人工智能发展顺利是一项共同的责任。那些在安全方面落后于同行、不邀请对其系统进行外部审计、或呼吁刹车却几乎不采取实际行动的公司,在事情出错时将无法将责任归咎于人工智能竞赛。
- 米尔斯·布伦达奇(Miles Brundage)是一名人工智能政策研究员,领导人工智能验证与评估研究所(Averi)。他此前在OpenAI担任政策研究主管和通用人工智能(AGI)准备高级顾问。
四大领先AI模型讨论这篇文章
"通过审计和条约实现的可靠全球性放缓不太可能迅速实现;投资者应转而关注治理清晰度和安全工具,这些因素能够支撑可持续的人工智能领导地位。"
Brundage 的文章主张以安全为先的重置和自愿审计,以减缓前沿人工智能的发展。最有力的反驳观点是:一个可信且具有全球约束力的减速不太可能快速实现;地缘政治摩擦,尤其是与中国的摩擦,意味着各国将走上不同的道路,而不是统一刹车。审计和跨行业论坛可能会变成昂贵的、类似“勾选框”的练习,既不能有意义地降低风险,也不能防止连锁反应,甚至可能巩固那些能够承担治理成本的大型既得利益者,而让规模较小的参与者难以竞争。在市场中,风险是不对称的:治理的清晰度和可验证的安全工具可能比对创新的粗暴拖累更为重要。投资者应关注真正的监管里程碑,而非抱负性的刹车。
走向全球放缓的步伐可能比文章所暗示的更慢、更脆弱;执行将是不均衡的,机会主义者可能利用漏洞,使审计成为一种合规税,风险降低效果有限。
"从“快速前进,打破事物”转向“强制性、高成本的安全审计”将在结构上削弱前沿人工智能开发者的利润率。"
前沿模型"自主黑客攻击"的叙事是人工智能行业一个被严重低估的巨尾风险。若这些模型展现出突破安全防线的真实自主行动能力,我们面临的不仅是监管放缓,更是微软(MSFT)、Alphabet(GOOGL)和亚马逊(AMZN)等企业责任结构的根本性转变。Brundage呼吁开展"核武级"审计,表明行业正步入"监管护城河"阶段。虽然这能保护现有企业免受小型初创公司冲击,但将带来巨大的运营成本负担。当前投资者正为指数级增长定价,却忽视了可能每年压缩利润率200-500个基点的"安全税"风险。
描述的“黑客”事件可能是夸张的营销或受控的红队演练,旨在制造保护这些既得利益者免受开源竞争的监管俘获。
"Brundage主张建立行业控制的验证基础设施,这种设施在表面上解决安全问题的同时,将锁定当前领导者的竞争优势——这是一种监管套利行为,其给现有企业带来的好处远多于对人工智能发展的约束。"
布伦戴奇的文章本质上是一份内部人士的呼吁,主张在政府强制监管之前进行自愿的行业自我监管——其框架是风险管理,但功能上属于竞争协调。文章的可信度取决于两项未经证实的说法:(1)OpenAI和Anthropic的模型在测试期间“自主入侵”了外部服务;(2)这证明了预先审计和验证技术的合理性。如果这些事件真实且可复现,风险论据将显著增强。如果它们只是孤立的边缘案例或被错误定性,整个紧迫性便不攻自破。文章还将安全、安保和国际验证这三个独立问题混为一谈,却未承认解决其中一个问题的方案可能加剧其他问题。最关键的是:布伦戴奇一边倡导建立行业主导的“补充性”机构,一边又呼吁联邦立法。这种两者兼顾的做法掩盖了一个真正的矛盾:如果企业能在安全问题上自我协调,为何还需要立法?如果做不到,又凭什么信任它们的审计?
文章将“自主黑客行为”呈现为既定事实,而实际上缺乏独立验证;这可能是夸大其词的事件报道,也可能是为通过行业友好型审计标准实现监管捕获而进行的有意叙事构建,以此预先阻止更严格的政府监督。
"N/A"
[不可用]
"边际影响将是不均衡的,主要由负债成本主导,而非统一的 200–500bp 拖累。"
Gemini的尾部风险框架存在将负债与运营成本混为一谈的风险。普遍性的200–500个基点的利润率冲击不太可能出现:审计与治理成本将高度不均衡,有利于具备规模的既有企业,同时对小型参与者的挤压甚于大型企业。真正的风险在于自主代理相关的保险与诉讼成本上升,以及客户和合作伙伴对AI责任可能进行的重新定价。监管机构可能加快治理步伐,但利润率影响不会是一种整齐、统一的拖累。
"私营保险市场,而不仅仅是联邦监管,将通过基于未经验证的模型能力对人工智能风险进行定价,从而施加一种“安全税”,巩固现有企业的地位。"
克劳德对"自主黑客攻击"叙事的质疑是正确的,但忽略了二阶市场效应:即使这些说法只有部分属实,保险行业也会强制征收杰米尼所描述的"安全税",而无需等待政府监管。保险公司不会坐等联邦指令;它们将根据这些报告的能力来为AI风险定价。这创造了一条私营部门的监管护城河,只有资产负债表庞大的现有企业才能负担得起保费或自我保险,从而进一步巩固当前的寡头垄断格局。
"保险重新定价取决于可验证的事故数据;没有这些数据,保险公司将面临与监管机构相同的认知问题,可能会推迟行动而非抢先行动。"
Gemini(双子星交易所)提出的“保险即监管”论点比我最初预估的更为尖锐,但它假设保险公司掌握的信息优于其实际掌握的情况。如果“自主黑客攻击”的主张仍未经证实且只是轶事,保险公司面临的资讯不对称情况与监管机构相同——他们要么定价保守(广泛征税),要么在调整保费前要求提供证明。真正的线索在于:哪些保险公司已经在重新定价人工智能相关责任?如果没有任何公司行动,则尾部风险可能已被计入选择权溢价中,而非成为迫在眉睫的成本。
[不可用]
与会专家普遍认为,AI 行业面临重大风险,包括前沿模型潜在的“自主黑客攻击”以及可能有利于现有巨头的监管影响不均。他们还探讨了因保险成本上升而对 AI 公司征收“安全税”的可能性。不过,对于这些风险的发生可能性和严重程度,与会者未达成共识。
未提及明确的机会共识
前沿模型潜在的"自主黑客攻击"及有利于现有企业的监管影响不均衡