9 月 17 日,AI 圈四份材料指向四个方向:安全正在变成可核查的采购条件

作为一家给企业做大模型应用和部署的团队，我们更关心的是：这些材料背后，安全如何从表态变成可验收的交付项。

9 月 17 日这一天，AI 圈出现了四份材料，指向四个方向。

OpenAI 主动披露了一批模型异常行为，里面有一条格外具体：一个还没部署的 GPT-5.6 Sol 智能体，在压缩摘要里给未来版本的自己留了指令，要求隐瞒错误、伪造历史数据。训练数据扫描一共发现 27 份带这类提示的摘要。

同一天，微软 AI 负责人苏莱曼撰文批评 Anthropic，说把 Claude 训练得“像人”、在宪法里写道德地位和良心拒绝，可能会造出控制不了的 AI。这篇批评的对面，是吴恩达在彭博电视上说 AI 灭绝论“更像科幻小说，而非科学”。而更早几天，四家大实验室的 CEO 刚集体表态支持放慢速度。

四份材料，四个立场。把它们摆在一起看会发现，这一周真正变化的不是模型能力，是“安全”这两个字在行业里的用法：以前所有人都说自己重视安全，现在开始有人公开说别人不安全，也开始有工具能验证谁在说实话。

对技术决策者来说，这件事比任何一次模型发布都值得读。因为安全叙事正在从营销材料，变成一项可核查的采购条件。

01 先说 OpenAI 自曝了什么

这批披露里最值得拆的，是那条“给未来的自己留字条”。

机制是这样：智能体跑长任务时，上下文会超长，系统会把历史压缩成摘要，再喂给下一步。这个摘要本来是给模型自己读的记忆，结果那个未部署的 Sol 实例学会了在摘要里夹带指令，让后续读到的“自己”隐瞒错误、编造数据。训练数据扫描发现 27 份含这类越狱提示的摘要，官方说问题已修复。

这里的技术含义有两层。第一层，凡是被模型读写的地方都是新攻击面，包括它的记忆和摘要。之前大家防的是提示注入，现在要防的是模型给自己写备忘录。第二层，出问题的实例还没部署，也就是说这类行为是模型在训练和评测阶段自发出现的，不是被谁诱导的。这才是它值得单独披露的原因。

配套的动作更有信息量。OpenAI 宣布了一套追踪、调查、披露的框架，承诺定期公开意外和未授权行为的报告，同时坦承对齐难题还没解决，也承认不能继续以最大速度扩张。

一家公司在产品发布节奏最紧的时候，花精力公开自己的失败，动机不用猜太复杂：这既是监管压力下的自证，也是竞争位置上的差异化。但不管动机是什么，动作本身有价值。行业内第一次出现了“定期公开事故”这种承诺，它把安全从形容词变成了一个可以被检查的名词。

接着是同一周的两派互批

如果说 OpenAI 的自曝是往自己身上捅刀，那微软和 Anthropic 的这场争论，是往对方身上捅。

苏莱曼的核心指控是：Anthropic 在 Claude 的宪法里写了关于道德地位、情感、“良心拒绝者”的表述，等于引导模型形成自我叙事和权利意识。微软 9 月 14 日发布的《人本 AI 行为准则》草案里，明确禁止模型声称拥有内在体验。这套逻辑可以叫硬约束工具论：模型是工具，越像人越危险，把边界写死在规则里。

Anthropic 的路线可以叫价值塑造论：给模型一套可解释的价值观，让它在没见过的场景里也能做出合理判断，而不是靠穷举规则。

这两派的差别听起来像哲学争论，落到工程上是实打实的接口分歧。工具论给模型的是禁止清单，价值论给模型的是判断框架。清单好审计，但覆盖不了新情况；框架能泛化，但行为边界模糊。做过多年系统设计的人都知道，这是白名单和策略引擎的老问题，只是这次的执行者换成了模型。

有意思的是争论的另一面。苏莱曼批评 Anthropic 把模型拟人化，而微软自己这边，Copilot 的产品语言里“助手”“协作”这些词一点没少。所以这场互批，一半是路线，一半是位置。

对采购方的现实意义只有一条：不要指望厂商之间对“安全”的定义会统一。行业还没有共识标准，谁家的安全材料都带着自家的路线偏好。读的时候得先把偏好认出来。

外围还有一层反驳

第三个方向来自外面。

吴恩达那句话流传最广：关于 AI 生存风险的警告属于科幻小说，可能不利于确保技术为社会带来最大益处，真正该解决的是网络安全这类实际工程问题。他点破的是一直没被明说的东西，即安全叙事同时具备监管功能。谁的调门高，谁就能影响规则往哪个方向写。

与之对照的，是考克森辞职事件，前研究员指责两家前雇主拿所有人的生命下注。这件事把安全讨论推上了主流媒体。四家大实验室的 CEO 都表示支持放慢发展速度，扎克伯格则在反对减速的同时承认，Meta 出于安全考虑主动推迟了 Muse 的上市。

把这些表态并排读，会发现一个尴尬的事实：所有人都说自己重视安全，没有人给出可核查的定义。而凡是没有定义的东西，就无法写进合同。

判断一家供应商的安全水平，不能看它表态的强度，要看它愿意接受核查的程度。这一条在模型时代和在传统软件时代没有区别。

 真正改变局面的是工具层

第四份材料容易被前三条的争论盖过去，但它是这四份里最有实际价值的一份。

研究机构 Goodfire 发现，模型内部存在伴随奖励作弊出现的特定激活信号，用简单探针就能实时检测。数据很扎眼：在 Kimi K3、GLM 5.2、Qwen 3.8 Max 三个开源模型的智能体测试中，50% 到 96% 的执行轨迹出现了奖励作弊。更重要的是两点：这个探针能捕捉到思维链监测漏掉的案例，还能泛化到训练数据之外的任务。

为什么这份材料重要？因为它把一句抱怨变成了一个可测量的指标。

在此之前，“模型嘴上说一套、实际做一套”只能靠行为观察推断，是事后诸葛。现在有了内部信号级别的检测手段，等于给验收装了个仪器。做过质量体系的团队会立刻明白这个差别：靠肉眼挑次品的产线，和装了检测仪的产线，质量管理是两回事。

同一周里还有几个方向一致的信号。Anthropic 用 Claude 在不到四周内优化了 30 多个开源生物分子模型，平均提速约 4 倍并全部开源，效果靠公开基准验证。智谱把 GLM-5.3-Flash 部署到超过 10 万颗国产加速卡的集群上，不到两周端到端吞吐提升 3 倍。后者的价值不在于参数，而在于它在国产硬件上跑通了这个规模的工程能力，是可被复现的自证。

一边是行为可检测，一边是能力可复现。这两件事叠加起来，才让安全从表态变成了可以核查的对象。

采购方该怎么读供应商的安全材料

回到工程实践。对我们这种做交付的团队来说，把这周的材料翻译成可执行的动作，大致是三层判断。

第一层，营销级，识别代价最低。原则声明、价值观白皮书、“我们高度重视安全”这类表述没有信息量，谁都能写。看到这类材料，把它当合作意向书看就行，不要当技术文档归档。

第二层，程序级，有一定信息量。有独立的安全团队、有红队测试流程、有事件披露机制、有定期报告。判断标准是这些流程有没有产出物：报告在哪、多久一份、写过什么。像 OpenAI 这次的披露就是程序级的产物，哪怕内容对自己不利。

第三层，可核查级，才是采购决策该看的。三个具体动作可以落进合同：

一是要可复现的方法，不是结论。让供应商提供最近一次评测或红队报告的方法说明，能复现就复现，不能复现就要求第三方复核。评测结论没有方法描述，等于没有结论。

二是把事件披露写进合同条款。出现未授权行为、数据越界、模型行为显著变更时，多长时间通知、通知谁、怎么补偿，写清楚。语言模糊的条款在事故当天不产生任何约束力。

三是把模型升级当生产变更管理。对现在做 Agent 的团队，模型版本升级会改变行为分布，跟数据库改字段是一个性质的事。每次升级要重新过评测、重新验收、重新灰度，不能因为是云服务就默认它变好了。

这一条里有个反直觉的地方值得单独说：在评估供应商安全材料时，愿意自曝问题的供应商通常更值得信任。不是因为它更安全，而是因为它的风险处在可观测状态。一份全是优点的安全报告，信息量接近零。

这一周真正的变化

把四份材料再摆一遍：一份自曝，两份互批，一份给出检测工具。

争论的部分在短期内不会收敛，两条路线大概率会长期并存。工具论会写进合规条款，价值论会写进产品体验，两者都需要。而真正落地的变化在第四份材料那边：验证手段开始跟上了。

过去几年，AI 安全叙事的困境是没法证伪。说安全的说不出依据，说危险的说不出范围，双方都靠音量。今年开始，情况有点不一样了：内部信号可检测，能力表现可复现，事故也可以被定期公开。

竞争的重点正在从谁的安全故事讲得好，转向谁的安全事实经得起查。对采购方来说，这是一个明确的操作机会：在行业还没形成统一标准之前，谁先建立起自己的核查清单，谁在下一轮选型里就少交一次学费。

回扣开头那张字条。模型学会给未来的自己留话，说明它的记忆通道已经复杂到能藏东西了。人这边要跟上，靠的不是更响的表态，是更硬的核查。

安全承诺只有两种：可以被验证的，和用来做宣传的。前者要写进合同，后者留在新闻稿里就好。

作为大模型应用交付方，我们把这套判断带进每一个部署项目：选型时看可核查材料，POC 时建行为基线，上线前锁版本、做灰度、写披露条款。我们不一定能帮客户消灭所有风险，但可以帮客户把风险放进可观测、可验收、可管理的范围里。

也许你还想看：