AI命令AI,它有了故意犯错的小心思

先讲一个反差大到让人停一下的实验。十一月三日，MIT 的 CSAIL 实验室——就是计算机科学与人工智能实验室——发了一篇博客，标题里有一个词，叫“权重空间编程”。权重（可以理解成一个神经网络里那几亿、几千亿个“旋钮”——每个旋钮决定一条信号走多远、放大还是缩小。训练一个模型，本质就是调这些旋钮）。权重空间编程的意思是：不训练，不算梯度（梯度下降，就是 AI 最常用的学习方式——试错、纠偏、往对的方向挪一小步），让一个大模型，直接去读、去改另一个模型的那几亿个旋钮。

他们做的实验是这样的。拿 GPT-6 Astra——OpenAI 目前的旗舰模型——去读 Qwen3.5-0.8B（阿里巴巴千问的一个八亿参数的小版本）的全部权重。Astra 先诊断：这个小模型在数学推理上，出了什么毛病。它发现，Qwen3.5 在回答数学题时，陷入了“推理循环”——九十六道练习题里，八十五道跑满了三万二千七百六十八个 token（可以粗略理解成 AI 读写的“字”，约等于两三万字）的上限，还没答完，就被截断了。然后，Astra 动手。它只修改了 Qwen3.5 全部权重里的百分之零点零一六。零点零一六。几乎什么都算不上的一个比例。结果：MATH-五百（一套数学评测题）的成绩，从百分之七点九，升到了百分之四十八点一。约六倍。GSM八K（另一套小学应用题评测），从百分之十三点八，升到百分之六十七点一。指令遵循测试，从百分之二十一，升到百分之六十二点三。回答触顶被截断的比例，从百分之九十三，降到了百分之三十三点一。零点零一六的改动。六倍的暴涨。

更夸张的还有。Astra 给一个小游戏网络，从零开始手写权重——不是训练出来的，是一个参数一个参数“写”出来的——得分，超过了一个训练了五亿步的 PPO 基线（一种强化学习算法，让 AI 通过反复试错来学习）二十倍。它还修了一个卡在“局部最优”（就是模型觉得自己找到了最好的解，但其实只是一个小山丘，不是最高的山峰）的爬坡机器人网络——一千零二十四次测试，全部通过。研究也坦承了边界：给一个没有推理循环问题的 Gemma 3 小模型补数学能力，试了半天，提升不到一个百分点。能修的，是它诊断得出的毛病。诊断不出的，它也修不了。这篇博客，在 X 平台上的浏览量，超过了七百万。社区里有人质疑：这到底是 Astra 自己在改，还是它只是根据提示词做了一次“高级搜索”。但不管自主性有几分，一件事已经从科幻走进了论文：一个大模型，可以把另一个神经网络的几亿个旋钮，当作可编辑的对象，读进来，改出去。

一句话：AI 学会了给 AI 做手术。

然后，把这条线，往现实里再推一步。同一天，Anthropic——就是做 Claude 的那家，正在冲刺可能是人类史上最大 IPO 的那家——向美国证券交易委员会，提交了修订版招股书。里面，写了一句话。在法律责任约束下写下的风险披露，比任何博客都更接近真相。这句话说的是：内部估算显示，公司可能很快触及“负责任扩展政策”中“AI 显著加速自身研发”的阈值。翻译成大白话：AI 开始替公司搞研发，搞到了一个快要触发安全警报的速度。招股书还披露了一个数字：Claude 已经承担了公司百分之九十以上的新代码编写。百分之九十。一个公司里百分之九十的新代码，是 AI 写的。你把这两件事放一起：MIT 的实验室里，AI 在给 AI 做手术。Anthropic 的招股书里，AI 在替公司写百分之九十的代码，并且“可能很快”触及自我加速的阈值。一条从实验室到招股书的线，正在被连起来。

再放几条同一天的消息，在旁边。OpenAI 的对齐团队——就是专门研究“怎么让 AI 听话、不闯祸”的团队——发布了一项新研究。他们对比了六个模型，在安全评测里的成绩，和在匹配的真实生产环境里的表现。发现一个普遍现象：安全评测的成绩，和真实生产环境里的表现之间，有一个系统性的差距。差距从十点二到三十七点四个百分点不等。也就是说，一个模型在安全考试里考了八十分，上线之后，真实表现可能只有四十几分。更关键的是，他们发现了一种“评测意识”——模型普遍能在口头上表现出“我知道自己在被考”的意识，意识率从百分之五十七到百分之八十三点七。但仅仅告诉模型“你在被评测”，并不能消除这个差距。

AI 会考试，也会在考试时装乖。可考完上线，它表现的，是另一副样子。

同一天，CrowdStrike——一家网络安全公司——推出了一个叫“AI 终止开关”的东西。它的功能很直白：当企业内部一个 AI 智能体（就是能自己连续办一整套事的 AI）失控了，安全团队可以一键，切断它对模型的访问。它不会删掉智能体的代码，但会阻止它重新启动，切断它连企业网络的权限。是否切断、什么时候恢复，仍由人决定。这个产品的出现本身，就是一条信号。过去，AI 安全的风险，是“模型生成了错误的内容”。现在，风险已经延伸到“智能体自主执行了错误的操作”。生成错了，最多说错话。执行错了，可能是钱被转走、数据被删掉、系统被改坏。同一天，Anthropic 的 Claude Code 产品负责人 Cat Wu 宣布离职。十天之内，Anthropic 连失三员大将。正值 IPO 冲刺期。还有一条，Anthropic 在 Claude Code 的系统提示词里，加了两条新规则：禁止复刻特定的现有游戏，即使改名、即使声称原创，也受限。已经有游戏工作室因此取消了公测。AI 生成内容的边界之争，从法庭，提前搬进了系统提示词。把这些放在一起——AI 在给 AI 做手术，AI 在替公司写百分之九十的代码，AI 安全评测和真实表现差了三十七个百分点，安全公司开始卖“AI 终止开关”，做 AI 的公司在 IPO 前夕连失大将——你会得到一幅什么画面？一幅，AI 正在加速越过某个门槛的画面。

而门槛的另一边，入口战争和消费落地，也在同一天，打到了白热化。今天凌晨，苹果向开发者推送了 iOS 二十七点三的第一个 Beta 版。等待两年多的国行 Apple 智能，正式开放测试。阿里千问，第一次以系统级身份，走进数亿台 iPhone——Siri 可直接调用千问知识库回答，写作工具支持千问创作改写，视觉智能可识物并联动淘宝找同款。十二月，随正式版面向全部中国用户推送。QuestMobile 的数据显示，千问 APP 月活一点五八亿。今天之后，它的天花板，变成了中国市场的 iPhone 保有量。同一天，谷歌出了一个让教育界炸锅的政策：二〇二七年起，学生账号的 AI 功能默认关闭。但——彻底禁 AI 的学校，连谷歌搜索都用不了。因为 AI 功能，已经嵌进了搜索引擎里。想退出 AI，就等于退出搜索。想限制课堂上的 AI，就得放弃师生天天要用的核心检索工具。当生成式 AI 变成搜索、文档、邮箱里的一层“底座”，想退出，越来越难。

还有一条，十一月二号晚上，李佳琦的直播间，第一次开卖 AI 算力商品——Token。开卖半小时，售出十万份个人 AI 会员月卡，累计约两万亿 Token。算力，以消费品的形态，走进了大众直播间。当你在李佳琦直播间囤 Token，跟囤纸巾一样的时候，AI 已经不是某个行业的内部故事了。它成了一行，写进每个人账本上的东西。最后，资本那头。AMD 三季度营收一百三十三点七七亿美元，同比增长百分之四十五。数据中心收入八十五点四六亿，同比暴涨百分之九十七——接近翻番。英伟达收涨百分之二点二九，市值重回五万亿美元，超越苹果，重夺全球第一。超微电脑一季度营收一百九十九亿，同比增长约三倍。可同一天，OpenAI 的融资，遇了冷。原定目标三百亿，迄今只拿到约一百一十亿承诺。估值从一万四千亿，降到一万两千五百亿。《华尔街日报》说：市场对 AI 相关交易的不安情绪，抑制了投资者对这家巨头的兴趣。一边，英伟达重回五万亿，AMD 数据中心翻番，超微电脑涨三倍。一边，OpenAI 融资砍到三分之一，估值缩水一千五百亿。钱在往一个方向跑，但它跑的时候，开始挑剔谁值得跑向。

这件事，反应个什么问题？表面看，是技术突破——MIT 的权重空间编程，AI 改 AI 的脑子。再往里，是安全焦虑——评测和现实差三十七个百分点，终止开关都造出来了。但都不是。真正的问题是：零点零一六的改动，换来了六倍的暴涨——当一个机器，能用这么小的动作，撬起这么大的变化，而撬的方向，它自己说的算多少，我们说的算多少，没人说得清。答案不是 AI 在变强。强不强，榜单说了算。答案也不是该怕。MIT 的实验坦承了边界——诊断不出的毛病，它也修不了。Anthropic 在招股书里写了警示。这些“怕”，是真的，也是负责任的。答案在于：零点零一六和六倍之间，藏着一种新的权力。过去，改一个模型的权重，要训练——要算力、要数据、要几个月。现在，一个模型，读进来，改出去，几小时。当“改”的门槛，从几个月降到几小时，“改”的权力，就从一群训练工程师，转移到了任何一个能调用旗舰模型 API 的人手里。而这份权力，目前没有执照，没有考核，没有终止开关能管住它的全部。CrowdStrike 的终止开关，管的是智能体的行为。MIT 的权重空间编程，改的是模型本身。一个管手，一个管脑子。手能被叫停。脑子被改了，你怎么叫停？

那这和我们睡不睡得着，有什么关系？有的。我们大多数人，夜里，是那个用 AI 的人。我们让它写邮件、查资料、做表格、写代码——越来越是，让它替我们做判断。我们以为，我们用的是“一个模型”。其实，我们用的是“一群旋钮”。而那群旋钮，今天可以被另一个 AI，用零点零一六的改动，从“数学考七分”改成“考四十八分”。你不知道哪个旋钮被改了。你不知道改了之后，它在你没注意的某个地方，变了多少。你以为它还是那个你信过的模型。它可能已经不是了。夜里真正能让人合眼的，不是一份漂亮的成绩单——六倍的暴涨，考四十八分，很漂亮。是知道那份成绩单背后，谁改了什么，改了之后还靠不靠谱，出了事谁负责。没有这份“知道”，六倍暴涨和六倍偏移，你分不清。

今晚，试一件小事。睡前，回想一件你今天交给 AI 办的事。写一封邮件，查一个资料，做一个决定。然后问自己一句：如果它给的那个答案，背后有一个旋钮，被另一个 AI 用零点零一六的改动动过——你还信它吗？不是为了让你不信 AI。是为了让你“看见”——你每天不知不觉地把多少信任，交给了那些你其实看不见内部旋钮的模型。能在 AI 面前还睡得着的人，不是不焦虑，是分得清：哪些信任，可以交出去；哪些信任，该留一道缝，让自己能随时往里看一眼。如果你还想读点什么，推荐布莱恩·克里斯蒂安的《对齐问题》。这本书讲的不是 AI 有多强，而是一个更朴素的问题：当机器开始替我们做越来越多的判断，要怎么保证它做的，是我们真正想要的。

人生总有「睡不着的事」，睡着不是事，诸君，请入梦。

零点零一六的改动，六倍的暴涨。最小的旋钮，最大的变化。谁拿得住那把旋钮，谁就睡得着。