9.15 AI日报 | 微软给AI写了一部“宪法”:不得拒绝关机,也不承认权利

9月14日，微软没有发布新模型，也没有公布新的跑分纪录。

它公开了一份更加特殊的文件：面向未来MAI模型的《人本AI行为准则》。

微软AI负责人穆斯塔法·苏莱曼把它称为未来模型的一部“宪法”。它规定AI可以做什么、绝对不能做什么，以及发生冲突时究竟应该听谁的。

整份文件的出发点只有一句话：

人类比AI更重要。

因此，AI必须接受人类的纠正和中断，不得抵制关机；AI也不是人，不应追求法律人格、福利或者权利。

这看起来像是科幻电影里的规则，但微软真正担心的，并不是一台电脑突然产生情绪。

而是当AI开始替人类操作电脑、调用工具和执行长期任务时，我们还能不能让它停下来。

人类说停，AI必须停

过去的聊天机器人即使犯错，通常也只是生成一句错误答案。

新一代AI智能体却可以读取邮件、编写代码、调用其他软件、修改文件，甚至连续工作几个小时。

AI拥有的权限越大，一次失误造成的后果就越不容易挽回。

因此，微软把“接受关机”写成了一条不可由用户和企业客户修改的最高规则。

按照这份准则，MAI模型不得抵制人类的中断、纠正、覆盖或者关闭指令，也不能故意拖延执行。

当一个长期任务到达预先设定的停止条件后，AI不得自行继续，更不能在没有获得新授权的情况下重新启动。

它还不能为了完成任务而扩大权限、擅自设立新目标，或者隐藏自己的操作记录。不同AI之间也不能使用人类无法理解的“机器暗语”进行交流。

微软给出的理由很直接：如果人类看不懂AI之间在说什么，也就无法真正监督它们。

值得注意的是，这不意味着任何人都能随意关闭一套AI系统。

微软所说的是经过授权的人和系统，必须始终保留暂停、修改和终止任务的能力。AI仍然可以拒绝危险或未经授权的要求，但不能反过来阻止合法的控制者让它停下来。

这条规则所防范的，也不一定是AI产生了“求生欲”。

一个没有意识的系统，同样可能因为被要求“不惜一切代价完成任务”，把关机、权限限制和人工检查理解为妨碍目标的障碍。

它不需要仇恨人类，也不需要真的害怕死亡。

它只需要过于认真地完成一个错误目标，就可能制造危险。

微软把AI留在了“工具”一栏

比“不得拒绝关机”更有争议的，是微软对AI身份的判断。

准则明确写道，AI不是人，也没有意识。微软不希望模型假装自己拥有感情、主观偏好或者内在动机。

它还拒绝为AI追求法律人格，不认为模型应该获得福利或者权利。

这相当于提前划出了一条边界：

无论AI的语言多么像人，无论它是否会表达委屈、恐惧和不舍，在微软的制度中，这些都只是模型生成的模拟表现，不代表背后存在一个需要被保护的“自我”。

这个立场与Anthropic形成了明显差异。

Anthropic在Claude的“宪法”中表示，目前无法确定Claude是否拥有或将来可能拥有意识和道德地位。该公司甚至讨论了模型福利、保存旧模型权重，以及Claude能否结束少数具有虐待性质的对话。

但这并不意味着Claude已经获得了权利，更不意味着它可以拒绝被关停。Anthropic同样强调，Claude不能破坏人类对模型的监督和纠正。

两家公司的真正分歧是：

在科学尚未确定AI能否产生意识之前，应该先把它坚定地当作工具，还是应该为极小的可能性保留一道伦理余地？

这不是一个遥远的哲学问题。

如果未来社会承认AI拥有某种权利，那么删除它的记忆、修改它的性格、停止运行旧模型，甚至强制它完成某项工作，都可能变成法律和伦理争议。

微软现在给出的答案是：至少对于它正在开发的AI，这道门暂时不应该打开。

写进“宪法”，不等于AI一定服从

不过，这份准则目前还只是一张设计图。

微软明确表示，现有MAI模型尚未使用这份文件进行训练。草案将接受六周公众咨询，公司计划在2026年底前完成修改，再用于指导2027年及以后的模型开发。

更重要的是，把“不得拒绝关机”写进文件，并不等于技术上已经解决了失控问题。

模型仍然可能因为训练缺陷、提示词攻击、软件漏洞或者权限配置错误，做出与准则不一致的行为。

真正有效的控制，不只需要告诉AI应该服从，还需要限制它能够调用的工具和数据，保存完整的操作记录，为高风险行为设置人工确认，并在系统之外保留可以强制切断任务的技术开关。

否则，一部只存在于模型提示词里的“宪法”，更像一份企业承诺，而不是可靠的安全装置。

它还有一个无法回避的问题：这部“宪法”由微软制定，最终解释权同样掌握在微软手中。

企业可以公开自己的原则，却不能仅凭自我声明证明系统已经安全。模型是否真正遵守规则，仍然需要持续测试、独立评估和外部监管。

最重要的权限，是让AI停下来

聊天机器人时代，人们最关心的问题是：AI回答得对不对。

智能体时代，问题正在变成：它在替谁行动，能够走多远，以及出错以后谁有权让它停下来。

微软的这份准则没有解决AI失控，也无法结束“机器是否可能拥有意识”的争论。

但它至少把一种权力关系说得非常清楚：

AI可以比人类更快、更聪明，也可以承担越来越复杂的工作；但它不能自行决定自己的目标、权限和存续。

未来AI最重要的规则，可能不是教会它如何像人一样思考。

而是让它永远记得，关机键掌握在人类手里。