AI赋能管理者 · 治理与伦理观察

当AI开始自我进化：下一次工业革命，还是人类发动的吗？

从 Anthropic《When AI Builds Itself》说起——一手抓发展，一手抓风险，是这个时代管理者的必修课。

文 / 张树军 · 东北财经大学继续教育学院院长

最近，Anthropic 发布了一篇引发行业讨论的长文——《When AI Builds Itself》（当 AI 开始构建自己）。它谈的不是一个普通技术问题，而是一个越来越逼近现实的判断：

过去，是人类工程师写代码、搭系统、设计实验、分析结果，再推动下一代模型进步。而现在，AI 已经开始承担其中相当一部分工作。文中给出的数字很有冲击力：Anthropic 工程师如今平均每季度提交的代码量，已是 2021—2025 年间的 8 倍；截至 2026 年 5 月，公司合并进代码库的代码里，超过 80% 由 Claude 编写。

这些数字指向一个更深层的趋势，Anthropic 称之为 递归自我改进（Recursive Self-Improvement）：AI 帮助研发下一代 AI，下一代 AI 又研发出更强的 AI。文章也很克制地说明，我们还没真正走到"AI 完全自主设计其继任者"的阶段，这种情形也并非必然发生——但它可能比许多机构准备得更早到来。

读完之后，我脑子里反复盘旋着三个问题：

这三个问题，没有一个有现成答案。但正因如此，我越来越确信一句话：AI 越强，治理与伦理就越重要。而对企业、政府、高校这些组织来说，关键不是要不要用，而是怎么一手抓发展、一手抓风险。

一、风险不只来自"能力"，更来自"速度"

过去我们谈 AI 风险，习惯问：会不会出错？会不会幻觉？会不会泄密？会不会替代岗位？这些都重要。但 Anthropic 这篇文章提醒我们，还有一个更根本的维度——

一项技术如果跑得比制度、监管、伦理和组织能力都快，就会出现"能力在前面狂奔，治理在后面追赶"的局面。在这种局面下，很多传统管理方式会失灵。

企业过去可以先试用一个工具，出了问题再补制度；可以先让员工随便探索，再慢慢形成规范。但当 AI 越来越强、越来越自主、越来越能参与复杂决策时，如果还靠"出事了再补规则"，代价会越来越高。

用一个我常用的比喻：2025 到 2026，AI 的发展速度是海啸般的。海啸来临时，最危险的不是浪有多高，而是你还在用看池塘的节奏，去判断一片正在隆起的海。

二、我的基本立场：积极拥抱，科学治理

面对这样的趋势，我的态度非常明确：在文明发展的长河里，技术进步是必然，不以我们的意志为转移。真正成熟的做法，是企业、政府、高校等组织积极拥抱、科学治理，而不是一味地控制和限制。实事求是，顺应规律，这八个字很重要。

我特别想说说"限制"这件事，因为现实里走偏的例子并不少。比如有的学校明令规定，学生不准用 AI 编程。这就好比教农业，却不允许学生用播种机；教出行，却禁止学生碰汽车。

这让我想起历史上著名的"红旗法案"：19 世纪英国为保护马车行业，立法要求每辆机动车前方必须有人步行、手持红旗引导，把时速限制在几公里。结果汽车工业的领先优势拱手让给了别国。今天某些"禁止学生用 AI"的规定，本质上就是一部变种的红旗法案——出发点也许是好的，却拦在了规律的对面。

这也正好印证了 Notion 创始人 Ivan Zhao 在《蒸汽、钢铁与无限心智》一文里的那个洞见：人们总是习惯透过后视镜来看待未来。我们用马车的框架去理解汽车，用工具的框架去理解 AI，于是总在用上一个时代的经验，应对下一个时代的问题。

所以，正确的姿态不是"少用 AI"，而是"会用、善用、能管好 AI"。越是重视 AI 的组织，越应该重视治理——因为只有治理跟得上，AI 才能真正进入核心场景，成为可持续的生产力，而不是停留在"个人试用、文本润色"的浅层。

三、从"工具伦理"走向"系统治理"

很多组织现在谈 AI 治理，还停留在工具层面：哪些软件能用？哪些数据不能上传？哪些账号要审批？哪些内容要人工复核？这些规则有必要，但远远不够。因为 AI 正在从一个"工具"变成一个"系统"。

工具的特点是：人发指令，工具做动作。系统的特点是：它能嵌入流程、调用数据、参与判断、生成建议、影响协作，甚至改变组织的运行方式。

当 AI 还只是个写作助手时，治理重点是内容审核和数据安全；可一旦它进入财务、投资、供应链、合同、客服、人力、风控等场景，治理的问题就变了——

这就是从"工具伦理"走向"系统治理"。AI 越强，组织越不能只问"这个工具好不好用"，而要问：这个能力一旦进入流程，会改变哪些权力、责任、风险和边界？

四、Anthropic 为什么提到"暂停"？关键是四个字

这篇文章被外界关注的一个原因，是 Anthropic 提到了"暂停前沿 AI 研发"的可能性。但要准确理解：它不是说"我们不做 AI 了"，也不是单方面呼吁所有人立刻停下。它真正表达的是——如果世界能建立一种可信、可验证的全球协调机制，让主要前沿实验室在同等条件下放慢或暂停，那或许能为社会制度、对齐研究和治理能力争取时间。

同时它也点出了现实困境：如果只有谨慎的一方停下来，不谨慎的参与者继续追赶，世界反而可能更不安全。所以关键不在"停不停"，而在四个字——

暂停也好、减速也好、安全承诺也好，如果不能验证，就很难成为真正的治理机制。这对企业同样适用——内部也不能只靠一句"我们会负责任地使用 AI"。真正的治理必须能落到：权限可控、流程可查、输出可审、责任可追、风险可停、问题可改。没有验证机制的伦理，很容易沦为口号。

五、越是高价值场景，越不能让 AI 独立闭环

AI 在组织里的价值越高，往往意味着它接触的业务越核心：财务预测、投资测算、合同审查、信用评估、供应链调度、绩效评价、风险预警、战略研究……这些场景的共同点是，它们不只是信息处理，而会直接影响资源配置和管理决策。

因此，越是高价值场景，越要强调人机协同，而不能让 AI 独立完成闭环。一个基本原则是：

AI 可以帮我们收集信息、识别异常、生成草案、进行测算、提出风险提示；但涉及资金、合同、投资、人事、披露、审计、合规等重大事项时，最终判断必须由人来负责。原因很朴素：AI 没有组织责任。它不承担法律责任、经营责任、政治责任和签字责任。它能辅助判断，却不能替代责任主体。

这也是为什么，总会计师、法务负责人、审计负责人、信息化负责人和业务负责人，都应当成为 AI 治理的重要参与者，而不是把治理整件事完全甩给技术部门。

六、落到企业，AI 治理至少要回答五个边界问题

七、一个正在发生的实践：硅基起草，碳基审核

说了这么多原则，不妨讲讲我们自己正在做的事，因为治理从来不是写在纸上的，而是跑在流程里的。

获得 AI 生成的高质量内容，今天的成本已经极低。所以我在学院里要求：文案工作一律由 AI"硅基员工"起草，"碳基员工"负责审核。道理很直接——单论文字水平，AI 已经比我们大多数人高出太多；与其让人从零憋一篇初稿，不如让人把精力放在判断、把关、定调和担责上。

沿着这个趋势往前看，我有一个或许会让人感慨的预判：不久的将来，亲手一个字一个字地码文字，可能会变成普通人的一种爱好——就像今天的书法。大多数人不再为了效率而手写，但总有人为了热爱、为了那份手感与思考的乐趣而写。这不是文字的消亡，而是文字角色的迁移。

八、AI 越强，人类越要守住最后一环

回到开头那三个问题。下一次工业革命还会不会由人类发动，取决于我们今天是把 AI 当成对手去防，还是当成同事去带；人类的判断力跟不跟得上，取决于我们是把判断权交出去，还是把它训练得更强；至于 AI 会不会"欺骗"我们、我们能不能感知——答案不在模型那一侧，而在我们有没有建立起可验证、可追溯、可叫停的治理结构。

对管理者而言，最重要的从来不是追逐每一个新模型，而是形成一套清晰的判断：哪些任务适合 AI？哪些必须由人负责？哪些能力可以放开？哪些边界必须守住？哪些流程需要留痕？哪些风险必须提前预案？

技术的发展速度，不能成为组织放弃责任的理由。真正成熟的 AI 应用，不是让机器替人负责，而是让机器帮助人更好地负责。一手抓发展，一手抓风险——这不是两件事，而是同一件事的两只手。

技术进步是必然，不以我们的意志为转移。我们能做的，是顺应规律、积极拥抱，同时把治理这张网，编织得和能力的增长一样快。

— END —