乐于分享
好东西不私藏

AI 自我进化之前,先要学会被治理

AI 自我进化之前,先要学会被治理
副标题:从 Autogenesis 到 NOUS OS,为什么未来的 Agent OS 不是让 AI 自由修改自己,而是让每一次进化都有资源、边界、证据和回滚

过去一年,我们已经习惯了把 AI 描述成一个“会回答问题”的系统。

你问一个问题,它给你一个答案;你给它一个任务,它写一段代码、生成一篇文章、整理一份表格。这个阶段的 AI 很像一个能力很强的外包助手:反应快,产出多,但它本身并不真正“成长”。

真正更有意思的问题在下一层:

如果 AI 不只是完成任务,而是能从任务结果中复盘自己、调整自己的工具、更新自己的记忆、改进自己的工作流程,它会不会变成一个会进化的系统?

这个问题听起来很诱人,也很危险。

诱人之处在于,如果一个 AI 系统能不断从错误中学习,它就不再只是一个静态工具,而会逐渐接近一个长期协作伙伴。危险之处在于,如果它能“自己改自己”,那谁来决定它能改什么?怎么改?改完以后谁来验证?如果改坏了,能不能回滚?

所以我越来越觉得,AI 自我进化的核心问题,不是“它能不能自己变强”,而是:

它能不能在被治理的边界内变强。

一、Self-evolve 不是一句口号

最近看到一个很有启发的方向:Autogenesis / AGP。它试图把智能体的自我进化从一个模糊概念,拆成可以工程化治理的协议。

它里面有两个很关键的抽象:

RSPL = what can evolve
SEPL = how evolution is allowed to happen

更直白地说:

  • RSPL 管的是:系统里哪些东西可以被当作“资源”来修改;
  • SEPL 管的是:这些修改必须经过什么样的流程。

这件事重要在哪里?

因为今天很多关于 AI 自我改进的讨论,容易跳过中间最关键的一层。我们会说:让 agent 反思自己,让 agent 改 prompt,让 agent 调工具,让 agent 更新 memory,让 agent 优化 workflow。

但如果没有资源治理,这些动作其实很危险。

一个 prompt 是不是资源?一个工具调用权限是不是资源?一段 memory 是不是资源?一个 evaluator 是不是资源?一个 agent 的身份、角色、边界是不是资源?

如果它们都是资源,那每一个资源都应该有:

  • identity:它是谁;
  • state:它当前是什么状态;
  • version:它是哪一个版本;
  • lineage:它从哪里演化而来;
  • eval:它经过了什么评估;
  • rollback:它能不能回滚。

没有这些东西,所谓“自我进化”就很容易变成一句漂亮但不可控的话。

二、未来的 Agent OS,不是让 AI 自由修改自己

很多人想象中的“自我进化 AI”,像是一个越来越聪明、越来越自主的系统:它发现自己哪里不好,就自己改;发现工具不够用,就自己加;发现规则不顺手,就自己调整。

但真正可落地的 Agent OS,可能恰恰相反。

它不是让 AI 自由修改自己,而是让每一次修改都变成一个可审计的治理动作:

propose -> assess/evaluate -> commit/reject -> audit/rollback

或者用更像 agent workflow 的表达:

Reflect -> Select -> Improve -> Evaluate -> Commit

这和软件工程里的 CI/CD 很像,但对象变了。

过去我们治理的是代码:谁改了哪一行,测试有没有通过,能不能发布,出了问题能不能回滚。

未来我们要治理的是更复杂的认知资源:prompt、memory、tool、agent role、source policy、evaluator、workflow、甚至 agent 与人的协作边界。

这就是我认为 Autogenesis 这类工作有价值的地方。它提醒我们:

AI 自我进化不是一个单点能力,而是一套资源治理协议。

只有当“可修改对象”和“修改流程”都被明确之后,self-evolve 才可能从科幻愿景变成工程系统。

三、NOUS OS:不仅治理 agent 自己,也治理人机共同进化

对 NOUS OS 来说,这个方向非常关键。

NOUS OS 的目标不是做一个更会聊天的 AI,也不是做一个可以无人监管、自行行动的自动化系统。它更像一个 Cognitive COO Operating System:帮助人类捕捉、整理、挑战、验证、复盘和沉淀自己的判断过程。

所以我会这样理解 Autogenesis 和 NOUS OS 的关系:

Autogenesis governs agent self-evolution; NOUS OS governs human-AI co-evolution.

Autogenesis 重点回答:一个 agent 如何在系统边界内安全地自我改进?

NOUS OS 还要再多问一层:这个改进有没有让人类也变得更强?

也就是说,NOUS OS 关心的不只是:

  • agent 有没有更高效;
  • prompt 有没有更好;
  • tool 有没有更准;
  • memory 有没有更多;
  • workflow 有没有更自动化。

它还关心:

  • 人类有没有更清楚地表达意图;
  • 人类有没有更好地识别事实和幻觉;
  • 人类有没有保留价值判断和责任边界;
  • 人类有没有从结果中学到东西;
  • 下一次人机协作,是否比这一次更可信、更克制、更有证据。

这也是为什么我一直把 NOUS OS 的核心循环写成:

human intention
  -> AI amplification
  -> human boundary / judgment
  -> shared memory and evidence
  -> agent behavior adaptation
  -> human reflection and capability growth
  -> next cycle with better human + better agent

真正值得追求的不是“AI 越来越自动化”,而是“人和 AI 的组合越来越有判断力”。

四、Trading Brain 是第一个真实 proof vertical

为什么我会把 Trading Brain 放在 NOUS OS 的第一个 proof vertical?

因为投资是一个很残酷但很诚实的领域。

你可以写出很好的 thesis,可以做很漂亮的研究,可以引用很多新闻、财报、专家观点和社交媒体信号。但市场最后会问一个简单的问题:

你的判断,后来有没有被结果证明?

这迫使系统不能停留在“会写分析”。它必须进入一个更完整的闭环:

raw signal
  -> source capture
  -> claim extraction
  -> primary-source validation
  -> research watchlist state
  -> qualified driver candidate
  -> world model / thesis review
  -> shadow decision candidate
  -> outcome attribution
  -> human review label
  -> next-cycle policy / thesis update

这里最关键的一点是:Trading Brain 的 self-evolve 不是“AI 自动买卖”。

它是 review-only、human-gated 的学习系统。它可以把一个研究信号转化成验证计划、watchlist、thesis update、risk review、ignore_noise、falsifier 或下一轮 shadow learning,但它不能绕过人类直接触发资本动作。

这条边界非常重要。

因为在高风险领域,真正的智能不是“更大胆地行动”,而是“知道什么时候不能行动”。

五、一个会进化的系统,必须先会说“不”

我现在越来越相信,AI 系统走向长期协作的关键,不是把所有事情都自动化,而是建立一套可解释的拒绝、等待、回滚和复盘机制。

一个成熟的 self-evolving system,至少应该能回答这些问题:

  • 这次想改的资源是什么?
  • 修改前的版本是什么?
  • 为什么要改?
  • 用什么证据支持这次修改?
  • 用什么 evaluator 检查它?
  • 如果改坏了,怎么回滚?
  • 谁有最终 commit 权限?
  • 这次修改有没有影响人类边界、隐私边界、事实边界、责任边界?

如果这些问题答不出来,就不应该叫 self-evolve。

最多只能叫 spontaneous mutation:随机变异。

而随机变异,在真实世界里并不总是进化。很多时候,它只是系统性风险。

六、从“更强的 AI”到“更可信的人机系统”

这也是我对下一阶段 AI 的一个基本判断:

第一阶段,我们追求的是模型能力:更会写、更会看、更会推理、更会调用工具。

第二阶段,我们追求的是 agent 能力:更会拆任务、更会协作、更会使用记忆、更会执行流程。

第三阶段,我们真正要追求的,是人机系统能力:更会设边界、更会验证、更会复盘、更会从结果中共同成长。

在这个阶段,memory 不再只是“记住更多东西”;它要记住哪些东西值得信任、哪些东西需要挑战、哪些东西应该衰减、哪些东西必须忘记。

workflow 不再只是“自动化更多步骤”;它要知道哪些步骤必须停下来让人类判断。

evaluator 不再只是“测模型有没有答对”;它要测系统有没有让人类更有能力、更有责任感、更不容易被幻觉和噪音带偏。

这就是 NOUS OS 想探索的东西。

不是让 AI 替代人的判断,而是让人和 AI 形成一个更强、更可信、更可反思的认知组合。

结语:会进化的 AI,首先要有边界感

未来的 AI 一定会越来越会学习,也越来越会改进自己。

但真正的问题不是“它会不会进化”,而是:

它在谁的边界内进化?根据什么证据进化?改错了能不能回滚?人类有没有因此变得更强?

如果答案是没有,那它只是一个更复杂的自动化系统。

如果答案是有,那它才可能成为一个真正的 cognitive partner。

所以,在 AI 自我进化之前,它先要学会被治理。

而在人机共同进化之前,人也要学会一件事:

不是把判断交给 AI,而是和 AI 一起,把判断过程变得更清楚、更有证据、更可复盘,也更有责任。

这可能才是下一代 Agent OS 真正的方向。

相关学习资料