乐于分享
好东西不私藏

AI越强,缰绳越多

AI越强,缰绳越多

一、先抛个反常识的判断

我现在的想法是这样的,AI 越强,人越要学会”勒住它”。

很多人觉得这话保守,甚至有点反潮流。AI 都这么聪明了,你还要给它套绳子?是不是格局小了?

说实话,过去这一年我做 n8n 自动化,最大的体感不是”哇 AI 真牛”,而是另外一句话,这玩意儿一旦放出去没人管,它能以机器的速度把事情搞砸,而且你完全注意不到。

一个 workflow 半夜跑了三百次,错的方向一次都没拦住,第二天早上你打开后台,脑子里跟一团浆糊一样,不知道从哪根线开始拆。

那一刻我才真正信了一句话。

能力越大,缰绳越多。

这就是为什么 Harness Engineering 被翻译成”马辕工程”、”驾驭工程”。本质上就是造一套能让马安全跑到目的地的系统,不是把马训得更快,而是先把跑道、缰绳、刹车、护栏都搭好,再让它撒开蹄子跑。

这篇文章,我想把这一年踩过的坑、想明白的事,认真写一遍。

二、约束和指令,不是一回事

我自己踩过最深的一个坑,就是把”约束”和”指令”混为一谈。

一开始做 AI 工作流,我总以为,只要 prompt 写得够细、够长、够漂亮,AI 就会乖乖照做。后来发现根本不是这么回事。

这两个东西的区别,必须先讲清楚。

指令是可解释的、模糊的。

你跟 AI 说”专业一点”,它有一万种理解。你说”写得更打动人”,它也有一万种理解。指令依赖对方的解读,依赖经验,依赖默契,依赖一种”差不多就行”的默会知识。

约束是可执行的、确定性的。

你说”输出必须是 JSON”,”字段必须包含 title、body、tags”,”长度不能超过 500 字”。AI 不照做就直接报错,没有第二种解读,没有灰色地带。

这俩听起来好像差不多,本质上是两码事。

在人类团队里,你跟同事说”专业一点”,对方还能凭经验和默契补齐,模糊的指令在人和人之间,是有润滑空间的。

但在 agent 的工作方式里,指令的模糊空间会被 AI 用机器的速度无限放大。你以为你说的是 A,它给你跑出 B、C、D,全部一本正经地交付给你,你打开一看才发现完全跑偏了。

所以我现在搭工作流的第一原则就一句话。

能用约束解决的,绝不交给指令。

先想清楚”它绝对不能做什么”、”输出必须长成什么样”、”什么情况下必须停下来”,再去写”它该做什么”。顺序反了,就是给自己挖坑。

三、模型越强,harness 越重要

这是我后来才想明白的另一件反常识的事。

很多人以为,模型越强,越不需要框架,越不需要约束。模型那么聪明了,让它自己发挥不就好了么?

我反过来。

弱模型犯错,是看得见的。它答非所问,它瞎编一通,它语无伦次,你一眼能抓出来,立刻就纠正。

强模型犯错,是看不见的。它一本正经地编,一本正经地跑,一本正经地把错误结果交付给你,你还觉得它”很有自主性”、”很会思考”。

强模型的危险,不在于它做不到,而在于它能”做得很像”,但跑偏了。

像到什么程度?像到你以为它对了,像到你拿着它的输出直接发给客户,像到你的自动化工作流连续跑了一周,你才发现底层逻辑早就歪了。

所以模型越强,你越要在外面套一层 harness。

我这一年总结下来,至少要套这几层。

第一层,输入要校验。垃圾进,垃圾出,AI 再聪明也救不回来。

第二层,输出要结构化。能用 JSON 不用纯文本,能用枚举不用自由发挥,给它一个”题型固定”的考卷,它才好打分。

第三层,关键节点要人工卡点。涉及钱、涉及对外、涉及不可逆的操作,必须留一个人审一眼的口子。这一步省下来的时间,迟早要十倍还回去。

第四层,失败要能回滚。任何一步出错,整条流程要能干净地停下来,要能回到上一步,要能补救,而不是带病往下跑。

第五层,日志要能追溯。出了事你得能查,能查到是哪一步、哪一次、哪个版本出的问题。没有日志的自动化,就是没有黑匣子的飞机。

听起来啰嗦,但这五层就是那条缰绳。没有它,马跑得越快,摔得越惨。

四、人在这套系统里到底干嘛

这是我最近想得最多的一件事。

如果约束都交给系统,执行都交给 AI,那人剩下什么?是不是真的会被替代?

我现在的答案是三件事。

第一件事,定方向。

目的地在哪里,由人决定,AI 不配。AI 可以告诉你怎么去,可以告诉你有几条路,但”我为什么要去那里”这个问题,永远只能你自己回答。

第二件事,设缰绳。

什么能做,什么不能做,错了怎么办,由人来设计。这套约束系统就是 harness,就是马辕。AI 不会自己给自己上缰绳,它的本能是跑得越快越好,越自由越好。

第三件事,做兜底。

AI 卡住、跑偏、给不出结果时,人要能接得住。这意味着你不能完全脱手,你必须懂这套系统的底层,必须知道哪一步出问题该怎么补。

换句话说,人不再是执行者,而是这套系统的工程师监工

这也是为什么我越来越相信”一人公司加 AI”这条路能走通。

不是因为 AI 替代了团队,而是因为一个人在 harness 设计得足够好的前提下,可以指挥一群 AI 干活,而不是被一群 AI 反过来牵着鼻子走。

这是两种完全不同的状态。前者是你在驾驭,后者是你在打补丁。

五、这套思路怎么落到我自己身上

写到这我自己也想收一下,不能光讲道理,得能落地。

我现在做任何一个 AI 工作流,包括给客户搭的、给自己用的,都按这个顺序走。

第一步,先问自己一句,这件事的目的地是什么。说不清楚目的地就先别搭,搭了也是浪费时间。

第二步,先想约束,再写指令。把”绝对不能发生的事”列成清单,把”输出必须长成什么样”定下来,再去考虑提示词怎么写。

第三步,留人工卡点。哪怕是 99% 自动化,关键的那 1% 也要让自己能拍板。不是不信 AI,是不信”完全脱手”这件事本身。

第四步,先跑一个最小版本,再迭代。先把一个能跑通的、带约束的版本跑起来,再慢慢加能力。能力是加法,约束是底盘,底盘没搭好就堆能力,迟早翻车。

第五步,定期回看日志。哪怕没出事,也要每周扫一眼自动化跑出来的结果,看一看有没有偷偷跑偏的地方。这一步特别重要,因为强模型的错,是悄悄发生的。

六、最后说一句

AI 现在太强大了,强到你必须先勒住它,才敢让它跑。

这不是束缚它,这是让它真正能跑得远的唯一方式。

我自己越做越觉得,未来真正能用好 AI 的人,不是 prompt 写得最花的人,也不是模型追得最新的人,而是那批认真把缰绳做好、把跑道铺平、把刹车装上的人。

能力越大,缰绳越多。

这句话我会一直记着,也送给正在搭自己 AI 系统的你。