ARTICLE · 1025894
我请了个 AI 助理,最后把它管成了操作员
深变量
我请了个 AI 助理,最后把它管成了操作员
边界要清楚,但别把方法规定死
前段时间我一直在用 AI 写软件,给自己的电商业务做一套 AI 助理。
做着做着,我把系统做得越来越简单。
简单到什么程度。原来四十多个功能,最后只剩下几个能可靠记下业务事实的入口。剩下的,我全交给 Agent 自己去查、去算、去判断。
就在这时候,问题来了。
AI 提醒我,这些操作虽然不复杂,但万一 Agent 乱操作怎么办。
这个担心当然合理。
于是软件工程里那些熟悉的东西又开始出现了。要不要加更多确认,要不要加审核,是不是该设更多条件,是不是该规定 Agent 每一步怎么操作,怎么防止它理解错。
刚开始我也顺着这个方向想。
后来我突然说了一句话。
如果这个 Agent 老是乱来,我为什么还要用它。
说完这句,我觉得问题又变了。
这让我想到现实里的管理。
假设你招了一个能力很强的助理。
你找他的原因,本来就是希望他能理解你的意思、自己查资料、分析问题,然后把事情办好。
你跟他说,这批货应该快到了,你帮我看看什么情况。
正常来说,你希望他自己去找资料,看看约定的时间,核对现在的进度,发现异常再告诉你。
但如果你的管理方式变成这样。第一步,只允许打开这个表。第二步,只允许看这几个字段。第三步,必须按我规定的方法算。第四步,必须调指定的工具。第五步,遇到任何变化都不许判断,先回来问我。第六步,输出还必须按固定格式。
这样当然安全。
可你为什么还需要一个能力很强的助理。找一个只会按 SOP 操作的人不就行了吗。
我们设计 Agent 的时候,也很容易犯同样的毛病。
一边希望 AI 越来越聪明,能听懂人话,能推理,能自己找信息,能调工具解决问题。
一边又真的把它放进业务里就开始怕。它会不会理解错,会不会选错工具,会不会走错流程。
于是给它加越来越多的限制。
最后,我们花了很大的力气让 AI 学会思考,又花了更大的力气,确保它永远不用自己思考。
当然,这不是说 Agent 可以随便干。
就像管一个有能力的人,也不是你自己看着办五个字就完了。
真正重要的是边界。
哪些事你有权限做,哪些事不能做,哪些数据不能被破坏,什么结果是绝对不能接受的。
这些要非常清楚。
放到 AI 系统里也一样。不存在的东西不能凭空记下来。明显不合法的数据不能收。没有权限的事不能做。一次操作不能把数据搞得前后矛盾。
这些都是程序该守住的底线。
但在这些边界以内,怎么查,怎么算,怎么组合信息,怎么理解我的问题,怎么给出结果,我为什么不能让 Agent 自己决定。
所以我越来越觉得,管 Agent 和管一个真正有能力的人有点像。边界要清楚,但别把方法规定死。
以前我们做软件,所谓控制,往往意味着把流程设计得越来越细,把条件规定得越来越多,把每一种情况提前想好。
因为软件本身没有理解能力,你不提前告诉它,它就不知道怎么办。
面对 Agent,控制这个词可能需要换个理解。
真正的控制也许是把不能越过的边界划出来,然后允许能力在边界之内发挥,而不是把每一步都规定好。
这跟管人是一个道理。
一个好的管理者,不会因为怕一个成熟员工犯错,就把他的每一步动作全写死。
更合理的做法通常是,目标清楚,权限清楚,责任清楚,红线清楚,然后给他足够的空间,把事情做完。
Agent 也一样。
边界我来划,边界以内怎么完成任务,尽量让它自己解决。
这里我想回头说一句,这个错误其实不是从加限制开始的。
它从更早的地方就埋下了。
我一开始做这套系统的时候,想法是让 Agent 自己去查、去算、去判断。可一旦真的用起来,我发现自己总在干一件事。
担心。
担心它算错,担心它走偏,担心它把我三个月的数据搞乱。
于是每担心一次,我就加一条限制。限制越加越多,到最后那套东西已经不像我最初想要的了。
后来我才想明白一件事。
我把 Agent 当成一个会犯错的工具在管,而不是当成一个有能力的人在带。
管工具的思路是,把它的动作穷举清楚,让它没有出错的余地。
带人的思路是,告诉他什么不能碰,剩下的交给他的判断。
这两种思路,一开始的差别只是几句话,走到后面是完全不同的两个系统。
这套东西现在还在跑。
Agent 有时候还是会把事情做偏,但偏得有限。而且回头看,那些偏差大多出在我没把边界划清楚的地方,不是它能力不够。
这让我踏实了不少。
以前我总觉得,把 AI 用在业务里,最难的是让它别乱来。
现在我觉得,最难的是忍住不去管它每一步怎么做。
就像一个真正有能力的助理。
你需要给他边界,但不应该把他的每一步都规定死。
否则你得到的不是一个更有能力的助理,只是一个更昂贵的操作员。
边界我来规定。
边界以内怎么完成任务,留给它。
毕竟我请的是助理,不是操作员。
深变量
看见表象,理解规律。