
上一个话题讲“智能体和聊天机器人差在哪”,留了一个钩子:判断一个工具是不是真智能体,第三条最容易被忽略,也最重要——该停的时候,它会不会停。
这次单独聊聊这一条。
先看三个跟AI无关的例子
“什么时候该停下来问人”,不是AI才有的问题,是所有自动化系统都要回答的问题。
飞机的自动驾驶仪,能替飞行员维持航向、高度、速度,一飞几个小时人可以松开操纵杆。但遇到复杂天气、系统故障、进近着陆这些关键节点,规程会要求飞行员必须接管。自动驾驶仪从不追求“全程不用人”,它追求的是“该我来的时候我来,该你来的时候立刻交给你”。
银行的大额转账,几千块钱的日常支付,系统自动放行,不用你多想。但一旦超过某个额度,或者是一个从没转过账的新收款人,系统会立刻多问一句:这真的是你本人操作吗?金额越大、账户越陌生,多问一句的成本,远低于转错一次的代价。
外科手术机器人,能让医生的手部动作被放大、被稳定,完成人手很难做到的精细操作。但每一刀落在哪里、切不切,决定权始终在医生手里,机器人绝不会自己往前推一毫米。
这三个例子行业完全不同,但设计思路是同一句话:系统能做的事情很多,但总有一些节点,必须停下来,把决定权交还给人。AI工具也是同一个道理,只是这个原则常常被“全自动”“一键搞定”这类宣传语盖过去了。
两种失败设计,好设计在中间
一个AI工具如果完全不设停下来的节点,看起来最“智能”,用起来却最危险——它会把所有决定都自己做完,直到出了大问题,你才发现某个环节早就错了,而且错了很久都没人看见。
反过来,如果每一步都弹窗问你确认,你会发现自己其实在把整个任务重新做一遍——它替你干的活,还不够你点确认按钮花的时间多。这种工具用不了几天就会被放弃。
真正好用的AI工具,落在这两种失败设计的中间。

关口应该设在哪:三个问题
不是每一步都需要停下来问人,那样和不用AI没区别。关口应该出现在少数几个真正要紧的地方。判断一个动作要不要设关口,可以问自己三个问题:
第一,做错了能不能撤回? 起草一封邮件和发出一封邮件,风险完全不是一个量级。同样,AI在草稿里试探性地写一句结论,和这句结论被直接写进提交给法院的正式文书,也完全不是一回事。可撤回的地方,可以让AI放手去做;不可撤回的地方,必须停。
第二,这是在陈述事实,还是在下判断? “这份文件第4页提到了这笔款项”是事实,AI查得到就能直接说。“这一条证据对我方有利”是判断,同一份材料,不同的诉讼策略下结论可能完全相反——这种判断,AI可以给建议,但不该替你拍板。
第三,这是不是一个没见过的新情况? 按老框架处理得很顺的事情,AI大概率不会出错;一旦遇到框架里没有、系统自己也拿不准的新模式,恰恰是最容易出错、也最需要人看一眼的地方。

停下来,不等于慢下来
有人担心,关口设多了,AI就变慢了,等于白用。
其实不是这样。一个设计好的关口,只在真正需要的地方短暂停留——大部分工作依然是AI自己跑完的,人只在少数几个关键节点上点头或者摇头,比从头到尾自己做,还是快得多。关口拖慢的不是效率,是那种“AI说了算、出了事没人负责”的风险。
这也是为什么“该不该停”,比“聪不聪明”更能看出一个AI工具的成色。两个工具背后可能是同一个模型,但一个把所有节点都当自己的事在扛,另一个知道哪几步必须交给人——用起来的信任感,完全是两回事。
下次评估一个AI工具,除了问它“能干什么”,不妨也问一句:它在哪些地方,会主动停下来找你确认? 答不出这个问题的工具,多半是把所有风险都悄悄转嫁给了你。
感兴趣的话,欢迎联系我们,约一次基于您真实案卷的演示。
夜雨聆风