夜雨聆风学习资料网

ARTICLE · 982555

我们总在问,AI 能不能把整件事做完

我们总在问,AI 能不能把整件事做完

前几天从宁波回广州,这趟行程需要在福州中转。前半程坐火车,后半程原本订了飞机。

临出发前看到台风的消息,我担心航班延误,又买了一张福州到广州的火车票。事后看,那趟飞机可能并没有晚点。只看结果,我多买的这张票似乎没有必要。

当时我想到一个问题:如果这次行程是 AI 帮我做的决策,我应该怎样判断它做得好不好?

假如 AI 建议我改坐火车,而飞机后来正常起飞,能说明它的建议错了吗?反过来,如果飞机真的晚点了,又能证明它很聪明吗?

好像都不能。

一次旅行决策里,有好几件不同的事:收集天气和航班信息,判断延误的可能性,比较火车与飞机的时间成本,最后决定是否换票。AI 也许只在前面两三步帮到了我,最后的选择仍然属于我。

这样拆开以后,评价方式也变了。它不必替我做完整个决定,只要让我更快看见一个风险,或者多准备一个原本没有想到的选项,这次参与就有意义。至于建议是否可靠,不能由一趟最终没有晚点的航班判分。

我们评价 AI 的工作能力时,经常把单位放得太大了。

I. 一件工作里,藏着很多不同的活

我们习惯问:“AI 能不能把这件事做完?”

一份研究报告,可以拆成寻找资料、提取事实、检查数字出处、比较观点、形成判断、写成文字和最终签发。我们把它统称为“写报告”,AI 面对的却是几种完全不同的活。

它可能擅长找资料和整理信息;到了检查关键数字时开始不稳定;面对最终判断,又很难替人负责。

如果六个步骤里有两三个能稳定做到八成,而且这些步骤原本很耗时间、错误也容易发现,几天的准备工作可能已经缩短了一大截。AI 没有做完整件事,人却少走了不少路。

百分比本身不够。如果 AI 在提取事实时留下两成不易察觉的错误,后面的判断和写作都会建在错误的地基上。人工仍要回头逐项核对,省下的时间很快又花了回去。

有没有用,要落到具体一步里看。

II. 两三成也可能先派上用场

面对空白页做创意发散,AI 给出的十个方向里只有两三个真正有启发,也可能已经值回了这次使用。原来因为时间不够而被放弃的分析,它先筛出一部分值得继续看的线索,过去不会发生的探索便有了开头。

自动付款的成功率如果只有两三成,显然是另一回事。

前者不满意可以随手丢掉,后者每一次错误都会产生真实损失。涉及付款、删除数据、对外承诺和合规留痕的步骤,即使 AI 做到八九成,也不能让它独自签发。

数字高低只是一面。这一步出错以后是否看得见,核对一遍要花多少时间,结果能不能撤回,决定了它今天值不值得交给 AI。

有些地方,两三成已经带来新的可能;换一个地方,八九成仍然不够。

III. 把“客服场景”再拆一层

企业谈 AI 场景时,常常会说客服、营销、供应链、财务。这样的分类方便画地图,真正落到工作里还是太大。

“用 AI 做客服”里面,可能包括识别问题、搜索知识库、草拟回复、判断客户情绪、决定补偿方案和发送最终答复。每一步对准确率、权限和责任的要求都不同。

让 AI 一次接管整条流程,任何一个薄弱环节都会把最终效果拖下来。整体看似做到了八成,人工为了找出剩下的错误,仍然要把整条链路重新走一遍。

拆开以后,答案会不一样。AI 也许先接住知识检索、回复草拟和问题分类,最后的判断仍然留给人。它只完成了一部分,却已经减少了不少重复劳动。

最熟悉流程的人,往往最容易看见这一级。他知道哪一步最耗时间,哪一步出错会污染后面,哪一步必须由人签字。这些边界,模型厂商看不见,一张部门级的场景地图也画不到。

“场景”最后落在工作流里边界清楚的一步。

IV. 从使用现场往上长

一份 Gartner 关于 computer-use agent 的报告给出了一个有意思的对照:微软资料称,这类 Agent 在网页任务上的成功率约为 80%,Gartner 仍认为它不适合在企业里广泛采用。

浏览公开资料、整理线索属于网页任务;付款、删除数据、处理敏感信息也属于网页任务。同一个成功率,放进不同步骤,意义完全不同。

低风险、可回退的步骤先用起来,不等于让 AI 直接进入生产核心。真正使用以后,人们才会看到它反复错在哪里,需要补什么背景,哪个位置要增加检查,什么时候必须把任务交还给人。

如果这些反馈被留下来,流程会慢慢改变。提高的未必是模型本身,而是模型、上下文、工具和人组合起来的效果。原来只有两三成能帮上忙的一步,才有机会走到五六成,甚至更高。

部署本身不会自动带来进步。没人回看错误、调整流程,使用再久也只是在重复同样的问题。

V. 回到那趟福州中转

如果由 AI 帮我规划那次行程,我现在会分别看它在每一步做了什么。

天气和航班信息找得准不准,延误概率有没有依据,火车这个备选方案是否真的降低了我在意的风险。最后由我决定,要不要为一个尚未发生的延误多买一张票。

AI 不必替我完成整个决定。它在哪一步增加了信息,在哪一步提供了新的选项,哪些判断仍然需要更多次结果来验证,这些问题比“飞机最后有没有晚点”更接近它的真实表现。

一件事拆开以后,我们不必继续等待 AI 把整件事做到满分。先看它今天能接住哪一步。

相关学习资料