夜雨聆风学习资料网

ARTICLE · 1123074

AI很会办事,为什么办完你还是不满意?

AI很会办事,为什么办完你还是不满意?

设想你让AI安排一个轻松的周末。它很快列好路线,把时间衔接得严丝合缝,还找到一家评分很高的餐厅。等你看完,却觉得一整天都在赶路。你说的“轻松”,原来是少做安排;它理解的“轻松”,却是替你做好所有安排。

这里没有明显的操作错误。真正的分歧,发生在第一步:它以为什么样的结果,才算帮到了你。

这类问题值得单独看待。一个助手能否找到信息、调用工具、完成流程,和它能否把握一个人的取舍,需要分别检验。Anthropic最近的一场换书实验,就把这两件事拆开了。

▍换到书之前先猜懂人

2026年9月24日发布的Project Swap让201名Anthropic员工委托Claude换书。代理根据简短访谈猜测偏好,再参与交易;另收集个人排序供评估,交易代理看不到。纳入偏好比较的188人中,Claude与本人对书籍两两先后顺序的一致率为61%,随机基线为50%。

61%很容易被误读成“六成人得到了满意的书”。它实际回答的是:两本书放在一起,AI和本人是否把同一本排在前面。这个指标离一次完整的委托还隔着好几步。

想象你平时爱看商业传记,最近却只想找一本睡前读的短篇小说。一个记住了“喜欢商业”的助手,完全可能推荐出一本口碑很好、也符合长期兴趣的厚书。它掌握的信息并非全错,只是这次最重要的条件没有排到前面。

因此,偏好不宜被压缩成几个固定标签。要理解这次委托,还得知道哪些要求只是加分项,哪些条件一旦不满足,整个结果就失去了意义。

▍差距出现在交易之前

研究的分解显示,按人的偏好计分,最优分配为0.89;按Claude猜测做最优分配,再用人的偏好评分,为0.60;80次中性指令重跑的交易结果为0.55。前一段0.29约占总差距的85%。

图中得分是排序的线性换算,首选为1、末选为0,按188名提交排序者平均;未亲自排序的书采用估算得分。它不等于满意率。来源:Project Swap图4及脚注14。

这个拆法很有启发:如果助手拿着一份有偏差的愿望清单出发,即使后面的安排已做到最好,交回来的东西仍可能不合心意。只盯着执行速度和完成率,很容易漏掉这个上限。

但85%也不能变成“AI失败有85%是因为不懂你”。它只描述这套换书实验里的特定差距。样本来自公司员工,交易参与者都是Claude,个人排序也可能有噪声。这样的受控实验,还不足以替现实中的各类代理下结论。

对日常使用更有用的问题是:这次不满意,究竟是哪一项取舍被理解错了?假如答案是“它不知道我宁愿少去两个地方,也想留出空闲”,单纯要求它再快一点、再认真一点,恐怕仍会得到相似的安排。

▍把取舍提前说出来

以下是对日常使用的推演,效果未经这项实验验证。

先补上会改变选择的背景。与其把“帮我安排一天”扩写成很长的要求,不如告诉助手:“这周很累,只安排一项主要活动,路上少折腾。”这句话让它知道,少排内容也可能是成功。背景的作用,是帮助它处理冲突,而非堆积更多关于你的资料。

再给一个能比较的例子。让AI先列两个方案,并说明各自放弃了什么:一个内容多但需要换乘,一个活动少却能从容停留。看到具体取舍后,你可能更容易表达自己要哪一个。也可能发现,原本没说出口的条件,才是最终决定。

这种校准不需要覆盖所有候选项。最值得拿出来比较的,是会把结果带向不同方向的选择。一天排几项活动,比每个地点停留四十分钟还是四十五分钟,更适合先确认。

还要说明授权的边界。“帮我做选择”里面,可以包含筛选、排序、形成草案,也可能包含直接执行。如果偏好还没校准,就让它一路代办到底,理解偏差会更晚才暴露。对于需要付费、对外承诺或难以撤回的步骤,把决定保留到看过具体方案之后,会更容易纠正。

交付后的反馈也可以更具体。“我愿意少看一个展,也不想为了午饭跨城区”,比“这个安排不行”更清楚地说明了该如何重新排序。下次任务里,这个取舍是否仍然成立,也值得再确认。

▍产品该怎样证明它懂你

这也给AI助手的产品设计留下一道实际问题。执行记录可以显示搜索了哪些页面、完成多少步骤、花了多久,却未必解释它为什么选择这个结果。

一个值得试验的界面,是在行动前展示最影响选择的几条理解:“今天优先少走路”“可以接受少看一个景点”“晚饭时间不能推迟”。用户只需纠正真正影响结果的地方。之后再看,修改有没有减少返工,确认过程又多花了多少时间。

这样的设计也要克制。如果每次小任务都变成一份漫长问卷,委托就失去了省心的价值。哪些偏好可以沿用,哪些需要结合当下情况重问,应该由实际任务的反馈来决定,不能仅凭一次顺利交付就默认永久有效。

下次AI交来的方案让你觉得“做得很完整,却不是我想要的”,可以先找出它替你做了哪一个错误的取舍。把那一步说清楚,往往比再补一句“请充分理解我的需求”,更接近一个能修改的问题。

相关学习资料