LifeVal测个人助手:AI用上旧聊天里的信息了吗?

研究者把完成任务所需的一些个人信息，从任务说明里搬进旧聊天。信息没有删，模型的成绩却明显下降，降幅与直接删掉这些信息差不多。

这是OpenAI的Jenny Yang等人在11月4日提交的LifeVal论文中做的一次对照。论文题目可译为《LifeVal：评估AI处理个性化生活事务的表现》。它用169项生活任务测试个人助手；比起总分，这个对照更值得细看：用户以前说过的话，助手这次办事时究竟用上了没有？

题目里有一个具体的人

“晚饭吃什么”很主观。如果知道一个人喜欢什么、最近吃过什么，合适的答案就会少一些。论文用这个例子解释，个人偏好并不意味着无法评分，前提是评测者知道哪些细节会影响这个人的选择。

LifeVal请任务作者从自己的生活事务出题，覆盖照护、健康、教育、家庭管理等领域。作者提供ChatGPT历史、存储记忆、参考文件，以及其他必要信息，再写下什么结果才算完成。研究团队核查作者的相关经验；题目经过至少三轮人工复核，也有模型参与找问题、提修改，最后由人决定是否采纳。

这些历史来自同意分享数据的参与者，并经过去标识化处理。评测时，模型可查看他们导出的聊天记录，不包括已归档或删除的对话。它还拿到任务环境，可以操作相应界面，并通过浏览器访问离线网页。

这种设置的价值，在于能检查一份建议是否适合出题的人，以及该办的事有没有办完。它仍是研究环境，不能当作助手已能在真实网站替所有用户办事的证明。

信息放进旧聊天，模型更难用上

论文附录B比较了四种条件：保留原始资料；移除历史聊天和存储记忆；移除额外任务信息；把额外任务信息人工插入历史聊天，而不再直接提供。

研究者使用同一个模型，在各条件下比较不同的推理投入。直接移除额外任务信息，各档成绩都明显下降；移除历史和存储记忆，影响小得多。把额外信息插入聊天后，下降幅度又与移除它们大致相当。

完成这批任务所需的许多个人信息，本来就在额外任务说明里。这能解释为什么删历史影响不大。但把原先有用的信息放进聊天后，模型没有同样有效地找到并利用它们。

存储空间解决的是资料还在不在；这次对照暴露的是，当前任务能否把相关资料找出来、用起来。

不过，论文没有据此比较所有记忆方案。它测试的是特定模型与任务设置，也没有在这段分析中明确标出模型名称。不能把结果扩成“个人助手都不会用历史”，更不能由此宣布某种检索架构无效。

得了满分，也要看看信息从哪来

作者还做了一步容易被总分掩盖的检查。

编写评分标准时，任务作者标注了每项要求所需信息的来源。研究者挑出那些被标为“只依赖历史聊天”、而模型得了满分的评分项，回看对应执行记录：模型有没有访问聊天，找到相关事实，并正确使用？

在这些接受回查的满分项里，每一项所需信息也能从任务的其他地方取得，或者仅凭聊天标题推断出来。因此，这些满分项不能证明模型找回了聊天正文中的事实。

这不意味着答案不该得分。只要信息正确、任务完成，通过其他途径找到答案也合理。问题在于，一次任务成功和一次历史检索成功，是两种证据。

论文也观察到模型搜索聊天，包括没有成功的尝试，搜索往往依赖关键词和主题线索。这批满分项的发现，既不能改写成“模型从不搜历史”，也不能证明所有成功都是碰巧。

我的判断是，要验证“助手会记得我”，测试题就得让某条旧信息真正影响结果，并排查它是否已在当前说明里重复出现。否则，成绩提高了，仍不知道历史检索究竟贡献了多少。

答案之外，还要核对办成了什么

LifeVal的另一处设计值得保留：评分器不仅看最终回复，还拿到模型生成的文件、产物，以及任务环境从开始到结束的后台状态差异。声称创建了文件，要确认文件存在；涉及操作，要按实际完成的动作给分。

打个比方，若要测试助手替人预约，仅仅回复“已经安排好”显然不够。预约是否存在、时间是否符合用户要求，分别需要结果证据和个人信息来判断。

评分本身仍主要由模型完成。论文用17名人工评审，对30次GPT-5.5任务执行结果作了对照，平均分接近，相关性也较高；这个抽样不等于所有任务、所有模型都经人工验收。评测的网页缓存也未完全冻结，跨次运行可能变化。

对用户来说，免去重复交代才是记忆功能的价值。如果每次办事前，仍得把旧聊天里的关键要求重新抄进任务说明，历史记录保存得再完整，这部分解释工作也还没有省下来。

延伸阅读