AI助手要考一场“生活考试”

AI能把做饭步骤说得头头是道，但如果你拿错了食材、忘了关门，或者把刚才的东西移到了别处，它还能跟上吗？Meta相关研究项目InteractiveWorld尝试把这些问题放进一个三维模拟环境里，测试AI能不能在持续变化的场景中帮助人完成任务。
官方代码库介绍，这个系统包含44个家庭及其他场景，配套评测有120项任务。一个模型担任助手，通过人的第一视角和对话了解情况；另一个模型扮演人，听取建议并在环境中行动。动作改变场景，助手再观察下一步。最后是否成功，要检查环境中的实际状态，而不只看回答听起来是否合理。项目代码库
大白话说，就是把“答一道题”换成“陪人把事情做完”。比如你问一道菜怎么做，普通聊天可以一次给出完整菜谱；现场协助则需要知道你已经完成哪一步、眼前有什么、现在该提醒什么。过早给出一大段指令，可能让人记不住；一直重复提醒，又会影响操作。这种来回配合，正是它想研究的能力。
评测文档把任务分成六类，涉及步骤指导、有限时间和资源下的计划、无障碍协助、决策、预防错误和寻找物品。其中的具体例子包括依照食谱做菜、按热量预算选零食，以及记住一罐饮料被移动到了哪里。寻找东西考的是记忆与位置变化，预防错误还要求助手避免无谓打断。评测文档
可以用一个日常情景理解它的价值：假设你边收拾屋子边找钥匙，助手不仅要认出画面里出现过钥匙，还要记住你后来把它放进了抽屉。只会描述当前画面，可能答不上来；能串起前后过程，才有机会给出有用提示。这个钥匙情景是解释性的例子，不是此处声称已经测过的项目案例。
它也提醒我们，未来评估随身AI助手，不能只问识别准不准、回答快不快，还应该看它是否记得上下文、是否理解人的进度、是否在恰当的时候开口。一个频繁打断你的助手，即使每句话都没错，也可能很难长期使用。
不过，这仍然是模拟研究。扮演人的模型有自己的行为方式，三维环境也有预设规则，不能完整复制真实人的犹豫、误解、临时变卦以及复杂家庭环境。因此，模拟任务完成得好，不等于现实中的可靠性已经得到证明，更不能把项目截图理解成新款AI眼镜的现场演示。
这次值得关注的是测试方法向前走了一步：让助手接受行动结果的检验，而不只接受语言表达的检验。我们最终需要的，也是能在真实过程中帮上忙的工具，而不只是一个很会讲解的旁观者。