夜雨聆风一、FutureSim：Agent 评测引入真实事件时间回放
链接：https://arxiv.org/abs/2605.15188
1. FutureSim 面向动态开放环境中的 AI agents，提出用真实世界事件按发生顺序回放，评测 Agent 在新信息不断到来时的适应能力。
2. 基准让前沿 Agent 在原生 harness 中预测 2026 年 1 月至 3 月的世界事件，并随时间接收真实新闻和问题结果；最优 Agent 准确率为 25%，许多系统的 Brier skill score 低于不做预测。
3. 这类设计把长期适应、搜索、记忆和不确定性推理放进同一时间线，比静态问答更接近真实 Agent 在开放场景中的能力边界。
二、MemEye：多模态 Agent 记忆评测强调视觉证据保真
链接：https://arxiv.org/abs/2605.15128
1. MemEye 指出现有长期 Agent 记忆评测常可用 caption 或文本轨迹绕过细粒度视觉证据，难以判断系统是否真正保存了后续推理所需的视觉信息。
2. 框架从 decisive visual evidence 的粒度和证据使用方式两个维度构建评测，并在 8 类生活场景任务中加入 answerability、shortcut resistance、visual necessity 和 reasoning structure 验证门。
3. 对 13 种记忆方法和 4 个 VLM 后端的评测显示，当前架构仍难保留细粒度视觉细节并追踪状态变化，说明多模态 Agent 记忆需要更强的证据路由和时序跟踪。
三、语音工具调用：文本基准可迁移为可验证音频评测
链接：https://arxiv.org/abs/2605.15104
1. 这项工作关注 voice agents 的工具调用可靠性，提出把已有可验证文本 benchmark 转成音频评测，而不重新标注工具 schema 与 gold labels。
2. 框架通过 TTS、说话人变化和环境噪声生成配对 text-audio 实例，并在 Confetti 与 When2Call 的音频版本上评测 7 个 omni-modal models；Gemini-3.1-Flash-Live 在 Confetti 得分最高，GPT-Realtime-1.5 在 When2Call 最优。
3. 论文还报告 text-to-voice gap、歧义重写压力测试和 reference-free LLM-as-judge 协议，显示语音 Agent 评测可先从可复现、可核验的文本基准迁移开始。
四、TRAIL 评测：Agent 失败诊断从结果分数走向轨迹定位
链接：https://arxiv.org/abs/2605.14865
1. 这项研究指出，当前 Agent evaluation 多停留在 outcome metric，能说明成功或失败，却难解释长轨迹中失败类型和具体位置。
2. 作者提出 top-down agent-level diagnosis 与 bottom-up span-level evaluation 结合的框架，把长 trace 分解为独立 span 评估，并为每个 verdict 生成 span-level rationales。
3. 在 TRAIL benchmark 的 GAIA 和 SWE-Bench 任务上，该方法在 category F1、localization accuracy 与 joint localization-categorization accuracy 上显著超过强基线，说明评测流程设计本身会成为 Agent 诊断瓶颈。
五、Agentic Search：检索策略必须和工具调用方式一起评测
链接：https://arxiv.org/abs/2605.15184
1. 这项研究聚焦 agentic search 中 RAG 与工具调用的交互，指出现有研究很少系统比较 retrieval strategy、agent architecture 和 tool-calling paradigm 之间的耦合。
2. 实验一在 LongMemEval 的 116 个问题样本上比较 grep 与 vector retrieval，并覆盖 Chronos、Claude Code、Codex、Gemini CLI，以及 inline tool results 和 file-based tool results 两类呈现方式。
3. 结果显示 grep 在实验一中通常高于 vector retrieval，但总分仍强烈依赖 harness 与工具结果呈现方式；这提示 Agent 检索评测不能只比较检索器，还要固定或报告执行环境。
六、Agentic GraphRAG：引用评测扩展到检索轨迹来源
链接：https://arxiv.org/abs/2605.15109
1. 论文指出 Agentic GraphRAG 中的 citation faithfulness 不只是最终引用能否支持答案，因为 Agent 在生成答案前会遍历知识图谱并受未引用节点影响。
2. 作者把引用忠实性定义为 trajectory-level 问题，并通过隔离、移除、遮蔽 cited 与 uncited graph entities 的 controlled ablation experiments 来比较影响。
3. 实验显示 cited evidence 经常是必要的，但准确答案也可能依赖未引用的 traversal context 和 surrounding graph structure，说明 GraphRAG 评测需要纳入更完整的 provenance。
七、多模态 RAG：证据检索下沉到视觉元素粒度
链接：https://arxiv.org/abs/2605.15019
1. GranuVistaVQA 针对多模态 RAG 的粗粒度检索问题，指出按整图或场景取证会和细粒度用户查询错位，导致错误难以验证。
2. 基准使用真实地标和多视角 element-level annotations，并提出 GranuRAG：先做元素级检测与分类，再做多粒度跨模态对齐检索，最后进行 attribution-constrained generation。
3. 实验中 GranuRAG 在该任务上相对六个强基线最高提升 29.2%，表明可验证多模态 RAG 需要把视觉元素作为一等检索单元。
八、Video2GUI：GUI Agent 数据生成用 grounding benchmark 验证
链接：https://arxiv.org/abs/2605.14747
1. Video2GUI 面向 GUI agents 的泛化问题，认为现有数据集依赖人工标注且领域狭窄，限制了真实应用中的交互轨迹覆盖。
2. 该框架用 coarse-to-fine filtering 从未标注互联网视频中抽取 grounded GUI interaction trajectories，并从 5 亿条视频元数据构建覆盖 1,500 多个应用和网站的 1,200 万条 WildGUI 轨迹。
3. 预训练 Qwen2.5-VL 与 Mimo-VL 后，模型在多个 GUI grounding 与 action benchmarks 上提升 5-20%，说明自动轨迹生成必须配合跨基准 grounding 评测来验证泛化收益。
九、推荐 OPE：日志策略本身成为评测误差变量
链接：https://arxiv.org/abs/2605.15108
1. 这项研究讨论 recommender system 等目标策略的 off-policy evaluation，指出评测准确性高度依赖用于收集数据的 logging policy。
2. 作者刻画 reward-coverage tradeoff：把概率集中在高回报动作可降低方差，但可能漏掉目标策略会采取的动作信号，并在已知、未知、部分已知三种信息条件下推导最优 logging policies。
3. 对推荐系统候选策略选择而言，论文把数据采集策略纳入评测设计本身，提醒离线评估误差不只来自 estimator，也来自日志覆盖是否服务于目标策略。
十、AbstractEdit：图像编辑评测拆解抽象意图与实体级评分
链接：https://arxiv.org/abs/2605.14842
1. AbstractEdit 聚焦抽象图像编辑指令，指出现有 image editing benchmarks 多评测明确字面命令，难覆盖 “mood” 等抽象意图。
2. 作者提出 Entity-Rubrics，把抽象编辑拆解为 entity-level assessments，并给出首个面向抽象图像编辑的 AbstractEdit benchmark；该框架与 human judgment 具有较强相关性。
3. 对 11 个模型的评测显示，标准架构常在 intent 与 preservation 之间失衡，实体级评测可帮助定位过度编辑、编辑不足等具体失败。
