08|GAIA:AI 助手能把现实任务做对吗?

原文信息

文章名： GAIA: a benchmark for General AI Assistants

主要作者： Grégoire Mialon 、 Clémentine Fourrier 、 Craig Swift 等

年份： 2024

会议/期刊： ICLR 2024

arXiv DOI ： 10.48550/arXiv.2311.12983

你把一家快餐连锁店的 Excel 销售记录交给 AI ，问：“不算饮料，食物销售额一共是多少？保留两位小数。”

这不需要高深知识，助手却要真正打开文件，弄清哪些列属于食物，排除饮料，正确求和，再按要求提交答案。漏掉某一列，或把汽水算进去，都可能得到一段流畅却错误的回答。

GAIA 关注人能理解、也能借助工具完成的现实任务，让难点来自准确连接获取信息、理解信息和处理信息的过程。一句合理解释，或者一段看起来能用的代码，都不能代替正确结果。

这是一篇评测论文。作者构造 466 道问题，允许助手使用不同工具与解题路径，最后用简短、明确的事实答案判分。它想回答：大模型已经能解不少专业知识题时，能否也可靠地完成日常的信息处理？

下面按论文的问题、设计、题库、构建方法与实验顺序展开。本文依据 2023 年 arXiv v1，共 24 页。所有模型与插件成绩属于这一历史版本，不代表当前排行榜，原文入口在文末。

1 为什么还需要一种新的助手评测？

知道答案，与把答案找出来，是不同的能力

论文从一个反差出发：当时的大模型在一些专业考试中已表现出色，却仍会在普通人能完成的信息查找与处理上失败。

专业知识题可以主要检查模型是否知道概念、能否根据题干推理。现实助手任务还要求找到题干没有直接给出的信息：打开网页，定位记录，读取图片或表格，再连接不同来源的线索。某一步认错对象、漏掉条件或算错数，最终答案就会出错。

作者因此选择：保持任务概念容易理解，让困难来自准确完成一连串操作。题目可以耗时、步骤较多，却不应主要依赖少数专家才懂的知识。这将评测指向“助手能否帮我办好这件事”。

为什么已有工具和 agent 评测还不够？

作者在相关工作中讨论，当时一些评测给出固定 API 、封闭环境或特定任务。 API 是供程序调用的工具接口；固定接口便于控制条件，也可能使分数更多反映系统是否熟悉这些接口。 GAIA 希望接触开放网页与真实文件，并允许系统自行选择获取答案的方法。

另一方面，让人判断长回答是否“好”既耗时，也可能涉及表达偏好；让另一个大模型评分，则依赖评审模型的判断质量。

GAIA 的办法是：解题过程可以复杂，最后答案保持短且明确，便于自动检查。开放世界丰富了证据来源，也增加网页变化和访问失败的不确定性，后文将看到它带来的出题与维护成本。

2 怎样把现实问题变成可以判分的题目？

输入可以复杂，答案要明确

一道题的输入是自然语言问题，部分题还附有图片、电子表格、音频等文件。助手理解目标、自行组织步骤，最后提交一个数字、几个词，或按要求排列的列表。

图 1 ｜三个难度级别的完整例题。上部是网页记录查询，中部结合标签图片与规则检索，下部连续追踪历史图片中的人物与事实。整图保留问题、附图、标准答案和原图注；级别的含义在后文解释。

第一题要求找到美国国立卫生研究院（ NIH ）网站上一项指定时间范围的临床试验，读取实际入组人数。原图标准答案为 90。它考察查对记录和字段，不要求助手作医学判断。

第二题给出冰淇淋标签，要求与 Wikipedia 在 2020 年记载的美国乳脂标准比较。系统需要读懂图像、查到指定规则，再计算。原图答案为 +4.6，正号表示高于所指定标准。图像提供了必要信息，却不能直接替代检索和计算。

第三题从 NASA 2006 年 1 月 21 日的每日天文图片出发：确定看起来较小的宇航员，找到其所属宇航员组，再按截至 2023 年 8 月的条件比较组员太空停留时间，排除从未飞入太空的人，返回符合条件者的姓氏与分钟数。原图答案为 White; 5876。

这道题文字长，是因为对象、截止日期、排除条件和输出格式都需要限定，否则答案可能不唯一。三个例子都说明：前一步找到的对象，决定后一步要查什么。最终答案短，不代表获得它的过程短。

四项设计原则怎样服务这种任务？

第一，问题贴近现实、概念上容易理解。查记录、汇总销售额、结合图片与网页作答，都有可解释的助手用途。

第二，题量适中并经过人工整理。问题本身和参考轨迹便于读者理解系统做了什么，不只看到无法解释的总分；参考轨迹可以辅助分析，当前版本却不直接给轨迹评分。

第三，降低单纯记忆答案的收益。出题尽量组合多个来源，避免最终答案能从现成一段网页文字直接复制。它是减少记忆与训练污染的设计目标，不保证公开题目永远不会进入后续训练集。

第四，使用简单。将题目和必要文件交给系统，就应得到可判分的回答。 GAIA 不规定统一模块，也不要求所有助手沿人工参考路径行动。

看一个完整过程：读表、选择列、求和、提交答案

图 2 ｜销售额问题的完整轨迹。上部是系统提示，中部是任务与 Excel 附件，下部是 GPT-4 数据分析模式生成的两段代码及答案。整图保留了输入、处理与输出之间的关系。

模型先用 pandas 打开 Excel 。 pandas 是处理表格数据的 Python 库，读取后可按列访问数据。随后，它选出汉堡、热狗、沙拉、薯条与冰淇淋列，排除汽水，对所选数据求和，再保留两位小数，得到 89706.00。

这条示例中，执行工具承担文件读取与计算，模型承担理解“不要饮料”、选择列和组织调用。图没有证明模型对所有表格都能成功，却明确展示了题目条件怎样落实到真正参与计算的数据上。

为什么最终用答案匹配，而不让模型评分？

系统提示要求以 FINAL ANSWER: 提交最终答案，并说明数字、字符串和列表的格式。评测采用 zero-shot ，零样本提问：不提供示范题与答案，但可以提供格式说明，也允许使用工具。

判分使用 quasi exact match ，按答案类型规范化后的准精确匹配。它排除部分不影响答案的表达格式差别，再与标准答案比较。具体题仍可能要求小数位、排序等条件；规范化不意味着近似数字或任意列表顺序都算正确。

一道题必须得到正确最终答案才算成功，前几步看起来合理不会单独加分。这样不需要评审模型判断回答好不好，但也留下边界：它检查结果，不直接检查得到结果的路径。答错时无法仅凭分数定位错误模块，答对也不能单凭分数证明所有推理与证据使用都可靠。

3 466 道题究竟在考什么？

能力要组合，标签来自人工参考解法

图 3 ｜左侧统计参考解法涉及的能力，右侧将题放到步骤数与工具种类数构成的平面上。右图同一位置的点越大，对应题目越多；重合时仅显示题数最多的级别。左右面板、坐标、图例和图注均完整保留。

网页浏览涉及 355 题，编码或计算涉及 154 题，多模态理解涉及 138 题，多种文件格式读取涉及 129 题。多模态包括图片、音频、视频等非纯文本信息；文件读取包括 PDF 、电子表格等格式。另有 32 题归入 N/A ，即参考解法不需要这些额外能力类别。

标签会重叠，一道题可以同时浏览、识图和计算，因此不能将各类数量相加当作总题数。

标签描述的还是标注者采用的解法。模型可能记住中间事实，也可能换一种方式读取文件，实际路径不必相同。没有浏览工具的模型偶尔答对“浏览类题目”，并不证明它进行了浏览。

三个级别，是行动复杂度的粗略划分

作者根据人工参考解法中的步骤数与工具种类数，将题目分为：

这不是严格上限。不同人记录步骤的方法可能不同；复杂网页导航会使少于十步的题进入 Level 3 。原文 Table 1 甚至将八步的查询示例列为 Level 1 。因此，级别用于区分总体复杂度，不能将其读成硬性规则。

三个级别分别有 146 、 245 、 75 题，共 466 题。发布时，166 道开发题提供答案与标注，另外 300 道评测题公开题目、保留答案，用于排行榜判分。 300 道题的题目本身并非隐藏。

“通用助手”在这个版本中覆盖到哪里？

题目允许开放网页检索和多种文件处理，但主要围绕获取、组合信息并回答问题。本版没有要求上传文件、发表评论或预约会议等改变外部状态的操作。

读取预约信息并回答，与真正完成预约，仍是两类任务。 GAIA 的多样性来自信息来源与能力组合；更完整的现实行动能力需要其他评测补充。这也解释了它为何能将交付物限制为短答案。

4 答案容易检查，题目为什么难以编写？

唯一答案需要人工反复确认

自动判分依赖一个前提：标准答案确实唯一。作者先提供示例，标注者基于可信网页、所附文件或自包含问题编写新题，同时提供答案，记录步骤、工具和耗时。

两名新的标注者随后独立作答。都与原答案一致，问题便得到直接验证；有分歧时，要区分是作答错误还是题目歧义。能修正的题修正，无法合理消除歧义的题移除。

作者估计，一道题连同两名验证者检查和可能的修订，约需要 两个标注者小时，即累计人力时间。

表 3 ｜新增题验证批次的完整统计。上部是答案一致情况，中部是有效题比例，下部是人类参考成绩；表注给出有效题与人类分数的定义，全部行和脚注均保留。

这一批有 623 道新编题、 1,246 次独立验证标注。55% 的题得到两位新验证者与出题者完全一致的答案；按表注口径，68% 是有效题，也包含一位验证者正确、另一位发生作答错误的情形。其余需要修订或移除。

直觉上答案明确的题，也可能藏着日期、对象或范围歧义。让判分简单，是将大量工作提前放到出题与验证阶段。这里是新增题验证批次的统计，最终题库是 466 题；论文未将两者定义成直接的筛选前后关系，不能写成“623 题筛成 466 题”。

开放网页让维护成为评测的一部分

如果题目引用 Wikipedia 却不限定时间或版本，网页更新后可能出现另一个合理答案。因此，题目会指定来源、日期或截至时间，并尽量选择可长期保留的证据；作者也检查相关网页是否限制机器人访问。

这些做法降低了变化风险，不能消除网页消失、内容更新或答案被模型记忆的可能性。论文讨论持续移除失效题、补充新题的必要性。对开放网页基准而言，同一道题是否仍具有相同可解性，本身就需要长期维护。

5 实验：工具有帮助，可靠完成任务仍很难

先看各个系统具备什么条件

论文比较 GPT-4 、 GPT-4 Turbo 、以 GPT-4 为后端的 AutoGPT ，以及带插件的 GPT-4 。 AutoGPT 是能自行选择和调用工具的 agent 系统；人类标注者和简单网页搜索作为另外两种参考。

插件组由人帮助选择工具。作者先读题，再选择高级数据分析模式，或最多三个第三方插件，常用功能包括链接读取、网页浏览与计算。论文称其为 oracle estimate：人工帮助挑选合适工具时，对系统潜力的一种估计。

它不等于完全自主助手，也不是严格保证的性能上界。插件经常变化或消失，没有稳定接口可完整重做这组实验。

搜索引擎基线将整道问题输入搜索引擎，由人查看第一页结果是否能推得答案。它衡量简单搜索的覆盖能力，没有模拟持续查阅多来源的完整过程。

常被引用的“人类 92%”，是新验证者在有效题上的正确回答比例。他们参与题目验证，可以使用工具；这个参考不是随机抽取公众、与模型在完全相同资源条件下进行的统一竞赛。

工具提高成绩，但长任务留下很大差距

表 4 ｜完整基线成绩与时间。左半部分是三个级别的答题成功率，右半部分是平均时间，单位为分钟；各行是系统，题数行合计 466 。表注说明人工插件选择、人类分数和 API 时间采样方式。

Level 1 中， GPT-4 为 9.1%，人工选择插件后为 30.3%； Level 2 则从 2.6% 变为 9.7%。工具可以补上网页与文件获取环节，也能将计算交给执行环境。这些结果支持工具增强在所测条件下更容易得到正确答案。

不过，工具选择方式与系统条件同时变化。这不是将其他因素完全固定的单因素消融，不能从差值计算某个插件独立带来的增益。

Level 3 中，所测模型系统全部为 0%，人类参考为 87.3%；人类 Level 1 、 Level 2 分别为 93.9% 和 91.8%。摘要将插件组总体成绩概括为约 15%。

这说明当时的系统接入工具后仍难以完整解决复杂任务。长链需要多次选对对象、保留条件和整合反馈，关键一步失败就可能使答案错误。但主表没有分别控制这些因素，不能只凭总分断言主要瓶颈是规划、视觉、检索或计算中的哪一个。

为什么自动调用工具仍会失败？

AutoGPT 在 Level 1 为 14.4%，高于表中纯 GPT-4 的 9.1%； Level 2 为 0.4%， Level 3 为 0%。前两个级别平均时间分别 7.6 、 11.7 分钟，也比表中其他模型系统报告的时间长。

自主调用工具仍要求正确选工具、生成有效输入、读反馈、决定何时停止。工具变多，并不自动保证这些决策连在一起是正确的。作者提出提示方式和生成参数可能影响表现，但未报告将这些因素逐个控制的消融。

该版本正文有一句称 AutoGPT 在 Level 1 也弱于无插件 GPT-4 ，与 Table 4 数字不一致。这里依据主表：它在 Level 1 的分数更高，却没有在较复杂任务上保持这种表现。

具体案例告诉我们，分数背后发生了什么

附录 Fig.9 问一篇论文描述的越南标本最终存放在哪个城市。纯 GPT-4 表示不能浏览，没给出城市；接入浏览后，模型找到馆藏记录，回答 Saint Petersburg ，圣彼得堡。工具补上了证据获取环节，但一个成功例子不能解释所有失败。

Fig.10 要求辨认电影《金手指》结尾一件物体的颜色。模型先搜索结尾场景，再细化到降落伞颜色，答出橙色和白色。新信息改变了下一次查询的目标，而非一次搜索后直接结束。

论文没有控制实验测量查询细化的独立贡献；作者还注明，旧浏览插件的这条轨迹无法在新版本上重现。这既展示工具的潜力，也具体说明插件变动怎样影响复现。

Fig.11 则是一道魔方谜题。题目给出已找到哪些小方块的条件，要求判断缺失边块的两种颜色。 GPT-4 写出逐条分析，却回答 red, yellow，标准答案是 green, white。清楚的推理文本仍可能得到错误结果，工具较少的题也未必容易。

时间和重复运行能说明多少？

有直接 API 时，作者运行三次并报告均值；表中 ± 没有说明具体统计量，不能据此声称差异显著。 API 时间只在 20 道题上于某一时间点采样，表注明确不用于比较 GPT-4 和 Turbo 谁通常更快。

人类三级平均用时为 6.8 、 10.5 、 17.7 分钟，说明题目对人也有真实的查阅与操作负担。表中 N.A. 表示没有给出该时间值。

本版未报告统一 token 、动作或重试预算、具体 GPT 快照 ID 和美元成本；闭源模型和插件还会变化。因此，这些结果能够显示当时的能力差距，却不足以给出严格等预算的效率排名或完整复现条件。

6 怎样理解 GAIA 的成绩，才不会超出证据？

整体判分方便比较，也留下诊断盲区

GAIA 评估整个助手是否答对。视觉识别出错、网页检索没找到证据、整合条件时出错，最终都可能表现为同一个失败。不同架构能参加共同评测，但只看总分无法区分各模块责任。

作者将轨迹评分留给后续工作。实际使用还可能关心来源可信度、行动安全和效率，这些不能由短答案匹配单独证明。

为唯一答案，真实需求被写得更明确

现实用户可能只说“帮我看看文件”或“找个合适方案”，需要助手追问、引用来源并处理分歧。 GAIA 倾向于把条件写足，以得到唯一、可自动核对的答案。

这种取舍让评分明确，也限定覆盖范围。高分能够支持系统善于处理这里的事实任务；需求含糊、有多个合理答案或需要判断证据可信度时，还需要其他评价。作者在局限部分承认这些问题尚未解决。

有限英语题库，不能单独证明通用智能

本版全部问题使用英语，很多证据来自英语网页；附录记载标注者均居住在美国。它没有验证不同语言、文化和表达方式下具有相同效果。

作者将可靠解决 GAIA 视为迈向通用 AI 的重要里程碑。这是一个研究目标：希望信息处理具有接近人类的稳健性。有限英语任务的成绩，仍不足以单独证明所有场景中的通用智能。

7 回到销售表格：怎样才算真正帮上忙？

对一个好用的助手而言，读文件、排除饮料、正确求和、按要求回答，需要组成可靠过程。 GAIA 将这类容易理解的需求整理成任务，再用明确答案检查结果。

论文完成了三件连接在一起的工作：构造含网页、文件与多模态信息的 466 道题，提出人工出题与验证方法，通过历史基线展示工具增强的收益，以及当时仍很大的能力差距。

最值得记住的是：复杂性可以放在获得答案的过程，判分保持明确。这让 GAIA 能比较不同助手的整体结果，也提醒我们尊重边界：事实答案做对，是重要能力；过程是否可信、更广泛的行动能否完成、不同人群能否受益，还需要继续评测。

本文解读 GAIA: a benchmark for General AI Assistants，依据 2023 年 arXiv v1 （ 24 页），未将 ICLR 2024 正式版或当前排行榜混入历史实验。图表与实验结果均引自所读版本。