科研进展|EIT-NLP课题组 工具文档不足:简单的文档扩展即可提升工具检索能力

标题： Tools are under-documented: Simple Document Expansion Boosts Tool Retrieval中文标题： 工具文档不足：简单的文档扩展即可提升工具检索能力arXiv编号： 2510.22670领域： 信息检索（Information Retrieval, cs.IR）提交日期： 2025年10月26日

📋 摘要

大型语言模型（LLM）近期在工具使用方面展现出强大的能力，然而工具检索的进展仍然受到不完整且异构的工具文档的阻碍。为应对这一挑战，我们提出了 Tool-DE——一个全新的基准与框架，通过系统性地用结构化字段丰富工具文档来实现更有效的工具检索，同时我们还提出了两个专用模型：Tool-Embed 和 Tool-Rank。我们设计了一个可扩展的文档扩展流水线，该流水线同时利用开源和闭源 LLM 以低成本生成、验证和优化丰富的工具配置文件，产出大规模语料——为基于嵌入的检索器提供 5 万实例，为重排序器提供 20 万实例。在这些数据的基础上，我们专门为工具检索开发了两个模型：密集检索器 Tool-Embed 和基于 LLM 的重排序器 Tool-Rank。在 ToolRet 和 Tool-DE 上的大量实验表明，文档扩展显著提升了检索性能，Tool-Embed 和 Tool-Rank 在两个基准上均取得了新的最先进结果。我们进一步分析了各字段对检索效果的贡献，以及文档扩展在训练和评估中的更广泛影响。总体而言，我们的发现既突显了 LLM 驱动文档扩展的前景，也指出了其局限性，将 Tool-DE 以及所提出的 Tool-Embed 和 Tool-Rank 定位为未来工具检索研究的基础。

🔍 1. 研究背景与问题

工具使用已成为大型语言模型的关键能力，使它们能够与外部工具和 API 交互以完成复杂的现实世界任务。在这一范式中，工具选择尤为关键——工具检索（即从大型工具库中识别与用户查询最相关的工具）是有效工具使用的入口。随着可用工具的数量和多样性增长到数千个 API，如何”在正确的时间检索到正确的工具”已成为一个主要瓶颈。

现有基准（如 ToolBench、ToolACE、MetaTool、ToolRet）推进了研究，但也揭示了一个根本性挑战：工具检索存在用户查询与工具文档之间持续性的语义差距。查询常常含糊不清、描述不足，或表述方式与工具的正式技术描述不一致。这种”低语义重叠”对检索模型提出了很高要求——模型必须弥合用户意图与工具功能之间的鸿沟，尤其是在面对分布外（OOD）查询时。

然而，现有方法大多绕过了文档质量差的问题，而非从根源上解决。本文作者指出，工具文档本身存在固有缺陷：缺乏标准化（同一功能在 ToolRet 数据集中有多达七种不同的表述方式）和关键信息缺失（约 41.6% 的文档缺少清晰的功能描述或使用场景指导）。这个基础数据问题为现有模型设置了性能天花板，更严重的是，它阻碍了强大、专用的工具检索器和重排序器的发展。

💡 2. 核心方法

本文提出了 Tool-DE（Tool-Document Expansion）——一个用于系统性地丰富工具文档的全新基准与框架。其核心是一个基于 LLM 的低成本文档扩展流水线，包含四个阶段：

第一阶段：扩展（Expansion）使用 Qwen3-32B 模型，将原始工具文档扩展为结构化配置文件。生成的配置包含以下字段：

• function_description
  
  （功能描述）：工具的核心功能概要
• tags
  
  （标签）：作为检索关键词的核心概念或类别
• when_to_use
  
  （使用场景）：真实的使用场景
• limitations
  
  （限制条件）：输入/输出限制或领域约束
• example_usage
  
  （使用示例）：API 调用示例

其中 function_description 和 tags 为必填字段，其余仅当文档明确支持时才生成。扩展与查询无关，严格基于工具文档本身。

第二阶段：判断（Judgement）使用 LLaMa-3.1-70B 验证扩展配置的质量。先进行基于规则的检查（确保非空且符合 JSON 格式），再由语义判断器评估每个扩展字段是否忠实于原始文档。

第三阶段：优化（Refinement）对于约 1.5% 未通过判断的案例，使用更强的闭源模型 GPT-4o 重新生成扩展，确保输出严格基于原始文档。

第四阶段：人工验证（Human Validation）随机抽取优化后的样本由人工标注者评估，验证所有审查案例均通过，确认了优化流水线的可靠性。

基于扩展数据的专用模型：

• Tool-Embed
  
  ：基于 Qwen3-Embedding（0.6B/4B）的密集检索器，在 5 万训练样本上使用 InfoNCE 损失进行全参数微调
• Tool-Rank
  
  ：基于 Qwen3-Reranker-4B 的重排序器，在 20 万样本上使用 LoRA 参数高效微调，通过计算 true/false token 的 logits 概率作为重排序得分

📊 3. 实验结果

实验在两张 NVIDIA A100（80GB）GPU 上进行，使用 Tool-DE 和 ToolRet 两个基准，与 12 个代表性基线模型对比。

主要发现：

1. 文档扩展带来普遍提升：在 Tool-DE 上，大多数基线的性能均有提升，证明文档扩展增强了查询与工具文档之间的关键词重叠和语义对齐。

2. Tool-Embed 达到最先进水平：Tool-Embed-4B 在 Tool-DE 上达到 SOTA，NDCG@10 为 52.23，甚至在原始 ToolRet 上也超越了所有其他检索模型。仅 0.6B 参数的 Tool-Embed 就已超越 8B 参数的基线模型。

3. Tool-Rank 进一步提升性能：以 Tool-Embed-4B 的检索结果为初始候选集，Tool-Rank-4B 将 NDCG@10 进一步提升 4.21 达到 56.44，Recall@10 提升 4.68 达到 67.81。

4. 消融实验：文档扩展在训练中的增益（+4.97/+6.69）显著大于无扩展训练（+3.69/+3.67），证明扩展提供了更丰富的训练信号，增强了模型对异构文档的泛化能力。

🌟 4. 研究贡献与意义

本文的主要贡献包括：

1. 低成本文档扩展流水线：设计了一个可扩展的流水线，系统性地用结构化字段丰富工具文档，提升文档的完整性、可读性和检索实用性。

2. Tool-DE 基准：首个专注于文档扩展工具检索的基准，基于 35 个成熟的工具使用数据集构建，并附带两个大规模训练语料（检索器 5 万例 / 重排序器 20 万例）。

3. 专用模型：Tool-Embed（检索器）和 Tool-Rank（重排序器）在 Tool-DE 上建立了新的最先进性能。

4. 系统分析：揭示了文档扩展在训练中减少结构异质性、在评估中非对称地降低语义稀释、增强正/负样本可分性的机制。

研究意义：

• 本文的核心洞见是：与其绕开差的文档，不如从源头改进文档本身。这种”数据优先”的思路启发了后续研究。
• 实验证明，即使在测试文档未扩展的情况下（如 ToolRet），扩展训练的模型依然表现更优，说明丰富、标准化的文档格式能提升模型对异构文档的泛化能力。
• Tool-DE、Tool-Embed 和 Tool-Rank 为未来工具检索和工具增强智能的研究奠定了坚实基础。

📑 引用格式

@misc{lu2025toolsarerocumented, title={Tools are under-documented: Simple Document Expansion Boosts Tool Retrieval},  author={Xuan Lu and Haohang Huang and Rui Meng and Yaohui Jin and Wenjun Zeng and Xiaoyu Shen}, year={2025}, eprint={2510.22670}, archivePrefix={arXiv}, primaryClass={cs.IR}, url={https://arxiv.org/abs/2510.22670}, }