人类指令太模糊AI听不懂?武大联合国家电网提出TRB模型,让LLM精准检索工具

Tool Retrieval Bridge: Aligning Vague Instructions with Retriever Preferences via Bridge Model

论文链接： https://arxiv.org/pdf/2604.07816v1

作者: Kunfeng Chen, Luyao Zhuang, Fei Liao, Juhua Liu, Jian Wang, Bo Du

核心发表单位： Wuhan University | State Grid Corporation

论文详细解读：基于桥接模型对齐模糊指令与检索器偏好的工具检索桥接技术 (Tool Retrieval Bridge)

作者： Kunfeng Chen, Luyao Zhuang, Fei Liao, Juhua Liu, Jian Wang, Bo Du机构：武汉大学人民医院胃肠外科；武汉大学计算机学院；中国国家电网公司。

摘要 (Abstract)

大型语言模型 (LLMs) 在解决现实世界挑战时，“工具学习 (Tool learning)” 已经成为一种极具前景的范式。由于现实中工具数量庞大且更新不规律，**工具检索 (Tool retrieval)（即从海量工具中挑选出所需工具子集）变得至关重要。然而，当前的工具检索方法通常基于学术基准（例如 ToolBench），这些基准中的指令过于详细（包含了特定的 API 名称和参数）。但在真实应用场景中，用户的指令往往是模糊的 (vague)**。这种差异严重阻碍了工具检索在实际应用中的落地。

为解决这一问题，本文：

构建了一个新基准 VGToolBench，用于模拟人类的模糊指令。
通过初步分析发现，模糊指令确实会严重损害现有工具检索器的性能。
提出了一种简单有效的 工具检索桥接 (Tool Retrieval Bridge, 简称 TRB) 方法。其核心思想是引入一个“桥接模型 (Bridge Model)”，将模糊的指令重写为更具体的指令，从而消除模糊指令与检索器偏好之间的鸿沟。
实验表明，TRB 能有效缓解模糊指令带来的负面影响，并在所有基准检索器上实现了一致且大幅的提升（例如，BM25 结合 TRB 后，平均 NDCG 得分从 9.73 提升至 19.59，相对提升高达）。

1. 引言 (Introduction)

尽管 LLM 在自然语言处理领域取得了巨大成功，但由于依赖固定的参数化知识，它们在复杂计算和获取最新信息方面仍存在不足。工具学习旨在通过整合外部工具来释放 LLM 的潜力。工具学习的一个核心挑战是如何为相应任务确定具体的工具。受限于 LLM 的上下文窗口长度，将所有工具的描述都输入给模型是不现实的，因此必须依赖工具检索。

现有的工具学习基准（如 ToolBench）通常由专有 LLM（如 ChatGPT）自动生成，生成的指令往往过度详细（包含了确切的 API 名称）。而现实中，人类用户通常只会描述最终目标（例如：“帮我整理这些数据”），缺乏具体的工具信息。

图1：ToolBench 与本文提出的 VGToolBench 的指令对比。ToolBench 包含非常具体的技术细节（红色高亮），而 VGToolBench 则更模糊，更贴近真实用户场景。

为了模拟真实场景，作者提示第三方 LLM 重写了 ToolBench 的原始指令，去除了具体 API 信息，构建了 VGToolBench。实验发现，在模糊指令下，检索性能相对下降了高达。为此，作者提出了 **TRB (Tool Retrieval Bridge)**。TRB 的训练包含两个阶段：

**监督微调 (SFT)**：促使模型将模糊指令重写为具体指令。
**强化学习 (RL)**：将检索性能作为奖励信号，进一步优化 SFT 模型以对齐检索器的偏好。

2. 相关工作 (Related Works)

2.1 工具学习基准

以往的基准（如 ToolAlpaca、APIBench）通常 API 数量有限。ToolBench 虽然规模庞大且质量高（包含 16,464 个真实 API，近 20万条指令数据），但其指令生成主要依赖于 API 的名称和描述，导致指令中直接包含了大量 API 细节，偏离了人类真实偏好。为了解决这个问题，近期有研究提出了 MGToolBench（主要用于 SFT 工具学习），而本文提出的 VGToolBench 是利用 GPT-4o 专门针对工具检索 (Tool retrieval) 任务构建的。

2.2 工具学习框架

现有框架分为基于上下文学习 (ICL) 和基于监督微调 (SFT) 两种。由于 LLM 输入长度限制，这两种框架都必须配备工具检索组件。常见的检索方法包括稀疏检索（如 BM25、TF-IDF）和密集检索（如 AdaEmbedding、ToolRetriever）。但在面对模糊指令时，这些传统检索方法都暴露出了局限性。

3. 数据集构建与初步实验

3.1 任务定义

工具检索的任务是从大规模工具库中选择与用户指令相关的工具子集。对于指令，存在一个真实的工具列表。检索器计算指令与工具描述之间的相关性得分，并选取得分最高的 Top- 个工具组成最终的集合。

3.2 VGToolBench 的构建

作者使用 GPT-4o，通过特定的 Prompt 模板（指示其删除具体的工具和技术术语，替换为日常用语）将 ToolBench 中的详细指令改写为模糊指令。最终构建的数据集表示为。和原数据集一样，它包含三个子集，难度递增：

I1：单工具指令。
I2：同类别多工具指令。
I3：跨类别多工具指令。

3.3 模糊指令对工具检索的影响

图2：VGToolBench 与 ToolBench 的检索性能对比。可以看到在模糊指令下，所有基准检索器的性能均出现大幅下滑（例如 BM25 性能下降最高达 50.39%）。

实验结论：

语义匹配变得更困难：所有检索器在 VGToolBench 上的表现都差于 ToolBench。
简单的检索器受影响更大：稀疏检索（如 BM25 和 TF-IDF）因为高度依赖词汇重叠，在缺乏具体工具名称的指令面前遭遇了更严重的性能暴跌（如 TF-IDF 在 I3 子集下降了）。

4. 对齐模糊指令与检索器偏好 (TRB 方法详解)

为了弥补用户使用习惯与检索器偏好之间的鸿沟，作者提出了 **TRB (Tool Retrieval Bridge)**。

图3：TRB 概览。(a) 推理流程：桥接模型将模糊指令增强为具体指令，然后再送给检索器。(b) 训练方案：分为 SFT (监督微调) 和 RL (强化学习) 两个阶段。

桥接模型的训练方案

TRB 的核心是用来改写指令的桥接模型。其训练包含两步：

1. 监督微调 (Supervised Fine-Tuning, SFT)首先使用 VGToolBench 的模糊指令作为输入，原始 ToolBench 的详细指令作为目标，进行标准自回归对数似然训练，使模型具备基本的指令重写能力：

$$\mathcal{L}_{\mathrm{SFT}} = -\mathbb{E}_{(q_i',q_i)\sim \mathcal{S}}\left[\sum_{t = 1}^{T_i}\log \pi_{\theta}(q_i|q_{i,<t},q_i')\right] $$="" 2. 强化学习 (Reinforcement Learning, RL)仅靠 SFT 无法获得关于最终检索性能的反馈。因此，作者使用 直接偏好优化 (DPO, Direct Preference Optimization) 算法进行持续训练。

对比数据构造：对每个模糊指令，利用 SFT 模型生成个候选重写指令。将它们送入检索器得到检索结果。
打分：使用 NDCG 指标计算检索出的工具与真实工具之间的得分：
配对：选取最高分和最低分的候选指令，组成对比对，构建数据集。
DPO 优化：使用对比损失更新模型，提升高分指令的生成概率，压制低分指令：

5. 实验 (Experiments)

5.1 实验设置

评价指标：采用 NDCG@5 和 NDCG@10（归一化折损累计增益）。平均性能为二者的均值。
基线方法：BM25, TF-IDF（稀疏检索）；AdaEmbedding, ToolRetriever（密集检索）。
实现细节：桥接模型基座采用 LLaMA-3.2-3B。SFT 训练 3 个 epoch，基于 DPO 的 RL 同样训练 3 个 epoch。采样数。

5.2 主实验结果

实验结果如原论文表4所示。核心发现如下：

TRB 提升了所有基线检索器：尤其是稀疏检索，在 TRB 加持下 BM25 在 I2 子集上相对提升了。
在所有复杂度子集上表现一致：无论在单工具 (I1) 还是多工具 (I2, I3) 场景，TRB 都能带来显著提升（例如 BM25 分别提升 , , ）。
有效消除了鸿沟：加入 TRB 后，检索器在模糊指令集 VGToolBench 上的性能甚至可以追平或超越最初在详细指令集 ToolBench 上的性能（得益于 RL 阶段直接对检索偏好的对齐）。

5.3 消融实验 (Ablation Study)

训练阶段的作用：将完整 TRB 与“仅使用 SFT (-w/ SFT-only)”进行对比。结果表明，仅靠 SFT 性能次优，证明了加入 RL 优化对于对齐检索器偏好是必不可少的。
不同 RL 算法的对比：对比了 DPO、PPO 和 GRPO。DPO 不仅实现了最高的检索精度（BM25 下 N@5 达到 18.54），而且无需在线奖励反馈，计算成本最低。PPO 和 GRPO 可能因为基于规则的奖励信号过于稀疏而表现欠佳。

5.4 深入分析 (In-depth Analysis)

桥接模型大小的影响：测试了 1B, 3B, 8B 模型。所有规模的模型均能带来提升。虽然 8B 模型精度最高，但推理延迟大幅增加。综合考量性能与效率，选择 3B 模型作为默认骨干网络。

图4：迭代 DPO 训练中迭代次数的影响。随着增加，性能先上升后下降，表明适度迭代能改善质量，过度迭代可能导致模型过拟合偏好数据，失去生成多样性。实验中默认设为。

对最先进 (SOTA) 检索架构的泛化能力：作者还将 TRB 应用于混合检索 (Hybrid)、重排模块 (Re-ranking, 引入 BGE-reranker) 和晚期交互检索 (ColBERT-v2)。图5：TRB 加持在 SOTA 检索系统上的表现。TRB 对包括 Hybrid、Re-ranking 和 ColBERT 在内的复杂检索架构依然有效，均带来了一致的提升。

5.5 案例分析 (Cases Study)

图6：TRB 指令增强的案例分析。可以看到，原始指令仅仅说“I am going on a trip to Europe...”，没有明确提及汇率转换的具体 API。TRB 桥接模型将其重写，添加了具体的术语（如 "1000USD -> EUR", "Data", "Currency Exchange"），使得 BM25 能精准命中目标 API。

6. 结论 (Conclusion)

本文聚焦于工具学习中模糊指令对工具检索造成的负面影响这一未被充分探索的关键问题。

构建了贴近现实的 VGToolBench 基准。
揭示了模糊指令会导致现有工具检索器性能大幅下降的现象。
提出 TRB (Tool Retrieval Bridge) 桥接技术，利用 SFT 和 DPO 训练大模型充当“翻译官”，将模糊意图转化为对检索器友好的具体指令。
实验证明该方法具有高度通用性，能将各类检索系统的性能提升至全新水平（最高达相对提升）。

局限性与未来工作

局限 1：VGToolBench 是由 LLM 生成的，可能存在合成偏差。未来计划引入真实用户查询和人在回路 (human-in-the-loop) 机制，并扩展多语言和特定领域的基准。
局限 2：引入额外的桥接模型增加了系统的计算成本和延迟。未来计划探索更轻量级的检索架构和缓存策略，以满足大型智能体 (Agent) 系统的可扩展性要求。

原文摘要: Tool learning has emerged as a promising paradigm for large language models (LLMs) to address real-world challenges. Due to the extensive and irregularly updated number of tools, tool retrieval for selecting the desired tool subset is essential. However, current tool retrieval methods are usually based on academic benchmarks containing overly detailed instructions (e.g., specific API names and parameters), while real-world instructions are more vague. Such a discrepancy would hinder the tool retrieval in real-world applications. In this paper, we first construct a new benchmark, VGToolBench, to simulate human vague instructions. Based on this, we conduct a series of preliminary analyses and find that vague instructions indeed damage the performance of tool retrieval. To this end, we propose a simple-yet-effective Tool Retrieval Bridge (TRB) approach to boost the performance of tool retrieval for vague instructions. The principle of TRB is to introduce a bridge model to rewrite the vague instructions into more specific ones and alleviate the gap between vague instructions and retriever preferences.We conduct extensive experiments under multiple commonly used retrieval settings, and the results show that TRB effectively mitigates the ambiguity of vague instructions while delivering consistent and substantial improvements across all baseline retrievers. For example, with the help of TRB, BM25 achieves a relative improvement of up to 111.51%, i.e., increasing the average NDCG score from 9.73 to 19.59. The source code and models are publicly available at https://github.com/kfchenhn/TRB.

PDF链接: https://arxiv.org/pdf/2604.07816v1