智能体数据集:文档教它“知道什么”, 过程数据教它“把事做完”

一、三种数据集，教的不是同一件事

很多团队做智能体数据集，沿用的还是模型训练思路：搜集语料、清洗去重、标注问答对、扩充规模。指南把数据集分成三类，分工并不相同。

三类各管一段。基础大模型数据集解决“知道什么”，覆盖常识和通用知识；行业模型数据集解决“懂什么”，沉淀领域专业知识；智能体数据集解决“如何完成任务”，支撑感知、理解、规划、决策、执行和反馈优化。

打个比方：基础大模型数据集像教材，行业模型数据集像专业手册；智能体数据集则像上岗录像带，加上师傅每一步的评语，再配上历次事故复盘——记录的不是知识结论，而是一件事怎么做成的、哪里出过岔子。

和模型训练数据集相比，智能体数据集除静态知识和结果标签外，还应覆盖任务上下文、状态变化、工具调用、执行反馈和异常处置等动态信息；核心特征在“任务—决策—行动—反馈”闭环过程的记录与表达。

知识决定 Agent 能说什么，过程数据决定 Agent 能不能把事做完。

图 1｜三类数据集分工不同：基础大模型管知识，行业模型管领域，智能体数据集管任务过程

二、对照六大能力盘点：已有文档之外，缺的是这三类数据

指南围绕环境感知、任务规划、工具调用、多轮交互、安全可控、行业应用六项能力梳理数据需求，和企业已有资产摆在一起，缺口位置很清楚。

 第一类：决策轨迹。任务规划不能只给答案，还要给得出答案的路径：目标怎么拆、依据什么判断、先后调用了哪些工具、中间如何修正。这类推理链和决策轨迹是训练规划与协作能力的关键来源；公开语料大多只有结论，没有推理过程。

第二类：执行反馈。工具调用效果、对话是否得体，都要靠反馈校准：工具侧需要历史调用时机、效果、失败案例和修复方案；交互侧需要意图、情绪、潜台词标注；对齐侧需要人类偏好排序或评分；任务跑完后，结果、日志和反馈还要反向回到数据集。

第三类：异常与风险样本。异常样本储备通常最薄。真实任务里有流程中断、资源受限、多约束冲突、工具报错、分布外输入和极端情形，也有违规尝试。风险样本、应急记录和失败案例决定出事时会不会兜底；只训练顺利路径，遇到没见过的情况就会硬出错。

图 2｜已有文档之外，最容易缺的是决策轨迹、执行反馈、异常与风险样本三类过程数据

落到行业场景，专家的“行话”和失败经验藏在工单、维修记录、访谈录音里，依赖专家标注；工业时序、质检图像、监控视频需要跨模态对齐；回报稀疏的业务，还要借助模拟器或历史案例构造中间奖励信号。

三、建设路线：重点不在扩张规模，在形成可回流的数据供给

指南总原则是能力牵引、场景驱动、真实优先、质量闭环、持续迭代：重点不在单一环节扩张规模，而在围绕任务形成可持续、可评估、可复制的数据供给，同一套数据集同时支撑训练、评测和落地。

八步递进。多源真实采集夯基，场景化构造组织，合成生成补缺，增强扩充扩边，标注体系赋能，质量评估校验，任务反馈回流，版本迭代升级。前四步解决“数据从哪来、覆盖什么”，后四步解决“数据可不可用、能不能变好”。

图 3｜八步建设路线：前四步解决数据从哪来，后四步解决数据可不可用、能不能变好，反馈回流形成闭环

采集以真实业务场景为底座，优先覆盖高频核心场景、关键节点和典型异常；场景化构造把任务目标、流程、工具、约束和评价机制组织成可复用单元；合成数据补足长尾、高风险、难采集的缺口；增强扩充表达变体、模态扰动和任务路径。

标注分四层：基础层标文本边界、图像区域、时间片段；语义层标注意图、实体、属性和关系；行为层标注推理步骤、任务规划、工具调用链；评价层标注正确性、完整性、合规性、风险性和偏好。执行分人工、人机协同、自动化三条路线：高风险样本人工兜底，模型预标注后按置信度分层流转，防止“候选即答案”。

合成数据只能补缺。合成数据定位是补充而非替代：过度依赖会带来真实性不足、分布偏移、偏见放大和场景失真，导致同质化和泛化下降；合成结果必须过真实性验证、质量评估和人工审核。

不同阶段的样本量级和质量门槛差异很大，并不是样本越多越好。

两条纪律容易被忽略：测试数据集必须和训练数据独立，避免泄露造成评估虚高；质量评估不能停在格式、完整性和准确性，还要看数据对任务理解、规划决策、工具调用和异常处置的支撑程度。

四、两个指南收录实践：过程数据在行业里怎么落地

指南附件收录了运维、医疗、通信、知识产权、汽车、园区、科研七个领域的实践，下面挑两个案例。这些是指南收录的代表性实践，投入条件各不相同，不能直接套用到其他行业。

运维：六类关联任务数据加反馈回流。联想（北京）围绕 IT 运维智能体，先做统一数据治理底座，自动采集技术元数据并记录业务域、术语、指标、责任人和血缘；再搭运维语义层和本体关系骨架，构造六类关联数据：业务问题、运行状态、监控证据、异常原因、解决方案、业务影响；结果、评价和反馈持续回流。

据指南案例，监控智能体分析准确性超过 95%，故障修复平均时间提升 60%；本体故障诊断智能体复杂任务处理效率提升 80%。

通信：一条标准化语料生产线。浙江移动在自智网络“点金行动”中按标准定义、收集、清洗、标注、评估、沉淀六步建设运维语料：收集后解析、脱敏、预处理；人工结合自动方式标注标签、意图和思维链；定量评估保留高质量语料；成品数据集服务 RAG、微调、提示词场景，建成 30 多个智能体。

据指南案例，装维支撑智能体服务全省 7000 余名装维人员，装机自助处理率超过 35%，每月自智化解工单 5 万余个；网络安全分析智能体单条告警研判从 1 分钟缩短到 0.1 秒以内，分析准确率在 90% 以上。

图 4｜指南收录的两个行业实践：联想 IT 运维六类关联数据加反馈回流；浙江移动六步语料生产线（数字据指南案例）

五、四个常见误区，先排除掉

误区一：文档灌够，Agent 就会干活。文档能支撑问答和检索依据，替代不了规划、调用和纠错轨迹。检索增强给的是“依据”，智能体还需要“路径”；只堆知识样本，模型知道材料在哪，不知道先做哪一步。

误区二：规模优先，样本越多越好。阈值表已经说明：微调样本在万级到十万级，强化学习要十万级交互轨迹，评测集只要千级到万级，但完整性和一致性必须达到 100%。规模服从阶段和任务，低质量的大规模只会放大偏差。

误区三：合成数据可以全包。合成数据适合长尾表达、异常样本和高风险场景批量构造，顶替不了真实任务过程。没有真实性验证和人工审核，生成轨迹看起来完整，却不符合真实业务的约束和失败分布。

误区四：数据集是一次交付的项目产物。数据集交付不是项目终点。先观测任务表现（结果指标加过程日志、推理记录、异常触发点），再把偏差定位到数据缺陷，按优先级补齐，优化后用对照测试和批量验证回收效果；回流信号直接来自真实任务表现。

 图 5｜四个常见误区：文档量、规模、合成数据、一次性交付，都不等于可用的智能体数据集

六、开工前先盘点：缺口落在哪一格

规划时先拿两张清单自查：第一张对照六大能力和三类缺口（轨迹、反馈、异常样本），看哪些能力还只有文档、没有过程记录；第二张对照八步路线，判断当前停在采集构造，还是已具备标注、评估和回流闭环。

数据治理和平台团队优先补过程数据的采集规范、字段口径和数据谱系；AI 产品经理在需求阶段就要说清任务目标和成败标准，而不是先列文档清单；业务专家负责暗知识提炼、边界样本裁定和偏好判断，无法由通用标注员替代。

写在最后

指南是方法框架，不是现成答案。不同行业的数据成熟度、合规约束和风险容忍度差别很大；数据集既要服务训练，也要服务评测和落地，评测集独立、来源可追溯、版本可迭代，这些纪律比追新模型更基础。

开头那个卡住的项目，缺的往往不是再多几份文档，而是把任务怎么被完成、哪里出过错、结果好不好完整记录下来，再顺着任务表现把问题补回数据集。

给智能体攒数据集，攒的不是一份资料合集，而是一套可复用、可评估、能迭代的任务经验。