乐于分享
好东西不私藏

全国已建成高质量数据集12万个,但AI训练数据的交付仍有困局

全国已建成高质量数据集12万个,但AI训练数据的交付仍有困局

来源 | 智合标准化建设

作者 | 智合标准中心

导语

2026年7月,国家数据局公布了一组颇具分量的数据:截至6月底,全国已建成高质量数据集12万个,总体量超1565PB,较一季度末增长超60%,相当于中国国家图书馆数字资源总量的547倍。数字背后,是一个正在加速成型的产业底座。但底座之上,交付如何规范、质量如何验收、价值如何闭环,仍是一道待解的难题。

01

1565PB:一组数字背后的产业信号

7月18日,国家数据局在新闻发布会上披露,截至2026年6月底,全国已建成科学研究、工业制造、医疗卫生、教育教学等行业领域的高质量数据集12万个,总体量超1565拍字节(PB),较2026年一季度末增长超60%。

将这组数据放在纵向时间轴上观察,增长轨迹更为清晰。2025年6月底,全国高质量数据集约3.5万个、总体量超400PB;到2025年底,跃升至超10万个、890PB以上。从3.5万到12万,从400PB到1565PB,一年之间,数据规模翻了近四倍。

同步推进的数据标注产业也在加速扩容。成都、沈阳、合肥、长沙、海口、保定、大同七个数据标注先行先试城市,标注规模已超119PB,从业人员达14万人。2025年,我国数据标注产业产值突破80亿元。

国家数据局明确表示,下一步将深化构建服务人工智能的高质量数据供给体系,以模型应用牵引数据供给、以数据驱动模型迭代,推动实现数据集有偿使用的价值闭环。这句话的关键词是“有偿使用”和“价值闭环”——高质量数据集不再只是基础设施投入,而是正在被定位为一种可交易、可定价、可流转的数据要素产品。

02

从“建起来”到“用起来”:政策落子与“三低”困局

✅ 2025年至2026年上半年,围绕高质量数据集的政策文件密集出台,形成了一条从顶层设计到执行落地的完整政策链。2025年8月,国家数据局在贵阳数博会上发布《高质量数据集建设指引》,由中国信通院、国家数据发展研究院、中国电子技术标准化研究院等单位共同编制,首次体系化定义了高质量数据集的内涵、建设路径与评价维度。

✅ 2026年3月,工信部印发《关于启动工业数据筑基行动 开展面向人工智能赋能的高质量行业数据集建设先行先试的通知》(工信厅信发函〔2026〕64号),选取钢铁、汽车等重点行业,由龙头企业牵头组建“行业数据合作联合体”,目标到2026年底打造一批高质量、标准化、可流通的行业数据集。同期,工信部等八部门联合印发“人工智能+制造”专项行动实施意见,提出打造100个工业领域高质量数据集、1000个高水平工业智能体。

✅ 2026年6月,国家数据局印发《关于推进行业高质量数据集建设行动的实施方案》,部署六大专项行动:强基扩容、标注攻坚、提质增效、应用赋能、管理服务、价值释放。其中“价值释放行动”明确提出探索以词元(Token)为基础的数据价值体系,推动数据集在数据交易所挂牌交易。

从政策演进脉络来看,2025年解决的是“怎么建”的问题,2026年则聚焦“怎么用”“怎么定价”政策重心正在从供给端的基础设施建设,向流通端的市场化运营转移。

然而,政策框架的加速搭建,并不意味着产业层面的问题已经消解。根据国家数据局发布的《实施方案》专家解读,当前行业面临的核心问题可归纳为“三低”:数据汇聚产量低、数据供给质量低、数据利用效率低。

数据汇聚产量低,根源在于企业数据与个人数据在采集、存储、开发利用环节面临权益归属不清、安全顾虑重、流通渠道不畅等障碍。有研究指出,主流数据集中中文数据占比仅4.8%,高质量中文语料的储备量远不能满足大模型训练需求。与此同时,公共数据开放获取渠道不畅,数据孤岛”现象在政务、医疗、金融等领域尤为突出。

数据供给质量低,表现更为隐蔽但危害更大。数据集普遍存在分布偏差、颗粒度不一致等问题。更值得警惕的是数据集的混用现象——同一批数据被用于不同模型的训练、验证和测试,导致测试分数虚高。而在缺乏统一质量标准的情况下,数据集的“劣币驱逐良币”几乎不可避免。

数据利用效率低,指向两重困境:一是算法偏见导致有效信息在训练过程中大量遗失;二是数据标注自动化程度不足,专业数据处理人员缺口较大,限制了数据集的规模化生产。

三个问题互为因果:产量低使得优质数据稀缺,稀缺推高采集成本,成本压力压缩质量投入,最终形成恶性循环。

03

验收之困:谁来定义“高质量”?

数据标注是高质量数据集建设的关键底座。截至2026年6月底,七个先行先试城市标注规模超119PB,从业人员14万人,2025年产业产值突破80亿元。但14万人的规模,放在12万个数据集、1565PB的数据体量面前,产能天花板已触手可及。国家数据局在《实施方案》中提出的“标注攻坚行动”,明确指向从“以人为主”向“人机协同、专家深度参与”的多层次标注模式转变。

如果说数据标注解决的是“怎么生产”的问题,质量验收解决的则是“怎么判断”的问题。而后者,恰恰是目前整个产业链中最薄弱的一环。

当前,国家数据局局长刘烈宏在2026全球数字经济大会上宣布,将加快出台高质量数据集格式要求、质量评测、数据标注等国家标准,并首次提出量化分数线——三个维度均需达到90分以上才算"高质量数据集"。

但在国家标准尚未正式出台的窗口期,验收环节的困境已经深度影响商业实践。一个AI训练数据集的交付,通常涉及数据提供方、数据标注方、模型开发方三方主体。三方对“数据质量”的定义天然不同:数据提供方关注合规性和完整性,标注方关注标注准确率和一致性,模型开发方关注的则是数据对模型性能的实际提升效果。三套话语体系互不兼容,验收标准莫衷一是。

现实中的典型场景是:数据标注方交付了一批标注数据,标注准确率达到合同约定的99%,但模型开发方训练后发现模型性能不升反降。问题出在哪里?是标注维度不对?是数据分布与真实场景不匹配?还是标注规则本身存在歧义?在缺乏统一验收框架和训练适配性验证环节的情况下,这类争议往往沦为无解的扯皮。

据公开信息,2025年以来,多个城市的数据交易所已出现因数据集质量争议引发的交易纠纷,涉及金额从数十万元到数百万元不等。这些案例表明,数据集的交付与验收,已经不是一个纯技术问题,而是一个涉及合同、合规、质量管理和争议解决的系统性工程。

04

标准坐标:已发布标准体系与补位需求

面对产业痛点,标准化是绕不开的解题路径。截至2026年7月,围绕人工智能训练数据集,我国已发布多部国家标准和行业标准,但在交付与质量验收这一关键环节,仍存在明显的供给缺口。

国家标准层面,已有三部标准为数据质量提供了基础框架。

✅ GB/T 36344-2018《信息技术 数据质量评价指标》是最早定义数据集概念并建立质量评价指标的国家标准,于2018年6月发布、2019年1月正式实施,目前仍为现行有效标准。该标准提出了规范性、完整性、准确性、一致性、时效性、可访问性六大评价维度,为数据质量评价奠定了底层方法论。值得一提的是,该标准已于2025年3月复审,结论为“修订”,反映出原有框架已难以完全覆盖AI时代数据质量的新需求。

✅ GB/T 45652-2025《网络安全技术 生成式人工智能预训练和优化训练数据安全规范》于2025年4月发布、2025年11月实施。该标准从安全治理角度切入,对训练数据的来源合法性、数据质量保障和全流程安全管理提出了具体要求,适用于生成式AI服务提供者开展预训练和优化训练数据处理活动及其安全评估,首次将数据安全要求嵌入AI训练全流程。

✅ GB/T 45288.1-2025《人工智能 大模型 第1部分:通用要求》于2025年2月发布并实施。在数据管理方面,该标准明确要求训练数据需通过GB/T 42755的合规性审查,标注准确率需达到95%以上,并要求建立至少记录3级数据来源(原始数据、清洗后数据、标注数据)的可追溯机制。这是大模型系列国家标准中首次对训练数据质量提出量化指标。

行业标准层面

✅ YD/T 6486-2025《面向人工智能的数据集质量通用评估方法 总体要求》于2025年7月1日发布、2025年11月1日实施,由工业和信息化部主管、中国通信标准化协会归口,中国信息通信研究院牵头起草。该标准面向人工智能数据集质量通用评估方法提供了总体框架,是首部专门针对AI数据集质量评估的行业标准,标志着数据集质量评估从“各自为政”走向“有章可循”。

梳理上述已发布标准,可以发现一个共同特征:它们聚焦于数据集本身的“质量评价”——即数据好不好、准不准、是否合规。这些标准提供了“度量衡”,回答了“这个数据集质量怎么样”。但商业场景中真正的痛点——数据集如何交付、如何验收、验收不通过后如何处置——在现有标准体系中几乎是空白。换言之,现有标准解决的是“数据集好不好”的问题,但尚未覆盖"数据集交易按什么规矩办"的问题。

正是在这一缺口上,由中国电子商会归口管理、智合标准中心组织编制的《人工智能训练数据集交付与质量验收规范》团体标准于2026年3月正式立项。这部标准的核心差异在于:它不是对数据质量的静态评价”,而是对数据交付的“流程规范”。它首次系统构建了覆盖交付准备—数据移交—质量验收—结果处置”的全流程规则体系,试图回答数据集项目中“如何交付”“如何验收”“如何判定通过”三个根本问题,与现有国家标准、行业标准形成了“质量评价+流程规范”的互补格局。

05

破局之道:四层框架与四大机制

这部团体标准的核心,是构建覆盖“交付准备—数据移交—质量验收—结果处置”全流程的分层验收规则体系。其验收架构为技术交付层—质量证明层—训练适配层”三位一体,逐层递进、门槛管控:前一层强制项不达标,不进入后一层,避免无效投入。

✅ 技术交付层:验证交付物“能不能用”——清单完整性、文件格式合规性、元数据完备性、哈希校验一致性。关键文件缺失或哈希不一致,验收直接终止。

✅ 质量证明层:审查“过程资产”可信度——说明文档是否覆盖必填字段,采集、清洗、标注、复核全流程是否可追溯,质量控制证据是否充分,风险披露是否如实说明已知偏差与隐私风险。

✅ 训练适配层:回答核心问题“能不能训练出好模型”——从内容多样性、规模完整性、内容时效性、标注准确性、模型适配性五个维度展开评估。其中模型适配性通过标准化试训练环境验证,供需双方预先锁定软硬件配置、脚本版本、随机种子和评估口径,确保结果可复现、可复核。

06

四大机制创新:从“有标准”到“能落地”

分层框架解决验什么”,四大机制解决怎么验”“谁来验”

✅ 机制一:质量基线约定。交付前供需双方共同协商确定指标阈值、权重、否决项和条件项,形成“验收契约”,基线调整须经双方书面确认。

✅ 机制二:标准化试训练环境。针对“标注准确率达标但模型性能不升反降”的行业顽疾,供需双方预先约定软硬件环境、数据子集、脚本版本、随机种子、评估口径及结果容差,在锁定环境中执行验证。动态交付场景(API、可信空间)配套数据调用适配协议,保存接口调用日志、环境指纹等跨域审计记录。

✅ 机制三:条款裁剪与适用性分类。针对监督学习标注数据、预训练语料、生成式偏好数据、合成数据、多模态混合数据等不同类型,设计“条款适用性矩阵”,供需双方逐项标记适用状态,声明不适用须说明理由及替代验证方式。同时对接“数据要素×”十二类重点应用场景,为工业制造、交通运输、金融服务、医疗健康等场景分别给出认定基线重点和关键否决项。

✅ 机制四:工具箱机制。配套设计覆盖完整性校验、抽样与统计、标注质量与一致性、模型适配与试训练、风险与幻觉评测、可信空间/API验收六大方向的方法工具集,每项工具形成标准化方法卡,提供行业通用、可复现、可验证的方法参考。

07

高质量数据集判定:不是评分高就够了

标准的另一项创新是建立分级质量判定体系:验收结论分为“合格”“不合格”“有条件验收”三种;质量等级分为“优秀”“合格”“不合格”三级

“高质量数据集”是更高门槛的认定结论,须同时满足六项条件:验收结论为合格;质量等级达到优秀;综合评分达到约定高质量阈值;不存在关键能力短板或重大风险未披露;已提交完整的能力边界声明、自限性声明与幻觉控制说明;已在目标应用场景下完成标准化试训练验证并达到约定性能要求。

从分层框架到四大机制,从场景适配到高质量判定,这部标准试图构建的,不只是一套技术规范,更是一套让数据集交易“有据可依、有迹可循、有章可查”的商业基础设施,填补了"数据集交付流程"的空白。

【部分起草单位名单】

· 工业和信息化部威海电子信息技术综合研究中心

· 广西壮族自治区电子信息和网络安全测评研究院

· 广州数据交易所有限公司

· 贵阳大数据交易所有限责任公司

· 陕西四维数邦科技有限公司

· 中国技术交易所有限公司

· 中国水利水电第十一工程局有限公司

· 贵州数据宝网络科技有限公司

· 上海赛陆生命科学有限公司

· 神州千里(南京)科技有限公司

· 上海泓明数智科技有限公司

· 南京炭合创新科技有限公司

· 北京之合网络科技有限公司

· 上海之合网络科技有限公司

更多单位正在确认中……

国家数据局提出的“以模型应用牵引数据供给、以数据驱动模型迭代”的数据飞轮,本质上需要三个齿轮的精密咬合:数据供给、质量验收、价值定价。目前数据供给已大规模铺开,价值定价处于早期探索,而质量验收的标准体系正在补位——从国家标准的基础框架,到行业标准的评估方法,再到团体标准对交付流程的规范补充,一个多层次的标准体系正在成型。当12万个数据集有了统一的“度量衡”和“交通规则”,数据要素的价值闭环,才算真正扣上了关键一环。

为确保标准的科学性、先进性与实践指导性,我们现面向全行业公开征集起草单位与起草专家。我们诚挚邀请数据标注平台、数据采集服务商、大模型研发企业、金融/医疗/国央企等AI深度应用企业、律师事务所、高等院校及科研院所等专业机构以及所有关注并致力于AI训练数据的专业力量加入我们,共同参与这部重要标准的研制工作。

如您有意向成为《标准》起草单位/起草人

请扫描二维码填写相关信息

END