ARTICLE · 1303835
#76期:AI认知地图 | 数据工程:当人类数据耗尽,AI拿什么训练自己?
00 路标
人类历史上积累的所有数字化优质文本，大模型在几年内就快吃光了。
如果把人类在互联网上积累的公开文本全部算上，总量大约是300万亿个词元（Token）。按照当前的训练消耗速度，这批库存会在2032年前后被模型消耗殆尽。
很多人以为，只要AI把网上的公开文本都背下来，就足够聪明了。其实不然，AI现在正面临严重的数据荒。除了数据存量，更深层的原因还在于：
• AI虽然习得了大量理论知识，却不一定对实践通透。光靠书本上的文字，不足以让它真正理解现实世界。
• 人类的知识总量巨大，但绝大部分依然沉睡在纸质书本和未被数字化的档案里，AI根本接触不到。
• 还有大量没有被文字记录下来的隐性经验，比如专家的直觉、手艺人的手感。这些默会知识，AI无法凭空取得。
这些缺失的数据到底该怎么补？合成数据是怎么造的？人类和AI的数据关系正在发生怎样的反转？这是本文要探讨的问题。
01 AI到底缺什么数据
过去我们以为，AI像个超级学霸，只要把人类图书馆里的书全读完，它就应该无所不能。现在书快读完了，为什么它还是不够用？
因为文字只记录了人类知识的一小部分。
1.1 历史存量
首先我们看历史存量里的纸质资料与隐性知识，数字化比例非常低。
全球大约存在1.7亿种书籍，但目前的数字化比例仅为10%到15%，即使按照50%的冗余率，数字化覆盖仍然存在巨大空白。
中国现存约20万种古籍，整体数字化率不足30%，且其中大部分只是影像扫描，真正实现文字化、能被AI直接读取的比例更低。
即便被扫描成了PDF，对AI来说也需要经过复杂的版面分析和结构化提取，才能变成有效数据。
此外，历史上的文献记录了重大事件，但是大量经验类的默会知识，很多都没有完整的转化成文字。AI想要掌握这些，必须由人类在当下把经验数字化。
1.2 数据形式
其次是数据形式的不匹配。
书本上的物理公式，AI可以倒背如流，但它依然不懂现实世界里的重力是怎么回事。
真实世界自然产生的数据，比如一段马路监控视频，往往充满噪音，AI很难直接从中提取因果规律。
为了让AI真正理解已有的知识，人类必须专门为它补充大量结构化的辅助数据，或者搭建仿真环境，让它去试错。
1.3 未来的增量
最后是未来的增量。
未来每天都会产生新的病例、新的法律判决、新的知识创新。AI需要继续学习。
同时，这些自然产生的数据，格式仍然可能是多样的，人类可能仍然需要专门加工，把它们变成AI需要的样子。
小结：从这个角度看，人类其实正在为AI服务。我们不仅要把过去的经验翻译成机器能懂的语言，还要为它构建适合学习的虚拟环境。
02 合成数据是怎么造出来的
为了解决这种数据荒，行业找到了核心解法：合成数据。也就是让AI自己生成问题和答案，或者由人类利用算法构造出符合训练要求的数据。
在让AI自己造数据之前，有一个前提需要先搞清楚：自然数据为什么不能直接喂给AI？
AI需要的数据格式是高度结构化的序列。在训练时，数据通常被处理成类似问答的格式：一段清晰的指令，对应一段高质量的回答。而人类产生的数据，往往是杂乱的网页、带有复杂排版的PDF、或者随意的聊天记录。里面充满了乱码、广告和无意义的灌水。
所以，在生成合成数据之前，人类必须先做一道繁琐的工序：数据清洗与重构。要把PDF拆解成有逻辑的段落，去掉网页里的垃圾信息，把乱七八糟的文本整理成干净的问答对格式。
做完这些，数据才算勉强合格。但这需要耗费极大的算力，且数量是有限的。当清洗完的存量依然不够用时，行业只能走向下一步：让AI自己造数据。目前的工程体系已经形成了几种标准化的核心技术。
2.1 自生成（种子起步）
人类通常先给模型几十道高质量的数学题或示例文章作为种子。模型根据这些例子，自己生成成千上万道新题和新答案。这是合成数据的起点。
2.2 演化增强（把题变难）
如果只生成简单的种子题，模型很快就能答对，学不到新东西。所以下一步是演化增强。将一个基础问题，通过增加限制条件或改变语境，演化为逻辑更复杂的难题。这能有效提升数据的推理深度。
比如本来问“怎么算三角形面积”，模型会把它改成“已知三条边长但不知道高，如何计算面积且不产生浮点误差”。
2.3 拒绝采样（优中选优）
题目变难了，模型给出的答案就容易出错。这时候，就需要拒绝采样来把守质量关。针对同一个问题，让模型生成多个候选答案，然后通过规则或评判模型进行打分，只保留评分最高的结果。
比如数学题验证答案正确性，代码验证能否运行。用客观标准代替人工筛选，把错的、逻辑不通的答案全部扔掉。
2.4 构建仿真环境（跳出文本）
更复杂的方式是构建仿真环境。 如果要训练在物理世界里行动的AI（比如机器人），文字是没用的。人类需要搭建高精度的物理仿真环境，让AI在里面成千上万次地试错、摔倒、再爬起来。这种虚拟世界产生的是操作经验，不是静态文本。
光轮智能等数据供应商就是通过构建这类环境，为全球模型厂商提供合成数据。
03 数据的生成策略
动手合成数据之前，工程团队必须规划几个策略问题。这叫以终为始。
3.1 定目标
首先要定目标。 这批数据是用来扩宽通识知识面的，还是用来提升特定推理能力的？如果是前者，可以容忍更多的变异性；如果是后者，就必须设定极度严格的格式和逻辑约束。
3.2 防同质化
其次是防同质化。 过度依赖同一个模型生成，会导致模型学到的全是生成器的风格，产生路径依赖。因此，策略上必须刻意引入多个不同的生成器，主动制造多样化的句式、意图和推理深度。
3.3 预设极端场景
最后是预设极端场景。真实数据中非常稀缺的长尾案例和故障场景，恰恰是决定模型稳定性的关键。在生成时，必须刻意合成对抗性提示、边界冲突等数据，专门用来训练模型的鲁棒性。
04 谁在造：产业链的分工
有了策略和技术，合成数据的生产已经形成了一条清晰的产业链，不同玩家的做法和壁垒完全不同。
大模型公司的内部团队负责定向补齐短板。他们最了解自己模型的弱点，生成的数据针对性最强，通常不对外售卖。
通用数据商负责规模化的人力组织与流程管理。比如Scale AI，2025年营收预期达到20亿美元，它们建立庞大的标注和审核流程，为各类机构提供标准化的数据。
垂直领域的专业户负责构建仿真环境。比如光轮智能，专做用仿真技术批量生产机器人的训练数据，2026年3月融资达10亿元，成为具身数据领域的首个独角兽。
专家小团队则掌握医疗、法律等垂直领域的稀缺判断力，提供不可替代的专业评价。
05 核心风险与工程管控
合成数据最大的风险，是模型崩溃。
如果训练过程中全部使用合成数据，真实世界中罕见的长尾特征会在同质化生成中逐渐消失。模型只能学到自身已经掌握的内容，导致输出越来越窄，处理复杂现实任务的能力大幅下降。
Meta在2026年动用了超过1000个模型和10万GPU小时进行实验，证实了纯生成型数据极易引发崩溃；而改写型数据只要配比合理，就能避免退化。
为了管住这个风险，数据工程建立了一套严苛的机制：
• 严格配比：真实数据是锚点，绝不能为零。挪威科技大学的研究指出，完全封闭的合成数据训练必然走向崩溃。Meta的实验给出了经验值：在自然文本中掺入约30%的改写型合成数据，训练速度能提升5到10倍。
• 严苛质检：生成大量数据后，必须进行去重、质量评分和幻觉验证，只保留高质量样本。业界常见的做法是生成10倍，留下10%。工程流水线会将每一个样本的筛选记录在案，确保淘汰的垃圾数据有据可查。
• 防伪追溯：在合成数据中嵌入水印或元数据，记录其生成来源和处理过程。这不仅能防止低质量数据在市场上流通，也能在模型出现问题时，定位是哪一环的数据出了问题。
06 与你我有关：人机关系的反转
数据工程的发展，揭示了一个深刻的变化。
过去，我们以为人类是创造者，AI是学习者和模仿者。人类把自己的知识写成文字，AI拿去学习。
而在现实中，为了让AI继续进化，人类正在主动为AI服务。我们不仅要把几千年来的隐性经验数字化，还要为它专门构造适合它理解的合成数据，甚至为它搭建用来试错的虚拟世界。人类在努力把现实世界翻译成AI能懂的格式。
当AI吃透了这些数据，具备了更强的能力，它又会反过来反哺人类，替人类处理更复杂的任务，发现新的规律。
未来衡量AI公司实力的标准也会随之转移。当算力和架构逐渐趋同，数据质量将成为最稀缺的竞争力。谁能更好地管控合成数据的配比与质量，谁能更高效地把人类经验转化为机器数据，谁就能让AI持续变聪明。
07 溯源与结语
2023到2024年：预训练数据规模是核心竞争点，互联网文本被大量消耗。
2025年：数据枯竭预警出现，合成数据上升为战略方向。
2026年：合成数据产业链成型，模型崩溃的配比边界逐步明确，过滤与追溯成为行业标配。
2026年及以后：数据工程从单纯的数据生成，走向严格的审计与管控，人类开始系统性地为AI构建数据环境。
大模型的第一阶段是找数据，第二阶段是造数据。
造数据比找数据更难，因为造出来的东西必须经得起真实世界的检验。
合成数据是AI继续进化的必经之路。这条路能不能走通，不取决于生成能力有多强，而取决于行业能不能管住AI自我循环带来的退化风险。
数据工程要做的，就是守住这条底线，把人类世界的经验，稳妥地转化为智能进化的养料。
（作者声明：本文由作者确定核心观点与文章架构，负责文稿撰写及最终定稿，DeepSeek协助素材收集、草稿片段生成及问题证辩。文中信息与数据基于截至2026年9月的公开资料。
文中波斯细密画插图由作者根据土耳其作家奥尔罕·帕慕克（Orhan Pamuk）《我的名字叫红》构思，豆包AI协助生成。致谢复旦大学马凌老师在三联读书营带我们走进波斯细密画的世界。）
