一、一场被延迟宣判的危机
南华早报最近的一篇报道,在中文AI圈投下了一颗深水炸弹。
标题很直白:中文AI正面临高质量训练数据的枯竭。报道的核心判断不复杂——过去几年大语言模型(Large Language Model, LLM)的野蛮生长,本质上是在吃互联网公开文本的红利。论坛帖子、新闻报道、百科词条、社交媒体内容……这些曾经被视为"取之不尽"的语料,正在以肉眼可见的速度被消耗殆尽。
更尖锐的问题在于:中文世界的高质量语料本就稀缺。学术文献的开放程度远不及英文世界,深度分析内容的生产长期被平台算法压制,结构化的行业数据库更是散落在各家企业的私有服务器里,彼此隔绝。
这个消息传出来的时候,很多人第一反应是:"那赶紧搞合成数据(synthetic data)啊。"
合成数据确实是一条路。让AI自己生成数据来训练AI,听起来像一个自循环的完美闭环。但问题是——合成数据的本质是什么?是对已有知识的重组和再加工,而不是新知识的发现。当训练语料中合成数据的比例越来越高,模型就会陷入"近亲繁殖":输出越来越流畅,但越来越雷同;表达越来越自信,但离真实世界越来越远。这就像一个人只看自己写的日记来认识世界,逻辑可以自洽,但认知会持续坍缩。
另一条路是唤醒行业私有的高价值数据。这条路更难,因为私有数据不是拿过来就能用的——它需要清洗、去重、结构化、校验,才能从"信息原材料"变成"知识资产"。大多数企业手里的数据,更像是一堆未经冶炼的矿石,而不是可以直接锻造的精钢。
两条路指向同一个结论:AI竞争的下半场,核心战场不是谁的模型参数更多,不是谁的算力集群更庞大,而是谁掌握了高纯度的知识。
二、为什么所有人都在追算力,没有人追数据纯度?
这本身就是一个行为科学问题。
过去三年,AI行业的叙事被一个锚点(anchoring)牢牢锁定:参数规模。从十亿到百亿到千亿到万亿,参数的增长曲线几乎等同于AI的进步曲线。算力是参数竞赛的后勤保障,芯片成为国与国之间博弈的战略物资,融资路演上如果不说自己训练了多大参数的模型,仿佛就不配叫AI公司。
为什么是参数和算力,而不是数据质量?行为科学里有一个概念叫"可得性启发(availability heuristic)"——人们倾向于高估那些容易被看见、容易被量化的事物的重要性。参数规模是一个数字,算力消耗是一个数字,融资额也是一个数字。这些数字可以被写在新闻标题里,可以被画在PPT上,可以被用来比较,可以用来制造焦虑和兴奋。
而数据纯度呢?它不可见。你无法在发布会上打出"我们的数据纯度比行业平均水平高37%"这样的标题,因为"纯度"本身就不是一个标准化指标。它藏在每一条语料的清洗流程里,藏在每一个标注的一致性检验里,藏在每一个知识单元的交叉验证里。它是慢功夫,是笨功夫,是在聚光灯照不到的地方一寸一寸推进的工作。
损失厌恶(loss aversion)进一步放大了这个偏差。 在AI军备竞赛的集体焦虑中,"错过算力扩张"是一种可见的、可被追责的损失——你可以指着竞争对手的融资新闻说"看,他们又买了一万张卡"。但"忽视数据质量"是一种隐蔽的、短期内不可见的损失。直到模型输出开始出现幻觉、开始在专业领域露怯、开始在长逻辑链条上崩盘,人们才会意识到问题出在哪里。但那个时候,数据工程的欠账已经积重难返。
这就像一座城市疯狂盖高楼,所有人都在比谁的楼更高、谁的施工速度更快,但没有人检查地基的混凝土标号。楼盖得越高,地基的隐患越大。等到楼开始倾斜的时候再去补地基,成本是当初的十倍百倍。
三、数据不是越多越好,是越纯越值钱
"大数据"这个词误导了很多人。它暗示着一个简单的逻辑:数据量越大,智能越强。
但真实情况远比这复杂。
信息缺口(information gap)理论告诉我们:人类的注意力和认知资源是极度稀缺的,真正驱动决策的不是信息的总量,而是关键信息的密度。低质量数据的泛滥,不是在填补信息缺口,而是在制造认知噪音。当100条信息里有60条是重复的、20条是错误的、15条是无关的,真正有用的那5条反而会被淹没。
对大模型而言,这个逻辑同样成立。训练语料中的噪音会直接污染模型的权重分布。一篇经过深度调研、逻辑严密的行业分析,和1000篇互相抄袭、充斥着事实错误的营销软文,在参数规模的贡献上可能差异不大,但在知识质量的贡献上天差地别。模型不会自动区分这两者——它只是在统计意义上学习语言的模式。如果低质量内容在语料中占据压倒性多数,模型学到的就是低质量内容的表达模式和认知框架。
选择过载(choice overload)在这里有一个反直觉的映射: 给模型喂太多未经筛选的数据,不是让它"见多识广",而是让它陷入另一种形式的认知瘫痪。它无法在相互矛盾的信息之间做出可靠判断,只能采取"统计平均"的策略——输出一个四平八稳、谁都不得罪但谁都不满意的答案。这就是为什么很多大模型在回答专业问题时,总是给出一种"正确的废话"的感觉:它不是不知道答案,而是被太多相互冲突的低质量信号搞糊涂了。
所以,数据工程的核心命题从来不是"如何获取更多数据",而是"如何提纯已有数据"——把矿石炼成精钢,把信息炼成知识,把知识炼成可以被可靠调用的结构化资产。
这个过程,我称之为"数据精炼"。
四、数据精炼:AI时代最被低估的核心能力
数据精炼不是一个新概念,但它在AI时代的重要性被系统性低估了。
传统意义上的数据清洗,解决的是格式统一、去重、补全缺失值这些工程问题。但AI时代需要的数据精炼,是一个更深层的知识工程问题。它至少包含四个层次:
第一层:真实性校验。 一条信息是否成立?它的来源是否可靠?在什么条件下成立?当多个来源相互矛盾时,采信哪一个?这不是简单的事实核查,而是需要领域知识支撑的认知判断。合成数据之所以有局限,核心原因就在于它缺乏这一层校验——AI可以生成看起来完美的句子,但它无法保证这些句子描述的是真实世界。
第二条:结构化编码。 原始文本是非结构化的,一段论述中可能混杂着结论、论据、限定条件、反例和情绪表达。数据精炼需要把这些元素拆解开来,用标准化的结构重新编码,让知识变成可以被精确检索、组合、推理的单元,而不是一段模糊的自然语言。
第三层:边界标注。 任何一条规律都有它的适用边界。在什么情境下有效?在什么条件下会衰减甚至反转?与其他规律之间是协同关系还是互斥关系?大多数被喂给大模型的语料,都不包含这些信息。它们只是陈述结论,不标注边界。这直接导致了大模型最被诟病的问题之一——"过度泛化":把一个特定情境下成立的规律,不加区分地套用到所有情境。
第四层:动态更新。 知识不是静态的。一条三年前成立的行为规律,在今天的媒介环境和社会心态下是否仍然有效?衰减到什么程度?需要什么样的补偿修正?这要求知识库不是一个一次性构建的静态仓库,而是一个持续校准的动态系统。
这四层工作,没有一层是可以靠爬虫和自动化脚本独立完成的。每一层都需要深度的专业判断,需要领域专家的介入,需要反复的校验和推翻重来。它的产能瓶颈不是算力,而是高质量的人类认知投入。
这就是为什么数据精炼能力会成为AI竞争的核心砝码——它是一道无法靠堆钱、堆卡、堆参数来逾越的壁垒。
五、我们无意中建成了什么
说到这里,我可以讲讲诺吉在做的事情了。
三年前,我们启动了一个在当时看来"很不AI"的项目:系统地整理和校验行为科学领域的已知规律。不是写科普文章,不是做知识付费课程,不是开发一个心理学APP——而是老老实实地,把一条一条关于人类行为和决策的规律,从学术文献、行业实践、实验数据中提炼出来,经过多层校验和结构化编码,沉淀为一个可以被精确调用的知识库。
今天,这个库里有5687+条经过多维度质检的行为科学规律。
我不想用太多技术细节来制造神秘感,但我可以说的是:这个库中的每一条规律,都不是一段原始文本的摘录,而是一个深度结构化的知识数据包。它不仅包含规律本身的表述,还标注了它的适用边界、精确度参数、时间衰减曲线、与其他规律的协同和互斥关系——这些维度,是你在任何公开语料、任何学术论文、任何教科书中都找不到现成答案的东西,因为它们是通过对跨场景实证数据的反复校验逐步校准出来的。
做这件事的过程,本质上就是在上文说的四层数据精炼。我们用了一套被内部称为"盲审流水线"的校验机制——不同背景的评审者在彼此不知情的情况下独立评估同一条规律,只有通过多轮一致性检验的内容才会被纳入库中。这个过程很慢,很笨,很不"互联网速度"。有时候一条规律的校验和校准会反复拉锯数周,推翻重来是家常便饭。
在那个大模型竞赛最狂热的阶段,做这件事显得特别不合时宜。周围的团队都在发大模型、做Agent、追Agent Framework、搞多模态,我们在做的事情听起来像是一个学术机构的文献整理项目。有朋友善意地提醒:"你们这个节奏,会被时代甩下的。"
直到中文AI数据枯竭的消息传来。
那一刻我意识到,我们这三年做的"笨功夫",恰恰踩中了AI产业最核心的命门。我们不是在做一个内容产品,不是在做一个工具集合,而是在构建一种在AI时代极度稀缺的资产——高纯度的结构化知识。
六、为什么行为科学规律库是一种战略级数据资产
我需要特别解释一下,为什么"行为科学规律"这种听起来很垂直的数据,会具有战略级的价值。
第一,行为科学是少有的"跨领域底层规律"。不同于医疗数据只服务于医疗AI、法律数据只服务于法律AI,人类行为和决策的规律是几乎所有AI应用都需要的底层能力。推荐系统需要理解选择过载,广告系统需要理解损失厌恶,教育产品需要理解信息缺口,管理工具需要理解自我辩护机制——只要AI的任务涉及"理解人、影响人、服务人",行为规律就是绕不开的底层知识。
第二,行为科学规律的提炼门槛极高。一条真正可靠的行为规律,不是从一篇论文里抄一个结论就完事的。它需要在不同人群、不同文化、不同媒介环境下被反复验证,需要厘清它与其他行为倾向之间的交互作用,需要标注它在什么条件下会失效或反转。这种提炼工作的难度,远高于一般领域的事实性知识整理。
第三,它恰好命中了当前大模型最薄弱的环节。大模型在事实性问答上已经做得越来越好,但在"对人的判断"上仍然表现得像一个高智商但低情商的天才——它知道很多道理,但不知道这些道理在什么情况下对什么人有用。它可以背诵损失厌恶的定义,但不知道在一个具体的定价场景中,损失厌恶和价格锚定(price anchoring)同时作用时会发生什么,更不知道这种协同效应在不同价格敏感度的人群中会产生多大的差异。而这恰恰是结构化行为知识库能够补足的能力。
第四,这种数据几乎不可能通过公开语料自动获取。因为公开语料中关于行为规律的讨论,大多停留在"科普级"——告诉你有这么个效应,举一个例子,然后就没有然后了。它不会告诉你这个效应的衰减参数,不会告诉你它与其他效应的互斥网络,不会告诉你在B端场景和C端场景下的适用边界差异。这些深度信息,只能通过系统性的精炼工程来构建。
举个具体的例子。我们库里有一条关于"框架效应(framing effect)"的规律,编号XWYZ-0423。大多数科普内容会告诉你:"同一个信息,用正面框架(gain frame)和负面框架(loss frame)表达,会引发不同的反应。"但这只是一个入门级的结论。真正在应用层面有价值的信息是:在什么类型的决策上,框架效应最强(估算区间:医疗决策>财务决策>日常消费决策,可信度:较高)?框架效应随信息复杂度上升会如何衰减(复杂度每提升一个等级,效应强度衰减区间约15%~30%,可信度:中等)?当框架效应与禀赋效应(endowment effect)同时激活时,是叠加还是相互稀释?这些问题,你在任何公开语料中都找不到系统的、经过校验的答案。
而这些答案,才是真正能让AI从"知道一个概念"进化到"会用这个概念"的关键。
七、高纯度知识才是真正的壁垒
让我回到最开始的判断。
中文AI的数据危机不是一个暂时的困难,而是一个结构性的拐点。它标志着AI产业从"野蛮开采"阶段进入"精炼加工"阶段。就像石油产业从最初的打井采油,发展到后来的炼化深加工——原油当然重要,但真正决定产品价值的,是炼化能力。
在这个拐点上,我们可以清晰地看到三类玩家:
第一类是继续拼算力、拼参数、拼模型规模的玩家。他们会继续在发布会上创造更大的数字,但如果数据底座没有质的提升,这些数字的边际收益会快速递减。更大的模型用更低质量的数据训练,结果可能是更流畅的平庸。
第二类是转向合成数据的玩家。他们会在短期内获得成本优势,但合成数据的"真实性天花板"会成为他们难以突破的瓶颈。尤其是在需要精准判断人类行为的场景中,合成数据的"近亲繁殖"问题会越来越严重。
第三类是沉下心来做数据精炼的玩家。他们构建的不是模型,不是工具,而是高纯度的知识资产。这些资产在短期内看起来不够性感,不够有"发布会价值",但它们是AI竞争进入深水区之后真正的壁垒——因为算力可以买,参数可以调,开源模型可以用,但一个经过数年打磨、持续校准的高纯度知识库,是无法被速成的。
诺吉选择做第三类玩家。
我们手中的5687+条经多维度质检的行为科学规律,不是一个内容产品的素材库,不是一个学术项目的附属品,而是面向AI时代构建的"行为决策底层操作系统"——一个关于"人如何决策"的高纯度知识底座。它可以被用来优化大模型对人类行为的判断精度,可以被嵌入到营销、产品、管理、教育等各类应用场景中,可以成为所有"需要理解人"的AI系统的共同基础设施。
这条路很慢。三年只做了5687+条,这个速度在互联网行业几乎是耻辱性的。但我越来越确信:在AI这个所有人都在比快的赛道上,慢就是深,深就是纯,纯就是壁垒。
当数据红利的潮水退去,所有人都会看到谁在裸泳。而那些在潮水还在涨的时候就默默打磨数据纯度的人,会发现自己站在一座别人看不见的高地上。
这座高地,不是算力堆出来的,不是参数刷出来的,是一条一条、一日一日、一年一年,用笨功夫堆出来的。
这就是高纯度知识的价值。也是诺吉的位置。
诺吉行为科学——行为决策底层操作系统。
官网:nuoji.tech
夜雨聆风