乐于分享
好东西不私藏

当AI开始审教材

当AI开始审教材

一本罗马尼亚高中历史教材,72个问题,被AI系统标记出来,其中有一类发现格外刺眼:意识形态偏见(ideological bias)。
这是2026年7月13日提交到arXiv的论文Automated Textbook Auditing with Multi-Agent LLM Systems(arXiv:2607.11276)报告的结果。
论文作者来自布加勒斯特大学和迪米特里耶·坎泰米尔基督教大学,系统名为“AI教材审核器”(AI Textbook Auditor),一个模块化的多智能体LLM流水线,在第七届智能教材研讨会(韩国首尔)上发表。
系统接受教材PDF输入,分两条轨道运行。
一条是事实与技术轨道,由多个专业LLM智能体协作检测事实错误、代码错误、定义错误和概念不一致,人文学科领域还增加了网络搜索增强;另一条是语法轨道,以PDF原生方式处理,保留变音符编码。
两条轨道的发现汇总后,交给一个“评判智能体”(Judge Agent),由它使用“领域特定规则”过滤假阳性,最终生成可供人工审查的结构化报告。
在计算机科学教材上,系统检测到56项技术发现,覆盖8类分类法中的7类,专家验证精确率为62.5%。
在历史与社会科学教材上,72项发现被分为四个类别:49项语法、14项偏见与细微差别、4项国际视角、5项事实错误。
论文还给出了具体案例:教材声称《雅尔塔宣言》对苏联的罗马尼亚政策没有影响,系统标记这一表述与国际史学共识矛盾,并引用了档案证据;教材中两段性别刻板印象语言也被标记为需要重新表述。
14项偏见发现,意味着AI系统在一本历史教材中做了14次意识形态判断。但论文没有公布这些判断依据的具体标准。
论文将系统定位为“分诊工具”,强调“在采取任何编辑行动之前,需要人工专家验证”。
这里藏着一个严肃的问题:当AI系统在一本历史教材中做出14次意识形态判断时,这些判断由谁做出,依据什么标准,又对谁负责?

让我们拆解Judge Agent到底在做什么,整个架构包括三层。
底层是检测智能体群,负责找问题,事实错了、代码跑不通、定义自相矛盾,这些有客观答案,智能体干的活儿相当于“校对员”。
中层是Judge Agent,负责筛问题,检测智能体群报上来的候选,发现有的真、有的假,Judge Agent用“领域特定规则”过滤掉假阳性,只把“真问题”往上报。
上层是人工审核,拿到Judge Agent过滤后的报告,做最终裁定。分诊、过滤、终审,各司其职。
但问题出在Judge Agent那一层。论文说,Judge Agent使用“领域特定规则”来过滤假阳性。
什么是“领域特定规则”?论文的表述是“custom prompts encoding subject-specific error taxonomies”,通过自定义提示编码特定学科的错误分类法。
对于计算机科学教材,论文在表1中公布了完整的8类错误分类法:语法、代码、伪代码、示例、概念、定义、标准、可移植性,每一类都有明确的判定标准。但对于历史与社会科学教材,论文没有公布Judge Agent使用的相应规则。
这种不对称本身就是信号。技术领域的规则可以被公开、被审视、被质疑,因为“什么是C/C++语法错误”有客观标准。但人文学科领域的规则——“什么构成意识形态偏见”——没有同等程度的客观标准,而恰恰是这些标准最不透明的规则,被用于做了14次意识形态判断。
规则不是从天上掉下来的,它来自系统设计者的预设,来自训练数据的分布,来自prompt里的措辞选择。
当Judge Agent判定某段历史叙述存在“意识形态偏见”时,它依据的不是一个可验证的事实,而是一套解释框架。问题是,谁的解释框架?
同样是讲冷战史,不同国家的教材叙事框架截然不同,东方阵营和西方阵营对同一事件的定性可能完全相反。
系统标记“《雅尔塔宣言》对苏联政策没有影响”这一表述为与国际史学共识矛盾,但“国际史学共识”本身就是一个需要界定的概念:谁的共识?哪些学派的共识?
AI判定哪一种是“偏见”,实际上是在不同的解释框架之间做选择,而这个选择本身就是一个政治判断。只不过,这个政治判断被包裹在“算法”的外衣下,变得不可见、不可质疑、不可上诉。

中国的教材审核制度,有一套与AI“三层架构”高度对应又根本不同的结构。
国内高校教材审核实行“三关”:政治关、学术关、质量关。政治关主要审核政治方向和价值导向,学术关主要审核内容的科学性、先进性和适用性,质量关主要审核出版规范和编印质量。三关之中,政治关排在第一位,是“第一道关口”,也是最具中国特色的审核环节。
2026年以来,西南政法大学、福州大学、内蒙古农业大学、西安财经大学行知学院等多所高校陆续发布教材审核通知。虽然各校审核重点不同,有的聚焦编写审核,有的聚焦选用审核,但普遍执行“凡编必审”或“凡选必审”要求,多数实行盲审制度,且均要求教材审核人员须经所在单位党组织审核同意。
内蒙古某高校的审核会议还特别强调,评审要“兼顾政治标准、专业标准与育人标准”,从意识形态、商业广告、内容导向、专业科学性、教学适配度、内容时效性、教材标识、编印质量八个方面逐项把关。
把中外两套结构放在一起对照。
AI系统的事实智能体对应学术关中的科学性检测,可验证的事实层面两者重合;AI系统的Judge Agent对应政治关的“预筛”,但两者的合法性来源完全不同。
政治关的合法性来自制度授权,来自党组织审核、专家委员会把关、编审分离制衡;Judge Agent的“合法性”来自技术能力,它用规则过滤误报,但对于人文学科领域,这些规则由谁制定、依据什么标准、是否可以质疑,论文没有回答。
这种对应关系揭示了一个结构性问题:AI审核系统可以把学术关的技术性检测做得很好,但政治关的核心不在“检测能力”,在“制度授权”。
一个算法可以比人更快地找到事实错误,但它没有资格判定一段历史叙述是否“政治正确”,不是因为它不够聪明,而是因为政治审查的权力来自组织授权,不来自技术能力。
技术能力解决的是“能不能”的问题,制度授权解决的是“该不该”的问题,一个系统可以“能”但“不该”,这是两回事。

“算法意识形态”,是笔者想提的一个概念。
有趣的是,论文自己在局限性章节中也承认了类似的问题:系统的“事实轨道在技术领域依赖参数化LLM知识,在人文学科领域依赖网络搜索,两者都不是绝对可靠的,都可能再现主流叙事或课程特定惯例”。
论文用学术语言说的这番话,翻译成大白话就是:AI的判断标准可能只是在重复训练数据里占主导地位的那种叙事,而不是真正客观的“正确”。
人类审核员有偏见,这几乎是常识。一个偏右的专家可能对左翼叙事更挑剔,一个保守的审核者可能对激进表述更敏感。
但人类偏见有一个好处:它是显性的,可讨论的,可辩驳的。你可以说“这个专家立场偏右”,可以在审核会议上争论,可以提出异议,可以要求换人。偏见暴露在阳光下,就有被修正的可能。
算法的偏见不一样。它藏在训练数据的分布里,藏在prompt的措辞里,藏在“领域特定规则”的权重设定里。
你很难说清Judge Agent为什么判定某段文字“有意识形态偏见”,因为大模型的决策过程是黑箱。它给你一个结论,但不给你推理链路;即便给了推理链路,你也不确定那是真实的决策路径,还是事后生成的合理化叙事。人类可以说“我这样判断是因为以下三个理由”,算法说了你也不知道它是不是真的这么“想”的。
更危险的是规模。一个人类审核员一次审一本教材,他的偏见影响范围有限,而且审核会议上有其他专家制衡。但一个Judge Agent可以同时审一万本教材,它的偏见会被规模化复制,而复制过程中没有任何制衡机制。
更关键的是,因为“AI是客观的”这个错觉深入人心,几乎不会有人质疑它的判定。人类偏见会引发争论,算法偏见会引发信任,而信任一个不可追问的判定,比质疑一个可辩驳的判定,危险得多。
哲学社会科学教材的特殊性,恰恰放大了这个风险。这个领域的“正确”与“错误”往往不是事实层面的,而是解释框架层面的。同一个历史事件,不同的叙事框架会得出完全不同的“正确”版本。
AI最擅长的,是处理有客观答案的问题。目前还不擅长的,是理解一个解释框架背后的政治含义和历史脉络。
让一个不擅长理解政治脉络的系统去判定一段历史叙述是否存在“意识形态偏见”,这本身就是一种偏见的制度化,而且是一种比人类偏见更难识别、更难纠正的制度化。

论文本身给出了正确的定位:分诊工具,不是替代品。系统生成报告后“须经人工专家验证,方可采取编辑行动”。
论文的伦理考量章节也明确写道:“该系统被设计为人工编辑的辅助工具,而非自主决策系统。所有发现均为候选发现而非已确认错误。”
分诊的隐喻很准确,AI的工作是把病人分诊到不同科室,而不是代替医生开处方。但“分诊工具”的边界需要更精确的界定,否则“分诊”会不知不觉地滑向“诊断”,“诊断”又会不知不觉地滑向“处方”。
AI可以做好的,是事实性检测。日期错了、人名错了、数据引用有误、公式跑不通、定义自相矛盾,这些有客观答案,AI的检测能力可以超过人类。论文中CS教材的实验就是好例子:系统在一本283页的计算机科学教材中找到了56项技术问题,包括循环变量未声明的语法错误、二分查找中两个分支输出矛盾的逻辑错误、完全数定义错误的理论错误。这些发现都有明确的对错标准,62.5%的精确率虽然不算高,但方向是对的。
AI不应该做的,是价值判断。政治方向是否正确、价值导向是否健康、某段叙述是否构成“意识形态偏见”,这些判断不是因为它做不好,而是因为这类判断的合法性来自制度授权,来自党组织审核,来自专家委员会的集体讨论。
一个算法没有经过任何组织的授权,它没有资格做政治判断。这不是技术能力的问题,是权力来源的问题。
这恰好是笔者认同的“支架而非替代”原则在审核场景的延伸。
在教学中,AI是认知支架,帮助学生攀登思维高峰,但不替代学生攀登;在审核中,AI是效率支架,帮助审核员更快定位技术性问题,但不替代审核员做政治判断。
支架撑起的是流程,不是结论,替代的是劳力,不是权力。
AI审核系统应该输出“风险标记”,而不是“审核结论”。它的工作是举起一面黄旗,说“此处涉及历史评价,建议人工重点审阅”,而不是举起一面红旗,直接判定“此处存在意识形态偏见”。黄旗指向的是注意力的分配,红旗指向的是权力的行使,分诊工具举起黄旗是本分,举起红旗是越权。

当AI开始审教材,真正的风险不是“AI审错了”,而是“我们不再追问AI依据什么标准在审”。
论文中,Judge Agent使用“领域特定规则”过滤假阳性。对于计算机科学教材,论文公布了8类错误分类法,可被同行审视和质疑;但对于历史与社会科学教材,论文没有公布Judge Agent使用的相应规则。
CS领域的规则可以公开因为它有客观标准,人文学科领域的规则不公开则恰恰因为它没有同等程度的客观标准,而正是这些不透明的规则,被用于做了14次意识形态判断。
在一个教材审核系统中,最核心的不是检测能力,而是规则的制定权和解释权。
如果规则来自AI公司,那么AI公司就在实质上行使了教材审核的权力;如果规则来自训练数据的隐含偏好,那么数据集的偏差就变成了审核标准。
论文承认系统“可能再现主流叙事或课程特定惯例”;如果规则来自prompt中的几句指令,那么写prompt的那个人,就成了看不见的“终审法官”。
权力转移到了最不起眼的地方,转移到了写代码和写提示词的人手里,而这个转移过程没有任何制度性审查。
教材审核的终极问题从来不是“谁来审”,而是“谁审审核者”。
当审核者是人,这个问题有答案,上级党组织、专家委员会、制度规范,都是制衡的力量。
当审核者变成算法,这个问题不但没有消失,反而更难回答,因为你无法向一个算法追问它的立场,无法要求一个算法回避利益冲突,无法在一个算法面前提出申诉。
人类审核者可以被追责,可以被更换,可以被申诉,算法不能。
7月1日,教育部怀进鹏部长在课程教材研究所调研时叮嘱审核团队“严格把关,确保无疏漏”,同时要求“深入研究运用数字技术赋能教材建设、教学改革的新路径”。
这两句话之间,恰好是AI辅助审核的空间:数字技术可以赋能教材建设的效率环节,但“严格把关”的权力不能外包给算法。赋能不等于授权,效率工具不等于权力代理人。
笔者认为应该明确一条底线:AI辅助审核的技术方案可以有,技术架构可以迭代,但审核规范的制定权、解释权和修订权,必须始终在人的手中。
技术进步的节奏可以快,但权力归属的追问不能慢,当技术跑在制度前面的时候,制度必须追上去,而不是让技术替自己做决定。
Judge Agent需要它自己的Judge,而这个Judge,只能是人。