ARTICLE · 1311308
洞悉课标、精通测量:AI赋能教育评价与试题命制的理论基础、实践路径、问题与对策——兼论国内外研究进展与实践启示
一、引言:技术浪潮下的评价命题之问
近年来,教育评价改革持续深化。《深化新时代教育评价改革总体方案》明确提出要"改进结果评价,强化过程评价,探索增值评价,健全综合评价";教育部办公厅2025年12月印发《关于进一步加强中小学日常考试管理的通知》,直指部分地方与学校"命题质量不高"等突出问题,要求切实加强命题指导与质量监控;2026年度全国基础教育重点工作部署会进一步提出有序推进中考改革、开展中考命题评估,减少超纲超标、死记硬背和"机械式刷题"(侯玉桃、于泽元、刘泓谷,2026)。在新课程方案与课程标准强调"教学评一体化"的背景下,命题能力已不再是命题专家与教研员的专属技能,而日益成为新时代教师的"基本功"。
与此同时,以大语言模型(LLM)为代表的生成式人工智能正快速进入教育评价的全链条。从智能组卷、自动评分到题目自动生成(Automatic Item Generation, AIG),技术提供者描绘了一幅"命题效率提升60%""评价精准到人"的图景;多地的实践(如重庆"AI+思政"命题工作坊、高校全链条智能考试平台)也已初见成效。然而,一个必须先行回答的问题是:AI赋能教育评价与试题命制的基础和前提究竟是什么?
本文的核心论点是:这一基础和前提不是算力、数据或模型本身,而是对课程标准的深度洞悉与对测评学理论体系的精通。缺乏前者的AI命题是"无锚之题",容易超纲超标、情境失真;缺乏后者的AI命题是"无度之题",难度、区分度、信度、效度皆无从谈起。换言之,AI能够加速命题的过程,但不能替代命题的专业逻辑。下文将从理论基础、实践路径、问题剖析与对策框架四个层面展开论证。
二、理论基础与前提:AI赋能的"两块基石"
(一)第一块基石:洞悉课程标准——命题的"锚"
课程标准是国家意志在学科教育中的具体化,规定了课程的育人目标、内容范围、学业质量水平,是命题合法性与有效性的唯一制度依据。AI赋能命题若脱离课程标准,将产生系统性风险。其前提性地位体现在三个层面:
1. 内容锚定:从"内容标准"到考查范围
课程内容标准划定了"考什么、不考什么"。当前AI大模型的训练语料天然是"超纲"的——它并不自动知道中国义务教育阶段的学段边界与教材版本差异。若使用者不能将课程标准精确转化为提示词约束与知识点边界(例如明确"不考""不超前置概念"的负面清单),AI生成的题目极易出现知识超范围、能力超要求的问题,这与"双减"及考试管理政策的精神直接相悖。因此,洞悉课程标准、能够将其"翻译"为AI可执行的结构化约束,是AI命题的第一前提。
2. 素养锚定:从"学业质量标准"到考查深度
2022年版义务教育课程方案和各科课程标准以核心素养为纲,首次在课标层面系统呈现了学业质量标准,为每一学段规定了素养表现的水平描述。这意味着命题者必须理解"核心素养"如何转化为可观测、可评分的行为指标——例如从"知识记忆"走向"在真实情境中解决问题"。国内学者的研究表明,新中考、新高考的改革方向是让学生"从会解题变为会解决问题",通过情境化、开放性的多维设计实现从考查知识向考查能力、考查思维的根本转变(侯玉桃等,2026)。AI若缺乏对学业质量水平的理解,其生成题目往往停留在低阶记忆层面,出现"认知层级降格"。
3. 理念锚定:"教学评一体化"与命题的专业属性
"教学评一体化"要求评价目标与教学目标同源、评价任务与学习任务同构。威金斯(Wiggins)与斯蒂金斯(Stiggins)的表现性评价理论、赫钦斯(Hutchins)的分布式认知理论均强调:评价应在真实或模拟情境中通过任务激发学生展示综合能力(转引自朱志平,2024)。课程标准正是这种"情境—任务—素养"一致性的制度表达。命题者只有吃透课标,才能判断AI生成的情境是否真实、任务是否内生于情境、设问是否指向素养,而非被AI产出的"表面合理性"所迷惑。
(二)第二块基石:精通测评学理论——命题的"尺"
如果说课程标准解决"考什么、考多深",测评学理论则解决"测得准不准、公平不公平"。这是教育评价作为一门实证科学的立身之本,也是AI命题质量控制的"度量衡"。
1. 三大测量理论谱系:从CTT到CDM
●经典测量理论(CTT):以难度系数、区分度、信度、效度为核心指标,是教师与教研员必须掌握的基本功。CTT的局限在于项目参数依赖于特定被试样本,但其操作性强,仍是大规模考试质量分析的主力框架。
●项目反应理论(IRT):将被试能力与项目参数(难度、区分度、猜测参数)置于同一量尺下建模,使题目参数具有样本不变性,是计算机化自适应测验(CAT)与题库建设的理论基石。
●认知诊断模型(CDM):从"连续能力"转向"离散知识状态"的细分,通过Q矩阵刻画"认知属性—题目"关联,实现对个体知识结构与加工技能的诊断性评价。这与素养导向下"精准诊断、靶向改进"的评价诉求高度契合,也恰是AI学情分析与个性化命题的理论支撑。
2. 认知目标分类:命题的"思维阶梯"
布鲁姆教育目标分类学(Anderson & Krathwohl修订版)将认知过程由低到高分为记忆、理解、应用、分析、评价、创造;比格斯(Biggs)与科利斯(Collis)的SOLO分类理论则从结构复杂度刻画学生回答由"前结构—单点—多点—关联—抽象拓展"的进阶。二者为AI命题提供了可操作的认知层级标尺:设问设计应遵循"思维评价的递进阶梯",精准衡量学生的认知层级与思维深度(侯玉桃等,2026)。实践中,已有教研培训将布鲁姆分类法用于把"创新思维"等高阶素养转化为可测量的试题任务,并以SOLO法训练教师进行等级评分(央广网,2025)。
3. 题目自动生成(AIG)与证据中心设计(ECD):AI命题的直接理论接口
AIG并非新事物。其经典范式由欧文(Irvine)与基隆嫩(Kyllonen)于2002年系统提出:基于认知模型构建"题目模型"(item model/template),通过内容实例化批量生成认知需求等价的同族题目,优点是难度可预期、构念对齐度高,局限是只能覆盖可形式化的题型(Irvine & Kyllonen, 2002)。吉尔(Gierl)与赖(Lai)进一步将AIG用于生成题目及其解题依据,支持计算机化形成性测验的即时反馈(Gierl & Lai, 2018)。
米斯莱维(Mislevy)等人提出的证据中心设计(ECD)则提供了更一般的"评价论证"框架:先明确"要测什么构念"(学生模型)、再设计"什么证据能体现构念"(证据模型)、最后设计"什么任务能引出证据"(任务模型)。这一"反向设计"逻辑恰恰是把AI约束在效度轨道上的最佳框架——AI负责任务模型的批量实例化,而学生模型与证据模型必须由精通测量学的专业人员定义。有论者指出,AIG技术经历了"从规则驱动方法到大语言模型的演进",效率与多样性显著提升,但面临专业知识表达准确性、文化公平性与构念效度等现实挑战(《心理学报》课题组,2025)。可见,测评理论不是AI的"装饰",而是其能否被正确使用的先决条件。
(三)小结:两块基石的耦合关系
课程标准与测评理论并非并列关系,而是构成一条"效度证据链":课程标准提供构念定义(测什么素养、到什么水平),测评理论提供测量论证(题目如何可靠地引出并解释证据),AI则提供生产效率。三者缺一,链条即断裂。这正是"AI赋能教育评价的基础和前提是洞悉课程标准、精通测评学理论"的学理根据。
三、AI赋能教育评价与试题命制的实践路径
(一)命题全流程赋能:从经验驱动到数据驱动
依托人工智能与大数据技术,可以构建基于实证反馈的精准命题与动态优化机制。具体路径包括:
1. 素材搜集与情境搭建:AI可快速聚合真实、多元、复杂的问题素材,辅助教师筛选和改造情境,破解"素材挖掘散、情境失真"的痛点;在跨学科情境、虚拟实验模拟等新型任务设计上,AI更能提供人工难以企及的生成能力(朱志平,2024)。
2. 细目表规划与考点梳理:以课程标准与教材为知识源,AI可自动完成知识点—能力—难度—题型的多维双向细目表,并通过检索增强生成(RAG)保证内容不超范围、深度不超要求。
3. 题目初稿生成与打磨:通过"精准提示词设计"(涵盖基础属性、素养情境、命题逻辑、结果审查四个维度),AI协助教师快速生成试题框架,再由教师智慧打磨题干、检查考点、规范表述,形成"规范引领—智能辅助—精细研磨"的人机协同命题模式(侯玉桃等,2026)。
4. 自动评分与反馈运用:自动作文评分(AES)的机器—人工一致性已达到接近人工评卷员之间一致性的水平(Shermis & Burstein, 2013);AI还可用于答题卡识别、学情可视化、报告生成与分层试题定制,推动评价结果反哺教学。
5. 质量分析与偏差检测:机器学习可用于大规模项目功能差异(DIF)检测,识别跨群体的潜在不公平性,在题目"面世之前"预警偏差风险。
(二)国内外研究与实践的印证
国内方面,北京师范大学心理学部黎坚课题组在《Computers in Human Behavior Reports》发表的系列研究,系统开发并验证了一套结构化、通用的LLM自动化命题框架:通过优化温度参数与多轮迭代的结构化提示词,在创造力与准确性之间取得平衡;经443名真实被试实证检验,生成题目在信效度指标上达到传统人工编制量表的标准,内容效度指数(CVI)达0.76,部分结构效度指标甚至优于传统自陈量表(北京师范大学心理学部,2025)。这一成果标志着心理测验行业向"自动化时刻"迈出重要一步,也证明了"结构化提示词+测量学验证"路径的可行性。
在教学一线,重庆市教科院主办的"AI+思政"命题工作坊构建了"三维四域"命题框架(测量目标、情境材料、任务设问三大核心,紧扣学科特点、课程目标、内容标准和学业质量四个维度),演示了基于智能平台的试卷自动生成系统;教研员以"五维分析法"对46份AI辅助命题作品进行诊断,显示经智能技术优化的试题在情境真实性、任务开放性等维度平均提升32%,同时也发现部分试题存在"情境扁平化"等新问题(央广网,2025)。高校层面,多所大学已落地"智能命题、智能组卷、智能监考、智能评卷"全链条应用,并构建"数据采集—智能分析—问题研判—教学优化"的循证教研闭环(教育部网站,2026)。
国际方面,对2023—2026年LLM自动命题研究的结构化综述表明:AI生成的题目在语言质量、内容质量乃至部分情境下的心理测量学质量上前景可期,但仍然存在事实性错误、构念错位、认知要求不足、干扰项质量弱、作答模式伪迹、文化敏感性问题,且质量随模型、提示词设计与测评领域不同而大幅波动;随着命题规模的指数级扩张,核心挑战正从"生产内容"转向"验证内容",测评专业人员的角色将转向规格说明、审查、验证与问责(Research Reviews, 2026)。在健康、法律等高利害职业资格考试中,GPT类模型生成题目并通过专家审校的流程已进入试点;在尼日利亚等发展中地区高校的实证研究则显示,AI生成题目的区分度与传统题目无显著差异、信度可接受(α=0.79对0.82),但教师测评素养、基础设施与伦理制度是决定其有效性的关键变量(JEEV, 2025)。经济合作与发展组织(OECD)与联合国教科文组织(UNESCO)亦分别从教育测评数字化转型与人工智能伦理治理角度,提醒成员国在拥抱技术的同时守住公平、透明与问责底线(UNESCO, 2021; OECD, 2023)。
(三)路径小结:一个"人机协同命题流水线"
综合国内外经验,可归纳出如下理想工作流:课标解码(人)→ 细目表构建(人机)→ 题目生成(AI)→ 专业审查(人)→ 心理测量学校准(机+人)→ 实测验证(数据)→ 迭代入库(闭环)。在这一流水线中,AI承担重复性、生成性劳动,人承担价值判断、情境把握、效度论证与最终问责——正如国内论者所言:"教师主导、AI辅助"模式下,AI只是智能助手而非"替身",价值判断、情境把握、情感共鸣及育人导向仍需教师完成(侯玉桃等,2026)。
四、可能的问题:AI赋能命题的现实挑战
(一)效度层面:构念错位与认知层级降格
"能够生成一道看似合理的题目,不等于该题适合教育测量。"AI生成内容遵循语言的统计规律而非测量学的构念逻辑,常见问题包括:题目所测与宣称所测的素养不一致(构念错位);设问停留在记忆与理解层面,无法触及分析、评价、创造等高阶认知(认知层级降格);情境与任务割裂,情境沦为"包装纸"。前述国际综述将构念对齐与认知要求不足列为首要风险(Research Reviews, 2026)。
(二)质量层面:事实性幻觉、弱干扰项与参数失控
大模型的"幻觉"在命题中表现为知识性错误、过时信息或虚构数据,这在理科与高利害考试中是不可接受的;选择题干扰项生成质量参差,常出现"强干扰项缺位"或"多个正确答案";更深层的问题在于难度不可精确控制——模板化AIG可预期难度,而LLM生成题目的难度参数波动大,必须依赖实测校准(Cogn-IQ, 2025)。若大规模AI题目未经IRT参数标定即入卷,将直接威胁等值性与分数可比性。
(三)公平与伦理层面:文化偏差、隐私与问责
AI训练语料的文化偏向可能系统性不利于特定地域、群体或城乡背景学生;有研究指出面部识别等AI监考技术在深肤色人群中错误率更高,远程监考引发隐私争议与误判(Buolamwini & Gebru, 2018;Cogn-IQ, 2025)。学生作答数据被用于模型训练还涉及未成年人数据保护。此外,"AI出题"的责任归属模糊:一旦出现科学性错误或导向偏差,是模型开发者、平台、命题教师还是审定机构负责?现行制度尚无清晰答案。国内思政学科的实践也专门强调"AI必须成为传播主流价值的智慧助教",提示意识形态与育人导向的审查不可外包给机器(央广网,2025)。
(四)主体层面:教师测评素养的结构性缺口
国内研究明确指出:"命题理论是大部分教研员、骨干教师较为缺失的,很多试卷命题质量不高,原因常在于此"(侯玉桃等,2026)。当教师自身缺乏测量学素养时,无法识别AI题目的效度缺陷,反而可能因效率提升而放大低质量题目进入试卷的规模——"AI不会淘汰命题者,但会淘汰不会鉴别AI产出的命题者"。国际上对发展中地区高校的研究同样表明,教师感知胜任力是采纳AI测评工具的最强预测因子(JEEV, 2025)。
(五)制度层面:标准、规程与评估机制的滞后
AI辅助命题缺少行业性的质量标准与操作规程:何类任务可交AI、何类判断必须由人作出、何类结论必须有实证证据支撑,目前学界刚提出概念框架(Research Reviews, 2026)而实践普遍缺位;AI生成题目的知识产权、题库安全与试题保密问题亦未纳入现行考试管理制度。
五、解决路径:构建"理论先行、人机协同、证据闭环、伦理护航"的治理框架
(一)理论先行:把课标与测量学"编码"进AI工作流
1. 建立课标—命题知识库:将课程标准、学业质量水平描述、教材、双向细目表等结构化为机器可检索、可引用的语料库,通过RAG技术强制约束生成范围,从源头抑制超纲。
2. 以ECD框架规约生成过程:先由专业人员定义学生模型与证据模型,AI仅在任务模型层批量生成,确保"任务—证据—构念"的论证链条闭合。
3. 用认知分类学约束设问设计:在提示词工程中显式嵌入布鲁姆层级与SOLO水平要求,并对生成题目进行认知层级自动标注与人工抽检,防止层级降格。
(二)人机协同:明确"AI可为、人必为、须实证"的任务分工
借鉴国际上新提出的证据本位质量保障框架,应区分三类任务(Research Reviews, 2026):适合AI辅助的(素材聚合、初稿生成、格式化处理、参数计算);必须由专业判断完成的(价值导向审查、情境真实性判断、构念适切性认定、最终审定);必须有实证证据支撑的(难度、区分度、信效度、DIF结论一律以实测数据为准)。北师大团队"结构化提示词+多阶段实证验证"的成功经验(CVI=0.76)表明,只要把测量学规范前置到提示词设计与后置到实证检验两端,LLM命题完全可以达到甚至部分超过人工命题质量(北京师范大学心理学部,2025)。
(三)证据闭环:建立"生成—审查—校准—监测"全链条质量控制
●多阶段心理测量学验证:内容审查(学科专家)→ 认知审查(测量专家)→ 公平性审查(DIF与敏感性检测)→ 试测校准(IRT参数估计)→ 入库与持续监测。
●AI辅助偏差检测:利用机器学习在大规模作答数据上探测传统方法难以发现的复杂偏差模式,使公平性审查从抽样走向全量。
●建立AI命题元数据制度:每道AI参与命制的题目记录模型版本、提示词、人工修改轨迹与实测参数,实现全程可追溯、可问责。
(四)伦理护航:制度、素养与文化三管齐下
1. 制度供给:在《生成式人工智能服务管理暂行办法》《未成年人网络保护条例》及教育评价相关政策框架下,制定教育领域AI命题应用指南,明确准入条件、审查流程、责任划分与红线清单;借鉴UNESCO《人工智能伦理建议书》倡导的透明、可解释、人类监督原则(UNESCO, 2021)。
2. 素养建设:将课程标准解读、教育测量与统计、AI提示工程纳入教师培训与教研体系,使"人机协同命题能力"成为教师专业发展的新维度;对教研员开展CTT/IRT/CDM的进阶培训,补齐"从学科视角看是优质试卷、从测量学视角看并非如此"的短板(侯玉桃等,2026)。
3. 公平审慎:对AI生成内容开展城乡、地域、群体敏感性审查;高利害考试中AI参与命题应设置更严格的实证门槛与人工终审;审慎使用AI监考,防止以技术之名侵害学生隐私与人格尊严。
(五)面向未来:AI改变的是分工结构而非专业逻辑
综合本文论证可以预期:随着命题能力规模化,"生产题目"的成本趋近于零,"验证题目"的价值急剧上升。测评专业人员不会被替代,而会转型为效度论证者、公平性守护者与评价设计师。这恰恰反过来印证了本文的起点:唯有洞悉课程标准,才可能定义正确的构念;唯有精通测评理论,才可能完成严谨的效度论证。技术越强大,专业根基越重要。
六、结语
AI赋能教育评价与试题命制,本质上是将命题从"个体经验型劳动"升级为"理论规约下的人机协同工程"。这一升级的基础和前提,是对课程标准的深度洞悉与对测评学理论体系的精通——前者提供构念合法性,后者提供测量科学性,二者共同构成AI无法自我供给的专业内核。当前实践中的构念错位、幻觉风险、公平隐忧与素养缺口,均可归因于这一内核的缺位;而理论先行、人机协同、证据闭环、伦理护航的治理框架,则为解决问题提供了系统方案。展望未来,唯有让"懂课标的人"驾驭"懂生成的机器",让"懂测量的人"守护"可信的分数",人工智能才能真正成为撬动教育评价改革、促进核心素养落地的杠杆,而非制造更高效应试的新引擎。
参考文献
[1] 侯玉桃, 于泽元, 刘泓谷. AI技术如何赋能高质量试题命制[N]. 中国教育报, 2026-08-17.
[2] 朱志平. 基于情境与任务协同设计的智能化命题模式初探[EB/OL]. 课程教材研究所, 2024. https://www.ictr.edu.cn/news/jiao/detail/5220.html.
[3] 题目自动生成的技术革新与现实挑战[J]. 心理学报, 2025, 33(10): 1766.
[4] 北京师范大学心理学部黎坚课题组. Automatic item generation for personality situational judgment tests with large language models[J]. Computers in Human Behavior Reports, 2025.
[5] 央广网. "AI思政"新突破:巴蜀科学城中学成立智能命题工作坊[EB/OL]. 2025-05-06. https://www.cnr.cn/chongqing/cqjy/2021jyzx/2021zxx/20250506/t20250506_527160641.shtml.
[6] 中华人民共和国教育部. 华南理工大学集智聚力 深入推动"人工智能教育"行动[EB/OL]. 2026-06-24. https://www.moe.gov.cn/jyb_xfb/s6192/s133/s207/202606/t20260624_1441505.html.
[7] 中共中央, 国务院. 深化新时代教育评价改革总体方案[Z]. 2020.
[8] 中华人民共和国教育部. 义务教育课程方案(2022年版)[S]. 北京: 北京师范大学出版社, 2022.
[9] Research Reviews. AI-Generated Assessment Items: Quality, Validity, and the Role of Human Oversight[J/OL]. International Social Science Review, 2026. https://ojs.publisher.agency/index.php/ISS/article/view/9408.
[10] Irvine, S. H., & Kyllonen, P. C. (Eds.). Item Generation for Test Development[M]. Mahwah, NJ: Lawrence Erlbaum Associates, 2002.
[11] Gierl, M. J., & Lai, H. Using automatic item generation to create multiple-choice test items and solution rationales for computerized formative testing[J]. Medical Education, 2018.
[12] Shermis, M. D., & Burstein, J. (Eds.). Handbook of Automated Essay Evaluation: Current Applications and New Directions[M]. New York: Routledge, 2013.
[13] Buolamwini, J., & Gebru, T. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification[C]//Proceedings of Machine Learning Research, 2018, 81: 1-15.
[14] UNESCO. Recommendation on the Ethics of Artificial Intelligence[S]. Paris: UNESCO, 2021.
[15] OECD. Digital Education Outlook 2023: Opportunities, Choices, and Equity Issues[M]. Paris: OECD Publishing, 2023.
[16] JEEV. AI-Augmented Psychometrics: Automated Item Generation and Scoring in South-South Universities[J/OL]. Journal of Emerging Empirical Voices, 2025. https://jeev.innovascience.uz/index.php/jeev/article/view/2027.
[17] Cogn-IQ. AI Cognitive Assessment: Evidence and Limits[EB/OL]. 2025. https://cogn-iq.org/blog/ai-cognitive-assessment/.
本公众号推送内容,仅作为教育评价相关教研交流、学术研讨之用。文中所有观点均为作者个人见解,并不代表任何官方机构立场,仅供广大教育同仁参考。文稿虽力求严谨准确,但无法完全保证全部素材、数据毫无疏漏。部分素材取自公开资源,如涉及版权问题,烦请相关权利人联系我方处理。任何主体若依据本公众号内容作出相关决策并由此产生各类后果,本公众号及作者概不承担相应责任。














































































