杨志明 等:Gen-AI自动命题与人工命题的质量比较研究

摘 要：生成式人工智能为考试命题带来新机遇，但命制的试题质量如何尚需实证检验。本研究以某职业院校120名学生为被试，采用项目反应理论双参数逻辑斯蒂模型，结合作答响应时间分析与选择题干扰项有效性评估，对比了AI生成的英语语法选择题与高等学校英语应用能力考试（PRETCO-A）真题的差异。结果发现：1）AI生成试题与人工真题在难度、区分度、模型与数据的拟合度以及测验信息分布方面均高度接近；2）学生在两类试题上的作答时间无显著差异；3）两者设置的有效干扰项比例无显著差异。上述研究结果连同实验过程中使用的Gen-AI命题原则，对于英语作业设计、低利害性英语考试命题等具有重要意义。

关键词：生成式AI；自动命题；项目反应理论；英语应用能力考试

引言

作为教育测评的关键环节，试题开发面临突出矛盾，即一方面依赖专家经验、成本高昂，另一方面又亟须实现大规模、高效率的命题^[1-3]。生成式人工智能（Generative Artificial Intelli­gence,Gen-AI）为解决上述矛盾提供了新的可能，其核心价值在于快速生成针对性试题，在减轻教师命题负担的同时，又提升了考试与教学的整体效率^[4-5]。然而，Gen-AI的命题质量常常受到质疑，直接采用其生成的试题还存在不少风险。为有效管控命题风险，有必要对以下三个问题进行系统研究：其一，在难度、区分度、信息量等关键质量指标上，Gen-AI生成的试题与国家级标准化考试真题之间存在何种差异？其二，在学生的作答响应时间上，两者表现有何不同？其三，在多项选择题选项的迷惑性效果方面，二者又存在怎样的差别？通过对上述问题的回答，不仅可以准确评估Gen-AI的命题质量，还能进一步提炼其优化改进原则与合理应用边界，为教育测评领域的智能化发展提供理论支撑与实践参考。

一、文献综述

（一）关于Gen-AI命题的相关研究

国内外关于Gen-AI命题的研究主要集中在测评效度、命题效能、技术适配性及实际应用四个方面。

在测评效度方面，已有研究多关注命题素材与情境的丰富性，知识、能力与素养目标的覆盖程度等问题^[6-8]。目前，较具代表性的研究结论认为，如果缺乏必要的人工审核与干预，Gen-AI生成的试题可能存在影响测量效度甚至考试公平的问题，如在客观题命制中可能出现多个正确答案^[9-10]，某些试题存在题目功能差异（differential item functioning）等。这类问题也凸显了对其产出进行效度验证的必要性。

在命题效能方面，现有研究多集中于命题效率（单位时间内的产出数量）、成本控制（人力与物力资源的投入规模）及试题质量（如难度、区分度、选项有效性）等方面^[11]。已有研究发现，Gen-AI生成的试题在难度、区分度及作答时间等方面与教材习题差异不显著，可应用于形成性测评^[12-13]。例如，医学考试领域Gen-AI命制试题的整体难度和区分度与人工命题情况相当，因此较为适合做平时练习^[9-10]。然而，Gen-AI命题质量也存在波动，其在高中数学命题中就出现难度把握不稳、解题过程不严谨等问题^[14]，这提示其效能发挥必须依赖于后续的人工审检与修订。

在技术适配性方面，已有研究侧重于两个方面：一是考查命题模式在不同学科中的适应能力，如理科公式生成的准确性、文科情境创设的适切性等^[15]；二是考查模型与现有测评系统的兼容性与集成能力^[16]。有研究指出，Gen-AI在俄语命题中能基本满足考试与教学需求^[17]，但在复杂的数学命题中表现出明显局限性^[14]。从Gen-AI命制的题型角度看，英语测评领域的实证研究多集中于听力、阅读等理解型题型，在高阶认知任务方面尚存在局限；此外，对语法题型的系统性研究仍显不足，由此限制了对不同题型适配差异的全面认识^[18-20]。这些研究揭示了一类共性问题，即Gen-AI命题的技术适配性受到学科与题型的影响。

在实际应用方面，Gen-AI命题的价值主要体现在两方面：一是通过参数化驱动实现批量命题，构建标准化题库；二是借助AI提升情境化命题水平，如结合VR/AR技术构建沉浸式测评场景以降低成本^[21]。已有研究发现，Gen-AI的应用潜力在很大程度上依赖研究者对命题目标与框架的明确界定及系统引导。例如，通过输入考试大纲、真题示例或采用迭代提示策略等方式，可以引导Gen-AI生成更加符合预期的试题^[5]。因此，将Gen-AI定位为“专家主导的人机协作命题工具”才更为合理。高水平专家应依据考试蓝图、实际学情及历史经验对Gen-AI生成的试题进行系统审查与修订，并重点关注试题情境的适切性、公平性及测量学属性，以最终实现技术赋能与命题质量保障的有机结合。

（二）应用IRT评估Gen-AI命题质量的相关研究

项目反应理论（item response theory,IRT）自20世纪60年代被提出以来，已逐步发展为现代测量学的重要方法，其模型从单参数逻辑斯蒂模型（1-PL）或Rasch模型发展为双参数（2-PL）、三参数（3-PL）及多维度模型（MIRT）等，具备题目参数与被试能力参数估计的总体不变性等优势，并能有效克服经典测验理论框架下题目和能力参数估计严重依赖考生样本的缺点^[22-24]。鉴于IRT的这些优势特性，它被逐步引入对Gen-AI生成试题的质量评估中。

目前，关于Gen-AI自动命题与人工命题质量差异的研究尚未形成共识。一方面，有研究发现Gen-AI生成试题在一些测量指标上接近人工命题水平。例如，Bhandari等采用2-PL模型比较Gen-AI生成的大学代数题与教材习题发现，二者在难度、区分度及考生作答响应时间等方面差异不显著^[12-13]；Young等在心理学选择题研究中发现，Gen-AI生成的试题在IRT框架下的合格率接近90%^[25]。另一方面，在高等教育考试情境中，有研究发现试题测量指标存在不同表现。例如，Mendoza等研究发现，Gen-AI生成试题的难度略高于人工命题，但其区分度和模型拟合度与人工命题相当^[26]；Isley等研究发现，Gen-AI生成的大学选修课试题整体难度略低，但其区分度和信度并不低于真题^[27]；Lin等对大学英语四级阅读理解题进行比较发现，Gen-AI生成试题在模型拟合度、题目信息量等方面与真题相当，但部分题目表现出更高的区分度^[19]。与此同时，也有研究对Gen-AI自动命题的测量学表现持谨慎态度。例如，Zhang等在英语测试研究中发现，Gen-AI生成的阅读理解试题在难度和区分度方面不及人工命题^[28]；另有研究指出，Gen-AI在命制涉及高阶认知能力的试题时，容易出现推理深度不足或测量效度受限等问题^[29-30]。

这些研究结果的差异可能源于学科属性、题型特征以及试题质量评估方法和指标选取等方面的原因。总体来看，已有相关研究主要侧重对题目难度、区分度和模型拟合度等传统测量学指标的对比分析，对考生作答响应时间、选择题干扰项质量等反映作答行为和测量效度的维度关注相对不足。这在一定程度上制约了对Gen-AI自动命题质量的全面认识，也为后续研究提供了更多探索空间。

（三）对客观题干扰项质量的相关研究

在Gen-AI自动命题研究中，客观题干扰项的质量是影响试题整体效度的关键指标，它直接决定了试题的区分度与测量精度^[31]，而且关系到模型拟合效果与测验信息分布的合理性。高质量的干扰项应具备适度的迷惑性，以有效区分不同能力水平的考生。Haladyna和Downing提出的选择题编写标准指出，有效的干扰项需同时满足两个条件，一是选择率不低于5%，二是具有负区分力（即更容易被低分组考生选择）^[32]。随后，Tarrant等进一步发展了上述判定框架，并强调通过综合选择率与区分力科学评估干扰项的有效性^[33]。

目前，相关研究普遍认为Gen-AI在客观题题干生成方面表现良好，但其干扰项设计仍存在明显不足并成为制约命题质量的短板。在医学考试命题中，尽管Gen-AI生成试题的难度与区分度与人工命题相当，但其干扰项质量不高，难以有效区分高水平学生^[9-10]。在语言测评领域也存在类似问题，如在对英语学习者的词汇测验中，Gen-AI生成的干扰项大量无效，导致测验整体信度降低^[34]；在听力与阅读理解题型中，即便题干与文本质量较高，干扰项的迷惑性依然不足，进而影响了题目的区分度^[18–20]。上述多学科领域研究证据表明，干扰项设计仍是Gen-AI命题中一个持续存在的薄弱环节。

综上，今后相关研究应在科学标准的指导下，结合实证测量方法，对Gen-AI生成干扰项的有效性进行系统性评估及针对性优化，从而为Gen-AI自动命题的质量控制提供理论依据及实践路径。

二、研究设计与方法

（一）研究假设

为了比较Gen-AI命题质量与真题质量之间的差异，本研究选用高等学校英语应用能力考试（PRETCO-A）的真题（以下简称真题）作为参照，再根据考试要求让Gen-AI命制试题。PRETCO-A是由教育部批准设立，高等学校英语应用能力考试委员会组织设计与实施的一项标准化英语水平测试。这门考试主要考核高职高专学生以英语为工具、进行日常和一般业务交际的能力。之所以选择PRETCO-A真题作为研究样本，是因为该测验是一种高水平统考但又不属于高利害考试，因此试题质量有保障，学生作答表现较少受到各种培训辅导的影响，容易测得学生的真实水平。研究提出的假设主要有以下三个。

H1：Gen-AI生成题与真题在题目难度、区分度、模型拟合度以及测试信息分布上差异不显著；

H2：学生完成Gen-AI生成题和人工真题的响应时间无显著差异；

H3：Gen-AI生成题与人工真题的有效干扰项比例无显著差异。

（二）研究方法

1.IRT分析法

在测量学中，题目定标是指通过实证方法建立测量工具的量尺与其拟测量的潜在能力之间的关系^[35]。为了验证H1，采用IRT双参数逻辑模型（2-PL）对试题进行定标，模型为：

模型（1）表示被试i在试题j上正确作答的概率，主要由能力水平（θ）、试题难度（b）及区分度（a）共同决定。其中，难度参数指在某一能力值下被试有50%概率答对该题所对应的位置；区分度参数表示答对率随能力变化的陡峭程度，区分度越高，代表该题区分特定水平学生的能力越强^[36]。

为检验试题效度，本研究参考已有研究提出的相关程序^[37-38]，采用联合定标法（concurrent cali­bration）对Gen-AI生成题目与人工真题同时定标。该方法较单独定标更高效、标准误更小、假设条件更少^[39]。此外，由于研究中所用试题测量的能力维度相同，且缺失数据为不完全随机缺失，因此估计结果不存在系统偏倚^[40]。为检验两类试题的模型契合程度，本研究通过分析Infit/Outfit MNSQ与ZSTD指标判断试题与模型的匹配度，并识别潜在的异常情况。同时，通过绘制Wright图直观对比两类试题的难度覆盖与被试能力分布的匹配情况，绘制测试信息函数比较两类试题在不同能力区间的测量精度^[41]。

为了验证H2，本研究使用“课堂派”平台自动记录的作答时间数据分析每道题目的响应时间，主要包括正确、错误作答的时间，以比较两类试题在不同作答结果下的耗时差异。所有IRT参数估计与可视化均基于R studio完成，使用相关统计包进行2-PL模型分析。

2.干扰项分析法

为了验证H3，本研究在干扰项分析中借鉴Tarrant等判定框架^[33]，综合考察选择率与区分力（DP）两个指标，以界定干扰项的有效性。如果某干扰项的被选比例低于5%，则判定为无效干扰项；如果其选择率大于等于5%，再进一步考察其区分表现。DP主要用来评估高、低分组考生在选择该选项上的差异，公式为：

其中，PL表示低分组（总分排序处于最低的27%）考生选择该选项的比例，PH表示高分组（总分排序处于前27%）考生选择该选项的比例。理想情况下，正确答案应表现为PH>PL，即DP>0；同时，由于高质量的干扰项更能吸引低水平考生，因此应呈现PL>PH，即DP<0。本研究将有效干扰项界定为选择率在5%及以上且区分力为负值的选项。反之，若干扰项的选择率低于5%或其区分力为正值，则为无效干扰项。在此标准下，本研究分别对两类试题的所有干扰项进行判定与统计，从而比较两类试题干扰项质量的差异。

（三）Gen-AI命题原则与试题生成流程

在使用Gen-AI命题时，应遵循以下五个原则：一是确保题目与考纲或课标等严格对接，既要有效覆盖所考内容，又要避免超纲；二是题干要简洁、选项具有同质性且正确答案唯一；三是错误选项应具有迷惑性，最好是考生的常见错误；四是题目难度应从易到难合理过渡；五是剔除题目中的文化偏见。

本研究采用的Grok3模型（以下简称Gen-AI）是由X AI团队于2024年推出的新一代Gen-AI，在自然语言理解、语法生成与语言规范性方面表现出色。之所以选择该模型，是因为其开放平台提供了相对充足的免费调用额度，研究可以较低成本获取大规模题目样本，从而满足实验所需的数据规模。以PRETCO-A语法选择题作为研究对象，Gen-AI试题生成流程主要包括三步。

第一，向Gen-AI输入《A级考试大纲》及近五年PRETCO-A语法选择人工真题，包括题干、选项、答案及解析等内容，作为Gen-AI生成题目过程中的参考资料。

第二，向Gen-AI输入以下明确指令：

你是一名中国高职高专英语语法命题专家，请按以下要求命制试题：

考点范围：参照《A级考试大纲》，涵盖常见语法知识点（如时态、非谓语动词、从句、虚拟语气、情态动词、主谓一致等），知识点随机选取。

难度控制：题目应符合A级考试难度，题干简洁，避免超纲内容或过于复杂的语言。

试题设计：每题均为四选一单项选择题，题干清晰，语言规范。

干扰项设计：错误选项须具备一定的迷惑性，与正确答案在形式或语义上存在一定相似性，但不得出现与正确答案等同或导致多解的情况。

答案与解析：每题提供一个唯一正确的答案，并附简要解析，说明考点依据与作答理由。

第三，对Gen-AI生成的题目质量进行检查，参考标准有两项。一是语言规范检查，即题干与选项无语法或拼写错误，表达符合英语习惯，且不得出现歧义或不当内容；二是内容相关检查，指题目正确答案均可由考点知识直接判断，选项与题干考点紧密相关。在满足条件的Gen-AI生成题库中随机抽取40道语法选择题作为实验组，对照组是从近年PRETCO-A考试中随机选取的40道语法题。

（四）数据收集

被试为某高职院校电商专业一年级学生，共120人，年龄18~20岁。根据学校教务处提供的数据发现，被试学生高考英语平均成绩为50分，语法基础较为薄弱。

研究共进行了8次测试，其中4次测试选用人工真题，另有4次测试使用Gen-AI自动生成的语法题。测试所用题目均由授课教师通过“课堂派”微信小程序发布。每次测试包含10道语法选择题（四选一），不提供任何提示信息，并要求学生课后独立作答。测试结束后，系统自动收集作答数据。本研究共获得120名学生在8次测验中的所有作答数据。

（五）统计方法

数据分析涉及参数估计、均值差异检验及比例差异检验三类统计检验方法。其中，题目参数的估计与模型拟合检验基于2-PL模型完成，作答响应时间的比较采用独立样本t检验，干扰项有效性比例的差异比较采用卡方检验。统计分析均在R studio中完成。

三、研究结果

（一）Gen-AI生成题与人工真题在IRT测量特性上的总体特征

IRT分析侧重在题目参数估计、模型与数据拟合性以及试卷信息量三个方面。

1.两类试题在难度与区分度参数上的比较

运用IRT2-PL模型和同时校准估计方法，得到人工真题与Gen-AI生成题的题目参数和考生能力参数估计值，具体见图1、表1。

由图1可知，人工真题与Gen-AI生成题的难度分布相似，均集中在难度值（-2，2）区间，既包含了一定数量的容易题和难题，又包含较多中等难度试题，为区分不同能力水平考生提供了保障。此外，考生的能力分布近似正态，集中在（-2，0）区间，被题目难度分布区间（-2，2）完整覆盖，从而避免了因题目难度与考生能力错配而导致的测量信息不足等问题。

由表1可知，Gen-AI生成试题与人工真题在难度与区分度的均值未呈现显著差异（p>0.05），说明两类试题在整体难度和区分度上较为一致，即Gen-AI生成的语法选择题在难度与区分度方面接近标准化真题。

2.两类试题在模型拟合程度上的比较

IRT假定考生能力水平高于题目难度时答对概率较高，低于题目难度时答错概率较高。如果大量考生在某个试题上的作答表现不符合上述规律，则该题目被认定为表现异常，即IRT模型与数据拟合不良。评估模型与数据拟合性指标主要有Infit和Outfit两类，以均方Mean-Squares或标准化Z值表示。其中，Outfit是题目特别难或特别容易时考生作答表现异常的指标，Infit是题目难度与考生能力水平接近时的考生作答表现异常指标，二者的理论值是1.0，理想区间是（0.5, 1.5）或（0.7, 1.3）。如果outfit MNSQ值远高于1.5，可能是该题太难导致低水平考生随机作答，也可能是该题太容易但有不少高水平考生答错。如果infit MNSQ值远高于1.5，说明考生在试题难度与自身能力水平接近时表现失常。这两类情况都会损害IRT模型与数据的拟合性，具体结果见表2。

由表2的t检验结果可知，在模型数据拟合性指标表现方面，Gen-AI生成试题与人工真题接近，二者无显著差异，但这两类试题的具体情况并不相同。其中，Gen-AI生成题目中有2道题的Infit MNSQ不在理想区间，G13和G23均低于0.7；有7道题的Outfit MNSQ不在理想区间，低于0.7的有G10、G13、G21和G35，高于1.3的有G9、G24和G33；人工真题中有1道题的Outfit MNSQ不在理想区间，即A3低于0.7。由此说明，Gen-AI生成试题的异常作答表现比率略高于考生在人工真题上的异常作答表现。然而，如果使用（0.5,1.5）区间值作为模型与数据拟合良好的标准，则Gen-AI生成题与人工真题的IRT模型与数据拟合程度都达到合格水平。

3.两类试题在测验信息分布上的比较

测试信息函数可以揭示测验在不同能力区间的测量精度^[38]。本研究中两类试题的测试信息曲线在整体形态上高度相似，均在能力水平θ≈0附近达到峰值，具体见图2。

由图2可知，两类试题在中等水平学生中能提供最高的测量精度，可以较为有效地捕捉该区间学生的能力差异。从经典测量学视角来看，θ=0通常代表样本均值水平，曲线在此位置达到峰值说明这两类试题合理覆盖了大部分学生的能力水平，避免测量精度过度偏向能力过低或过高的学生。此外，人工真题在峰值区域提供的信息量更多，说明其在区分中等水平学生能力时更具优势；Gen-AI命题的曲线虽然峰值略低，但是在θ≈（-2,-1）的低分组区间呈现更为平缓且持续的覆盖，说明Gen-AI命题在对低水平考生的能力估计中更能维持相对稳定的信息量，不会因题目难度过高导致测量效度急剧下降。这一差异在实际测评中具有重要意义。

在高职院校，英语基础较弱的学生较多。正是因为Gen-AI自动命题在该区间能提供更为均衡的信息覆盖，所以其在日常作业和教学诊断中能够更好地满足此类学生的需求。对人工真题而言，其在中等能力区间表现更高精度，因此更适合高利害考试。总体而言，这两类试题的信息函数曲线均符合测量学预期的特征，既能对大多数学生所处的能力区间实现较高的测量效率，也能在不同能力水平区间发挥各自优势。

总体上，Gen-AI生成题与人工真题在难度分布、区分度水平、拟合度结果及测试信息函数等综合分析结果上都较为相近。虽然两类试题在局部参数上存在细微差别，但总体趋势显示其难度与区分度控制合理，拟合度良好，能够在受试学生的主要能力范围内提供有效测量。

（二）Gen-AI生成试题与人工真题作答响应时间差异分析

本研究中，学生作答Gen-AI生成题的平均时间为29.83秒/题，作答人工真题的平均时间为31.25秒/题。进一步分析正确作答的题目发现，学生对Gen-AI生成题的平均响应时间为28.47秒，低于人工真题的30.12秒。对于错误作答的题目，Gen-AI出题的平均响应时间为31.92秒，略低于人工真题的32.45秒。

从以下两个层面对试题平均响应时间进一步分析：1）项目层面，以题目为单位，先计算每一道题的平均作答时间，再比较两类试题差异；2）试卷层面，以学生的每一次作答为独立观测值，将所有作答记录纳入统计分析。由此，可以同时考察题目整体特征与个体作答行为之间的差异情况。t检验发现，两类试题的平均响应时间差异无论在项目层面（t=-0.21,p=0.84）还是在作答层面（t=-0.27,p=0.79）均未达到显著水平。

图3为两类试题的响应时间密度分布图，进一步支持了这一结论，两类试题的分布曲线在主要区间高度重叠，说明学生在两类测验中的作答时长基本一致。

（三）Gen-AI生成题与人工真题干扰项质量的比较结果

有效干扰项通常更容易吸引低分组学生，从而增强试题区分度；无效干扰项则几乎无人选择，或更易被高分组学生选中，缺乏应有的区分作用。

图4为Gen-AI生成试题与人工真题在干扰项分类上的总体分布情况。对两类试题的有效干扰项的比例进行卡方检验，结果显示χ²（1）=1.25, p=0.26，未达到统计学显著水平。这表明两类试题的有效干扰项的比例无显著差异。根据学生测试数据分析结果，在Gen-AI生成的120个干扰选项中，74个为有效干扰项，46个为无效干扰项；在人工真题的120个干扰项中，77个为有效干扰项，43个为无效干扰项。Gen-AI生成试题的干扰项合格率达到61.7%，接近人工真题的64.2%。可见两类试题在干扰项质量上整体接近。

从具体题型来看，语法选择题的选项往往在形式和结构上接近，因此Gen-AI更容易通过规则化的要求生成具有迷惑性的干扰项。以下四个例题分别来自Gen-AI生成试题（例1、例2）和人工真题（例3、例4）。

Gen-AI在语法题生成过程中能较好地模拟正确选项的表面特征，生成与之高度相似的干扰项，从而使其在语法题中的命题质量接近人工命题。因此，上述四道例题各个选项的选择分布呈现出相似规律。这一发现与前文统计分析结果一致，进一步解释了为何Gen-AI生成试题中有效干扰项的比例能够接近人工真题。在语法题这一知识点规则化、变体相对有限的题型中，Gen-AI生成的干扰项已基本达到与人工命题相当的质量水准，为其在英语测评中的应用提供了实证依据。

四、结论与讨论

本研究采用IRT方法对比分析Gen-AI生成的英语语法选择题与真题差异，结果发现：二者在难度、区分度、模型与数据的拟合度、学生作答响应时间及题目的有效干扰项比例等方面无显著差异；在生成试题的峰值信息量和模型拟合度方面，Gen-AI生成试题与真题相比略显不足。

在难度方面，本研究与Bhandari等研究发现^[12-13]一致，但不同于部分研究提出的Gen-AI生成试题整体偏易等结论^[25,27,29]。在区分度方面，本研究与Mendoza等研究发现^[26]一致，但与Zhang等研究结论^[28]不同，该差异可能是由题型特征不同引起的。有研究发现，Gen-AI在语法类结构清晰的题型上表现出较强的生成能力，在需要高阶认知能力的阅读理解题中则表现较弱^[29-30]。在作答行为方面，学生在两类试题上的响应时间差异不显著，并在项目层面与作答层面的分析结果保持一致。这在一定程度上说明Gen-AI生成试题的内容效度较好^[33]，题意表达清晰，学生在理解题意方面无须耗费更多时间。此外，干扰项设计被视为Gen-AI自动生成选择题的主要瓶颈^[34]，但本研究发现两类试题干扰项的质量接近。该发现与医学领域自动命题研究中报告的干扰项质量不足^[9-10]形成鲜明对比，由此说明学科特征对Gen-AI命题质量具有重要影响。医学类试题涉及高度专业化的知识，而英语语法题考点规则明确、变式有限，使得Gen-AI更容易生成合理的干扰项。值得注意的是，在英语听力和阅读题型中，Gen-AI自动生成的干扰项质量偏低^[18-20]，这说明同一学科内的不同内容也会影响Gen-AI的命题质量。因此，将Gen-AI生成试题应用于正式考试时，应结合学科与内容特点，在训练数据、命题指令、题目参数控制、干扰项质量及专家反馈等方面建立更加系统化的试题质量保障机制。

综上，Gen-AI自动生成英语语法试题的质量接近真题水平，且成本低、效益高。教师可根据教学内容快速生成质量接近标准化考试的题目，提供丰富的课后作业和课堂小测资源，大幅降低人力成本和时间消耗，促进教学与反馈衔接。本研究对其他学科自动命题研究亦具有借鉴价值。对于同样具有规则化、结构化特征的学科内容（如数学基础运算、物理公式应用等），Gen-AI可能展现出与语法题相似的命题效果；而对于需要高阶认知能力或复杂推理能力的学科内容，则需要根据学科特点调整命题策略。因此，各学科教师在应用Gen-AI进行命题时，应充分考虑学科、题型特征，坚持人机协作模式，教师需审阅、修订和优化生成内容，以确保试题的可靠性^[42]，使Gen-AI在教育测评中发挥更大作用。

本研究存在的主要局限及未来改进方向有三点：第一，样本群体仅来自一所高职院校学生，未来可扩大样本学校和班级范围以增强结论的普适性；第二，仅聚焦英语学科语法选择题而未涉及其他题型，未来可扩展到其他更多学科与题型的相关研究；第三，研究所用Gen-AI模型为Grok3，可能存在模型类别间差异。未来可进一步探索指令工程、模型微调等对命题质量的提升作用，推动Gen-AI在教育测评中的科学化、规范化应用。

参考文献略。

引用格式: 杨志明, 李炳蔚, 李雨黎, 等. Gen-AI自动命题与人工命题的质量比较研究[J]. 中国考试, 2026(4): 37-48.