【AI量表】不再只问“你觉得你懂 AI 吗”:AI 素养客观测评量表 AICOS

导语

很多 AI 素养量表采用自陈问卷，让被试回答“我是否了解 AI”“我是否能使用 AI”。这类工具便于实施，但也容易受到自我认知偏差影响：一个人觉得自己懂 AI，并不等于真的能识别、理解、应用和评价 AI。

Markus、Carolus 和 Wienrich 开发的 AI Competency Objective Scale（AICOS）试图解决这个问题。它采用多项选择题形式，将 AI 素养作为一种可被客观测量的能力，并把生成式 AI 素养纳入测量框架。

文献信息

Markus, A., Carolus, A., & Wienrich, C. (2025). Objective measurement of AI literacy: Development and validation of the AI competency objective scale (AICOS). Computers and Education: Artificial Intelligence, 9, 100485. https://doi.org/10.1016/j.caeai.2025.100485

量表简介

AICOS 的全称是 AI Competency Objective Scale，中文可译为“AI 素养客观测评量表”或“AI 能力客观测评量表”。

它不是典型的 Likert 自评量表，而是由多项选择题构成的客观测验。研究者希望用它测量个体在 AI 素养上的实际掌握程度，而不仅是自我感觉。

最终版本保留 51 个题项，覆盖六类 AI 素养能力：

Apply AI：应用 AI
Create AI：创造/构建 AI
Detect AI：识别 AI
Ethics AI：AI 伦理
Generative AI：生成式 AI
Understanding AI：理解 AI

作者同时指出，虽然六个模块在内容上有解释价值，但从当前数据看，AICOS 作为总体 AI 素养测验的一因子方案更稳妥；六维结构更适合作为后续模块化使用与进一步验证的方向。

开发过程

研究采用多阶段量表开发流程。

第一步，研究者从既有 AI 素养测评工具和相关课程材料中整理初始题库。初始题库包括 107 个多项选择题，来源包括 Chiu 等、Hornberger 等、Kong 等、Pinski 等、Yau 等已有工具，也包括研究者自编题项。

第二步，研究者按能力框架对题项进行归类与内容筛选。AICOS 特别补入了生成式 AI 相关题项，这是它区别于较早 AI 素养工具的重要更新。

第三步，研究者用项目反应理论（IRT）分析题项质量。研究比较了 1PL、2PL 和 3PL 模型，最终选择 3PL 模型。经过项目参数、局部独立性和内容覆盖的综合判断，最终保留 51 个题项。

样本与数据

研究通过 Prolific 在线平台招募德国样本。纳入标准为居住在德国、母语为德语。

剔除注意力检查不合格数据后，最终样本为 514 人：

男性 273 人
女性 235 人
多元性别 6 人
平均年龄 32.90 岁
年龄范围 18 至 74 岁

样本覆盖不同教育水平和职业背景，其中信息/数据科学、行政/管理等背景占比较高。相比只在学生群体中验证的工具，AICOS 的样本更接近一般成人群体。

信效度证据

结构效度方面，最终 51 题的一因子模型拟合良好：

χ²/df = 1.05
RMSEA = .010
SRMR = .068
CFI = .980
TLI = .979

IRT 模型方面，最终题库的 3PL 模型拟合最好：

M2 = 1212.40
df = 1173
p = .207
RMSEA = .008
SRMSR = .041
CFI = .993
TLI = .993

信度方面，AICOS 表现较好：

Cronbach's alpha = .83
Composite Reliability = .90
EAP reliability = .83
empirical reliability = .86
conditional reliability = .91

效度方面：

与既有 AI 素养客观测验题项显著相关，支持聚合效度：r = .58, p < .001
与主观 AI 素养自评量表相关很低且不显著，支持区分效度：r = .04, p = .424
计算机科学背景者得分显著高于非计算机科学背景者，支持同时效度
AICOS 得分可以预测后续实践性小测验成绩，支持预测效度：r = .42, p < .001

为什么值得关注

第一，它把 AI 素养测量从“自我评价”推进到“客观测验”。这对教育干预、课程评估和培训效果评价很重要。

第二，它显式纳入生成式 AI 素养。许多早期 AI 素养量表是在 ChatGPT 普及之前开发的，内容上未必能覆盖当前生成式 AI 使用情境。

第三，它整合了已有工具，而不是完全另起炉灶。AICOS 的题库来源包括多项已有 AI 素养测评工具，研究者在此基础上进行了内容整合、IRT 筛选和效度验证。

第四，它提供了模块化的可能。虽然作者目前更推荐使用总体得分，但六个能力模块为后续教学诊断、课程设计和短版开发留下空间。

使用建议

AICOS 适合用于：

AI 素养课程前后测
成人 AI 能力诊断
生成式 AI 素养培训评估
不同群体 AI 素养比较研究
客观 AI 素养测验与自陈 AI 素养量表的对比研究

使用时要注意三点：

第一，AICOS 是客观测验，不是态度量表。如果研究问题关注的是“信心、焦虑、接受度、态度”，它不一定适合作为核心变量。

第二，当前样本主要来自德国成人群体。若用于中文语境，需要翻译、文化适配和重新验证。

第三，六个维度虽然在理论上有意义，但作者对当前数据的判断较谨慎。正式研究中若要报告分维度得分，最好先进行本地样本的结构验证。

可借鉴之处

对量表开发研究而言，AICOS 最值得借鉴的是它的“整合式开发”思路：先系统吸收既有工具，再补充新技术情境中的题项，最后用 IRT 和多类效度证据筛选题项。

对 AI 教育研究而言，它提醒我们：AI 素养不能只靠“我觉得我会用 AI”来衡量。未来更有价值的方向，是把自陈量表、客观测验和真实任务表现结合起来。

最终题项/测试题中英对照

作答方式：四选一客观测验。RA 为正确答案。SV 表示作者同时纳入短版候选。

版权说明

本文为社科学术吧对公开发表论文及其补充材料的学术整理，供研究、教学与量表选用参考。
原始量表、测试题项、正确答案和相关材料的版权归原论文作者及出版方所有；正式引用、改编、施测或商业使用时，请以原论文和出版方授权要求为准。
中文翻译为社科学术吧整理版本，仅供理解和研究参考。正式用于中文语境前，建议进行翻译、回译、专家审查、本土化预测试和信效度检验。
转载或引用本文整理内容时，请注明原始论文来源及社科学术吧整理信息。