2026年9月，我参加了一场关于如何使用Claude AI的网上卖课的展示。演讲者现场演示了如何利用Claude从头开发一套面向DoorDash的AI readiness assessment（AI就绪度评估），将其部署使用，再对收集到的数据进行分析。看到AI几乎可以独立完成整个评估流程，我感到惊讶又觉得哪里不对劲。

几天后，我又参加了莱斯大学举办的AI in Health Conference。那些报告给人的印象是：从文献综述、提出研究假设，到数据分析和撰写报告，AI现在几乎可以参与研究的每一个环节。

就测量而言，在会上，我看到AI被用于qualitative interview coding、语音分析、问卷题目生成，言语产生问题筛选，scoring rubric开发，甚至模拟整个数据收集过程。

作为一名有psychometrics（心理测量学）背景的研究者，我开始思考：AI真的能够独立开发出一套好的assessment tool吗？如果这么多工作都可以交给AI，那么研究方法学家和心理测量学家的价值又在哪里？

我认为，我们仍然不可或缺，只是需要把专业知识用在不同的地方。下面，我想结合AI在assessment development中的五种应用，谈谈其中的风险，以及为什么有些判断仍然离不开人的专业经验。

AI开发评估工具的五个环节及其风险

一、Qualitative Interview Coding：访谈文本分析

很多问卷量表的开发，第一步是收集定性资料，例如访谈目标人群，分析他们的回答，从中归纳主题，再据此编写题目。

AI可以阅读访谈记录，对文本内容进行分类和标记，并帮助研究者识别反复出现的主题。一种做法是让两个不同的AI模型分析同一份文本，再计算inter-rater reliability (IRR)，衡量两个模型之间的一致程度。

问题在于，agreement is not the same as accuracy（一致不等于准确）。两个AI模型可能因为训练数据或判断倾向相似而犯下同样的错误，甚至识别出受访者实际上从未表达过的主题。

例如，两个模型可能因为抑郁症在帕金森病相关文献中经常出现，就把患者的某些经历归类为抑郁，即使患者本人根本没有提到情绪问题。

因此，两个模型之间即使有很高的IRR，也不能证明分析结果是正确的。研究者仍然需要回到原始文本，核对每个判断是否有依据，最好还要让人类专家独立审查部分结果。

二、Clinical Screening and Scoring Rubrics：临床筛查与评分标准

在会议上，一个报告人讲述如何用AI筛选有言语问题的帕金森病人。他们请病患者朗读一篇短文，再利用AI分析朗读材料，以筛查可能存在言语问题的患者。

但在分析之前，有几个问题必须先弄清楚：哪些speech features（语音特征）具有临床意义？朗读短文这样的任务，能否稳定、可靠地引出这些特征？

制定一套好的scoring rubric（评分量规），远比编写选择题困难。评分量规不仅要说明评估什么，还要清楚界定不同表现水平之间的区别。现在有了AI，人们很容易想到：既然AI能写出评分标准，何不让它直接制定一套，再用这套标准给患者评分？

问题也恰恰可能出在这里。AI制定的评分标准，也许偏重那些容易识别的特征，却忽略了细微但具有重要临床意义的表现。如果AI既制定标准，又按照这套标准给患者打分，谁来判断这些标准本身是否合理？

AI可以分析语音，但哪些特征值得测量、评估任务能否可靠地引出这些特征，以及scoring rubric是否符合临床实际，都需要临床专家把关。

三、Semantic Similarity and Scale Shortening：语义相似度与量表精简

Sentence-BERT等AI工具可以把问卷题目转换成数值向量，再计算题目之间的semantic similarity（语义相似度），从而找出可能重复的题目。

但题目措辞相似，并不意味着它们测量的是同一件事。两个问题表面上很相近，却可能分别反映某种症状或体验的不同方面。如果仅凭语义相似度就删题，量表可能变短了，实际测量的内容却也变少了。

题目之间的相关性也是如此。低相关性不一定说明题目不好。心理测量学家需要结合量表的目的和measurement model（测量模型）来判断。

对于单维度的reflective scale（反映式量表），题目之间通常应当存在有意义的关联；但multidimensional scale（多维度量表）或formative index（形成式指数）可能由不同类型的指标共同构成，这些指标不一定彼此高度相关。

AI可以帮助我们发现可疑的题目，但不能仅凭相似度或相关性决定删题。相关领域的专家需要判断题目的实际意义，心理测量学家则要判断它在整个测量框架中发挥什么作用。

四、The Fully Automated Survey：完全自动化的问卷开发

Generative AI可以编写问卷、模拟受访者作答，再利用模拟数据进行factor analysis（因子分析）或item response theory (IRT，项目反应理论)分析。整个流程看起来完整而高效，但一个关键问题是：这些模拟结果真的能反映真实人群的回答吗？

Pew Research Center在2026年9月发布的一项研究发现，AI生成的回答与真实调查参与者的回答存在明显差异。AI的估计经常不够准确，而真实受访者表达不确定性的频率远高于AI模拟受访者。

这项研究考察的是public opinion surveys（公众意见调查），而不是psychometric scale development（心理测量量表开发），因此不能直接把结论推广到所有评估工具。但它提醒我们：基于模拟数据得出的统计结果，可能反映的是AI模型的特点，而不是真实人群的特点。

Synthetic data（合成数据）可以帮助我们探索思路、测试分析流程，却不能代替真实受访者参与的pilot testing（预测试）和empirical validation（实证验证）。

五、Assessment That Triggers Action：会触发实际行动的评估工具

有些assessment tools不仅用于测量某种特征，其结果还会直接影响后续行动，例如转介、干预或机构决策。Lyons (2009)将这类测量称为communimetrics。

Kane (2013)也指出，validity（效度）不仅涉及测量工具本身，还涉及得分的解释方式及其实际用途。

举个例子：某个筛查工具每月评估1,000人，其中8%的人需要进一步跟进，也就是每月产生80个转介个案。但负责后续服务的团队每月只能处理30个，怎么办？

这套工具可能成功找出了需要帮助的人，机构却没有足够的资源提供服务。原本合理的screening threshold（筛查阈值），可能因为人员减少或经费变化而不再适用。

AI可以估计有多少人会被筛查出来，却未必掌握机构实际能够提供多少服务。因此，必须有人持续关注筛查结果与实际服务能力之间是否匹配。

评估工具不仅要看测量得准不准，还要看它所支持的决策是否合理，以及机构有没有能力落实这些决策。

人的判断就一定比AI好吗？

当然不是。面对训练不足、疲惫或带有偏见的人，AI有时确实能做得更好。我们不能因为强调人的作用，就假设人的判断天然可靠。

但AI也不是始终如一的。同样的prompt在不同运行中可能产生不同结果；model updates也可能改变它的表现。过去有效的流程，之后未必还能得到相同的结果。

所以，问题不在于要不要使用AI，而在于我们是否清楚它能做什么、可能在哪里出错，以及应该用什么证据来检验它的结果。

人的新角色：从执行任务到设计和把关

随着AI接手越来越多的常规工作，我认为，测量领域的专业人员需要更加关注以下五个方面。

1. Construct Architect（测量构念设计者）。在生成题目之前，先弄清楚要测量什么、为什么测量，以及测量内容的边界在哪里。

2. Ground-Truth Reviewer（原始资料审查者）。将AI对访谈文本的分析与原始资料进行核对，并确保评分标准经过相关领域专家的审查。

3. Critical Psychometrician（批判性心理测量学家）。评估题目质量、测量结构和统计证据，并与相关领域的专家共同决定哪些题目应该保留、修改或删除。

4. Real-World Pilot Lead（真实人群测试负责人）。确保评估工具在正式使用之前，经过真实参与者的预测试和必要的验证。

5. Implementation Owner（实施负责人）。确保机构有能力根据评估结果采取行动，并在人员、经费和服务能力发生变化时重新审视相关标准。

结语：究竟是谁在驾驶飞机？

AI在测量工具开发中的作用就如飞机上的autopilot（自动驾驶系统）。它可以更快地完成许多常规任务，但仍然需要有人了解系统的运行方式，监控它的表现，并在必要时介入。

测量领域的专业人员也是如此。AI并没有让我们的专业知识失去价值，而是改变了我们运用这些知识的方式。

我们的工作不只是计算统计量或编写问卷题目，更重要的是确保题目真正测量了我们想要测量的内容，研究证据足以支持相应的结论，而测量结果也能得到合理的解释和使用。

AI可以帮助我们开发测量工具，但这些工具是否合理、是否可靠，以及是否适合实际使用，仍然需要人的专业判断。

References

Chapekis, A., Lau, A., Bestvater, S., Shah, S., Mercer, A., & Smith, A. (2026, September 30). Can AI stand in for human survey-takers? Not really. Pew Research Center.

Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73.

Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73.

Lyons, J. S. (2009). Communimetrics: A communication theory of measurement in human service settings. Springer.

Lyons, J. S. (2009). Communimetrics: A communication theory of measurement in human service settings. Springer.