AI 能写考题也能评操作:规培考核还剩下什么

AI 能写考题也能评操作

加

不是换

PART 01

文件性质

管考试的机构

PART 02

怎么做的

德尔菲全数通过

PART 03

五个领域

29 条推荐

PART 04

保留项

没有 AI 也能做

PART 05

评估三条防线

告知≠决定

PART 06

人会不会变形

最克制的一处

CONCLUSION

四个先问

淘汰率·保留项·分界·变形

01

PART

先看这份文件的三个信号

THREE SIGNALS

定位信号

体裁：标注为 PERSPECTIVE（观点／立场类），9 页。

作者：20 余位，几乎覆盖全部专科——眼科、麻醉、急诊、内科、骨科、精神科、家庭医学、儿科、外科、妇产科、牙科、病理、社区医学、耳鼻喉、放射……每个名字后面都跟着 FHKAM（该专科学院院士）。

第一作者头衔：Vice President (Education and Examinations)——主管教育与考试的副院长。

三个信号放在一起，定位就清楚了：它是「管培训、管考试」的机构，就「AI 该怎么进入专科培训」发布的机构立场——不是某个学科的教学经验分享。

02

PART

它是怎么做出来的（以及一个值得注意的结果）

THE METHOD

制订过程

文献合成：聚焦 2015–2025 年文献与政策文件，重点放在毕业后情境；优先同行评议研究与权威政策文件。

形成 46 条草案，分布在五个预备领域，并做内部审阅（清晰度、情境相关性、契合度）。

改良德尔菲：37 位专家（目的性抽样），两轮匿名评分；阈值事前设定为「5 点量表中至少 75% 的受访者给出 4 或 5 分」。

中间插入圆桌：结构化工作坊，专家分五个领域小组，专门讨论一致性较低、有歧义、内容重叠、有实施顾虑的条目；第一轮匿名评分汇总反馈给全体后，再进第二轮。

原文明确写道：所有进入传阅的条目都达到了预设的共识阈值，全部保留为最终推荐。

也就是说：两轮德尔菲，没有淘汰任何一条

德尔菲的核心功能是筛选——用投票把分歧大的筛掉。而这里筛子空了。

可能的解释：条目在进入投票前已经过内部审阅与圆桌修订（也就是筛工作在投票之前就做完了）；或者 75% 这条线对一个人数不多、且是目的性抽样的专家组来说并不难达到。

可迁移的判断：看到「采用德尔菲法」的文件，别只看阈值数字，要看实际淘汰率。淘汰率高，说明投票真在起作用；淘汰率为零，说明真正的筛选发生在投票之前——那你就要去看投票之前那一步怎么做的。

配套看一致性设计：本例在第二轮之前把第一轮的匿名评分汇总反馈给全体专家，让第二轮是在「看到分歧」的基础上重评，而不是重复第一轮。这一步决定了第二轮是「再投一次」还是「有信息增量的重评」。

03

PART

五个领域，29 条推荐

FIVE DOMAINS

五个领域

1. AI 素养与能力期望（6 条）：医生应当具备什么样的 AI 能力——递进式，而非一次性培训。

2. 课程与教学策略（5 条）：学习该怎么设计——由教育意图驱动，不是技术新颖性。

3. 面向医学评估的 AI 创新（5 条）：考核该怎么改——最难的一环。

4. 师资发展（6 条）：谁来教、谁能判。

5. 治理、政策与机构准备度（7 条）：制度要提供什么条件——授权、投入、监测、并保持可问责。

注意它们不是五张并列清单，而是一条链：能力定义了要教什么，教学决定怎么学，评估检验学没学会，师资决定谁能判，治理决定这一切能不能持续。

任何一环断掉，其余四环都会失效。一个好记的反例：如果师资不会判断 AI 输出的可靠性，前面三条设计得再漂亮，评估环节照样失守。——这也解释了为什么师资发展拿了 6 条，与最基础的「能力期望」并列最多。数量分布本身就是一种表态。

04

PART

它列了一份「保留项」清单

THE KEEP-LIST

保留什么

无辅助的推理（unaided reasoning）——能力培养：课程应保留。

直接观察（direct observation）——能力培养 + 评估：应当保留。

刻意练习（deliberate practice）——能力培养：课程应保留。

独立的临床构思（independent clinical formulation）——评估：课程应保留。

在适当之处、不使用 AI 的核心能力评估——评估：应保留。

注意这五条的共性：它们全都是「没有 AI 也能做」的能力。

这两句合起来，完成了一个很漂亮的设计转换

传统考法是「你能不能做对」。而这里的考法是「你能不能说明白——你凭什么用它、凭什么不用它」。

前者可以被 AI 代劳（AI 也能做对）；后者不能（因为要辩护的是「你」的判断）。

可迁移的判断：一份技术进入专业领域的文件，去看它列了哪些「保留项」。清单越长、越具体，说明作者对该领域「最容易被替代掉的核心能力」想得越清楚。

反过来用：如果一份文件只写「要善用 AI」、却没有任何「必须保留」的条款，那它对这件事其实还没有真正想清楚。因为「善用」是一个方向，而「保留」才是可执行的约束——方向不需要争，约束才需要理由。

05

PART

评估为什么最难：三条防线

THREE LINES OF DEFENCE

两个相反的问题

AI 明明能提高评估的效率、深度与公平性（原文表述），为什么不全用？

可如果 AI 能出题、能评操作、能整合长期表现数据，那「人在里面做什么」？

防线一 · 结论权不外放

原文明确：关于晋升、补强、信任授权、认证的决定，必须保留在「可问责的人」的监督之下。

并且：AI 辅助评估应运行在明确的治理框架内——说明用在哪、怎么用；要求验证与定期的偏倚审计；确保输出可解释、可质疑；学员应被告知 AI 的角色，并能对「有后果的输出」提出质疑。

防线二 · 把「高利害」单独定义

治理领域进一步定义：凡是会影响晋升、补强、信任授权、升职或认证决策的 AI 使用，都属于高利害——需要验证、透明度、偏倚监测、学员数据保护，以及可问责的人类决策。

防线三 · 「告知」与「决定」分开

这是措辞最精确的一句（转述）：AI 可以「告知」（inform），但不能「决定」（determine）那些有后果的决定。

「inform」与「determine」的分界，比「能用/不能用」清晰得多。它承认 AI 的输出应当进入决策（否则就白用了），但同时明确决策的落点必须在人这里。

顺带一句：这个切分方式和另一份 AI 立场声明是同构的——那份谈证据合成，说的是AI 可以产出，但不能署名、不能承担责任。领域完全不同（一个做科研、一个做教育），但切法一致：把「产出/告知」与「决定/负责」分开。

06

PART

它最克制的一处：谈的是「人会不会变形」

WHEN PEOPLE CHANGE

三个问题

对 AI 支持的决定，责任在谁？

是否可能出现技能退化（deskilling） 或 主体性丧失（loss of agency）？

如何维护人本化的实践？

为什么单独说这条？因为大多数技术治理文件谈的是「系统会不会出错」，而这一条谈的是「人会不会变形」。前者是风险控制，后者是职业身份的维护——后者更难量化、更难写进条款，但它恰恰是「AI 进入一个专业」最深远的影响。

而这份声明把它写进了推荐意见，而不是塞进结语里的感慨。这是一个姿态。

07

PART

四个先问

FOUR QUESTIONS TO ASK FIRST

① 看到「采用德尔菲法」，先看淘汰率

这份文件两轮德尔菲没有淘汰任何一条——说明真正的筛选发生在投票之前。

阈值数字只告诉你门槛多高，淘汰率才告诉你这道筛子是否在工作。

② 找「保留项」清单

一份技术进入专业领域的文件，「必须保留什么」比「可以引入什么」更能说明作者想清楚了没有。

这份列了：无辅助推理、直接观察、刻意练习、独立临床构思、以及「适当之处不使用 AI 的核心能力评估」——五条全都是「没有 AI 也能做」的能力。

③ 看它怎么区分「告知」与「决定」

「AI informs but does not determine consequential decisions」——这个分界比「能不能用」清晰得多。

配套看：它有没有把「高利害用途」单独定义并加一套要求。

④ 看它有没有谈「人会不会变形」

只谈系统风险的治理是不完整的。看它有没有处理专业身份、技能退化、主体性丧失、采用焦虑这些「不太好量化」的问题

这会告诉你，它是把 AI 当成一个工具问题，还是一个专业变迁问题。