证据综合 AI 使用有了国际共识:我按 RAISE 框架搭了完整工作流

证据综合领域AI应用也有一份国际共识建议RAISE(Responsible use of AI in Evidence SynthEsis)。2026 年 3 月,30 多位来自 UCL、Cochrane、WHO、NICE 的研究者在 OSF 上联名发布了 RAISE v3(DOI: 10.17605/OSF.IO/FWAUD)。这是证据综合领域 AI 使用的第一份国际共识建议--是这个行业第一次把"AI 能做什么、不能做什么、底线在哪"一条一条写清楚。基于 RAISE 的框架我搭了一条 9 阶段的 AI 辅助系统综述工作流。接下来我们先看看这个框架到底是什么？

RAISE 框架到底是什么

RAISE 全称是 Responsible use of AI in Evidence SynthEsis,直译就是"证据综合中 AI 的负责任使用"。v3 版本于 2026 年 3 月 13 日发布在 OSF(Open Science Framework),DOI 是 10.17605/OSF.IO/FWAUD。

框架分三份文档,各管各的事:

RAISE 1:角色建议。 定义了证据综合链条上 8 个角色--证据综合者(做综述的人)、方法学家(设计研究方案的人)、AI 开发团队、综合机构、出版商、资助方、综述使用者、培训者。每个角色该怎么做、该注意什么,一份份说清楚。

RAISE 2:AI 工具的构建与评估标准。 这是技术文档。核心是定义了一套指标体系--WSS95%(Work Saved over Sampling at 95% recall)、recall(召回率)、balanced accuracy(平衡准确率)。简单说,不是你说你的 AI 好就行,得按这套指标来测。

RAISE 3:AI 工具选择的决策流程。 面向使用者,给了 5 个评估维度,帮你判断某个 AI 工具适不适合你的综述场景。

三条核心原则贯穿三份文档,我觉得说得很到位:

1.AI 介入的地方,过程必须透明。你用 AI 筛了文献、提取了数据,都得在报告里写清楚。
2.统计方法不能因为 AI 而降低标准。该做的 Meta 分析还是得做,该算的异质性还是得算。
3.产出必须如实标注。用了 AI 就是"AI 辅助",不是"AI 替代"。这两个词差别巨大。

说实话,这三条原则看着朴素,但真到操作层面,多数人不知道怎么落地。这也是我搭工作流的出发点。

我按 RAISE 搭了一条 9 阶段工作流

整体设计思路

工作流的核心逻辑是:AI 能做的让 AI 做,人必须做的人来做,每一步都有明确的质量门控。

我把一条完整的系统综述流程拆成了 9 个阶段,每个阶段定义清楚三件事--做什么、AI 能做什么、人必须做什么。

9 个阶段详解

Stage 0:问题定义 + PROSPERO 注册。

这是整个流程的起点。你要回答什么临床问题?PICO(Population, Intervention, Comparison, Outcome)是什么?检索策略怎么设计?

这个阶段 AI 基本不介入。定义 PICO 是研究者的核心判断,不能交给模型。 注册 PROSPERO 是 RAISE 的硬要求--你的综述方案得公开注册,让人能追溯。

Stage 1:PubMed API 检索。

AI 全自动。用 PubMed 的 E-utilities API,按设计好的检索策略拉取文献。脚本会记录检索时间、检索式、返回条数--这些元数据后面写 PRISMA 流程图要用。

Stage 2:DOI + 标题去重。

AI 全自动。检索结果里会有重复文献,用 DOI 做主去重,标题做兜底。听起来简单,但实际跑下来,DOI 缺失率不低,标题去重需要做标准化(大小写、标点、空格)。

Stage 3a:AI 主动学习筛选。

这是 AI 发力的主战场。流程是:用 TF-IDF 把文献向量化,训练 Logistic Regression 分类器,对剩余文献做排序。人先标注一部分(种子集),模型学习后给剩余文献打分,优先展示最可能相关的给人工筛选。

Stage 3b:双人独立筛选 + Cohen's κ。

RAISE 的要求很明确:至少两个独立的人类筛选者。 不是一个人筛完就行。我们用 Cohen's κ(Cohen's kappa coefficient)衡量两人的一致性,κ < 0.6 说明筛选标准有问题,需要重新对齐。分歧文献进入第三方裁决。这里也是AI做不了的地方。

Stage 4:全文筛选。

通过了标题摘要筛选的文献,需要读全文决定最终纳入。这里 AI 能帮忙做一件事--自动获取开放获取(Open Access, OA)的 PDF,通过 Europe PMC API，如果有一些订阅也可以协助获取文章。

Stage 5:数据提取。

从纳入的 RCT 里提取效应量数据--均值、标准差、样本量、结局指标。这是最耗时的环节之一。我们用 LLM 做结构化提取:给模型 PDF 全文 + 提取模板,让它按固定格式输出。

但这里有个关键设计:LLM 提取的结果必须人工逐条验证。 模型可能把"mean change"看成"mean post-treatment",可能把 intention-to-treat 数据看成 per-protocol 数据。这些错误不罕见。

Stage 6a:偏倚风险评估。

用 Cochrane RoB 2 工具评估每个 RCT 的偏倚风险。AI 可以做辅助——比如自动定位随机化方法的描述、盲法的实施细节。但最终判断必须人工完成,因为"这个不清晰报告到底算 high risk 还是 some concerns"需要领域知识。

Stage 6b:GRADE 证据等级。

GRADE(Grading of Recommendations, Assessment, Development and Evaluations)是证据质量分级体系。脚本按五个维度自动打分--偏倚风险、不一致性、间接性、不精确性、发表偏倚。人工确认最终等级。

Stage 7:Meta-analysis。

≥3 个 RCT 时强制执行。用 DerSimonian-Laird(DSL)随机效应模型合并效应量,输出森林图。统计层面 AI 能做,但结论解读必须人来做--这个效应量在临床上意味着什么,异质性怎么解释,不能交给模型。

Stage 8:RAISE 声明自动生成。

根据前面所有阶段的使用情况,自动生成 AI 使用声明--哪个阶段用了 AI、用了什么模型、性能指标是多少。这是 RAISE 框架要求的透明性落地。

7 个硬门槛

光有流程不够,得有刹车机制。我设了 7 个 Workflow Gate(工作流硬门槛),任何一个没通过,产出的报告只能叫"方法学验证报告",不能叫"系统综述":

1.PROSPERO 注册号必须有。没注册,就不是规范的系统综述。
2.至少 2 个数据库。只搜了 PubMed 不够。
3.真实人类筛选者。全靠 AI 筛的不算。
4.偏倚评估需人工复核。 AI 辅助可以,但不能只靠 AI 判断。
5.≥3 RCT 时必须做 Meta 分析。有数据不做合并,是偷懒。
6.必须包含 GRADE 评估。没有证据质量分级的综述是不完整的。
7.任何 Gate 未通过 → 标注变更。产出是"方法学验证报告",不是"系统综述"。

这条最后一条最关键。诚实标注,是 RAISE 三原则的最后一条。

用公开 Benchmark 验证

框架搭完了,得跑数据看效果。我SYNERGY 项目的 Hall 2012 公开 benchmark 测了一遍。

Hall 2012 是系统综述 screening 领域的经典测试集:8,793 条文献,纳入率只有 1.2%--每 100 篇里只有不到 2 篇是相关的。

结果:WSS95% = 95.8%。

意思是:用 AI 主动学习排序后,只需要人工阅读约 4% 的文献,就能找到 95% 的相关研究。这个过程大量压缩了实际工作时间。这个数字在低纳入率综述中很有代表性--Cochrane 系统综述的平均纳入率通常在 1-5%,正好是 AI screening 收益最大的区间。

诚实说局限

坦白说，这个工作流还是很多局限性。

当前产出是"方法学验证报告",不是"系统综述"。 按我们自己设的 7 个 Gate,目前的工作流在 Gate 2(≥2 个数据库)上就卡住了--我们主要用的是 PubMed。Embase、Cochrane Library 的自动化检索接口我们还没接。所以严格说,目前的产出都是验证报告,不是可以用于临床决策的系统综述，不符合框架要求。

AI 能做的边界很清楚:

•✅ 检索、去重、排序--AI 全包
•✅ OA PDF 获取--AI 做,但覆盖率有限
•✅ 数据提取--AI 做,人工验证
•⚠️ 偏倚评估--AI 辅助,人工裁决
•✅ GRADE 评估--AI 打分,人工确认
•✅ Meta 分析--AI 计算,人工解读

AI 做不了的:

•定义 PICO 和研究问题
•判断临床意义
•决定纳入/排除的边界案例
•解释异质性来源
•做最终的临床建议

这些是人的专业判断,不该交给机器。我们充分应用AI强大的地方，同时注意与人的配合，人机协同实现合规以及可解释的研究报告，最大限度提升研究效率。

合规申明：本文只讲工作流与方法,不做任何医疗建议或疗效判断。