AI*因果决策系列11——零样本因果学习:预测未知干预效应的新方法

点击蓝字

关注我们

摘要

预测干预对个体的个性化因果效应在个性化医疗、公共政策、线上营销等领域具备重要价值。现有大量方法仅能基于已实施干预的历史数据预测效应，无法处理全新干预（如新研发药物）。本文提出零样本因果学习（Zero-shot Causal Learning）问题，并设计CaML（Causal Meta-learning，因果元学习）框架。CaML将每一类干预的条件平均处理效应（CATE）估计定义为独立元任务，在数千项任务上联合训练单一元模型；同时融合干预自身属性信息与个体特征，实现训练阶段从未出现的新干预的个性化效应预测。建模时，针对每一项干预采样接受/未接受干预个体构成自然实验，采用任意成熟CATE估计器生成无偏伪结果（pseudo-outcome）作为元训练标签。在大规模医保理赔、细胞扰动两组真实数据集上开展实验，结果证明CaML具备优异零样本预测性能。最关键的实证结论是：CaML的零样本预测效果甚至优于直接使用测试干预数据训练的强基线模型。

研究动机与研究问题

现有理论与实践缺口

1. 传统CATE估计方法仅适配训练集中已观测干预，无法泛化至全新、无历史观测的干预，新药、新型政策等场景无法落地；

2. 现有单干预因果模型每类干预需独立训练一套模型，海量干预场景算力成本极高，不存在统一共享建模范式；

3. 少量支持结构化干预的方法（GraphITE、SIN）只能绑定单一CATE估计器，无法兼容X/R/RA/DragonNet等主流异质性效应工具，拓展性极差；

4. 传统S/T/X学习器直接拟合原始观测结果，会带来系统性估计偏误，缺少伪结果（Pseudo-outcome）无偏训练范式；

5. 现有零样本学习集中于视觉/文本分类，缺少面向因果CATE任务的元学习理论与泛化界证明；

6 多干预组合（双药联用）的零预测无成熟方案，现有方法仅能处理训练内干预的组合。

核心研究问题及理论、实践意义

问题1：如何定义零样本CATE估计数学问题，构建可跨干预共享的因果元学习框架CaML？

• 理论意义：首次提出零样本因果学习标准化定义，打通元学习与潜在结果因果推断两大领域；

• 实践意义：一套模型适配数千类干预，无需逐个训练，大幅降低医药、政策领域建模成本。

问题2：如何利用任意成熟CATE估计器生成无偏伪结果，作为元学习训练标签？

• 理论意义：严格证明RA-learner等伪结果估计量的无偏性，解决直接拟合观测值带来的估计偏差；

• 实践意义：框架完全模块化，可自由替换工业界最优CATE工具，适配不同数据场景。

问题3：如何设计基于Reptile的元优化算法，推导零样本场景专属拉德马赫复杂度泛化界？

• 理论意义：提出零样本拉德马赫复杂度定义，给出有限样本预测误差上界，完善元因果理论；

• 实践意义：元训练算法收敛稳定，在医保、细胞两大真实数据集均实现显著性能提升。

问题4：CaML能否实现完全未观测干预、未观测干预组合的双重零样本预测？

• 理论意义：证明干预嵌入向量可捕获干预间因果相似性，支撑跨干预分布泛化；

• 实践意义：支持新药联用、多重政策组合事前效应预判，具备临床与政策仿真价值。

建模与分析思路

结论与管理启示

核心发现（每条附理论/实证依据）

1. CaML可实现完全未观测干预的零样本CATE预测，性能超越单干预专用强基线

依据：医保数据集Table2，CaML全部RATE指标高于T/R/RA/X-learner等单干预模型；LINCS细胞数据集PEHE误差最低。

2. 元学习Reptile适配机制是性能核心增益来源，移除后指标大幅下滑

依据：消融实验w/o meta-learning，医保RATE下降15%~22%，LINCS PEHE显著上升。

3. 模块化伪结果设计兼容任意CATE估计器，RA-learner搭配CaML效果最优

依据：替换伪结果工具的消融实验，更换后指标标准差放大20倍、精度下降最高6%。

4. 可实现“训练仅单药、预测双新药联用”双重零样本场景

依据药物组合预测附录表格，全部指标优于零样本基线GraphITE、SIN。

5. 推导专属零样本拉德马赫复杂度泛化界，给出有限样本预测误差理论上界

依据附录A定理1，结合庞加莱不等式给出完整收敛速率证明。

6. 干预嵌入（知识图谱/分子特征）是跨干预泛化关键载体，高维特征可捕捉因果相似性

依据药物知识图谱嵌入聚类、分类精度93%以上消融实验

生物医药、AI研发实践启示

1. 新药研发无需大规模临床试验即可预判人群差异化副作用，大幅降低临床前置成本；

2. 药物组合风险预测可复用单药训练模型，不用对每一组合重新建模；

3. 生物扰动、分子筛选场景直接采用CaML替代逐扰动训练传统CATE模型；

4. 构建生物医药知识图谱生成干预嵌入，是提升零样本泛化的核心工程手段。

因果机器学习、公共政策科研启示

1. 因果推断可与元学习深度融合，开辟“跨干预零样本因果”新研究分支；

2. 传统单干预CATE工具仅为CaML子模块，可统一封装至元学习框架复用；

3. 政策仿真领域，全新未落地政策可事前预判分人群异质性影响，辅助政策预评估；

4. 伪结果无偏范式是解决直接拟合观测值偏差的通用方案，可推广至多任务因果建模。

期刊信息

Nilforoshan, H., Moor, M., Roohani, Y., Chen, Y., Šurina, A., Yasunaga, M., Oblak, S., & Leskovec, J. (2023). Zero-shot causal learning. Advances in Neural Information Processing Systems (NeurIPS 2023), 36.

（声明：以上内容为个人对文章的翻译和理解，请有兴趣的同学阅读原文，还望各位专家、老师、同学批评指正！）