导读
4月17日至19日,AI安全国际对话(International Dialogue on AI Safety, IDAIS)在英国皇家学会举行,图灵奖得主Yoshua Bengio、姚期智教授,清华大学讲席教授、智能产业研究院(AIR)创始院长张亚勤,加州大学伯克利分校教授Stuart Russell、上海人工智能实验室主任、首席科学家周伯文等多位顶尖人工智能科学家与治理专家共同探讨如何防范人工智能驱动的攻击行为对社会造成大范围危害,共同拟定并签署了一份共识声明。声明呼吁各国正视人工智能网络攻击、生物滥用技术不断扩散所带来的共同威胁,并携手开展防范工作。
安远AI CEO谢旻希、AI安全研究经理段雅文受邀出席会议。谢旻希就人工智能与生物安全交叉领域(AIxBio)的风险态势与政策建议发言,并共同签署了本次会议的共识声明。
本次会议由AI安全国际论坛(Safe AI Forum)与牛津马丁人工智能治理倡议(Oxford Martin AI Governance Initiative)联合主办,是IDAIS系列对话的第五次会议。

前排左起依次为AI安全国际对话发起人Stuart Russell、姚期智、Yoshua Bengio、张亚勤
AI驱动的生物安全风险:三大威胁趋势

谢旻希在发言中指出,AI能力的快速发展正在从三个维度加剧生物安全风险,并呈现了最新的实证数据。
首先,显著降低恶意行为者利用生物技术造成危害的门槛。根据安远AI参与撰写的《前沿人工智能风险管理框架:风险测评实践报告》,截至2025年,18种主流模型在解答危险生物知识问题上的表现均已超越人类专家。安远AI的《前沿AI风险监测报告》对40多种大语言模型在真实世界的湿实验(wet lab)故障排查方面的能力进行评估,部分模型已能达到甚至超越人类专家水平;而表现最差的模型对95%的恶意提示都予以配合,将专家级生物操作指令提供给任何提问者。
其次,提升潜在生物危害上限,使设计比自然界更危险的病原体成为可能。《自然》(Nature) 杂志近期报道了斯坦福大学团队首次利用 AI 生成功能性病毒的完整基因组;AI免疫逃逸预测工具EVEscape对SARS-CoV-2变异株的预测准确率达66%,远超传统方法的17%,这类工具同样可能被恶意行为者用于制造能够逃逸现有免疫系统的病毒。
第三,削弱现有生物安全防护体系。AI可被用来绕过传染病监测机制与核酸合成筛查,从而使关键防线失效。DNA合成筛查是阻止危险基因序列实体制造的关键防线,但其有效性依赖于与已知危险序列的同源性比对。借助AI可以设计出既能实现危险功能,又能躲避合成筛查的新型序列。在最近的测试中,前沿大模型 Claude Opus 4 成功设计出的DNA片段或能够组装成质粒,或能够规避筛查协议。值得庆幸的是,目前还没有任何模型能够同时做到这两点,但安全边际正在收窄。
五条政策建议
基于以上风险,谢旻希提出五条政策建议,构成纵深防御体系。这些建议不仅参考了安远AI与天津大学生物安全战略研究中心联合发布的《人工智能 x 生命科学的负责任创新》报告,还融入了安远AI为中国科学院学部重要学术成果《人工智能赋能科学研究:人工智能学科体系》第八章所撰写的“生物伦理与生物安全”相关内容。
一、共同定义“不可接受的风险”。在国际层面就AI赋能生物威胁的红线达成共识。借鉴安远AI与上海人工智能实验室联合发布的《前沿人工智能风险管理框架》,在生物领域设立三条“红线”:降低获取或扩散生物制剂的门槛(B1)、增强或改造现有病原体(B2)、能够从头开始合成全新生物制剂(B3)。
二、建立危险数据管控的公私协同机制。对敏感生物数据及合成路径实施分级访问与过滤。从源头入手,将生化武器相关高风险数据排除在AI训练数据之外。中国TC260 AI安全治理框架对此也有类似建议。建议公共卫生、生物安全及AI社群通力合作,共同制定关于高风险生物数据界定的明确且具可操作性的指导方针。
三、强化数字—物理生物安全双重防线。加强对AI辅助基因合成订单及实验室自动化流程的筛查。推动首个合成生物学国际标准ISO 20688的落地,支持SecureDNA等利用密码学方法实现隐私保护筛查的技术方案,关注桌面合成器(desktop synthesizer)兴起带来的新风险,以及建议将筛查协议直接嵌入硬件固件。
四、利用AI强化全球应对大规模疫情的能力。主动将AI能力用于预警、疫苗研发与应急响应。例如广州国家实验室与北京大学提出的病毒变异预测框架E2VD,以及以将疫苗研发压缩至100天内为目标的“大流行病预防引擎”。建议政府与慈善机构战略性地加大对AI驱动的生物防御领域的资金投入,并将其视为至关重要的全球公共产品。
五、针对AI驱动的大规模疫情场景制定应急预案。定期开展跨部门AI生物威胁情景演练,提升全球应对能力。2025年,核威胁倡议组织与慕尼黑安全会议联合开展的AIxBio桌面推演表明,利用AIxBio能力制造全球性疫情已成为值得严肃应对的现实风险,而现有治理与安全机制尚未充分准备,需要政府、产业界和公益组织加强协作,共同建立更完善的风险防范与应急响应体系。
共识声明
在为期三天的会议中, 与会科学家与治理领域专家共同拟定并签署了一份共识声明。声明呼吁各国正视人工智能网络攻击、生物滥用技术不断扩散所带来的共同威胁,并携手开展协同防范工作。
声明还针对两大风险领域明确了工作重点:守护关键基础设施、强化前沿人工智能模型的安全防护、建立完善的风险评估体系。同时提醒,网络领域当下出现的乱象,也为生物安全风险以及未来更多挑战敲响了警钟,其中就包括逐步走向自主化的人工智能系统可能出现失控的问题。
以下为声明官方中文翻译:
人工智能能力的持续跃升,正从两个方面增强恶意非国家行为体的力量:既降低了制造危害的门槛,也抬高了所能造成危害的上限。
目前,这种潜在危害在网络攻击领域表现得最为紧迫和显著。前沿人工智能系统已能够执行以往需要专业团队耗费数周的攻击性行动,使得任何能够访问这些系统之人皆可借此实施攻击。曾经仅针对单一目标的攻击如今可被大规模部署;曾经仅有资源充足的行为体才能发动的复杂漏洞利用——例如关停医院、供水系统、电网、金融市场或空中交通管制的网络攻击——正以远超以往的规模落入远超以往的人群手中。
同样的态势也在生物领域演进,只是节奏相对较缓。前沿人工智能系统在与病原体设计相关的任务上已超越博士级专家,使较低层级的生物能力逐步进入非专业人员的可及范围。与此同时,高级的人工智能系统已能够修改和设计日益复杂精密的病原体。若上述趋势持续下去,人工智能系统可能很快会使更多行为体得以发动具备造成大规模人员伤亡、压垮医疗系统能力的生物攻击。
具备行动能力的智能体的迅速涌现进一步放大了上述风险,使网络与生物领域潜在滥用的速度与规模不断上升。
我们判断,过去集中在国家层面、或需要国家级规模的资源才能获取的两用能力,正快速落入非国家行为体——从恐怖组织到孤狼式个人——的可及范围。目前已部署的人工智能防护措施远远不够,基础性的技术与社会防御体系仍处于萌芽阶段,且在各司法管辖区之间部署不均。若要防止人工智能赋能的攻击对全社会造成危害,前沿人工智能开发者、各国政府、研究机构和关键基础设施实体的协调行动不可或缺。
我们建议各国认识到人工智能赋能的网络攻击能力与生物滥用能力扩散所带来的共同威胁,并承诺共同努力防范这些威胁。主要人工智能司法管辖在协调方面负有特殊责任。这尤其包括美国和中国,以及其他在人工智能开发、部署和评估方面具有重要能力的司法管辖区。
人工智能赋能的网络攻击是迫在眉睫的威胁
按当前发展趋势,资源极为有限的非国家行为体1,将在未来一年内获得某些国家级网络攻击能力,从而对关键基础设施与国家安全系统构成前所未有的风险。由于应对准备滞后,一定程度的损害如今已难以避免。但紧急行动仍有可能将危害控制在低于全社会规模的范围内,并为下一阶段所需的防御能力奠定基础。
前沿人工智能系统已能在数小时内完成专家团队需要耗费数周的编程工作,并能够在全球审查最严格的代码库(包括所有主流操作系统与浏览器)中发现并利用漏洞。人类社会对这一迫在眉睫的威胁远未做好应对准备。
以下措施必要但不充分;它们只是防御持续改进过程中的若干示例性步骤。
应对人工智能赋能网络攻击的优先事项:
保护关键基础设施。各国政府应紧急加快工作步伐,依托国家网络安全机构、关键基础设施运营者以及防御性网络安全领域的专业力量,增强关键系统抵御人工智能赋能攻击的能力。
建设对前沿人工智能系统网络攻击能力的评测能力。在现有工作的基础上,主要人工智能司法管辖区应发展自主评测能力,对前沿人工智能系统网络攻击能力进行评测。
要求开展部署前测试,并在必要时延迟更广泛的开放。各国政府与开发者应协同合作,共同确立前沿网络能力阈值,以触发部署前测试与延迟发布,并通过法律契约而非仅依靠自愿承诺将其确立下来。此类推迟并非必然永久;它们可为风险评估与漏洞修复留出余地,这对于一经发布便无法召回的前沿开放权重模型而言尤为重要。
对具备高级网络能力的前沿人工智能系统实施访问控制。开发者应在政府支持下,向经过验证的防御者提供早期访问权限,使其得以在更大范围部署前完成漏洞修复。对于具备最先进网络攻击能力的模型,开发者应采取稳健的访问控制措施(如身份验证),以检测滥用行为并限制恶意行为体的访问。上述措施应与对滥用监控的持续投入相辅相成,并在全过程中为用户隐私提供适当保障。
建立信息共享与漏洞披露机制。各国政府应与产业界协调配合,构建人工智能赋能网络威胁指标的共享机制,以实现对滥用情况的集体检测与协同处置。主要人工智能司法管辖区之间的跨司法管辖区安排至关重要。我们乐见开发者与执法机构及国际组织(如国际刑警组织)的协调配合,以支持对恶意行为体的识别与震慑。
投资长期韧性建设。公共投资应加快关键数字基础设施长期韧性的建设。没有任何单一的技术路径足以应对;持续的进展需要采取组合性的措施,包括对遗留系统进行现代化改造、将代码转译为内存安全语言、部署人工智能用于防御,以及应用形式化验证。
人工智能赋能的生物滥用
在不远的将来,人工智能可能使一些高危生物能力——其中可能包括设计比自然界中任何病原体都更危险的人造病原体的能力——落入今天尚不具备此类能力的行为体手中。其后果可能对公共卫生造成灾难性影响,并带来毁灭性的经济冲击。唯有妥善管控上述风险,社会才能从人工智能赋能生命科学发展中获益。
与生物滥用相关的前沿人工智能能力正在迅速增长。在短短两年间,前沿人工智能系统在开放式问答、实验方案生成与实验室故障排查方面,已从低于博士级别专家的水平跃升至超越其表现。受控研究显示,与仅依靠互联网相比,这些系统在实验方案生成方面对病毒学操作提供了显著的能力提升;截至2025年年中,这些系统已协助非专业人士完成实验室工作的部分步骤。基因组语言模型已经生成出了全新的、可存活的生物体。能够规划并协调多步骤实验室任务与信息收集任务、并能协助构建新型专用生物人工智能模型的智能体的出现,进一步放大了这一风险。
当前的模型层面防护措施(尤其是针对开放权重模型的防护)十分脆弱且常被绕过。针对人工智能赋能生物攻击的更好的防御手段已然存在,包括核酸合成筛查、个人防护装备、空气过滤、抗病毒药物和生物监测系统,但仍处于初期阶段且部署不均。
应对人工智能赋能生物滥用的优先事项:
强化人工智能防护措施以应对高危生物滥用。没有任何单一机制能够单独奏效。开发者应布局多元化的防护手段,包括模型层面的防护(如预训练数据过滤、拒答训练)以及系统层面的防护(如可信访问机制、基于分类器的滥用监测)。各国政府应对持续性的安全研究提供资助,以不断强化这些防护措施,并在企业之间促成最佳实践的信息共享。在更广泛的防御体系成熟之前,对高危人工智能生物能力及相关数据集的访问应仅限于经过验证的用户,例如来自经审核机构的研究人员。
对于前沿闭源模型:应针对高危生物滥用强化拒答训练、基于身份验证的访问控制,以及针对性的使用监测。开发者应继续强化防护措施以抵御越狱及其他对抗性攻击,建立和完善可信访问机制,并提升分类器性能,尤其是其在区分合法与恶意使用方面的能力。
对于前沿开放权重模型:应针对高危生物知识开展研究并建立预训练数据过滤机制。预训练数据过滤是开放权重模型发布场景下为数不多的潜在缓解措施之一。它虽不足以作为长期独立的解决方案,但在更强防护手段成熟之前,可以有效减缓扩散。开发者与研究者应持续改进过滤方法、评估其在生产规模上的实际效果,发布开源实现方案,并进一步推进针对开放权重模型防护措施的研究。各国政府应协助保护最令人担忧的两用病原体数据集,使其免遭恶意训练和微调。
建设对前沿人工智能系统生物能力提升的评测能力。主要人工智能司法管辖区应发展自主评测能力,对前沿人工智能系统是否为专家和非专家在生物滥用方面提供实质性的能力提升进行评测。应建立与现有生物安全等级(BSL)框架类似的分级监督机制——相关主管机构可据此对具备潜在高危生物能力提升的系统获得早期评测权限——以确保重大判断不完全交由开发者自行作出。
在核酸合成筛查方面开展国际协调。各国政府以及具备核酸合成能力的相关专家群体应在现有国家监管框架的基础上开展协调,将推进全面且具有强制力的核酸合成筛查作为当务之急。加速针对人工智能赋能生物攻击的防御建设。各国政府应投资于检测、遏制及应对人工智能赋能生物威胁所需的能力,并重点关注那些因生物安全能力不足而构成共同脆弱性的地区。相关研究的开展方式,应避免在客观上推动进攻性能力的发展。
上述防护措施、管控机制以及社会防御体系必要且紧迫。一场严重的人工智能赋能灾难不仅会造成巨大的直接危害,更会摧毁公众对人工智能系统的信任,并使人工智能本可带来的重大社会效益付诸东流。切尔诺贝利事故重创了全球核工业,至今仍让民用核能蒙上阴影,尽管现代反应堆设计已安全得多。面对高达数千亿美元的经济风险与数千万条生命的安危,我们需要各国政府、业界与学界立即采取行动并持续投入。
人工智能赋能的网络攻击已近在眼前,未来一年内可能造成重大损害。生物滥用也紧随其后。我们此前已就这一动态发出过警告:人工智能能力的发展正超越世界应对的准备能力。当前正在网络领域出现的问题,应成为生物领域以及更广泛未来风险(包括日益自主的人工智能系统的失控)的警示。在能力出现之前作出准备,而非在其出现之后,必须成为如今的默认姿态。
1在本声明中,「非国家行为体」指未经政府授权的行为者,其动机包括但不限于意识形态和经济利益。此类行为体既可能是有组织的团体,也可能是个人。
关于IDAIS
人工智能安全国际对话(IDAIS)汇聚全球顶尖科学家,携手共同应对人工智能带来的各类风险。2023 年 10 月举办的首场对话,由图灵奖得主Yoshua Bengio、姚期智,加州大学伯克利分校教授Stuart Russell,以及清华大学智能产业研究院(AIR)创始院长张亚勤共同发起。IDAIS已举行五场人工智能安全国际对话,分别为2023年IDAIS-牛津,2024年IDAIS-北京,2024年IDAIS-威尼斯,2025年IDAIS-上海,2026年IDAIS-伦敦。

夜雨聆风