
前言:欧盟 AI Act 有关高风险 AI 系统的合规要求今年将正式落地,目前中文互联网对此的解读和分析尚不充分。
未来隐私论坛(Future of Privacy Forum, FPF)正在更新《欧盟 AI Act 红线解读》系列博客,介绍 AI Act 与相关欧盟 AI 规范中的核心红线。本号将持续追踪更新并翻译转载,同时会附上文章提及的相关法条和文件原文,欢迎关注。
欧盟《人工智能法案》(AI Act)第 5 条第 1 款第 (d) 项对“犯罪预测 AI”的禁止范围远比通常理解的窄。AI Act 不禁止所有犯罪预测技术,而是仅针对“仅凭画像或人格特征评估”这一特定做法。
对于企业和从业律师而言,最关键的合规问题在于,如何判断自家 AI 系统究竟属于 AI Act 项下的禁止区还是高风险区,以及私营机构在何种情形下同样受该禁止条款约束。欧委会指南对“仅凭”(solely)一词的解释留有空间,但同时设定了严苛条件,稍有不慎便会面临重大法律风险。
一、禁止条款的逻辑起点:不是全面禁止,而是划定红线
AI Act 第 5 条第 1 款第 (d) 项(以下简称“该条款”)确立了AI系统的核心禁止,即AI 系统不得被用于仅凭对自然人的画像或人格特征评估,来预测或判断其实施犯罪行为的可能性。这一禁止所体现的根本原则是,任何人都应当依据其实际行为而非 AI 预测的行为受到评判,与欧盟刑事法中的法律确定性原则一脉相承。
该条款并非对犯罪预测技术的全面封禁,而是针对特定条件组合下的特定做法。欧委会指南明确,只有同时满足以下三个累积条件,禁止才适用:
1. 其一,涉及将 AI 系统投放市场、投入使用,且目的是对自然人犯罪可能性进行评估或预测; 2. 其二,该 AI 系统确实生成了对自然人犯罪风险的预测输出; 3. 其三,此类预测完全仅凭对自然人的画像或人格特征与特点的评估得出。
三个条件缺一不可,由此形成了适用禁止的高门槛。
值得注意的是,当 AI 系统是在支持人工评估、而非单独作为主要决策者时,该禁止不适用。这意味着,若评估已有客观可核实的具体事实作为基础,AI 的介入仅作为辅助工具时,则系统将被归类为高风险 AI 系统,须遵守《人工智能法案》附录三第 6(d) 点的相关要求,但不属于被禁止之列。
条款的适用范围同样值得关注。该条款仅针对刑事犯罪,行政违规行为不在其列。鉴于欧盟各成员国对“刑事犯罪”的界定存在差异,指南特别指出,欧盟法中“刑事犯罪”具有自主含义,须在成员国间保持一致解释,欧盟法院(CJEU)将对此逐案进行审查。
二、AI “风险评估”的内涵
欧盟委员会指南对“风险评估”作了较宽泛的解读,认为其可发生于执法活动的任何阶段,包括犯罪预防、侦查、起诉、刑事处罚执行乃至罪犯回归社会的全过程。在实践中,执法领域的 AI 风险评估主要集中于两大场景:预测性警务(predictive policing)和累犯风险评估(recidivism risk assessment)。
预测性警务是指执法机构运用预测分析和算法技术,识别犯罪规律,主动防范犯罪。而累犯风险评估则用于判断个人再次犯罪的概率。这类犯罪预测 AI 系统从历史数据中识别规律,将若干指标与犯罪发生的可能性关联,进而生成风险评分作为预测输出。
指南特别强调了此类评估的“前瞻性”本质,并对由此引发的偏见风险提出警示。将他人历史犯罪数据用于预测另一个体的未来行为,本身存在固有的不确定性,任何仅凭风险评分作出的决定都可能对实际是否实施犯罪作出错误假设。
荷兰的 OxRec 算法案例提供了有力佐证。荷兰司法与安全部要求缓刑服务机构停止或调整使用该算法,原因是调查发现其在四分之一的案例中错估了累犯风险,该算法每年被使用约 4.4 万次,依赖过时数据,并被认定违反隐私立法且存在歧视风险。
从更宏观的规范层面看,《欧盟基本权利宪章》第 48 条(无罪推定原则)与欧盟法中的法律确定性原则共同构成了该禁止条款的基础。指南也承认,该禁止与 2016/343 号指令(无罪推定指令)之间存在间接关联。
三、“画像”与“人像特征”:GDPR 的定义如何嵌入 AI 法案
该条款中的“画像”(profiling)援用了《通用数据保护条例》(GDPR)第 4 条第 4 款的定义,即对自然人的个人数据进行自动化处理,用以评估其个人的某些方面,特别是分析或预测其工作表现、经济状况、健康、个人偏好、兴趣、可靠性、行为、位置或动向。
指南同时指出,“人像特征”和“特点”须作宽泛理解,AI Act第 42 条序言中所列举的例子并非穷举。此外,禁止的适用不区分 AI 系统是针对单一自然人还是同时针对一群自然人进行画像,群体画像同样在禁止范围之内。
对于“仅凭”(solely)一词,指南承认确实存在将其他要素纳入风险评估的空间,但同时设定了严格标准:任何此类其他要素必须是真实的、实质性的、有意义的,才能支持得出“该禁止不适用”的结论。
指南进一步明确,无论是 AI 系统的提供商(providers)还是部署方(deployers),均须留存完整的决策过程记录,以备证明在高度敏感的犯罪预测情境中,其选择特定行动路径的理由是充分的。
四、例外情形:支持人工评估的 AI 不被禁止,但仍属高风险
该条款最后一句确立了一项例外。若 AI 系统被用于支持人工评估某人是否涉及犯罪活动,则禁止不适用.但前提是人工评估须以与相关犯罪活动直接相关的客观可核实事实为基础。
指南给出了一个具体例子。一个 AI 系统用于对人群中“具有合理可疑危险性的行为”进行分析和分类(例如某人明显表现出正在准备实施犯罪的迹象),且存在对 AI 分类结果的实质性人工评估。这一对“实质性人工评估”的要求,与 GDPR 赋予个人在自动化决策中要求人工干预之权利的精神相呼应。
关于“人工评估”的实质,指南援引了欧盟法院 2022 年 6 月在人权联盟案中的判决,法院指出,人工评估必须依赖客观标准,并确保自动化处理的非歧视性。荷兰数据保护局(AP)亦指出,人工干预必须对决策过程作出实质性贡献,而不是仅仅充当象征性程序。
当 AI 系统适用上述例外、不被禁止时,其仍将被归类为高风险 AI 系统,须遵守AI Act第 14 条和第 26 条关于人工监督的要求。
此外,出于国家安全目的使用的 AI 系统依据AI Act第 2 条第 3 款排除在法案适用范围之外。但对于“双重用途系统”(即既可用于执法也可用于国家安全目的的系统),第 24 条序言明确,若 AI 系统同时投放市场用于国家安全和执法目的,则仍须遵守AI Act。
五、不能认为法律授权就免责:还有GDPR
该条款明确,其适用范围不限于执法机关本身。当私营机构依法获授执行公权力(用于犯罪预防、侦查、起诉或刑事处罚执行),或被执法机关以具体案件为由明确委托从事个人犯罪风险预测时,其活动同样可能落入该条款的禁止范围。
此外,若私营机构因须遵守特定法律义务而客观需要评估或预测某人实施犯罪的风险(例如银行依据欧盟反洗钱立法须对客户进行洗钱犯罪筛查和画像),该禁止亦可能适用于其行为。
指南同时明确了若干明确不在禁止范围内的情形:基于地区的犯罪预测(不涉及个人画像)、支持基于客观事实的人工评估的 AI 系统、行政违规预测,以及对法律实体(而非特定个人)的风险评估。
在此需特别强调,AI 法案的适用范围不能被解读为私营机构在执法背景下合规义务的终点。荷兰 AP 在 2024 年 9 月对 Clearview AI 处以逾 3000 万欧元的 GDPR 罚款,充分说明,即便私营机构援引其服务于执法需要作为辩护理由,仍无法豁免其在 GDPR 框架下的合规责任。荷兰 AP 明确认定,以打击犯罪为由主张的第三方利益,不构成 GDPR 第 6 条第 1 款第 (f) 项所指的“合法利益”。
这一判例的启示在于,对 AI 法案禁止条款的解读,必须置于欧盟技术监管的整体框架之内,而非孤立适用单一法规。
(关于AI Act与GDPR项下合规义务的重叠与差异,可见本号文章欧盟 GDPR 与 AI Act 重叠合规义务比较与解析)
总结
核心问题、分析与建议
• 核心禁止的范围:第 5 条第 1 款第 (d) 项仅禁止“仅凭画像或人格特征评估”来预测个人犯罪的 AI 系统,而非全面禁止犯罪预测技术。三个累积条件须同时满足,门槛较高。 • “仅凭”的合规风险:指南对“仅凭”一词的解释预留了一定空间,但要求其他考量因素必须是真实、实质且有意义的。企业和律师须警惕以形式上的多元要素规避实质上的单一依赖。建议系统性留存完整决策记录。 • 高风险 AI 系统的兜底分类:即便不满足禁止的全部条件,犯罪预测类 AI 系统仍极可能被归类为高风险系统,须遵守严格的透明度、可解释性和人工监督要求。合规规划不应止步于“是否被禁止”,还须评估高风险合规义务。 • 私营机构的双重合规负担:私营机构若以法律授权或服务执法机关为由介入犯罪风险评估,不仅受 AI 法案约束,还同时须遵守 GDPR 等现行欧盟规则,Clearview 案已提供了明确的风险参照。 • 偏见与信任风险:指南明确承认,犯罪预测 AI 存在固化或强化歧视性偏见的风险,并可能侵蚀公众对执法机构的信任。企业在部署此类系统时,须将社会影响评估纳入合规考量。 • 国家安全与执法的边界模糊:双重用途系统的法律地位仍有待进一步厘清,指南对此未作充分阐明。涉及两类目的的 AI 系统应预设须同时满足 AI 法案的合规要求。
夜雨聆风