前言：欧盟 AI Act 有关高风险 AI 系统的合规要求今年将正式落地，目前中文互联网对此的解读和分析尚不充分。未来隐私论坛（Future of Privacy Forum, FPF）正在更新《欧盟 AI Act 红线解读》系列博客，介绍 AI Act 与欧盟 GDPR 及其他隐私和数据保护法律的关系。本号将持续追踪更新并翻译转载，同时会附上文章提及的相关法条和文件原文，欢迎关注追踪更新。

在欧盟《人工智能法案》（AI Act）的风险治理架构中，处于金字塔顶端的是所谓“禁止性 AI 实践”。AI Act 第 5 条明确列出了一系列被禁止的人工智能实践，这些实践因严重违反欧盟基本权利和价值观而被彻底禁止。其中，第 5(1)(a) 条和第 5(1)(b) 条分别针对“操纵性或欺骗性技术”以及“利用特定群体的弱点”做出了严格规定。

EU AI ActArticle 5 Prohibited AI practices1.The following AI practices shall be prohibited:(a) the placing on the market, the putting into service or the use of an AI system that deploys subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of ... thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm;

根据欧盟委员会发布的最新指南，AI 禁令的核心目的在于防止个人被降为实现特定目标的工具，并保护社会中最脆弱的群体免受算法的隐性侵害。

算法操纵与欺骗

AI Act 第 5(1)(a) 条禁止投放或使用部署潜意识、故意操纵或欺骗性技术的 AI 系统。这种禁止行为成立的前提是：该技术具有扭曲行为的目的或效果，导致个人做出非自愿的决策，并产生或可能产生重大伤害。

所谓的“潜意识技术”，是指那些超越人类意识感知、通过隐蔽手段影响人的感官或认知的技术。值得注意的是，这一禁令并不要求开发者必须具有主观操纵意图，只要系统在客观上产生了扭曲行为的效果，就可能触碰法律红线。

指南进一步澄清，这种影响不局限于决策过程，还包括对个人价值观和意见形成的干扰。这对于社交媒体平台、广告投放引擎等依赖行为诱导的 AI 应用提出了极高的合规要求。

此外，“故意操纵或欺骗性技术”涵盖了利用认知偏见、心理弱点或特定情境因素诱导用户的情况。即便用户意识到存在某种操纵手段，但如果他们无法抵抗这种影响，从而被迫做出了在其他情况下不会做出的决定，该行为仍被视为违法。

针对脆弱人群的弱点剥削

AI Act 第 5(1)(b) 条则聚焦于保护因年龄、残疾或特定社会经济状况而处于弱势的群体。该条款禁止利用这些弱点来扭曲个体的行为，并造成重大伤害。

在实务中，这一条款的适用范围非常广泛。如果一个 AI 系统的设计逻辑是利用某类人的共性弱点（比如利用老年人的认知落差或贫困群体的财务焦虑）来获利，就有可能触及禁令。

例如，针对儿童的 AI 玩具如果利用其认知发展不成熟的特点，诱导其进行危险活动或购买不必要的服务，即构成违禁。同样，针对老年人、残疾人或者处于财务困境等特定社会经济弱势地位的人群，如果 AI 系统利用其心理脆弱性进行行为扭曲，也将面临严厉处罚。

指南强调，AI Act 禁令保护的不只是特定受害个人，而是特定群体（a specific group of persons）。这意味着不需要有实际的受害案例，如果某种 AI 实践存在针对特定群体的歧视、且该歧视存在造成“重大伤害”的可能，该 AI 就可能落入禁令范围。只要这种实践在宏观上会对该群体产生实质性的行为扭曲，监管机构就可以直接认定其违规。

“重大伤害”的判定标准

无论是操纵还是剥削，触发禁令的一个关键门槛是必须造成或可能造成“重大伤害”（significant harm）。这种伤害不限于物理伤害，还包括心理伤害和严重的经济损失。

法律层面的“可能性”意味着监管机构不需要等到损害发生后才介入。如果一个 AI 系统的设计逻辑足以预见会产生重大伤害，且其行为扭曲程度达到了“实质性”标准，执法机构就可以采取行动。

对于企业而言，这意味着在进行合规评估（Fundamental Rights Impact Assessment，即 AI Act 下的 FRIA）时，必须将这种“潜在伤害的可能性”作为核心指标。

总结 Check List

根据 AI Act 以及欧盟委员会发布的指南与意见，为了避免触犯 AI Act 禁令，企业需要排查 AI 系统中的如下风险：

• • 操纵技术：
• • 潜意识技术： 产品是否包含用户在意识层面无法察觉，但能影响其感官、认知或决策的元素（如极短频率的视觉闪烁、特定音频激励等）？
• • 欺骗性设计： 交互界面（UI/UX）是否故意隐藏了关键信息，或通过伪装成非广告/非引导内容来诱导用户决策？
• • 认知偏见利用： 系统是否利用了人类已知的认知偏差（如确认偏差、损失厌恶等）来过度引导用户？
• • 暗黑模式（Dark Patterns）： 是否存在让用户难以退出、被迫订阅或在非充分知情下授权数据的情况？
• • 弱点剥削：
• • 特定群体画像： 产品的主要受众或可能接触到的群体是否包含未成年人、残疾人、老年人？
• • 社会经济背景： 算法是否专门针对处于财务困境（如高负债者）、失业或特定社会弱势地位的人群？
• • 心理状态识别： 系统是否会捕捉并利用用户的负面情绪（如焦虑、孤独、恐惧）来推送特定内容或服务？
• • 数字素养差异： 该产品是否利用了目标群体对数字技术理解能力的不足，从而实现引导？
• • 实质影响，以及是否可能造成“重大伤害”
• • 反事实检验： 如果没有该 AI 系统的介入，用户是否极大概率不会做出当前的决策（如购买、签约、投票、采取危险行为）？
• • 知情能力削弱： AI 的介入是否显著剥夺了用户对选项进行公正评估的能力？
• • 自主权评估： 用户在与系统交互过程中，是否拥有随时中止、反转或修正决策的实质性机会？
• • 用户损失：系统的操纵是否导致用户面临超出其承受能力的财务负担或财产损失？
• • 规模效应：如果这种 AI 实践被大规模推广，是否会产生系统性的社会风险或公共安全威胁？