欧盟AI Act红线解读6·职场与教育机构禁止AI情感识别

前言:欧盟《人工智能法案》(AI Act)有关高风险 AI 系统的合规要求今年将正式落地,目前中文互联网对此的解读和分析尚不充分。
未来隐私论坛(Future of Privacy Forum, FPF)正在更新《欧盟 AI Act 红线解读》系列博客。本号将持续追踪更新并翻译转载,同时会附上文章提及的相关法条和文件原文,欢迎关注追踪更新。
欧盟 AI Act 已于 2024 年 8 月 1 日正式生效。禁止性 AI 行为条款(第 5 条)自 2025 年 2 月起开始执行,通用人工智能(GPAI)模型相关义务自 2025 年 8 月起适用,而高风险 AI 系统的全面合规要求将在 2026 年 8 月 2 日正式落地。
根据 AI Act 第 5 条第 1 款 (f) 项,在职场和教育机构中使用情绪识别 AI 系统构成最严重违规,最高可处 3500 万欧元或全球年营业额 7% 的罚款。但禁令范围远比字面读来复杂,本文将围绕“禁止了什么、没有禁止什么、例外条件如何严格适用”这三个核心问题,厘清 AI 情绪识别禁令的结构与边界。
什么是 AI 情绪识别
情绪识别技术并非科幻概念。通过分析面部表情、声音特征、肢体动作乃至生理信号,AI 系统已被用于员工绩效监控、远程会议状态分析、求职面试评估,乃至课堂专注度检测。全球情绪 AI 市场在 2024 年估值约 75 亿美元,来自 IBM、微软、亚马逊等科技巨头的云端情绪检测 API 已被大量企业评估引入。
AI 情绪识别,指的是人工智能系统通过采集和分析人体的生物特征数据,包括面部表情、声音语调、眼神动向、肢体姿态等,来判断一个人当下的情绪状态。这类系统的工作原理,通常是先从摄像头或麦克风等传感器获取原始数据,再将其与系统预先训练好的情绪模型进行比对或推断,最终输出诸如“愤怒”“焦虑”“满意”或“沮丧”等标签。
值得注意的是,AI 情绪识别的关键不在于“记录”行为本身,而在于系统是否进一步对情绪状态作出推断。单纯记录一段视频不构成情绪识别,但若系统自动分析视频中的面部肌肉变化并得出“该员工情绪低落”的结论,则已落入禁令所指的范围。
有两个企业和律师在实践中容易忽视的典型场景。其一,远程面试分析工具。某些招聘软件会在视频面试过程中实时捕捉候选人的面部微表情和声音节奏,生成关于其“情绪稳定性”“压力反应”或“诚意程度”的评分报告,这类功能无论被包装为“候选人评估”还是“沟通风格分析”,只要底层逻辑是基于生物特征数据推断情绪,均受禁令约束。
其二,在线会议或电话分析软件。部分企业使用的销售通话分析工具或员工效率平台,会在通话结束后自动生成情绪曲线图,标注通话过程中员工或客户的情绪波动。若该功能被用于评估员工表现,或结果被传递至管理层,同样落入欧盟 AI 法的禁止范围。在审查自身使用的 AI 工具时,应重点关注产品功能说明中是否出现“情绪分析”“情感检测”“语气识别”“压力评估”等表述,这些往往是触发合规审查的信号词。
禁令具体构成:四个条件须同时满足
AI Act 的禁令并非对所有情绪识别 AI 的全面封杀,而是需要同时满足以下四项条件,禁令方才触发:
-
1. 第一,相关行为构成将 AI 系统“投放市场”、“为此特定目的投入使用”或“使用”的行为; -
2. 第二,该 AI 系统被专门用于推断自然人的情绪; -
3. 第三,使用场景属于“职场”或“教育培训机构”领域; -
4. 第四,该系统并非用于医疗或安全目的(即不适用例外条款)。
四项条件缺一不可。此类同时检测所有要件的逻辑是 AI Act 处理所有禁止性事项的一贯方式,目的在于将禁令精准锁定在特定使用场景,而非泛化至整个技术类别。
禁令边界一:不是“情绪识别系统”,而是“推断情绪的 AI”
AI Act 第 3 条第 39 款对“情绪识别系统”的定义是:以识别或推断自然人情绪或意图为目的、基于其生物特征数据运行的 AI 系统。注意其中包含两个要素,即情绪和意图。
AI Act Art. 3
(39)“情感识别系统”是指旨在基于自然人的生物识别数据识别或推断其情绪或意图的人工智能系统;
然而,AI Act 第 5 条第 1 款 (f) 的禁止性措辞只提到“推断自然人的情绪”,序言第 44 条也仅聚焦于情绪。意图的推断(比如,通过面部表情检测员工是否有离职倾向,或预测学生是否可能做出暴力行为)在条文层面似乎并未被明确纳入禁止范围。
AI Act Art. 5
(f) 投放市场、为了此类特定目的投入服务,或者使用此类人工智能系统,即在工作场所和教育机构领域推断自然人的情绪,但出于医疗或安全原因将人工智能系统投入服务或投放市场的情况除外;
荷兰数据保护局(AP)倾向于将禁令解读为同样涵盖意图推断,欧盟委员会的指南也在列举示例时包括了“系统推断学生即将发生暴力行为”这类情形。但这种扩展解释缺乏明确的条文支撑,形成了监管灰区,也为有意利用的开发者留下了操作空间。
此外,禁令还有一个文字上的不对等。定义中同时包含“识别”和“推断”两个动词,但禁令条文只使用了“推断”一词。
委员会指南对二者作出了区分。“识别”是将采集到的生物特征数据与预设情绪模板直接比对,“推断”则是借助机器学习从数据中习得规律后再作出判断。荷兰 AP 认为禁令应涵盖两种方式,但这一解读同样缺乏正式条文依据。
禁令边界二:仅限于基于生物特征数据的推断
禁令的另一个重要限定,是情绪推断必须基于“生物特征(识别)数据”(biometric data)。
AI Act 第 3 条第 34 款将生物特征数据定义为:源自对自然人的身体、生理或行为特征进行特定技术处理所得的个人数据,例如面部图像或指纹数据。
AI Act Art. 3
(34)“生物识别数据”是指经过特定技术处理的个人数据,涉及自然人的物理、生理或行为特征,例如面部图像或指纹数据;
依此而论,通过分析员工书面邮件、聊天记录推断情绪状态的 AI 系统,并不在禁令范围之内。基于文字分析的情绪推断已被委员会指南明确排除。同样,用于人群管控、或检测驾驶员疲劳状态的系统,只要不依赖生物特征数据进行情绪推断,也不触及禁令。
然而,这里存在一个尚未解决的法律分歧。AI Act 与 GDPR 对“生物特征数据”的定义存在差异。GDPR 要求该数据能够“唯一识别”当事人,而 AI Act 的定义并无此要求、外延更宽。
GDPR Art. 4
(14) “生物性识别数据”指的是基于特别技术处理自然人的相关身体、生理或行为特征而得出的个人数据,这种个人数据能够识别或确定自然人的独特标识,例如脸部形象或指纹数据。
委员会指南明确表示,在禁令适用时应采用 AI Act 的宽泛定义,而 AI Act 序言第 14 条则规定应“结合 GDPR 对生物特征数据的概念加以解释”。两种口径之间的张力,可能导致企业在判断某一系统是否触发禁令时面临实质性不确定性。
AI Act
Whereas:
(14)本条例中所提及的“生物识别数据”这一概念,应依据《(欧盟)2016/679 号条例(GDPR)》第 4 条第(14)点、《(欧盟)2018/1725 号条例(EUIR)》第 3 条第(18)点以及《(欧盟)2016/680 号指令(LED)》第 3 条第(13)点中所定义的生物识别数据的概念来进行解释。生物识别数据能够用于对自然人的身份进行验证、识别或分类,以及对自然人的情绪进行识别。
禁令边界三:“职场”与“教育机构”的界定
委员会指南明确主张对这两个核心概念作宽泛理解。
职场涵盖任何进行工作的物理或虚拟空间,远程办公的家庭环境同样在内。特别值得关注的是,指南将招聘与录用流程也纳入职场语境,也就是说,在求职面试中使用情绪识别 AI,即便被测者尚未成为正式员工,同样受禁令约束。
教育机构则涵盖所有类型和级别的教育,包括入学程序,且不受学生年龄或教学环境限制,在线和远程学习同样适用。指南还额外将“培训机构”列入,但 AI Act 正式条文中并无此措辞,也未进一步说明认定标准。
一个有趣的边界情形是部署在工作场所的情绪识别系统,若其用于监测的是顾客而非员工,禁令在理论上不适用。但若同一套系统在监测顾客的同时也捕捉到员工的数据,指南仅轻描淡写地要求“确保不追踪员工,并设有足够保障措施”,并未提供可操作的具体标准。
例外条款:医疗与安全目的,但门槛极高
禁令规定了两类例外:用于医疗目的和用于安全目的的情绪识别系统。
委员会的解读对例外适用设置了相当严苛的条件。在医疗目的方面,指南明确指出,例外仅适用于经认证的医疗设备,对员工健康状况的一般性监测(如压力检测、倦怠检测)并不包括在内。在安全目的方面,例外仅限于保护生命和健康,不涵盖财产保护或欺诈预防。指南还特别强调,在例外情形下采集和处理的数据不得用于任何其他目的,这与 GDPR 的目的限制原则相衔接。
此外,指南提及了一种“培训例外”。若情绪识别系统的分析结果不与人力资源部门共享、不对员工评估或晋升产生影响,则可能被允许用于内部培训。这一例外对电话销售培训等商业场景具有实际价值,但问题在于,该例外在 AI Act 正文和任何官方序言中均未出现,仅体现在委员会指南中,其法律效力存疑。
与 GDPR 的衔接与张力
在欧盟,数据保护主管机关早在 AI Act 正式适用之前,就已开始通过 GDPR 对情绪识别实践施加约束。匈牙利数据保护局 2022 年就布达佩斯银行一案作出裁决,认定该行在语音分析中使用 AI 识别员工情绪违反了 GDPR 的多项核心原则,并责令其停止对情绪的分析处理。这一案件中,数据保护局对员工弱势地位的论述,与 AI Act 第 5 条第 1 款 (f) 的立法逻辑高度吻合。
值得关注的是,该案中 DPA 并未将语音衍生数据直接认定为 GDPR 第 9 条意义上的“生物特征数据”,而是将其作为普通个人数据处理,以 AI 风险带来的更高审查强度作为介入依据。这一处理方式反映了在 AI 和数据保护两套框架衔接时,执法机构仍在摸索边界。
关于 AI Act 与 GDPR 衔接的适用,可见本号文章欧盟 GDPR 与 AI Act 重叠合规义务比较与解析
总结 Take-away
核心问题 AI Act 第 5 条第 1 款 (f) 项已于 2025 年 2 月生效,违规最高面临 3500 万欧元或全球年营业额 7% 的罚款。该条款禁止在职场和教育机构中使用 AI 系统推断自然人情绪,但条文构造精密,企业须厘清以下关键问题:
-
• 禁令须四项条件同时满足才触发,并非对情绪识别 AI 的全面封杀; -
• 条文仅禁止“推断情绪”,对“意图推断”是否纳入存在文本层面的争议,实践中仍有灰区; -
• 禁令仅针对基于“生物特征数据”的情绪推断,文字分析、疲劳检测等场景不在禁令范围; -
• “职场”和“教育机构”须作宽泛解释,涵盖远程办公、招聘流程、在线教学; -
• 医疗和安全目的的例外须严格适用,一般性健康监测、财产保护不满足例外条件; -
• AI Act 与 GDPR 对“生物特征数据”定义存在差异,适用口径尚无定论; -
• 委员会指南提及的“培训例外”缺乏正式法律依据,其效力存疑。
合规建议
-
• 盘点当前在用的所有 AI 工具,识别其是否具备情绪推断功能(包括作为次要功能存在的情形); -
• 对招聘工具、员工监控软件、在线考试监控等工具重点关注; -
• 不要仅凭供应商标注系统功能来判断合规性,须结合系统的实际数据处理逻辑加以审查; -
• 引入或保留情绪识别工具时,须明确记录适用的例外依据及相应保障措施; -
• 关注各成员国监管机构(如荷兰 AP、法国 CNIL)就这一禁令发布的进一步解释性文件。
在柏林,每日为您带来新鲜数据法资讯。
欢迎关注,Accept Your Daily Data Law Cookies!
夜雨聆风