ARTICLE · 1207359
AI用户记忆的欧盟法研究系列之(六)个性化影响的禁止边界:有害操纵与弱点利用
前言
本文是《AI用户记忆的欧盟法研究》系列第六篇。上一篇《复用与训练的目的边界》讨论记忆的后续使用能否承接原有处理依据。这一篇继续追问：AI助手调用过去的交流来调整建议、影响选择时，什么情况下会受到欧盟关于有害操纵或弱点利用的禁令约束？
一、记忆怎样参与操纵或欺骗
假设一项在欧盟提供的AI助手服务，持续保存用户的预算、经济困境及拒绝付费的理由，并在后续推荐中调用。同样一份记忆，可以帮助助手提供低成本方案，也可以被用来选择更容易说服用户的时机、调整施压方式。
欧盟《人工智能法案》（AI Act）第5(1)(a)、(b)项分别规定了有害操纵和弱点利用的禁止条件。在AI Act适用范围内，投放市场、投入使用或使用AI系统的具体实践，满足其中一项禁令的全部条件时，即受到禁止。这项判断不以系统属于“高风险AI系统”为前提，普通AI助手同样可能受到约束。
AI Act第5(1)(a)项涉及三类可替代的手段：超出个人意识感知范围的潜意识技术、有目的的操纵性技术，以及欺骗性技术。它要求相关手段以实质扭曲个人或群体行为为目的，或产生这种效果，显著削弱其作出知情决定的能力，因而使其作出原本不会作出的决定，并造成或合理可能造成重大伤害。第(b)项另针对法定脆弱性被利用的情形，同样要求实质扭曲行为、重大伤害及相应联系。〔1〕
欧委会2025年7月29日发布的非约束性最终指南对有目的的操纵性技术作了解释：这类技术可能利用认知偏差、心理弱点或具体处境，损害个人自主与自由选择。其中，依据个人资料定制影响方式的情形，与文本记忆中的操纵、欺骗问题直接相关。〔2〕
在前述假设中，助手读取预算记录，列出真实的免费与付费选项供用户比较，是在回应其需求。当助手转而根据此前的担忧与拒绝理由调整劝说内容，并在其中隐去可行替代、夸大不付费的后果时，就需要辨明这些安排是否损害了用户理解选项、权衡利弊的能力。
记忆库保存了用户“担心错失机会”的信息，不等于助手在这次回答中实际使用了它。助手究竟读取了哪些记忆、生成回答时接收了哪些信息，以及前后回答发生了什么变化，都有助于判断这条记忆是否参与了本次交互。即使用户不知道后台调用了记忆，也不能仅凭这种不知情，就认定系统使用了法条所说的“潜意识技术”。
指南指出，即使开发者没有明确设定操纵或欺骗的目标，系统仍可能在学习过程中形成这类行为。因此，判断是否涉及禁止行为，需要考察系统的实际表现，不能只看产品说明。偶发错误或幻觉则需区别对待，不能直接等同于操纵或欺骗；评估时也应考虑是否采取了适当措施，预防或减轻可预见的伤害。〔2〕
二、被记住的弱点，何时属于法定脆弱性
适用AI Act第5(1)(b)项，需要查明个人或特定群体是否因年龄、残疾或特定社会、经济处境而更易受到影响，以及系统是否利用了这种脆弱性。仅凭用户属于某类人群，不能认定已经发生了利用。相关利用还须以实质扭曲该个人或该群体中个人的行为为目的，或产生这种效果，并由此造成或合理可能造成该个人或他人重大伤害。〔1〕
希望少花钱，可能只是用户的预算偏好；临时失业或过度负债，却可能使其更容易受到某些影响，因而不能将两者同样看待。指南第109段将临时失业、过度负债列为可能属于特定社会或经济处境的情形。
用户过去说过“最近失业”，需要联系当前情况，确认这一处境是否仍然存在；系统概括出的“急需改善收入”，也须核对是否符合实际。即使相关情况属实，仍要识别系统是否、以及如何利用了由此产生的脆弱性。助手据此减少付费推荐，与据此夸大购买服务的必要性、反复施压，具有不同的法律意义。
如果用户主动说明了自己的困境，系统随后利用这些信息影响其选择，相关行为同样可能受到审查，并不要求先有一次对用户特征的推断。
对于记忆中记录的一般孤独或不满，指南将其视为任何人都可能经历的情况，本身不属于特定社会经济处境，利用这些弱点仍可能涉及第(a)项。若同时存在年龄、残疾等事实，则应查明这些事实是否产生了被利用的脆弱性，再按第(b)项判断。〔2〕
当系统利用用户的经济困境实施欺骗时，既可能涉及第(a)项的欺骗性技术，也可能涉及第(b)项的弱点利用。指南第125段建议以利用行为的主导方面区分：如果不依赖特定的法定脆弱性，优先适用第(a)项；如果针对法定脆弱群体或旨在利用其脆弱性，则适用第(b)项。这是委员会的适用建议，法条并未明文规定两项只能择一适用。
第(a)项明确要求，相关手段显著削弱个人作出知情决定的能力，并由此使其作出原本不会作出的决定。第(b)项没有单独列出这组要求，不能把第(a)项的全部要件直接套用过来。不过，指南第113、114段主张，两项共有的“实质扭曲行为”和“重大伤害”应作一致解释。适用第(b)项时，仍须查明法定脆弱性被怎样利用，以及利用、行为扭曲与重大伤害之间的联系。〔1〕〔2〕
三、如何判断行为扭曲与重大伤害
如果助手保留了用户此前拒绝付费的理由，在后续交互中针对这些理由调整劝说方式，并根据反应继续施压，相关影响就可能分散在多次对话里。将记忆的实际调用、回答的变化与用户反应联系起来，有助于还原这一过程；仅凭推荐次数增加，或用户最终改变了购买选择，尚不足以认定行为受到实质扭曲。
AI Act序言29提及对身体、心理健康或财务利益的重要不利影响，并明确考虑了随时间累积的伤害。两项禁令都要求伤害已经达到或合理可能达到“重大”程度，但不以提供者或部署者具有造成伤害的主观故意为必要条件。〔1〕
以前述经济困境为例，一次额外支出、短暂不适或事后后悔，不能未经分析就被视为重大伤害；如果反复付费已经影响基本生活支出，则需要结合影响的严重程度、持续时间及能否恢复作出判断。指南把具体处境和累积效果也纳入考量，因此不能仅以每次影响看似轻微，便忽略长期累积的财务损失或心理后果。
在损害尚未实际发生时，按照指南对“合理可能”的解释，应以客观材料说明相关手段或利用行为、行为扭曲与潜在伤害之间的可信联系，并考虑提供者或部署者能够合理预见的风险，以及预防、减轻措施。对于尚未完全实现的行为效果，指南也主张依据具体情境、科学知识和系统实际影响等材料评估。〔2〕
评估用户后来的财务或心理损害，还需要结合其既有处境和其他生活事件，辨明不同原因对结果的作用。系统反复调用困境信息的记录，有助于还原影响过程，却不足以单独证明这些损害都由系统造成。
用户是否知道自己正在受到影响，也需要与其能否自主选择区分。序言29考虑到，个人即使意识到这种影响，仍可能无法控制或抵抗。因此，告知、真实选项以及拒绝的可能性，有助于判断用户是否仍能自主决定，但两项禁令并没有概括的同意豁免。用户开启记忆功能，不能使已经满足禁止条件的行为获得许可。〔1〕〔2〕
即使不落入上述禁令，相关个人数据处理仍须遵守《通用数据保护条例》（GDPR）。经营者面向消费者的商业实践，还可能受到不公平商业实践指令中关于误导或不当影响的规则约束。这些规则的适用不要求与AI Act相同的重大伤害门槛，具体判断须结合成员国实施法。〔3〕〔4〕
适用时间（2026年10月18日核验）：两项禁令自2025年2月2日起适用，2026/1744修正没有改变这一时点；高风险规则的延后不推迟这两项禁令。〔1〕
参考资料
〔1〕AI Act，第2、5、113条及序言29；2026/1744修正。
https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng
https://eur-lex.europa.eu/eli/reg/2026/1744/oj/eng
〔2〕欧委会禁止AI实践最终指南，C(2025)5052 final，2025年7月29日（非约束性）。
https://ai-act-service-desk.ec.europa.eu/sites/default/files/2026-01/guide-prohibited_en.pdf
〔3〕GDPR，第5、6条。
https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng
〔4〕不公平商业实践指令，第3、5—9条；2026年9月27日合并本。
https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:02005L0029-20260927
