本文的核心目标是解决高风险AI系统在正式进入欧盟市场前的“实战验证”与“合规准入”问题。包括:一是如何开展实战测试的问题(合规路径),在高风险AI正式上市前,实验室数据往往不足以证明其安全性,本文梳理了企业在真实世界环境(如医院、道路、办公场所)中开展测试的法定流程。二是解决“如何降低创新风险与成本”的问题(激励机制),AI研发具有高不确定性,企业担心违规受罚,监管沙盒(Regulatory Sandbox)可以解决企业的担忧。三是解决“如何保护利益相关方”的问题(底线红线),测试不能以牺牲个人权利为代价,本文划清了法律红线。
问题68:AI系统上市前开展真实世界测试,必须遵守哪些核心规则?
1、法律依据:Art.60(沙盒外真实世界条件测试);Recital 131-134
2、法律分析
(1)适用范围:高风险AI 系统在上市/投入使用前,可在真实世界条件下进行测试。
(2)法定前提
①监管异议期:必须向成员国市场监管机构提交“测试计划”,监管机构在30天内未提出异议方可开展;
②时限要求:测试期限原则上不得超过6个月,经申请可再延长6个月;
③必要性与比例原则:测试限于必要范围且遵循比例原则 ;
④风险管控:采取充分措施保护健康、安全和基本权利;
⑤数据库注册:非沙盒测试必须在欧盟AI 数据库注册;
⑥参与者保护:保障其知情权、自由退出及数据保护。
(3)监管要求
①机构可检查测试方案、记录、技术文档、训练/ 验证/ 测试数据;
②可要求暂停/ 修改/ 终止测试;
③测试结果可作为符合性评估重要依据。
3、典型场景
(1)医疗AI诊断设备上市前在医院临床真实环境测试→报备+ 注册+ 风险控制+ 用户知情;
(2)招聘AI在企业真实招聘流程测试→先备案再测试,全程留痕。
4、实务合规指南
(1)先做测试必要性与风险评估,形成书面文件,证明实验室环境无法替代真实测试;
(2)向成员国市场监管机构提交测试计划(包含目标、范围和监控措施的计划);
(3)应急处置:建立测试日志、事件记录、应急处置机制;
(4)透明度告知:向参与者清晰告知测试目的、风险、权利、退出方式。
问题69:AI监管沙盒是什么?企业如何通过沙盒合规减负?
1、法律依据:Art.57、58;Recital 122、123、125、127
2、法律分析
(1)核心定义
由成员国主管机关设立的受控、限时、监管全程监督的测试框架,用于创新AI 系统的开发、训练、验证、真实世界测试。
(2)沙盒价值(合规减负)
①提高法律确定性,提前对齐监管要求;
②降低上市前合规成本与时间;
③优先支持初创、中小企业;
④测试结果可作为符合性评估的重要依据。
(3)运行规则
①企业与监管签署沙盒计划(目标、条件、期限、方法、要求);
②监管提供一对一指导;
③测试完成后出具测试结论,助力快速准入。
3、典型场景
(1)初创公司研发创新生物识别AI→进入监管沙盒→受控测试→监管背书→加速上市;
(2)高风险教育AI→沙盒内测试优化→降低合规风险。
4、实务合规指南
(1)向成员国主管当局提交沙盒申请,突出创新性;
(2)与监管签署书面沙盒计划,明确权责、期限、范围;
(3)按要求定期报告测试进展、风险、事件;
(4)保留完整测试文档,用于后续符合性评估;
(5)中小企业优先申请,享受政策倾斜。
问题70:真实世界测试的欧盟数据库注册,有哪些强制要求?
1、法律依据:Art.60(6)、71; Recital 135。
2、法律分析
(1)强制注册情形
① 高风险AI 系统的测试即便获得豁免也需注册;
② 非沙盒类真实世界测试。
(2)数据库结构
公开部分:用户友好、可机读、便于查询;
非公开部分:仅监管与欧委会可访问(经提供商同意可公开)。
(3)注册主体
提供商、公共机构部署者、测试实施方。
3、典型场景
(1)中国企业在欧盟开展高风险信贷审批AI 真实测试→必须先注册欧盟AI 数据库→方可启动测试;
(2)未注册即测试→监管责令停止、处罚。
4、实务合规指南
(1)测试启动前完成注册,禁止“先测试后补录”;
(2)提交信息真实、准确、完整;
(3)测试内容、期限、范围变更→及时更新注册信息;
(4)保存注册回执、更新记录,备查。
问题71:真实世界测试中,参与者与用户享有哪些法定权利?
1、法律依据:Art.60(4);Recital 134
2、法律分析
(1)知情权:充分、易懂告知测试目的、风险、数据使用、权利保障。
(2)自愿参与+ 自由退出权:参与者可随时撤回同意且不承担任何负面后果。
(3)数据保护权:遵循GDPR,最小必要、限时存储、安全保护。
(4)损害救济权:参与者因测试遭受损害可主张赔偿。
(5)隐私与商业秘密保护:监管机构对获取信息严格保密。
3、典型场景
(1)医疗AI 测试未告知风险→参与者投诉→监管责令终止测试并整改;
(2)测试收集超范围个人数据→违反GDPR+AI 法案双违规。
4、实务合规指南
(1)制定知情同意书,简洁、明确、无格式条款陷阱;
(2)建立便捷退出机制,留存退出记录;
(3)数据处理事前做DPIA(数据保护影响评估);
(4)设立测试保险/ 赔偿预备机制,应对风险。
问题72:监管机构在真实世界测试与沙盒中有哪些权限与义务?
1、法律依据:Art.78、80、91;Recital 144、153
2、法律分析
(1)机构权限
①检查测试方案、文档、数据、系统、日志;
②要求暂停/调整/终止测试;
③采集样本、测试、必要时逆向分析;
④跨部门、跨境协同监管。
(2)机构义务(企业可主张)
①措施有明确法律依据;
②及时告知决定、理由;
③给予陈述申辩机会(紧急情况可事后补);
④保护商业秘密、知识产权、国家安全信息;
⑤仅索取绝对必要信息,用完即删;
⑥保障网络安全。
3、典型场景
(1)监管要求提供全部训练数据→企业可主张最小必要,拒绝超范围调取;
(2)监管未告知理由即叫停测试→企业可提出异议,要求程序补正。
4、实务合规指南
(1)要求监管书面下达措施,载明法律依据、理由、期限;
(2)积极陈述申辩,提交合规证明材料;
(3)对违规措施保留证据,可申诉;
(4)配合但不放弃程序权利。
问题73:真实世界测试结果,如何用于上市符合性评估?
1、法律依据:Art.43、60(1)、Annex VI/VII;recital 110、121
2、法律分析
(1)真实世界测试数据、报告、记录是证明合规的核心证据。
(2)可用于:
① 验证风险控制有效;
② 证明训练数据、算法、性能满足高风险要求;
③ 支持内部评估/第三方评估结论。
(3)沙盒测试结论可简化、加速符合性评估流程。
3、典型场景
(1)医疗AI在沙盒完成真实测试→ 测试报告被公告机构采信 → 快速通过第三方评估;
(2)测试记录完整 → 内部评估监管认可度更高。
4、实务合规指南
(1)测试方案提前对接符合性评估要点(对标Annex IV);
(2)全程留痕、可追溯、可复核;
(3)与公告机构提前沟通,确保测试材料可被采信。

夜雨聆风