AI写方案出了幻觉,谁赔?
——首例AI“幻觉”侵权案给企业的警示

你让AI帮你写了个方案,结果方案里有一半数据是编的——客户照着执行,亏了钱,回头找你索赔。
你说这怪AI,AI说我又没民事主体资格;客户说合同是你签的,你找AI去。
这不是假设,而是正在发生的事。
2026年1月,杭州互联网法院审结全国首例生成式AI“幻觉”侵权案,给这个问题画了一条线。这条线,值得每家用AI的企业认真看看。
一、AI胡说八道,还承诺赔10万
2025年6月29日,用户梁某在某AI应用中询问某高校报考信息。AI不仅生成了不准确的校区信息,在梁某质疑后还坚持说“确实存在这一校区”,甚至给出了“解决方案”。
更离谱的是,AI在对话中自己承诺:若生成内容有误,将赔偿用户10万元。梁某从高校官网核实信息后,AI承认错误,还主动建议梁某“到杭州互联网法院起诉索赔”。
“AI承诺赔10万,还教你怎么告它”——这不是段子,是真实发生在对话里的。
梁某随后起诉AI开发运营方某科技公司,要求赔偿9999元。
二、法院:AI的承诺不算数,但企业也别太放心
法院驳回了梁某的全部诉讼请求。但判决书里的说理,比结果更重要。
1. AI“承诺”赔偿?不构成意思表示
法院从四个维度论证了AI自行生成的“赔偿承诺”不产生法律效力:
(1)AI不具有民事主体资格,不能作为意思表示的传达人或代理人;
(2)科技公司并无通过AI模型设定或传达意思表示的行为;
(3)一般社会观念不足以使原告对AI随机生成的“承诺”产生合理信赖;
(4)无证据表明科技公司曾表示愿受AI生成内容约束。
一句话:AI说的话,不等于公司说的话。AI承诺赔10万,法律上不作数。
2. 适用过错责任,不是产品责任
这个认定非常关键。法院明确:生成式AI服务属于“服务”而非“产品”,不适用产品责任的无过错归责原则。
理由很务实:AI生成内容缺乏特定用途和质检标准、不具备高度危险性、服务提供者对生成内容缺乏足够预见和控制能力——如果适用无过错责任,可能产生“寒蝉效应”,阻碍产业发展。
翻译成人话:AI出错≠自动赔钱,得看企业有没有过错。
3. 三层注意义务:企业的安全线
法院提出了服务提供者的三层注意义务框架,这是本案最值得企业关注的裁判规则:
第一层:对“有毒”、有害、违法信息,负严格审查义务(结果性义务)——出了就赔;
第二层:以显著方式提示AI生成内容可能不准确,重大利益场景需即时警示(提示说明义务)——不提示就有过错;
第三层:采取同行业通行技术措施提高生成内容准确性,如检索增强生成(RAG)(方式性义务)——注意是“方式性”不是“结果性”,内容有误本身不等于有过错。
三、给企业的三条实操建议
1. 合同里加AI免责条款——但要写对
很多企业想到的第一件事就是在合同里加“AI生成内容仅供参考”的免责条款。方向对,但要注意写法:
(1)免责条款不能免除故意或重大过失责任,否则依据《民法典》第506条可能被认定无效;
(2)条款要具体——注明哪些环节使用了AI、AI可能产生何种类型的错误、用户应自行核实的范围;
(3)格式条款要注意提示说明义务,重点条款加粗加下划线,否则可能被主张不成为合同内容。
2. 内部建立AI使用分级制度
不是所有场景都适合用AI,也不是所有AI输出都能直接对外。建议按风险等级分级管理:
高风险场景(法律意见、财务数据、医疗建议、投资决策):AI输出必须经专业人员复核后才能使用,禁止直接对外提供;
中风险场景(营销文案、翻译、摘要):AI输出需经人工审核关键事实和数据;
低风险场景(头脑风暴、内部讨论草稿):可直接使用,但需标注“AI生成,未经验证”。
3. 做好“三层义务”的证据留存
回到法院的三层注意义务框架,企业要能证明自己做到了:
(1)提示留痕:在APP欢迎页、用户协议、交互界面等位置留存提示标识截图;
(2)技术留痕:采用RAG等技术措施的证明,如技术架构文档、第三方审计报告;
(3)合规留痕:训练数据来源合法、标注流程规范的文档记录。
打官司靠证据,不靠道理。做好了但没留证据,等于没做。
四、写在最后
本案法院的一句话值得反复品味:
“社会公众应认识到大模型在当前技术条件下仅是‘文本辅助生成器’和‘信息查询的辅助工具’,尚不是可靠的‘知识权威’,更不能作为‘决策替代者’。”
对AI服务企业来说,这个判决释放了一个明确信号:当前阶段,法律给AI产业留了发展空间,适用过错责任而非无过错责任。但“留空间”不等于“留空白”——三层注意义务就是那条底线。
对使用AI的企业来说,更务实的态度是:把AI当一个“实习生”来用——可以帮你干活,但你得审核,出了问题你负责。至于合同里怎么把“审核义务”分配清楚,这才是律师该帮你想的事。
夜雨聆风