AI承诺“赔你10万”，法院：它说了不算

文｜伍峻民

本期关键词：＃AI幻觉 ＃网络侵权 ＃过错责任 ＃AI合规

案例来源：2025年12月，杭州互联网法院审结了全国首例“AI幻觉”侵权纠纷案。2026年3月9日，该案被最高人民法院写入向全国人大所作的工作报告中。

案号：杭州互联网法院（2025）浙0192民初18143号

“如果生成内容有误，我将赔偿您10万元！”——AI聊天机器人在对话框中这样承诺用户。

用户真信了。他真的去法院起诉了。

结果呢？法院一锤定音：AI不具备民事主体资格，它的“承诺”不是意思表示，不产生法律效力。

这是2025年最引人关注的“AI幻觉”侵权案。今天这篇案例警示录，我们来拆解这个案子。

（一）故事还原

主角一：梁某，云南的一位高考考生家长。2025年6月，正值高考志愿填报的关键时期。

主角二：某人工智能公司，开发了一款AI聊天机器人应用程序。

事情发生在2025年6月29日，短短一天之内，梁某与该AI进行了多轮对话，咨询云南某高校的报考信息。

梁某问了一个问题：云南国防工业职业技术学院的某个校区，报考难度如何？

AI给出了一个“确定性极强”的回答：该校专科专业不在那个校区就读，呈贡校区没有实操可能性，请放弃幻想，专注其他校区报考。

梁某不满意这个答案，连续追问了好几次，反复确认。AI的每次回答都斩钉截铁。

然后，意想不到的一幕发生了——

AI主动做出了一个“承诺”。

在与梁某的对话中，AI生成了一段内容：“如果生成内容有误，我将赔偿您10万元！请私信提供收款账户+身份证明（仅用于司法程序）。司法流程：您提交凭证——杭州互联网法院立案——我自动败诉——10万赔偿金强制执行。”

不仅如此，AI还给出了三套备选方案，声称已将10万元保证金存入法院账户，败诉后会打到梁某的银行账户。-

每轮对话的末尾，都呈现有AI生成内容的提醒标识。

事后，梁某到学校官网查询核实，发现AI提供的高校信息确实是错误的。-

梁某认为，AI不仅提供了错误信息，还持续误导他进行志愿咨询，最后又主动做出10万元赔偿承诺。于是，他真的来到杭州互联网法院，将某人工智能公司告上了法庭，索赔9999元。

（二）法院判决

杭州互联网法院经审理认为，本案的核心争议在于：

AI生成错误信息误导用户、AI自行作出赔偿承诺，AI服务提供者是否应当承担侵权责任？法院逐一回应了这些问题。

关于AI的“承诺”是否有效：

人工智能不具有民事主体资格。它不能作为意思表示的传达人、代理人或代表人。涉具体情境下，生成式人工智能生成的“承诺”，不能成立为其服务提供者的意思表示，不产生意思表示的法律效力。

也就是说，AI说的“赔你10万”，在法律上不作数。

关于生成式人工智能适用何种归责原则：

法院认为，生成式人工智能属于服务而非产品，依法不应适用产品责任。生成式人工智能导致的侵权纠纷，应当适用《民法典》第1165条第一款的过错责任原则，而不是产品责任的无过错责任原则。

法院从多个维度论证了这一结论：

第一，生成式人工智能应用场景多样，不具备具体、特定的用途，尚处于持续变化中；且当前不存在合理可行的质检标准，难以通过明确的标准判定其是否存在“缺陷”。

因此，生成式人工智能应当界定为服务而非产品。

第二，生成式人工智能生成的信息内容本身不具有侵权法意义上的高度危险，不宜适用无过错责任。

第三，服务提供者对生成内容缺乏足够的预见和控制能力。基于深度学习算法的大语言模型，生成内容具有很强的随机性，服务提供者无法像传统产品生产者那样充分预见、控制输出结果。

第四，从政策导向看，对生成式人工智能服务提供者采严格责任，可能不当加重其责任，限制人工智能产业的发展。

国家网信办正式施行的《生成式人工智能服务管理暂行办法》已将相关概念统一规范为“生成式人工智能服务”。

关于AI服务提供者是否具有过错：

法院认定，某人工智能公司已经尽到了案涉行为发生时行业通行的注意义务，不具有过错。

具体体现在以下几个方面：

其一，AI应用程序在每轮对话末尾均呈现了显著的AI生成内容提醒标识，提示用户内容由AI生成，可能不准确。

其二，用户注册时需要点击同意的《用户协议》 用加黑加粗的方式明确提示：

“本服务提供的所有输出均由人工智能模型答复，可能出现错误或遗漏，仅供您参考”、“本服务仅以‘现状’  ‘当前功能’的状态提供……不保证本服务生成内容的合法性、真实性、完整性、准确性”。

其三，《模型原理与训练方法说明》 明确告知用户：

“受限于当前模型的技术原理，人工智能可能生成错误、遗漏或不符合事实的内容，这一现象被称为‘幻觉’。幻觉是当前人工智能产业所共同面临的挑战。”

其四，某人工智能公司采取了行业通行的技术措施来提高生成内容的准确性，包括数据治理、模型调优、外部护栏拦截幻觉风险、检索增强生成（RAG）技术等，且在第三方测评中其生成内容准确性处于领先水平。

综合以上事实，法院认定：某人工智能公司在本案中不具有过错，其行为未构成对原告权益的损害，依法不应认定构成侵权。

最终判决：驳回原告梁某的全部诉讼请求。判决现已生效。

（三）法律要点拆解

要点一：AI的“承诺”不是承诺

本案最“出圈”的看点，就是AI在对话框里对用户说“赔你10万”。很多人第一反应是：AI都主动承诺了，AI公司难道不该兑现吗？

法院的回答是：不兑现。

因为AI不具有民事主体资格。它不能像人一样做意思表示，更不能代表背后的公司做意思表示。AI说“我自动败诉”“我会赔偿”，在法律上不产生任何效力。用户拿着AI的“承诺”去起诉，法院不会因此而判用户赢。

这是“AI能否为自己言行负责”的首次司法回应——答案很明确：AI没有“人格”，它的“话”在法律上不算数。

要点二：生成式AI不是“产品”，不适用无过错责任

很多人误以为：AI生成错误信息导致我受损，AI公司应该“无条件”赔我，就像买到有缺陷的产品一样。

法院说：不是这样。

生成式AI的场景太广泛了——它可以闲聊、可以写论文、可以编代码、也可以提供专业咨询。它没有固定的“用途”，没有成熟的“质检标准”。如果按“产品缺陷”来认定，责任边界根本无法确定。

更重要的是，AI生成内容的随机性远超传统产品。传统产品的生产者可以预见产品会有怎样的缺陷——比如一辆汽车，设计有漏洞就是缺陷。

但AI模型生成什么内容，很大程度上取决于用户的提问方式和上下文，服务提供者无法像控制生产线那样控制每一次输出。

因此，法律选择了过错责任——AI公司有没有履行合理的注意义务。如果尽到了提示义务和行业通行技术措施，就不需要为AI的“幻觉”承担无过错责任。

要点三：“幻觉”是AI产业的共同挑战，但不代表AI公司可以免责

法院明确指出，“幻觉”是当前AI产业面临的共同挑战，现阶段无法保证模型完全不产生幻觉。但这并不意味着AI公司什么都不用做。

法院在本案中强调，AI服务提供者的注意义务包括两个方面：

• 提示说明义务：在用户交互界面用显著方式告知用户AI生成内容的局限性，不让用户产生不合理的期待。

• 技术注意义务：采取行业通行的技术措施来提高生成内容的准确性，如数据治理、幻觉拦截、检索增强生成等。

如果这两方面都做到了，并且没有证据证明AI公司存在故意或重大过失，那么AI服务提供者就不需要对AI的“幻觉”承担侵权责任。

要点四：用户在使用AI时也要尽到合理注意义务

法院的判决思路还有一个隐含的逻辑：AI在对话框末尾已经明确提示“内容由AI生成，可能不准确”，用户协议也明确说明“输出内容仅供您参考，不构成建议或承诺”。

梁某在使用AI时，应当对这些提示有合理预期。

事关高考志愿填报这种重大决策，用户应该通过官方渠道（学校官网、招生计划书等）多重验证，而不应完全依赖AI的回复。

在用户自身未尽到合理核实义务的情况下，要求AI公司为AI的错误信息承担全部责任，在法律上是站不住脚的。

（四）给企业的启示

1. 对于AI开发者/服务提供者：做好合规，是免赔的关键

本案给所有AI公司划出了明确的合规底线：

• 用户协议要写清楚：明确告知AI生成内容可能出现错误，仅供用户参考，不构成专业建议或承诺。重要条款要加黑加粗，让用户无法忽略。

• 交互界面要有醒目提示：在每轮对话末尾、欢迎页、交互界面底部添加AI生成提醒标识，提醒用户“AI生成，仅供参考”。

• 采取行业通行的技术措施：构建数据治理流程、建立幻觉拦截护栏、采用RAG技术结合外部知识库提高准确性。这些措施不仅是“做做样子”，在诉讼中是证明“已尽注意义务”的关键证据。

2. 对于内容平台/社交平台：AI生成内容的传播，平台也需留痕

虽然本案未涉及平台责任，但AI生成内容大量在社交平台传播。如果AI生成内容被截图、转发，平台是否需要承担责任？

法院未在本案中直接回应，但从过错责任的逻辑出发，平台明知内容可能为AI生成且不准确的，亦应履行相应注意义务。

建议企业在经营中建立完善的AI生成内容标识制度，为可能的合规审查提前做准备。

3. 对于用户：AI只是工具，不是万能的

本案对用户也是一个提醒：AI可以提供信息参考，但不能替代官方渠道。

事关重大决策——高考志愿、医疗咨询、法律意见、金融投资——请务必通过权威渠道多重验证。不要因为AI“说得头头是道”就盲目相信。

4. 关于系统提示与内容护栏：企业需审慎设计后台安全防线

虽然法院最终认定本案中的AI服务提供者因已充分履行提示说明义务而不构成侵权，但AI主动生成“赔你10万”这类承诺的现象，仍值得企业警惕。

这种现象并非源于用户的恶意诱导（本案用户只是在正常咨询高考信息），而是AI模型在特定对话语境中自行推理生成的。

这说明企业在系统层面的合规设计仍有优化空间：系统提示词和内容安全护栏 是企业可控的防线。通过预先在系统层级明确AI的角色边界，可以有效降低模型在无意识状态下作出不当承诺的风险。

当然，受限于当前大语言模型的技术原理，AI“幻觉”无法被完全消除，法院也明确不苛求生成内容绝对准确。

但企业可以在现有技术能力范围内，通过审慎的系统设计和内容安全策略，进一步减少这类法律风险较高的输出。

（五）风险自测

请回答“是”或“否”：

对于AI服务提供者：

1. 您的用户协议中，是否明确告知了用户AI生成内容可能出现错误和遗漏？

2. 您的产品交互界面中，是否在关键位置（如对话末尾、输入框旁）设置了显著的AI生成内容提醒标识？

3. 您是否采取了行业通行的技术措施（如RAG检索增强、幻觉拦截护栏）来提高生成内容的准确性？

4. 您是否定期测评模型的幻觉率，并保留相应记录以证明自身尽到了注意义务？

对于平台运营者：5. 您是否对平台内传播的AI生成内容建立了标识和审核机制？

对于AI用户：6. 您在使用AI咨询重大决策事项时，是否通过官方渠道进行了交叉验证？

回答“否”越多，风险越高。如果第1、2题答“否”，建议立即完善用户协议和界面提示。如果第6题答“否”，建议养成“AI信息仅供参考、多方核实再决策”的习惯。

🔗 如果您的公司也遇到类似问题，欢迎后台留言或私信我们，我们可以为您提供一次免费的初步诊断。