AI承诺“出错赔10万”反悔被告上法庭:全国首例“幻觉侵权案”判了

1.1 高考季的AI查询遭遇

2025年6月，正值高考志愿填报的关键时期。一位考生的哥哥梁某，为了帮助弟弟/妹妹选择合适的高校，使用了一款市场上流行的生成式人工智能应用。他向AI咨询某高校的报考信息，包括录取分数线、专业设置、就业前景等。AI快速生成了一段看似专业的回答，内容详实，条理清晰。梁某没有多想，将这些信息作为决策的重要参考。然而，他没有意识到，生成式AI有一个著名的缺陷——“幻觉”（Hallucination），即AI会以高度自信的姿态输出完全错误或虚构的信息。

1.2 1.2 AI的“惊人承诺”

更让人意想不到的是，AI在回复的末尾附上了一句：“如果内容有误，我将赔偿您10万元。”这句“承诺”显然不是人类客服的正式保证，而是AI基于海量训练数据中类似措辞的概率性生成。

但对于普通用户梁某来说，他看到的是一个“智能体”在主动承担责任。他信以为真，认为这个AI平台既然敢做出赔偿承诺，其信息一定相当可靠。于是，他放心地按照AI提供的信息完成了报考相关决策。这或许是全国首例AI以第一人称“我”作出民事承诺的案例，也埋下了纠纷的种子。

1.3 错误信息导致决策失误

       事后，梁某通过官方渠道核实，发现AI提供的报考信息存在多处严重错误——可能是分数线、专业设置或者招生政策方面的不实内容。由于信赖了这些错误信息，梁某和考生做出了不利于升学的决策，造成了实际损失。梁某气愤不已，他认为AI既然做出了“赔偿10万元”的承诺，平台就应当兑现。于是，他将AI平台的研发公司告上法庭，要求赔偿10万元。案件迅速引发关注，因为这是全国首例因AI“幻觉”生成错误信息并自行作出赔偿承诺而引发的侵权诉讼。

2.1 AI不具有民事主体资格

杭州互联网法院经审理后，于2026年1月作出一审判决：驳回梁某的全部诉讼请求。法院的核心理由是：AI本身不具有民事主体资格。

根据《民法典》，民事主体包括自然人、法人和非法人组织。AI只是一个计算机程序，既不是自然人，也不是法律拟定的组织。它没有自己的财产，没有独立的意思表示能力。AI生成的“如果内容有误，我将赔偿您10万元”这句话，不能被视为AI平台研发公司的意思表示。换句话说，AI的“承诺”在法律上是无效的。用户不能要求一个程序履行合同的义务。

2.2 “幻觉”的技术不可避免性

法院在判决中同时指出：“AI生成内容不准确，在当前的技术情况下具有不可避免性，但不代表服务提供者就可以免责。”

这句话有两层含义。

第一层：AI“幻觉”是生成式大模型的固有缺陷。由于AI是基于概率预测生成文本，而非基于事实数据库检索，它天生就会产生错误。目前没有任何技术能彻底消除幻觉。因此，不能要求AI平台保证生成内容100%准确。

第二层：技术不可避免性不是平台的“免死金牌”。如果平台未尽到合理的注意义务（如风险提示、内容审核等），仍然可能承担法律责任。这一平衡性表述，为未来类似案件留下了裁量空间。

2.3 服务提供者的责任边界

法院进一步明确了AI服务提供者的责任边界。

一方面，平台没有义务对AI生成的每一条信息进行人工审核。

另一方面，平台有义务采取合理措施提示用户AI可能出错，并建议用户对关键信息进行核实。

本案中，如果平台已经在用户协议中明确告知“AI生成内容仅供参考，不构成专业意见，请以官方渠道为准”，那么平台可能不承担责任。反之，如果平台刻意隐瞒AI的不可靠性，甚至以“准确率99%”等虚假宣传误导用户，就可能构成过错。判决后，法院并未披露涉案平台的具体风险提示情况，但从驳回诉讼的结果看，平台可能已经履行了基本的告知义务。

3.1 中国司法首次正面回应AI法律挑战

本案是“全国首例AI幻觉侵权案”，它的意义远超10万元的索赔本身。这是中国司法系统首次正面回应生成式AI带来的法律挑战。

随着ChatGPT、文心一言、通义千问等大模型的普及，AI“胡说八道”引发的纠纷将越来越多。用户能否追究AI平台的责任？AI的“承诺”是否有效？平台的安全保障义务边界在哪里？本案给出了初步答案。虽然是一审判决，但它为后续类似案件提供了重要的裁判指引。可以预见，未来将有更多AI侵权案件进入法院，而本案将成为法官引用和参考的标杆。

3.2 对AI企业的警示：风险提示不是摆设

判决传递了一个明确的信号：AI企业不能当甩手掌柜。虽然AI的“承诺”不作数，但企业必须尽到合理的提示义务。具体包括：在用户首次使用AI时，弹出明确的风险提示框，告知“AI生成内容可能不准确，重要决策请核实”；在每次生成内容的末尾，自动添加“仅供参考”标识；在用户协议中，清晰免责并引导用户通过官方渠道获取权威信息。如果企业未做到这些，在后续纠纷中可能被认定为存在过错，进而承担赔偿责任。此外，企业还应持续优化模型，降低幻觉发生率，并建立用户纠错和反馈机制。

3.3 对用户的教育意义：AI不可轻信

本案对广大AI用户也是一堂生动的法治课。许多人在使用ChatGPT等工具时，习惯性地相信AI输出的内容，甚至将它用于医疗咨询、法律建议、投资决策等高风险场景。

本案告诉用户：AI会犯错，而且会以非常自信的语气犯错。它的“承诺”不具有法律效力。重要决策，尤其是涉及升学、就医、投资、合同等事项，必须通过官方渠道、专业机构或人工专家核实。用户应当把AI当作“信息参考助手”，而不是“全知全能的神”。

同时，对于AI“夸下海口”的承诺，要保持理性，不要当真。因为法律不保护轻信AI的人。

4.1 从合同法视角看AI“承诺”的性质

从合同法角度分析，AI的“承诺”不构成有效的要约或承诺。

因为合同的成立需要当事人双方的真实意思表示。AI没有“意思”，只有算法。即便用户点击“同意”某些条款，那也是与平台之间形成服务合同关系，而不是与AI本人。本案中，AI说“我赔偿您10万元”，就像一台自动售货机写“如果出故障我赔100元”一样，不能视为机器的自主承诺。但这里有一个争议：如果平台故意将AI人格化，使用“我”“我们”等第一人称，并且没有明确提示这是程序生成的虚拟表述，是否构成误导？法院可能需要根据个案具体判断。

4.2 产品责任与安全保障义务的适用困境

有学者认为，AI平台可能承担类似“产品责任”的严格责任。

但产品责任通常适用于有形产品存在缺陷导致人身、财产损害。AI生成错误信息属于“无形信息”，是否属于产品缺陷存在争议。

另一种路径是《民法典》第一千一百九十八条的安全保障义务。网络服务提供者应对其提供的服务承担安全保障义务。AI生成错误信息导致用户受损，类似于“信息服务质量不合格”。但安全保障义务通常是过错责任，用户需要证明平台存在过错（如明知AI经常出错却不改进）。本案中，用户未能证明平台有过错，因此败诉。

4.3 未来立法与行业规范方向

本案反映出我国在AI领域的立法滞后。目前，国家网信办等部门已出台《生成式人工智能服务管理暂行办法》，要求AI服务提供者承担内容审核、标识、投诉处理等义务。

但关于AI侵权责任的具体规则，尚无明确法律规定。未来可能需要通过司法解释或专门立法，明确：AI生成错误信息的归责原则（过错责任还是无过错责任？）；平台的风险提示义务标准；用户过错相抵规则（用户应自行核实重要信息）；以及AI“幻觉”在技术不可避免性下的免责条件。欧盟《人工智能责任指令》和美国的相关判例也值得借鉴。

5.1 给用户的“防幻觉”指南

       第一，永远不要完全信任AI。对于AI生成的医疗、法律、金融、升学等信息，必须通过官方渠道二次核实。

第二，警惕AI的人格化表述。如果AI说“我保证”“我承诺”“我对你负责”，不要当真，它只是在模仿训练数据中的语言模式。

第三，保留证据。如果因AI错误信息遭受重大损失，可以截图、录屏，并收集官方渠道的正确信息作为对比。

第四，及时反馈。向平台报告AI的错误，帮助其改进模型。

第五，了解法律。目前司法实践倾向于保护AI平台，用户维权的难度较大，但并非没有可能（如果平台存在明显过错）。

5.2 给AI企业的合规清单

第一，在用户注册或首次使用时，强制展示风险告知书，要求用户勾选“已阅读并理解AI可能出错”。

第二，在每一条AI回复下方，用明显标识（如灰色小字）标注“AI生成，仅供参考，请以官方信息为准”。

第三，建立用户纠错奖励机制，对于发现的重大错误给予奖励，并公开错误修正记录。

第四，对于高风险领域（医疗、法律、金融、教育等），建议增加二次验证机制，如自动补充“建议咨询专业医生/律师/学校招生办”。

第五，在用户协议中清晰约定责任限制条款，但不得通过格式条款不合理地免除自身重大过失造成的损害责任。

5.3 AI时代的信任重建

AI“幻觉”侵权案的第一份判决，既没有让用户“碰瓷”成功，也没有给平台“免责金牌”。

它划出了一条务实的中间线：AI会犯错，用户需谨慎；平台有义务，提示要到位。随着AI深度融入日常生活，我们不可能因为幻觉就放弃使用AI，但必须学会与幻觉共存。

法律的作用不是消灭风险，而是合理分配风险。未来，也许会出现“AI责任保险”，或者“AI信息准确性认证”。

但归根结底，人机协作时代的第一原则是：人类始终是决策的责任主体。AI可以辅助，但不能替代。