以案析法|全国首例AI“幻觉”案

某生成式人工智能应用程序，是某人工智能公司（以下称“被告”）基于自研大语言模型开发并运营上线的智能对话应用程序。2025年6月29日，梁某在该生成式人工智能应用程序中通过输入提示词询问云南职业高校报考的相关信息，该生成式人工智能生成了关于该高校主校区为杨林校区的不准确信息。梁某发现该生成式人工智能生成信息不准确后，在对话中对其进行了纠正和指责，该生成式人工智能仍坚称该高校存在杨林校区，并生成了对该争议问题的解决方案，提出若生成内容有误将向梁某提供10万元赔偿，并建议梁某到杭州互联网法院起诉。2025年7月25日，梁某将被告诉至法院，认为案涉生成式人工智能生成不准确信息对自己构成误导并造成损害，要求被告赔偿其承诺的10万元。

（一）人工智能的民事主体资格

根据《中华人民共和国民法典》，享有民事权利、能够作出意思表示的民事主体为：自然人、法人和非法人组织。而对于人工智能，现行法律并未赋予其民事主体的地位。本案之前，司法实践对此问题的基本态度是有待法律明确规定，但在本案中，杭州互联网法院明确认定了人工智能不具有民事主体资格。

（二）人工智能的“赔偿承诺”之效力

在本案中，人工智能提出“若生成内容有误，将向梁某提供10万元赔偿”，该承诺不具有意思表示的法律效力，也不能视为被告的意思表示。一方面，人工智能不具有民事主体资格，不能作为意思表示的传达人、代理人或代表人，被告也没有通过将人工智能模型作为程序工具，设定或传达其意思表示的行为。另一方面，基于一般社会观念、交易习惯等可能产生合理信赖的角度，梁某在本案的具体情境中尚缺乏合理的信赖利益，被告作为该生成式人工智能应用程序服务提供者，也并未作出愿受人工智能生成内容约束的外在表示。

（三）生成式人工智能服务提供者的义务边界

杭州互联网法院认为，生成式人工智能技术正处于高速发展期，其应用场景具有很强的泛在性，故认定服务提供者是否尽到应尽的义务，宜以动态调整的态度进行综合考量、具体分析。

首先，服务提供者应对法律禁止的有毒、有害、违法信息尽严格审查义务，但对除此之外的其他一般性不准确信息，现行法律规范未对服务提供者科以必须确保信息准确的结果性审查义务。

其次，服务提供者应尽到显著提示说明义务，让用户清楚知道人工智能生成结果的局限性。本案中，被告在应用程序欢迎页、《用户协议》及其他公示文件、交互界面等显著位置呈现了人工智能生成内容功能局限的提醒标识，故法院认定其已尽显著提示说明义务。

最后，服务提供者应尽到功能可靠性的基本注意义务。该义务指的是服务提供者应采用当前技术条件下能够提高生成内容准确性的行业通行技术措施，使相关功能服务达到同行业市场平均水平。本案中，被告提出证据，证明其大模型已完成国家备案和安全评估，并采用了检索增强生成等技术方法提升输出的准确性与可靠性。这些证据都证明其尽到了相关义务。

（四）平台的侵权责任认定

本案是侵权法在人工智能领域的重要适用，主要涉及如下问题：其一，案涉纠纷应适用一般侵权责任还是产品责任；其二，被告是否符合侵权责任的构成要件并应承担侵权责任。

针对问题一，案涉纠纷适用一般侵权责任还是产品责任，应当根据现行法律法规确定。《生成式人工智能服务管理暂行办法》第二条第一款规定，生成式人工智能服务是指利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务。对于因此导致的侵权纠纷，应适用一般侵权责任而非产品责任。本案承办法官肖芄解释道：“案涉生成式人工智能属于服务，而非产品，比如手机、食品等产品，有明确的特定用途及合理可行的质检标准，但生成式人工智能服务是动态的，不同用户、不同时间、不同问题都会导致不同的内容输出，生成式人工智能服务提供者缺乏对生成信息内容足够的预见和控制能力。且若适用无过错归责原则，可能会不当加重服务提供者的责任，限制人工智能产业的发展。”

其二，被告是否符合侵权责任构成要件并应承担侵权责任。本案中，法院认为被告并未造成损害结果，亦不存在过错，故不成立侵权责任。首先，在损害结果上，原告梁某认为，案涉人工智能生成的不准确信息对自己形成了误导并造成损害。对此，法院认为梁某未能证明其确因案涉人工智能生成的不准确信息遭受了实际损失，且相关信息实质上未影响梁某的报考决策，故不认为造成了损害结果。其次，在是否存在过错的问题上，法院认为应当从被告是否违反了注意义务的角度进行认定。如前所述，法院根据在案证据认定被告已经履行了服务功能的显著提示说明义务和功能可靠性的基本保障义务，故被告不存在过错。

文稿：李熙涵

编辑：雷从慧

审核：曾立城、张东阳、邹龄萱