当AI开始“一本正经地胡说八道”
2024年9月,南京律师李某在某搜索平台搜索自己的姓名时,发现AI智能回答板块赫然写着被告人李某因犯爆炸罪,被判处有期徒刑三年,而这一切纯属子虚乌有。李某随即向平台发送律师函要求删除,平台却未予处理。更令人震惊的是,这不是个案。百度AI也曾错误生成执业律师李小亮因犯爆炸罪被判处有期徒刑三年的虚假信息。
这些案例共同指向一个日益严峻的法律问题:AI幻觉.大语言模型编造它认为是真实存在的、甚至看起来合理可信的信息致人损害时,谁来买单?
据公开报道,2026年5月,江苏镇江一名消费者使用AI软件预约餐厅,得到了预留成功,用餐愉快的肯定回复,到店后却被商家告知门店并不支持使用AI软件预约。AI不仅回答预约成功,还详细告知了到店时间、用餐人数等信息。对于不熟悉AI的用户而言,这样的回复确实不似作假。
当AI生成内容具有虚假、误导、错误时,法律应当如何回应?
幻觉致损,现行法律如何回应?
AI不是人,不能当被告
杭州互联网法院审结的全国首例生成式AI幻觉侵权纠纷案,给出了第一个关键答案。该案中,用户梁某使用AI应用查询高校报考信息时,AI生成了不准确信息,还在对话中承诺若生成内容有误,将赔偿10万元。梁某据此起诉,要求AI服务提供者赔偿损失。
法院经审理认为,人工智能不具有民事主体资格,不能作出意思表示,AI自行生成的赔偿承诺亦不能视为服务提供者的意思表示。换句话说,AI不能当被告,AI的承诺在法律上不作数。
AI是服务,不是产品
第二个关键问题在于归责原则。法院认为,生成式人工智能服务依据《生成式人工智能服务管理暂行办法》属于服务范畴,而非产品质量法意义上的产品,应适用民法典的一般过错责任原则,而非产品责任的无过错责任原则。
法院给出了四点理由:该服务缺乏具体用途与合理可行的质检标准;生成的信息内容本身通常不具备高度危险性;服务提供者缺乏对生成内容的足够预见和控制能力;适用无过错责任原则可能不当加重服务提供者责任,限制AI产业发展。
这意味着,AI服务提供者只有在具有过错时,才对侵权损害负责。AI生成不准确信息本身并不构成侵权。
过错如何认定?
在杭州案中,法院认定服务提供者已尽到三层注意义务:对有毒、有害、违法信息负有严格审查义务;以显著方式提示用户AI生成内容可能不准确;采取检索增强生成(RAG)等行业通行技术措施提高生成内容准确性。因此不存在过错,不构成侵权。
但在南京李某案中,法院作出了截然不同的认定。A公司辩称AI幻觉具有偶发性和不可预见性,不具有侵权的主观过错。法院却指出,AI智能回答并非简单信息聚合,而是平台通过算法对文字与图片主动加工、定向合成、公开推送。行业同类产品的现有技术水平,是评判特定AI产品是否尽到合理注意义务的参照物。
两案结论迥异,核心区别在于:AI是被动提供一般性信息查询,还是主动加工、合成、定向推送指向性明确的侵权内容?责任从结果担保转向了风险控制,审查的是服务提供者是否履行了提示、纠错、标识与安全评估义务。
技术中立不是免责挡箭牌
某平台在诉讼中以AI幻觉无法预见、技术发展初期、影响产业发展等理由抗辩,试图将责任推给算法与技术局限。法院审理戳破了这套说辞。
《生成式人工智能服务管理暂行办法》明确,AI服务提供者应当依法承担网络信息内容生产者责任,不得侵害他人名誉权等人格权益。平台一边享受AI带来的流量与商业红利,一边以技术中立算法自主推卸责任,既违背权责一致原则,也与法律规定相悖。
技术可以迭代试错,但法律底线不容突破。法律不苛求AI零幻觉,但不允许平台以幻觉为名,放弃对高风险内容的审核拦截义务。尤其是涉及自然人名誉、刑事犯罪记录等敏感信息,必须执行更严格的事实校验与风险防控标准。
算法问责制:法律如何构建?
上述案例表明,现行过错责任原则在应对AI幻觉致损时,面临三重困境:算法黑箱导致因果关系断裂;人工智能价值链贯穿数据采集、算法训练、系统部署、场景应用等多个环节,责任链条长且主体多元;受害者面临举证难、定损难。
算法问责制的法律构建,正是破解上述困境的关键路径。
确立算法公平原则
应引入以结果公平和过程公平为内涵的算法公平原则,作为建构算法之法的正当性基础。通过算法救济和问责等回应性机制修复算法偏误对结果公平的侵蚀,依托算法影响评估和算法公开等预防性机制防止算法失范对过程公平的偏离。
构建多元主体责任体系
人工智能的价值链参与主体众多,传统过错责任原则面临适用困境。学者张凌寒主张,打破只追责用户的单一逻辑,构建多元主体的责任体系。责任认定的首要标准,是看智能体的行为是否处于人类真实、清晰、持续的授权范围内。当智能体越权,不能只追问使用者,平台部署方、应用开发方是否尽到了技术管控,同样需要审查。未来的人工智能责任体系,并非单一主体的单一责任,而是多元主体的责任。
完善归责原则体系
学界提出了多种制度构想。有观点主张归责理念应从事后确定损失转向事前分配风险,对算法开发者适用过错推定责任,通过强制责任保险与赔偿基金等社会化分担机制分散风险。也有学者提出三级动态责任模型,根据技术架构层分别采用假定过错责任、共享责任和类产品责任。中国社会科学院发布的《2026人工智能示范法4.0》提出,针对自主智能体与生成式AI引发的损害,建立动态过错与风险分担相结合的归责原则。
推进专门立法
2026年,人工智能领域立法成为备受瞩目的议题。代表委员建议,在侵权责任方面增设专章,明确不同自动化等级智能产品致害的责任构成要件、归责原则、举证责任分配和多元主体的责任分担规则。在医疗、金融、司法等高风险领域,服务提供者必须履行算法备案与解释义务,确保决策过程可追溯、可核查。
小结
对AI服务提供者而言,必须摒弃技术万能、责任豁免的错误认知,建立健全高风险内容事前审核、敏感信息精准核验、侵权内容快速处置的全流程机制。尤其是对涉及自然人姓名、肖像及刑事犯罪等高风险维度的内容输出,应强制引入检索增强生成(RAG),以权威且经核实的数据源为准。
对用户而言,要保持理性,不盲目迷信AI,重要信息多方核验。AI归根到底是人运行的,幻觉不能成为逃避责任的借口。
AI致损谁买单?答案正在司法裁判与制度构建中逐渐清晰,技术不豁免责任,算法须接受问责。规则清晰了,创新才有底气;责任分明了,AI才能真正向善而行。
夜雨聆风