ARTICLE · 1024732
AI的“反噬”:当工具越界,谁该为“错”买单?
我最近浏览AI 相关资讯多了，有时候恍惚感觉，自己几乎也成了接收 AI 信息的 “工具人”。昨天看到一条浙江嘉善一男子起诉AI的新闻，看完之后，引发我一连串现实层面的深度思考。史先生的母亲离世，他向 AI 咨询下葬吉日，AI 给出 4 月 19 日的推荐。家里通知亲友、各项筹备基本完成后，才发现这个日子并不适合安葬。想要改期，亲友安排已经敲定，重新协调十分麻烦。后续家中亲戚遭遇车祸重伤，家人将缘由归咎于安葬日子，史先生就此提起诉讼。他向嘉善县人民法院起诉 AI 开发企业，诉求是赔礼道歉并赔偿相应损失。该企业的用户协议中写明：生成内容仅供参考，不构成专业建议，重大事项请咨询专家，使用者自行承担决策后果。但史先生认为平台负有责任。律师也点明，想要胜诉，需要证明平台存在过错，同时过错和损失存在直接因果关系，这一举证难度很大。这起案件的意义，早已超越个案本身，它抛出时代之问：AI 输出带来损害，到底该谁来负责？
现在 AI 早已渗透日常生活、学习科研、商业活动。除了 AI 幻觉给出误导答案，AI 换脸、仿声诈骗、洗稿侵权、爬虫窃取数据等乱象层出不穷。有的只是朋友间玩笑恶搞，有的用于商业牟利，还有的已经触碰违法犯罪的红线。部分 AI 软件设置安全拦截，拒绝生成公众人物肖像，但花样繁多的诱导手段，依然可以绕过防护。不少自媒体创作者也意识到风险，发布 AI 制作内容时，会主动标注 AI 生成。平台、开发者、普通使用者三方，该如何规避主动或者被动的违法风险，做好自我保护，值得全社会认真思考。正如我此前写的《当 AI “一窝蜂”：道法术器四重失灵，我们究竟在抢什么？》一文中的担忧，AI 的反噬效应，需要我们高度警惕。古语讲：工欲善其事，必先利其器。但利器亦可伤人。 AI 只是辅助工具，绝对不能替代人的独立判断。
一、形形色色的 AI 侵权、违规与违法行为
技术飞速迭代之下，AI 衍生的风险类型多样，现实已经出现大量司法判例，可以给我们带来警示。第一类：AI 幻觉带来误导输出。模型凭空编造信息，看似逻辑通顺，实际不符合事实。全国首例 AI 幻觉侵权案，AI 虚构不存在的校区信息，还做出出错赔偿的承诺；另有南京中院大模型名誉侵权案，AI 编造不实信息侵害他人名誉，两案裁判结果并不相同，也反映司法边界仍在探索之中。
第二类：人格权侵害，AI 换脸、AI 仿声。未经许可生成他人肖像、声音，用于带货、恶搞。商家使用高度近似名人的 AI 合成音频带货，被判赔偿 12 万元；米哈游起诉 AI 变声软件盗用游戏角色声音，判赔 75 万元。需要区分，单纯舞台模仿秀，并不等同于侵权。
第三类：著作权侵权，AI 洗稿、训练素材盗版侵权。上海有嫌疑人购买 AI 洗稿工具，批量改写网络文章骗取平台补贴，以诈骗罪获刑六个月。海外 Anthropic 企业从盗版网站下载 700 多万部书籍训练模型，最终以 15 亿美元达成和解。
第四类：AI 爬虫非法窃取数据。利用 AI 爬虫批量抓取平台数据，转售牟利。深圳中院案件中，被告爬取证券量化交易数据牟利，法院全额支持原告 1950 万余元赔偿诉求；北京互联网法院也有多起爬虫不正当竞争判例。
第五类：深度伪造衍生违法事件。AI 合成音视频实施电信诈骗已经成为现实。还有人拿 AI 整蛊制造虚假警情，看似玩笑，实则占用公共警务资源，严重可面临治安处罚。
第六类：AI 虚假宣传、伪造种草内容。企业使用 AI 批量虚构消费者体验，制作广告短视频。重庆查处全国首例 AI 虚假广告案，企业虚构大量顾客到店消费的画面，误导消费者。AI 本身没有善恶，所有乱象，根源出在训练数据、平台管控、使用者三方。
二、乱象频发背后的多重深层原因
计算机领域有一句广为流传的公理：Garbage In, Garbage Out，垃圾进，垃圾出。如果训练数据集混杂错误、偏见、盗版信息，模型输出天然就存在缺陷。部分企业追逐产品快速上线，重迭代速度，轻安全校验，安全护栏设置流于形式。同时防护机制可以被越狱提示词、角色扮演、多轮诱导绕过，技术防线存在漏洞。从使用者角度，根据《2025 中国网民 AI 认知调研报告》，超过半数网民在使用 AI，但不少普通人对 AI 的局限性缺少认知。很多人把 AI 当作万能专家，把参考答案直接当成标准答案，重大事项完全放弃自身思考与线下专业咨询。也有一部分使用者主观存在恶意，刻意输入侵权提示词，诱导 AI 生成换脸、造谣、洗稿等违规内容，追逐流量与利益。治理层面，AI 技术迭代以 “月” 为单位，立法修法以 “年” 为单位，部分行业标准仅属于推荐性标准，不具备强制约束力。多方因素叠加，造成现在侵权、违规事件层出不穷。
三、如何判别风险？平台、使用者分别该如何防范
防范 AI 风险，需要平台和使用者各司其职，不能只靠一份藏在末尾的用户协议免责。对于 AI 平台企业，不能把 “仅供参考” 埋在冗长的用户协议条款之中。涉及重大决策、民俗、医疗、法律等高风险场景，需要弹出场景化的醒目标示警示，而不是依靠用户自行翻阅协议。完善安全对齐护栏，对换脸、仿声等高风险请求做好拦截，严格落实 AI 生成内容标识义务。
对于我们普通使用者，要建立一套基础甄别习惯。凡是涉及人生重大抉择、医疗、法律、民俗择日，AI 输出只能当作参考，务必咨询线下现实当中的专业人士。对外发布 AI 生成的图文音视频，发布者有义务主动标注 AI 生成，不能刻意隐瞒。不要用 AI 生成他人肖像、声音，拒绝使用 AI 洗稿抄袭原创作品。遭遇 AI 伪造、爬虫侵权，注意留存证据，通过正规渠道维权。我们要客观认识，即便是成熟大模型，幻觉、矛盾输出仍是现阶段技术很难彻底根除的现象，不能迷信 AI 无所不能。
四、国家现有治理政策，以及亟待补齐的短板
国内监管体系正在快速跟进，已经出台多部法规，搭建起 AI 治理的基础框架。《生成式人工智能服务管理暂行办法》，确立安全评估、算法备案制度，从源头管控具备舆论属性的大模型。《互联网信息服务深度合成管理规定》明确，编辑人脸、人声需要取得当事人同意，禁止制作传播虚假新闻信息。《人工智能生成合成内容标识办法》，要求 AI 产出内容落实显式、隐式双重标识，视频类需要开头 3 秒醒目标注。2026 年最高人民法院发布涉 AI 纠纷司法意见，厘清 AI 人格权、著作权案件裁判原则，明确 AI 不具备民事主体资格，责任匹配注意义务进行判定。与此同时，仍然存在不少亟待完善的地方。第一，细化 AI 幻觉误导这类特殊场景的侵权归责细则，厘清平台、用户主次责任边界。第二，完善 AI 生成内容统一溯源元数据核验机制，改善隐式水印落地参差不齐的现状。第三，推进全民 AI 素养科普教育。很多中老年、青少年不了解 AI 伪造诈骗的风险，容易成为受害群体。第四，区分推荐性标准与强制性标准，面向公众服务的 AI 产品，明确最低安全底线。治理 AI，堵而抑之，不如疏而导之。引导和规范，才是长久之道。
五、使用 AI 的几条红线：做到既不伤人，也不伤己
AI 是一把公认的双刃剑，用好可以赋能生活工作，一旦越界就会带来麻烦，几条底线值得我们记牢。第一条底线：AI 只是辅助工具，绝对不能成为人的决策主体。它给出的仅仅是参考答案，而不是标准答案，人生重大抉择，决定权要掌握在人的手里。第二条底线：谁使用，谁负责。AI 没有法律人格，人做出选择，就需要承担对应的全部后果。第三条底线，不得借助 AI 侵害他人合法权益。肖像、声音、著作权、名誉权、财产权，都不容肆意侵犯。第四条底线，对外传播 AI 生成内容，必须主动做来源标识，不篡改、抹去 AI 自带的标识水印。第五条底线，平台要有拒绝有害内容输出的能力；使用者不要恶意诱导 AI 突破安全护栏。我们可以包容技术不可避免的缺陷，但是绝不纵容人为的恶意滥用。
六、写在最后
回到史先生起诉 AI 这起案件，无论最终判决结果如何，它已经给全社会上了重要一课。AI 技术迭代一日千里，但人的判断力，万万不能一并 “外包” 给机器。工具可以越来越聪明，但是辨别是非、权衡利弊、承担责任的，永远是人。技术本身无所谓好坏，手握工具的人，才决定技术会走向何方。我们欢迎 AI 给生活带来便利，但必须时刻保持清醒：善用工具，而不是迷信工具。守住人的独立判断与良知，才能够避免被技术反噬。