编者按
2025年初,生成式人工智能模型DeepSeek的发布引爆全球舆论场。这一年,AI技术以前所未有的速度迭代升级,深度融入生产生活方方面面,在极大提升社会运行效率的同时,也因技术滥用门槛骤降,衍生出一系列触目惊心的网络乱象。法治网舆情中心基于2025年以来全国范围内近120起公开报道的AI技术滥用事件,系统梳理出当前危害最突出的八大乱象,深入剖析其成因与危害,并就监管执法部门如何提升网络空间治理效能提出针对性建议。
舆情综述
一、AI谣言批量生成,成为网络空间最大"污染源"
AI技术普及带来的最显著风险,就是谣言生产实现了"工业化"。对话大模型的爆发式发展,让普通人无需专业能力即可批量编造细节逼真、逻辑自洽的虚假信息,其迷惑性远超传统谣言。据统计,2025年涉AI谣言传播量同比上涨320%,且呈现出精准化、场景化、产业化特征,主要集中在四大高风险领域:
涉公共安全类谣言:如贵阳文昌阁"挖眼虐猫"事件,经AI生成虚假图片和视频后迅速发酵,引发公众恐慌,最终警方证实系网民恶意编造 。
蹭炒政治热点类谣言:在全党开展深入贯彻中央八项规定精神学习教育期间,有网民利用AI炮制"江苏两干部买方便面被通报"的虚假信息,恶意抹黑党政形象,相关责任人已被采取刑事强制措施 。
名誉侵权类谣言:"华山医院前院长客死他乡""顶流明星澳门输10亿"等涉名人明星的AI谣言频繁登上热搜,对当事人造成严重精神损害。
涉企"黑嘴"类谣言:上海警方侦破的一起案件中,不法分子使用AI技术通过"无中生有""移花接木""断章取义"等手法批量生成涉企负面信息,精准推送给目标用户,导致多家企业股价下跌、声誉受损 。
二、AI"起号"形成灰色产业链,污染网络内容生态
所谓AI"起号",是指自媒体利用AI技术批量生成同质化内容,快速积累粉丝、提升账号商业价值,最终通过电商带货、账号转卖等方式变现的行为。当前,短视频平台上充斥着大量AI生成的虚假内容,"外国人唱中文歌""银发奶奶讲养生""氛围感女孩穿搭"等账号动辄百万粉丝,普通网民难以辨别真伪。
这种模式成本极低、见效极快,已形成完整的灰色产业链:网上充斥着"3天暴力起号""条条爆款"的付费教程,甚至有人专门传授绕过平台审核的技巧。大量AI账号涌入交易市场,不仅导致网络内容质量断崖式下跌,还为后续的虚假宣传、网络诈骗等违法犯罪活动提供了温床。
三、AI"换脸"拟声泛滥,侵权诈骗案件频发
2025年,AI深度合成技术的滥用达到了前所未有的程度。从企业家雷军、医学专家张文宏到影视明星靳东、央视主持人李梓萌,众多公众人物均遭AI"换脸"拟声侵权,被用于虚假代言、直播带货等商业活动 。11月5日,央视新闻报道演员温峥嵘遭AI盗播事件,多个直播间盗用其形象进行带货,温峥嵘本人在直播间质问反被拉黑,引发全网热议 。
更令人担忧的是,不法商家已将AI造假产业化:有的仿冒奥运冠军全红婵、孙颖莎的声音推销劣质产品;有的伪造公众人物"加持"的虚假宣传,声称商品"播放量10亿+";还有的利用AI生成虚假交易记录和用户评价,欺骗消费者。全国两会期间,多名代表委员联名呼吁加快立法,严厉整治AI"换脸"拟声乱象 。
四、AI"魔改""恶搞"滋生,侵蚀主流价值观
在流量至上的逻辑驱动下,部分网民利用AI技术对经典作品、传统文化进行颠覆性改编,制造低俗猎奇内容博取眼球。《法治日报》调查发现,"外国山海经""AI山海经"等魔改内容在网络上大肆传播,这些由AI拼接生成的木棍人、轮胎青蛙等怪异形象,与中国古代典籍《山海经》毫无关联,却渗透到低龄群体中 。更有甚者制作包含血腥暴力、色情低俗内容的"邪典动画",严重危害未成年人身心健康 。
此外,"流浪汉闯入家门"等AI恶搞图片在社交媒体上引发模仿潮,不少人用AI生成虚假场景戏弄亲友,甚至导致居民恐慌、警方出警。媒体评论指出:"AI可以用于娱乐,但娱乐不能突破法律底线和公序良俗,更不能损害公共利益。"
五、AI虚假营销横行,严重侵害消费者权益
AI技术在营销领域的广泛应用,催生了大量造假行为。良品铺子"花生上树"AI广告引发全网争议,商家利用AI生成"千年苗医传承人"等虚假人物形象,外卖平台上大量档口用AI生成"网红门面"欺骗消费者 。
更恶劣的是,一些商家利用AI技术实施精准诈骗:有的号称能用AI预测彩票走势,推出收费预测服务;有的在高考前夕打着AI大模型"押题"的旗号,高价售卖所谓"内部资料"。中国福彩、新华社等多家机构接连发布辟谣声明,提醒消费者警惕此类营销陷阱 。
六、AI"薅羊毛"退货成风,重创电商生态
2025年"双十一"过后,多起AI造假骗退货款案件被曝光,引发行业震动。广州一买家利用AI合成"死蟹"视频骗取商家退款,被警方处以行政拘留8日 。此类行为已遍布服装、美妆、生鲜、电子产品等各大类目,不法分子利用AI生成肉眼难辨的虚假图片和视频,向商家发起"仅退款"要求。
由于电商消费具有小额高频的特点,商家维权成本往往高于损失金额,只能自认倒霉。更令人担忧的是,这一行为已形成产业化,网上有付费教程宣称"288元教会单账号成功退款30次",还以"学员累计获利2000元"为噱头吸引参与者。舆论普遍认为,这种看似小额的投机行为,正在层层侵蚀电商生态的信任基石 。
七、新型AI诈骗迭代升级,危害人民群众财产安全
在严打高压态势下,电信网络诈骗不断借助AI技术升级换代,手段更隐蔽、迷惑性更强,成为危害社会稳定的"新毒瘤"。除了传统的"AI换脸""AI拟声"诈骗外,还出现了多种新型变种:
"AI换装"诈骗:不法分子伪造军警身份招摇撞骗,利用AI生成穿着制服的虚假照片获取受害人信任。
"AI客服"诈骗:制作智能客服系统,通过语音或文字与受害人交流,诱骗其提供个人信息或转账。
"AI情感"诈骗:训练专门用于网聊的大语言模型,与受害人建立情感关系,实现精准诈骗。
国家反诈中心数据显示,2025年上半年AI诈骗案件涉案金额已超68亿元,单案最高损失达2000万元 。72%的受访者表示无法区分AI生成视频与真实影像,老年群体识别率不足15% 。
八、AI数据污染形成闭环,威胁认知安全
人工智能大模型的训练依赖海量网络数据,而网络上大量存在的虚假信息和错误数据,会进入模型语料库造成"数据污染",进而生成更多错误信息,形成恶性循环。《新华每日电讯》援引的一项研究显示,当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;即使是0.001%的虚假文本,有害输出也会上升7.2% 。
2025年5月,《中国青年报》报道的"AI把野史当信史"现象引发广泛关注。有AI生成的"明朝使臣质问帖木儿"内容,通过嫁接真实人物、虚构对话、伪造文献注释,形成了具备学术表征的伪史文本,被不少网民当作真实历史引用 。这种数据污染的闭环效应,正在模糊真实与虚假的边界,长期来看将对公众认知产生深远的负面影响。
成因分析与应对建议
成因剖析
AI技术滥用乱象屡禁不止,是多重因素叠加的结果:
1. 利益驱动:平台流量与带货转化的强激励机制,使得"劣币驱逐良币"效应凸显,利用AI技术低成本牟利成为不少人的选择。
2. 监管滞后:AI技术迭代速度远超法律法规更新速度,现有监管体系难以覆盖所有应用场景。
3. 取证困难:网络环境的匿名性和隐蔽性,使得AI滥用行为的溯源和取证难度极大,违法成本过低。
4. 素养不足:公众辨别深度伪造内容的媒介素养普遍不足,平台的内容审核和溯源机制也有待完善。
应对建议
针对上述问题,法治网舆情中心综合专家学者、行业人士意见,提出以下三方面建议:
一、完善法律法规体系,压实各方主体责任
加快推进人工智能领域立法,细化平台、技术提供商、内容制作者及用户的法律责任边界。严格落实2025年9月1日起施行的《人工智能生成合成内容标识办法》,督促平台加大对AI生成内容的审核把关力度,利用技术手段建立智能审核系统,对上传的AI合成内容进行实时监测和标识 。改革平台流量分发和收益分成机制,最大限度压缩AI滥用牟利空间。
二、加大执法司法力度,实施全链条打击
执法司法机关要树立"链条化"治理思维,对AI违法犯罪的前端制作、中端传播、末端变现进行全链条打击。持续深入开展"清朗·整治AI技术滥用"专项行动,从严查处AI造谣、"换脸"诈骗、虚假宣传、"薅羊毛"等违法犯罪行为,深挖背后利益链条,及时向社会公布典型案例,形成强大震慑 。针对新型AI侵权行为,通过发布司法解释、指导案例等形式,明确责任认定标准,统一司法裁判尺度。
三、强化法治宣传教育,构建社会共治格局
深入开展AI法治宣传教育,通过以案释法等形式,提升网民的法治意识和媒介素养,增强其识别AI谣言和诈骗的能力。完善网络不良信息举报机制,鼓励广大用户积极参与监督,形成"人人有责、人人尽责"的治理氛围。引导企业增强维权意识,建立健全内部AI合规管理制度,及时发现和处置涉企AI侵权行为。
技术是把双刃剑,AI的发展前景光明,但绝不能让技术滥用成为社会之痛。只有坚持依法治网、技术赋能、社会共治相结合,才能构建安全、健康、有序的网络空间,让AI技术真正造福人类。
夜雨聆风