视频聊天、网红带货都可能造假!警惕这些AI换脸陷阱

这是一起民事公益诉讼案。公益诉讼起诉人诉称，两被告胡某运、胡某亮为快速牟利，通过境外聊天软件接触到非法信息交易链条，承接黑灰产任务，利用低成本AI换脸技术破解平台人脸活体核验，大肆窃取贩卖普通网民个人信息。

和传统密码破解、木马盗号等侵权方式不同，本案是典型的AI技术滥用新型网络侵权案件。

杭州市中级人民法院法官助理 叶永青：案涉的AI换脸技术，主要是通过深度学习的算法，识别提取这些照片当中的人脸要素信息，并不断通过训练建模，生成模拟真人的动态视频。同时，二被告在手机当中植入虚拟相机应用程序来替换本地相机，当平台调取摄像头进行人脸识别验证的时候，屏幕当中验证区域就会自动替换成这个合成视频，从而躲避人脸识别活体验证环节。

法官介绍，平台人脸识别核验一般会设置指定动作，比如点头、眨眼、摇头等，两被告根据这一流程要求，把上游黑灰产提供的他人身份证照片，通过境外换脸网站，借助AI技术生成仿真活体动态视频，再结合虚拟相机的使用，从而绕过平台活体验证程序，破解登录他人购物平台账号。

本案中两被告采用的是AI生成视频循环播放卡点的方式，骗过平台活体验证防线，这类作案方式门槛更低，但实践中还有技术更为先进的同类案件。

杭州市中级人民法院法官助理 叶永青：那个案子当中，它能根据平台要求的动作环节，实时生成动作，比如说平台验证环节的动作是眨眼睛，犯罪嫌疑人就点击鼠标左键形成“眨眨眼”，鼠标右键是“摇摇头”，他就点鼠标右键来进行实时验证。

破解人脸核验，只是这两名被告的技术手段之一。他们还有更多的窃取手法，获取更深层的账号隐私信息，而这背后，是连着一条分工明确的个人信息黑灰产业链：上游收料、中间加工、下游转卖。

两被告还有另一种窃取公民个人信息的方式，就是故意安装低版本购物、交友平台软件，利用低版本软件的防护漏洞，通过猜测用户密码保护问题，强行登录他人账号。

公益诉讼起诉人诉称，两被告先后非法登录近30个某购物平台账号，窃取用户收货地址、购物车信息等隐私数据对外流转，非法获利500多个虚拟币，约3708元。后两人发现某二手交易平台有人高价收购各类聊天软件、交友平台实名账号，随即在该平台发布广告，利用同款AI换脸技术制作虚假活体视频，违规认证账号20个，并出售牟利2149元。

法官介绍，公民个人信息黑灰产业链的分工非常明确，境外上游人员批量收集身份证、手机号、人脸照片等基础信息，下发给本案两名被告，两人利用AI技术深度加工，破解购物平台验证防线，获取更深层的账号隐私信息，之后再将数据回传给境外上家二次售卖。这些被虚假实名的账号，极易被下游不法人员用于电信网络诈骗等违法犯罪，而真正的作案人员隐匿幕后，社会危害极大。

杭州市中级人民法院副院长 池海江：AI换脸技术的滥用，不仅是对个体权益的侵犯，也是对实名制与社会信任体系的破坏。对个人而言，人脸信息一旦被冒用，通过平台验证，受害者可能遭遇精准诈骗、财产损失乃至名誉贬损。这种信任缺失会抑制数字经济活力，阻碍科技创新与产业发展。

由于两被告侵权持续时间较短，被公安机关查获后也立即停止侵权、退回违法所得5857元，且自愿认罪认罚，检察机关综合考量案件情节，依法对二人作出刑事不起诉决定。

>>>公益诉讼亮剑AI换脸乱象 二被告被判罚

虽然无需承担刑事责任，但二人侵害众多不特定网民个人信息、损害社会公共利益的违法行为，依然需要承担民事侵权责任。杭州市人民检察院依法提起个人信息保护民事公益诉讼。

庭审过程中，两被告对自己滥用AI技术侵犯他人个人信息的行为供认不讳，当庭向广大受害群众和社会公众致歉，并承诺今后将自觉遵纪守法，坚守法律底线。

最后法院依法作出判决，判令二被告公开赔礼道歉，并支付和犯罪所得相当的公益损害赔偿金。

AI换脸、智能合成技术的滥用，滋生助长了非法获取公民个人信息的网络黑灰产业；此外，还有不法分子用它来伪造人设、编织虚假网恋骗局。一名已婚中年女子利用AI换脸、录音合成技术打造虚假人设，诈骗网恋男友13万余元。

这是一起典型的新型技术类婚恋诈骗案。被告人孙某芳与被害人李某6年前在网络游戏中相识，并添加好友、线上交往。为了博取被害人李某的信任，现实中生活拮据、早已结婚并育有两子的孙某芳，利用AI技术加持，精心打造了一套完美“白富美”人设，开启了长达数年的虚假网恋骗局。

泰安市宁阳县人民法院刑事审判庭法官 朱仲锋：她在和被害人聊天的时候，对被害人说自己是家族企业的会计，她的父亲和哥哥都有家族企业，生意很大，她伪造了一张身份证，身份证上的照片年轻漂亮。

本身相貌普通的孙某芳，通过AI合成的身份证照片，直接把自己包装成20多岁、家境优渥的“白富美”。为进一步骗取被害人李某的信任，孙某芳还利用AI合成软件，提取假身份证上的人脸影像合成动态视频，以此和李某视频聊天。

在两人长达6年的网恋中，孙某芳持续营造“白富美”人设，让涉世未深的李某对其富家女身份深信不疑。虽然身在不同城市，但抑制不住对热恋女友思念，李某多次提出线下见面，孙某芳以自己父亲是大老板、李某没有稳定工作、家庭身世也不好、家人不同意两人交往等为由，拖延拒绝。

2024年11月，孙某芳因长期透支消费、背负大量网络贷款无力偿还，遂产生骗取被害人李某财物的想法。

随后，孙某芳以给父亲交社保金、偿还外债不想让家里人知道、自己身体患病就医、自媒体创业需购置苹果手机等多种理由，反复向掉入温柔陷阱的被害人李某索要钱财。半年左右时间，被害人李某多次向孙某芳转账13万余元。

为了让被害人李某相信自己有还款能力，其间，孙某芳还编造事实，使用录音合成软件制作了一条和自己大哥对话的假录音，称家中爸爸的厂房即将被政府拆迁，自己会得到60万元的拆迁款。

骗局的穿帮源于放贷机构的一个催收电话。原来被告人孙某芳因无力偿还网贷，放贷机构把催收电话打到了李某处。李某追问之下才发现，与其相恋6年的 “白富美”女友，一直在虚构身份，骗取自己的感情和钱财。面对李某的质问与钱款追讨，孙某芳直接将李某拉黑删除。李某随后向公安机关报案。

法院审理认为，被告人孙某芳以非法占有为目的，虚构身份背景、隐瞒婚姻及真实生活状况，借助AI换脸、录音合成等新型技术手段伪造人设、制造虚假还款能力，长期骗取他人财物，数额巨大，其行为已构成诈骗罪。结合其具有自首、认罪认罚、积极退赔等多项从宽处罚情节，法院最后以诈骗罪判处被告人孙某芳有期徒刑三年，缓刑四年，并处罚金人民币二万元。

法官提示，随着AI合成技术飞速发展，诈骗犯罪手段持续迭代升级，传统网恋骗局披上“高科技外衣”，视频、录音等均可伪造，网民要摒弃传统“眼见为实”的固有认知，严守财产底线，避免上当受骗。

AI换脸、深度音画合成技术的普及，也被部分不法商家滥用非法牟利。一位坐拥一百五十多万粉丝的美妆博主，突然发现自己出现在一堆自己从没拍过的带货视频里，于是以侵权为由将对方诉至法院。前不久，浙江杭州互联网法院审结了这起AI深度合成肖像权侵权案，为规范AI商用行为提供司法指引。

本案原告于某是一名深耕美妆领域的博主，长期在短视频平台分享美容知识、生活感悟，常态化进行直播带货，拥有159万粉丝。被告是一家主营护肤品销售的网络科技公司。博主于某发现自2024年6月起，这家网络科技公司在未征得自己同意的情况下，擅自抓取自己在各大平台公开的短视频和直播素材，通过AI合成技术，批量制作了30多条虚假带货视频。

杭州互联网法院法官助理 吴永安：他采取的技术手段还是比较多的，其中既有AI换脸，也包括其他深度合成，如头像画面以及声音音轨等组合方式。

>>>虚假带货视频 批量推送 持续引流

法院查明，被告的侵权手段并非单一剪辑，而是多种AI深度合成技术叠加使用，人为打造出于某亲自出镜、亲身推介该公司美妆产品的虚假场景，侵权形式更为隐蔽、欺骗性更强。

经过AI深度合成后的视频高度逼真，画面、人脸、配音高度贴合于某本人，普通消费者和网友很难分辨视频真假。原告诉称，这批共计30余条的侵权视频时长不等、批量推送，为被告店铺持续引流，两款涉案护肤品累计销量突破十万单，营业额高达740余万元。

>>>被告辩称发布合成视频 目的出于好玩猎奇

庭审中，被告当庭认可视频为其合成发布，且未取得原告授权，但也辩称自己并无主观侵权恶意，只是工作人员出于“好玩、猎奇”。

法庭上，被告辩称，公司在收到诉讼材料后已主动下架全部侵权视频，店铺销量与使用原告肖像无关，不应承担赔偿责任。

>>>担责！谋取商业利益 侵权主观过错明确

法院审理后认为，《中华人民共和国民法典》第一千零一十九条规定，任何组织或者个人不得利用信息技术手段伪造等方式侵害他人的肖像权，未经肖像权人同意，不得制作、使用、公开肖像权人的肖像。本案中，被告借助AI换脸、音画重组等深度合成技术，批量伪造博主于某的带货视频，谋取商业利益，侵权主观过错明确，构成对原告于某肖像权的侵害，应承担相应民事责任。

>>>判赔两万元 责令平台公开道歉

针对赔偿争议，法院认为，由于于某提供的证据不足以证明其因侵权行为造成的实际损失或被告某网络科技公司的获利情况，故法院综合考虑原告肖像的商业价值、被告侵权规模、过错程度、维权合理开支等因素，综合酌定被告赔偿原告经济损失及维权费用15000元，赔偿原告精神损害赔偿金5000元，并判令被告在涉案平台显著位置刊登致歉声明、持续时间不得少于30日。

AI换脸、AI拟声、虚假内容生成等滥用乱象频发，滋生侵害公民个人权益、虚假营销、网络诈骗等各类风险隐患。针对新型AI技术乱象，我国已出台多项法律法规精准规制，同时持续完善顶层立法，为人工智能合规健康发展划定清晰法治红线。

当前生成式AI应用乱象主要集中体现在以下几个方面：

一是人格权益侵权泛滥。部分商家和个人未经授权，利用AI换脸、音画合成技术，擅自抓取网红、公众人物的肖像、声纹、直播画面，拼接篡改、合成虚假视频，伪造代言开展营销活动。

二是虚假信息批量泛滥。依托AI批量生成能力，各类不实文案、虚假画面、谣言内容快速传播，误导公众认知，破坏清朗网络舆论生态。

三是黑灰产业深度绑定。不法分子借助AI深度合成技术伪造熟人视频、客服语音、身份画面，实施网络诈骗等。

中国人民大学法学院院长 杨东：针对这些乱象，法律都有规制，有一些特别严重的行为就可能涉及刑法，包括通过AI技术进行诈骗的诈骗罪。网信办还有一系列管理办法、部门规章，应该说是形成了一个非常立体化的立法体系。

在民事保护层面，民法典明确规定，禁止以信息技术伪造等方式侵害他人肖像权，任何未经本人许可、将他人肖像用于商业引流、产品推广的行为，均属于侵权。彻底封堵“AI合成不算侵权”“玩梗恶搞不违法”的认知误区。

我国个人信息保护法将人脸、声纹划定为敏感个人信息，明确采集、合成、商用此类信息，必须取得当事人单独明确同意，默示授权、笼统协议授权均不具备法律效力。

对于利用AI换脸、伪造人设实施诈骗、敲诈勒索、虚假宣传牟利，数额较大、情节严重的，可依据刑法诈骗罪、非法利用信息网络罪、侵犯公民个人信息罪追责，实现民事追责与刑事惩处的有效衔接。

在行业监管层面，《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》，明确禁止未经授权利用他人肖像、声纹数据开展AI训练和商业创作，压实网络平台审核、溯源、风险处置等主体责任。

2025年9月1日起施行的《人工智能生成合成内容标识办法》，要求网络信息服务提供者对可能造成公众混淆的AI生成合成内容标注合成属性，防范虚假信息以假乱真、误导公众。

杭州市人民检察院检察官 周光耀：各类网络平台要落实自己的主体责任，加强对网络安防技术的迭代升级，提升对AI音视频的检测能力，确保AI音视频的可识别性和可追溯性，从技术源头封堵AI换脸破解核验、盗用个人信息的黑灰产漏洞，有力保护公民的人身权益和财产权益。

在司法实践上，2026年9月，最高人民法院发布《关于依法审理涉人工智能纠纷案件的意见》，明确：未经同意利用AI技术处理他人肖像、姓名，生成可识别的虚拟形象并商用传播，构成肖像权侵权；未经授权模仿他人音色、合成人声用于带货引流，构成声音权益侵权。为冒用网红、博主肖像带货类案件提供统一司法标尺。

在顶层立法上，《国务院2026年度立法工作计划》明确提出，完善人工智能治理，加快推进人工智能健康发展综合性立法。全国人大常委会正加强人工智能领域立法研究，统筹推进相关法律的调研起草工作。

中国人民大学法学院院长 杨东：我们国家正在紧锣密鼓地进行综合性的人工智能法的制定，人工智能法是一个系统性的综合性的立法，对人工智能时代技术的发展、产业的发展等相关内容，都会进行有效规制，同时电子商务法也在加快修订，平台的责任如何强化，广告的规制、大数据杀熟如何进行有效监管，这些需要在电子商务法当中加以明确规定。