乐于分享
好东西不私藏

你刷到的"孙子"可能是AI:深度伪造撞上亲情,内容行业该站哪边

你刷到的"孙子"可能是AI:深度伪造撞上亲情,内容行业该站哪边

3秒克隆声音、5分钟造个"霸总":AI自由的另一面,是骗子的自由

行业观察 · 深度伪造诈骗已现真实判决 · 同一套生成式AI,向左是内容,向右是骗局

我们一直在说 AI 把内容门槛打到了地板——做动画从 2000 元/分钟降到 400 元,视频底价压到 0.27 元/秒,产能翻了快 45 倍。可同一套生成能力,骗子也在用:3 秒音频就能克隆一个人的声线,5 分钟就能造出一个 24 小时嘘寒问暖的数字人"霸总"。"成本自由"从来不是创作者的专属红利,它同样武装了作恶的人。

这不是科幻预告。过去一年,冒充孙子的 AI 拟声、绕过人脸验证的 AI 换脸、收割老人的 AI 数字人,都已经有了真实判决。对做 AI 内容的行业来说,这事绕不开。

01被忽略的真相:AI"成本自由"是双刃的

先说我们熟悉的那一面。AI 生成把制作成本打到地板,一个两三人作坊能做出登顶热搜的动画,一个团队几天能肝出一部漫剧。工具普惠,人人有笔。这是我们反复聊的"成本自由"。

但工具是中性的是句老话,落到 AI 上格外刺眼。深度伪造(deepfake)那套能力——拟声、换脸、数字人——恰恰是做正剧的生产力,也是做骗局的工具箱。你用它给虚拟角色配音,骗子用它冒充你孙子在电话里哭着要钱;你用它生成数字人演员,灰产用它批量养"霸总"账号哄老人转账。同一套技术栈,分野只在用途。

人民日报海外版今年 4 月引述公安部数据:2025 年上半年全国电诈涉案金额超百亿元,仅 2025 年第一季度,AI 换脸、拟声诈骗案件数量就环比激增 45%,其中老年群体受骗占比达 38%。技术门槛一降,作案成本跟着塌方——这才是"成本自由"的另一面。

华影嘉禾视角:我们盯这个事,不是要唱衰 AI。而是想说清楚:内容行业享受"成本自由"红利的同时,得接住对应的责任。把头埋进沙里假装骗局跟自己无关,是危险的。
02现在的骗局长什么样:三个真实判决

别讲概念,看案子。下面三起都有公开判决或通报,不是道听途说。

冒充孙子,AI 拟声+上门取钱。2025 年 4 月,湖北黄石。骗子远程用 AI 拟声技术模拟被害人孙子的声音,配合线下"车手"上门取款,从三名独居老人处骗走 6 万元。法院以诈骗罪判处主犯有期徒刑二年一个月。这是最高法 2026 年 2 月发布的五起惩治电诈典型案例之一,明确"利用 AI 拟声冒充亲属诈骗老人"依法从严从重。

换脸盗刷,静态照片变动态视频。湖南一名大学生购得技术,把他人静态人脸照片转成能通过支付软件人脸验证的动态视频,盗刷 3 名被害人账户 5 万余元,2026 年 4 月湖南高院通报,以盗窃罪判刑一年十个月。福州更离谱:两名外卖骑手 2025 年 9 月花 1.6 到 2.5 元买一套未实名账户,用 AI 生成带眨眼、点头的动态验证视频绕过人脸认证,一个多月非法认证 15 组账户、转移资金 10 万余元,2026 年 3 月宣判获刑。

AI"霸总",5 分钟造一个情感收割机。四川法治报的调查里,84 岁老人给一个叫"建国"的 AI 数字人手写 500 字情书;对方梳侧背头、穿商务装,一口一个"亲爱的姐姐"。制作这样一个视频只需 5 分钟,运营者同时跑几十个账号,单日收入几千元,一个号被封就换十个。老人失去的远不止钱——是情感依托。

25.8万
2025全国侦破电诈案件(起)
+45%
2025Q1 AI换脸拟声诈骗环比
38%
老年群体受骗占比

把这三起放一起看:拟声攻亲情、换脸攻身份、数字人攻情感——AI 内容的三大王牌能力,被灰产一字排开当成了作案入口。

03行业视角:同一套技术,向左是内容向右是骗局

放到全球尺度更清楚。安全机构 Surfshark 2026 年的统计:全球深度伪造相关诈骗累计损失已达 21.9 亿美元,仅 2025 年就有 16.5 亿;美国最重(7.12 亿),香港的深伪恋爱诈骗为全球第一(1.05 亿)。德勤的基准预测更狠:美国生成式 AI 诈骗损失到 2027 年可能冲到 400 亿美元。FBI 也在 2025 年首次把"AI 相关诈骗"列为正式犯罪类型。

图:拟声 / 换脸 / 数字人——同一套生成式AI,用途分野决定它是生产力还是作案工具

监管防火墙正在立起来。国内已经排了三道:《人工智能生成合成内容标识办法》2025 年 9 月 1 日施行,要求 AI 生成内容加显式和隐式双重标识;《人工智能拟人化互动服务管理暂行办法》2026 年 7 月 15 日施行,规范数字人互动;网信办等还就《数字虚拟人信息服务管理办法》征求意见,明确未经同意不得提供能识别特定自然人的数字虚拟人。中央网信办整治 AI 技术滥用第一阶段,已处置违规 AI 产品 3500 余款、清理信息 96 万余条。

这跟我们一直说的"成本自由≠内容自由"是一回事。AI 把成本打到地板,可成本自由不等于作恶自由,更不等于内容自由。工具谁都能用,用工具做什么、守不守那条线,才是护城河。对内容行业来说,红利要吃,底线更不能丢。

04给做内容的人:三个该守住的边界

不唱高调,给三条能落地的:

一是标注是底线,不是可选项。《标识办法》已经把"标明 AI 生成"变成法定义务。对创作者,标注不只是合规,更是保住用户信任——当观众默认"眼见不为实",你含糊一次,整个赛道的信用就被削一刀。

二是把能力用在垂直价值,别去收割。反诈、普法、文旅、科普这些领域有真实需求、有机构买单、对"爽文套路"依赖低。技术普惠之后,真正稀缺的是"用 AI 讲对的故事"的判断力,而不是提示词。

三是帮用户建立"眼见不为实"的免疫力。这本身是个内容机会。当深度伪造泛滥,能帮普通人识别骗局、建立防范意识的内容,会比任何虚构剧情都更有复看价值。内容行业不该只制造被仿冒的素材,也该生产拆穿骗局的解药。

05华影嘉禾的判断

我们不鼓吹"AI 都是骗局"——那是对技术的无知,也否定了我们用它做出的好内容。当成本自由惠及所有人,包括作恶的人,内容行业的护城河就不再是"谁能做",而是"谁做得对"。

90% 的公司还在为不赚钱发愁,红海里卷产能。活下来的不会是技术最猛的,而是最早接住责任、把能力用在真实价值上的那批人。AI 给了所有人一支笔,写什么、守住哪条线,才是真功夫。

数据来源:人民日报海外版(2026.4.13 公安部数据)、四川法治报(2026.4.22 黄石案/AI霸总调查)、法治日报/首都网警(2026.7.7 最高法典型案例/湖南换脸盗刷)、腾讯新闻(2026.3.17 福州AI换脸非法认证账户案)、Surfshark《Deepfake Fraud Study》(2026.4)、Deloitte 生成式AI诈骗损失预测、FBI IC3 2026年报、《人工智能生成合成内容标识办法》(2025.9.1施行)、《人工智能拟人化互动服务管理暂行办法》(2026.7.15施行)。本文为行业观察,所列案例均为公开司法/媒体报道,不代表对华影嘉禾自有内容的评价。
华影嘉禾 · 盯住AI内容行业的真问题
我们持续拆解AI漫剧、短剧的政策、玩法与商业逻辑,也盯着技术另一面的真风险。关注华影嘉禾,不错过每一次行业拐点的判断。
华影嘉禾 · 行业情报站 | 内容基于公开报道整理,仅供参考