AI造谣被罚上热搜:平台不能再把责任甩给用户

AI内容治理，真正考验的是平台能否在恐慌形成前踩刹车。

这次被罚的，是一个用AI生成虚假地震视频的人。

据澎湃新闻政务号报道，肥东县公安局近日查处一起利用AI技术编造地震谣言的案件：有人用AI生成“地震”相关虚假视频并发布传播，最终被依法行政处罚。

单看这条新闻，结论很直接：造谣违法，被罚活该。

但如果文章只写到这里，问题其实被说小了。因为这类事件真正暴露的，不只是某个账号的道德问题，而是整个内容系统正在遇到一类新风险：AI把“制造现场”的成本降到了几乎为零。

以前想伪造一个突发灾害现场，至少要找素材、剪视频、拼画面、配音效，还要担心破绽。现在，几句提示词就能生成一个看起来像“目击现场”的视频；再配上一句“刚刚发生”“朋友发来的”“当地人拍的”，就足够点燃第一轮传播。

这意味着，AI谣言已经不是传统谣言的简单升级版。它更像一条新的灰色生产线：生成端负责造现场，发布端负责给入口，推荐系统负责加速度，情绪负责完成扩散。

如果平台还只在最后一步说“谁发布谁负责”，那就是把一条系统性风险，硬说成一个人的手滑。

AI谣言链路：从生成端到公共恐慌

谣言从来不新鲜。

地震、火灾、暴雨、爆炸、食品安全、明星事故，每一次公共情绪被点燃时，都会有人往里面扔假消息。传统谣言的本质，是利用信息差和情绪差。但AI带来的变化在于，它给谣言套上了一层“证据外壳”。

文字谣言再煽动，读者多少还会看来源、看语气、看逻辑。图片和视频谣言当然也存在，但制作门槛相对更高，破绽也更容易被识别。生成式AI把这条线往下压了：没有现场、没有采访、没有目击者，也可以被包装成“我亲眼看见了”。

这会制造一种很危险的认知捷径：人不是先验证再恐慌，而是先被画面击中，再给自己找转发理由。

尤其是地震这类公共安全话题，本身就带着天然恐慌。一个看起来真实的视频，不需要证明太多，只要让人产生“万一是真的呢”的心理，就足够完成第一轮扩散。

更麻烦的是，AI视频不像普通文字谣言那样容易被“删帖”解决。文字谣言删掉一段话，传播链条会明显断裂；但视频谣言可以被二次下载、截图、转码、混剪、搬运到群聊和短视频平台。每一次压缩和转发，都会让原始线索更模糊，最后只剩下一段“看起来很真”的视觉残片。

所以，AI造谣的核心风险不是内容更聪明，而是它更会伪装成证据。

违法者当然要承担责任。没有这一层，社会就会向恶意使用者释放错误信号：只要能涨粉、能引流、能博眼球，就可以拿公共安全开玩笑。

但问题在于，如果治理逻辑只停在“谁发谁负责”，平台实际上就把大部分责任外包给了用户自觉。

这在传统内容生态里已经很吃力，在AI内容生态里会更失效。因为AI生成内容的链条至少有三段。

第一段，是生成端。谁提供模型？有没有对灾害、伤亡、公共安全、金融诈骗等高风险提示词做限制？有没有对生成图片、视频加上机器可识别的标识？有没有在用户明显要求“伪造突发事件”时拒绝服务？

第二段，是发布端。内容平台在用户上传疑似AI生成的突发灾害视频时，有没有额外校验？有没有要求来源说明？有没有在高风险公共事件里提高审核等级？有没有把“疑似合成”明确展示给读者？

第三段，是传播端。内容一旦开始异常扩散，平台有没有降权、辟谣、留痕、追踪源头？还是等它冲上热榜，再靠警方通报收尾？

这三段里，用户只是最后一个动作的人。只处罚用户，可以震慑一部分人；但如果生成端照样轻松出图，发布端照样一键上传，传播端照样按互动数据推荐，那下一条谣言只是时间问题。

说白了，AI时代的平台不能再假装自己只是“中立货架”。当工具、流量和分发都在平台手里，平台就不能只在出事后说一句：我们已删除相关内容。

这件事并不是没有规则可依。

《生成式人工智能服务管理暂行办法》已经要求，生成式AI服务提供者不得生成法律法规禁止的虚假有害信息，并应当按照相关规定对图片、视频等生成内容进行标识。办法还提到，发现违法内容或用户利用生成式AI服务从事违法活动时，提供者应采取停止生成、停止传输、限制功能、暂停或终止服务等处置措施。

到了《人工智能生成合成内容标识办法》，边界又往前推了一步：AI生成合成内容不只包括图片和视频，也包括文本、音频、虚拟场景等；标识也不只是用户看得到的显式标识，还包括文件数据里的隐式标识。

这里有一个很关键的误区：很多人把标识理解成页面角落里的“AI生成”小字，好像贴上就算完成合规。

标识真正的价值，不是给用户一个礼貌提醒，而是给治理系统留下可追踪的入口。有标识，平台才能识别；能识别，才谈得上审核；能审核，才谈得上分发控制；能追踪，才谈得上责任倒查。

如果一个AI视频从生成、下载、二次剪辑、上传、转发一路都没有可用线索，最后治理就会变成低效的人工考古：靠网友扒，靠警方查，靠媒体辟谣。这个模式在AI内容爆发后根本撑不住。

更现实的问题是，标识会在跨平台传播中被损耗。A平台生成，B平台上传，C平台截图，D平台群聊扩散；每换一次容器，元数据都可能消失。平台如果只说“我们对自己平台生成的内容加了标”，仍然不够。真正的难点在于：平台之间能不能形成最小限度的识别共识。

这不是技术洁癖，而是公共安全的基础设施。

平台责任四层模型：标识、审核、分发、追踪

现在很多平台对AI内容的治理，还停留在删帖思维：出问题了，删；有人举报了，删；监管点名了，删。

这套办法的问题是，它只能处理已经发生的伤害。

AI风险治理更接近一个系统工程。NIST的AI风险管理框架里，核心不是迷信某个检测器，而是把治理、映射、测量、管理做成闭环。放到内容平台上，就是不能只问“这条视频是不是AI生成”，还要问一组更具体的问题：它出现在什么场景？有没有公共安全风险？传播速度是否异常？是否借用了灾害、医疗、金融等高敏感叙事？有没有可靠来源？评论区是否已经出现恐慌性扩散？

检测AI痕迹当然重要，但别把它神化。

未来很多内容会被二次压缩、转码、混剪、截图转发。单靠“AI检测工具”抓谣言，就像单靠安检门治理金融诈骗：能挡一部分，但不是主战场。

高风险内容生成时要有约束，发布时要有校验，传播时要有降权和提醒，事后要能追踪责任。平台如果没有这套闭环，就会永远慢半拍：谣言跑在前面，辟谣追在后面，处罚落在最后。

更深一层看，平台治理不是没有能力，而是常常缺少动力。因为突发、惊悚、灾害、冲突这些内容，天然更容易带来停留、评论和转发。也就是说，AI谣言不是单纯钻了技术漏洞，它还踩中了推荐系统的激励结构。

这就是为什么“删除违规内容”不够。平台必须回答一个更尖锐的问题：当一条内容还没有被证明违法，但已经高度疑似合成、且正在制造公共恐慌时，推荐系统为什么还要继续给它加速？

如果平台不能解释这一点，它就不是被AI谣言误伤，而是在流量机制上参与了放大。

真正有效的治理，不应该等谣言冲上热搜后再补救，而应该在不同阶段设置刹车。

生成阶段，平台和模型服务商要对公共安全场景做更强的拒绝和提示。比如伪造地震、火灾、伤亡、官方通报、救援现场这类内容，不应该只是普通创作素材，而应该进入高风险策略。

上传阶段，内容平台要对“疑似AI生成 + 突发公共事件 + 无明确来源”的组合提高审核权重。不是所有AI内容都危险，但这几个条件叠加时，风险已经足够明显。

分发阶段，推荐系统应该先降速，再核验。高风险内容不应在来源不清时被快速推上热榜。平台可以给内容保留展示空间，但不能默认给它公共扩散权。

纠错阶段，平台要把权威信息入口放到内容旁边，而不是藏在另一个辟谣页面里。用户看到疑似灾害视频时，最需要的是官方信息、发布地点、时间线和辟谣链接，而不是继续刷下一个更刺激的视频。

追责阶段，平台要留存必要日志。不是为了无限扩大监控，而是为了在公共安全事件中快速确认：谁生成、谁上传、谁扩散、哪些节点参与了异常放大。

对普通用户来说，也不需要把自己训练成AI鉴定师。面对突发公共事件里的“现场视频”，先问三个问题就够了。

第一，它有没有明确来源？

不是“网友拍到”，不是“群里传的”，不是“当地朋友说的”，而是有没有官方通报、权威媒体、当地应急部门或可核验的原始发布者。越是灾害、伤亡、公共安全信息，越不能只靠画面本身判断。

第二，它有没有AI生成或剪辑痕迹提示？

如果平台已经标识为AI生成、疑似合成、来源不明，那就不要把它当事实传播。标识不是免责小字，它是在提醒你：这东西不能直接当证据。

第三，平台有没有给出纠错机制？

一个负责任的平台，不该只在评论区让用户互相吵真假。它应该在高风险内容旁边给出权威信息入口、辟谣链接、传播限制和投诉通道。

如果一个平台只负责把情绪推高，不负责把事实补上，它就不是信息平台，而是流量赌场。

普通用户核验三问：来源、标识、纠错

AI生成内容本身不是原罪。它可以做科普、做创意、做教育、做影视预演，也可以让很多普通人获得表达能力。

但公共安全场景不是创作自由的试验田。

一条虚假地震视频，表面上是个人博眼球；往深处看，是生成工具、内容平台、推荐系统和监管规则的一次压力测试。

今天抓住一个造谣者，当然是好事。但更重要的问题是：下一次，一个更逼真的AI视频出现时，平台能不能在它变成公共恐慌之前拦住？

如果答案是否定的，那这次处罚就只是治理链条的末端火花。

真正的分水岭不在于AI会不会造假，而在于平台还敢不敢继续装作自己只是旁观者。

1. 澎湃新闻·政务：《AI生成虚假地震视频博眼球！韩某某被肥东警方处罚》

2. 中国政府网：《生成式人工智能服务管理暂行办法》

3. 中国政府网：《人工智能生成合成内容标识办法》

4. NIST：《AI Risk Management Framework》

如果你觉得今天这篇有收获，欢迎点赞、在看、转发三连，我们下篇见。

THANKS FOR READING