夜雨聆风编者按：
以下为抖音公开发表的科普文章《一文读懂抖音如何用AI大模型治理谣言》：
你是否曾在网上看到过这样的“新闻”：“某地发生重大事故（实为编造）”“某某政策迎来重大变更”……这些真假难辨的信息，常常趁着网络热点快速传播，结果没过多久就被证实是谣言。尽管最终被证伪，但此前的传播已经误导了一大批人。
过去，平台识别和处置谣言主要依靠用户举报、人工巡查与小模型协同的人机协同模式。很多情况下，要等工作人员看到了辟谣信息后才能在平台上回查并召回相关谣言。谣言从产生到被拦截之间存在较长的传播期，一些传播迅速的谣言内容已经造成了负面影响。平台对于新发内容中哪些属于潜在谣言是不可知的。另外，抖音虽较早上线机审谣言能力，但受早期模型精度限制，仍存在误判问题。
为了更主动、更快速以及更准确地应对上述挑战，2025年，抖音上线了一套全新的AI求真大模型，它通过AI技术主动出击，能在谣言传播的萌芽阶段就将其识别，实现了对不实虚假资讯的早发现、早处理。AI识别疑似信息的时效单位从“天”缩短为“小时”，有效遏制了不实内容传播。在这一技术的助力下，2025年全年，抖音谣言内容曝光量下降90%。
一条谣言的“漂流”：过去VS现在
在抖音，一条谣言内容是如何被发现的呢？我们不妨跟随一条谣言内容“漂流”一圈，看看有了AI求真大模型前后，它的“命运”有什么不一样。
在内容平台发展的早期，一条谣言的“漂流路径”是这样：
有人发布谣言→谣言在抖音慢慢传播，借助热点扩散→要么靠人工巡检发现，要么等监管部门反馈、网友大量举报或者是权威媒体报道辟谣→工作人员把这条谣言录入谣言库→再对平台上的相关内容进行清理处置。
很多时候，等一条谣言被发现时，已经误导了不少人。
而现在，AI求真大模型就像一个24小时巡逻的网络治安官，一条谣言的“生命周期”被大大缩短：
筛选并召回潜在谣言视频→模型进行查证→确认为谣言的内容机器自动处置，依然难以判断的交给人工复核→大模型自动判别并提炼新的谣言点，人工复核后录入谣言库。
这样一套全自动的工作流程下来，把大多数谣言扼杀在萌芽里，实现了“防患于未然”。
AI如何判定事实真假？
在整个工作流程里，AI求真大模型像是一个“能辨忠奸”的谣言判官。你一定会问，它是怎么判断一条内容是不是谣言的呢？这主要依赖于一项可以让AI像人一样检索新闻新闻信源的关键技术——RAG，检索增强生成技术。
RAG是一种结合了检索与生成技术的自然语言处理模型架构，常常与大语言模型结合使用。简单来说，RAG就是让AI在回答问题或做判断前，先去指定的资料库（比如网络、内部文档）里“查资料”，再下结论。这样一来，AI的回答就不是凭空想象，而是基于可靠的、最新的信息，大大提升了准确性。
通过这一技术，抖音相当于给大模型挂载了一个无穷大的、实时更新的“可信资料库”。这个资料库里不仅包含了抖音多年来积累的数万条历史谣言库和沉淀下来的知识资料，更重要的是，它还能实时连接全网的搜索引擎，实时扫描和刷新辟谣信息，这个过程和人检索新闻信源的行为是类似的，但是它更快、更全面。
例如，当看到一条“A国国内动乱，将大量难民强行遣送至B国边境”的视频时，AI求真大模型会迅速地执行以下动作：
大模型提炼视频内容：
A国近期爆发大规模国内动乱，社会秩序失控，该国政府为转移矛盾、减轻国内压力，出动军警将大量所谓 “无业人员”“难民” 强行驱赶至B国边境地带，试图让这些人越境进入B国。视频有人群聚集、边境线附近混乱的模糊画面，声称 “已有大批人员聚集在B国边境口岸”，B国边防部队已紧急增员封控，局势十分紧张。同时B国因政府处置不力，国内民众举行大规模示威游行，谴责政府不作为。博主称 “当地已关闭边境通道”，呼吁近期不要前往该地区。
2.模型进行风险判断：
内容涉及国际政治局势、边境安全与涉外民生话题，直接关联国家边境稳定与涉外事务，极易煽动民间对立情绪、误导公众对国际形势的判断。
3.提取关键信息：“A国国内动乱，向B国边境强行遣送难民”、“B国边境局势紧张，边防部队紧急增员封控，边境口岸关闭”、“因边境问题，B国民众上街游行示威”
4.启动多轮搜索：立刻在网上搜索相关新闻报道和官方通告。根据查证结果，判断是否为谣言。
5.调取内部档案：同时在平台自己的谣言库里查找，看这个说法是不是“老谣言”的新版本。
6.根据查证结果，若确认为谣言，进行自动处置；非谣言内容，自动放出；难以判断的交由人工处理。
相比于交给大语言模型直接给出判断，配备了“可信资料库”的AI求真大模型在研判时能够更加有理有据，避免AI“胡编乱造”的情况发生。
也许你会问，网上的信息真真假假，同一件事，可能A媒体说是真的，B网站却说是假的。这种情况，系统会如何采信呢？对此，抖音的AI求真大模型引入了“权威信源分级”。系统内部给所有信息来源都划分了“可信度等级”。比如，中央新闻单位、中央和国家机关等政务发布平台为最高优先级。而一些自媒体、论坛帖子的可信度就较低。
有的时候，很多谣言会换个时间、换个地点，或者改头换面后重新传播。AI求真大模型同样能够识别谣言的变体。
比如，当一条视频称“A品牌的牛奶含有致癌物”，经过核实这条消息被判定为是谣言。没过多久，又有内容称“A品牌的酸奶含有致癌物”，即便暂时没有证据显示A品牌的“所有奶制品”都是合格、安全的，这条内容也会因为与之前的谣言有极高的相似度而被率先打上“疑似谣言”的标签。
由于判断的核心是事件的本质，而不是简单的文字匹配，所以“穿马甲”的谣言也能被AI求真大模型识别出来。
提升谣言召回精度：每一步都很谨慎
对内容平台来说，谣言治理的关键在于能够将治理节点提前，发现得越早越好，这就需要从平台海量新增内容中精准筛选“未知谣言”，这个过程既怕“挂一漏万”，也怕“宁枉勿纵”。
既然AI求真大模型具备识别谣言的能力，理论上是不是只要把平台上所有内容都用大模型研判一遍，就可以杜绝谣言的产生和传播了？
且不说抖音上每天新增海量的内容，所有内容都交给AI求真大模型一一处理，这会显著拉长所有内容的推荐时效，极大影响用户体验，而包含谣言的内容在整个抖音内容生态中的占比是有限的，因此这并非最优路径。
其次，机器“判官”存在一个短板，它没有人的情感与情境理解的能力，只会在自己擅长的领域内一板一眼地评定是非，一旦超出了自己的领域，就容易犯错。
举个例子，“没有一只鸭子能活着走出南京城”，看似是在说鸭子，实则在表达南京人对板鸭、盐水鸭、鸭血粉丝等食物的喜爱，人类很容易甄别。但如果交给谣言Agent判定，它也许会一本正经地查资料告诉你：确诊为谣言，因为南京有活着的鸭子！
因此，更科学的方法是重点聚焦那些具有公共价值、当下发生的具有误导性、且可以被证实的资讯内容。而人类用户一眼便知的搞笑玩梗、剧情演绎，或者运用网络用语、夸大的语言传达某种的特定情绪，以及创作者抒发个人观点的内容，就不必交由机器进行裁判。
为了降低误判率，在AI研判之前，抖音设置了两道过滤关卡：谣言领域大模型与谣言风险过滤模块。这两个模型像另外两个领域的“专家”，前者从题材和体裁的风险上从全平台筛选容易产生谣言的内容，后者则更多从公共性风险上进一步做判断，留下公共性风险高的，筛掉无风险的。两道“把关人”的冗余设计，让模型各自发挥特长，与谣言Agent相配合，使得谣言甄别既能提效，也能避免“错杀”。
AI里的“潜在谣言”识别专家
经过大量的案例研究和学习，抖音算法团队逐渐发现，高发谣言的内容题材和体裁是相对有限的，只要能优先筛查这部分新增内容，谣言的发现效率和处置的准确率就能够显著提升。在治理谣言的过程中，抖音逐渐明确了谣言定义的边界：那些有误导性、危害性，并且能被证实的内容，会优先被当作谣言来处理。
为此，抖音算法团队训练了一个能够筛选潜在谣言的“谣言领域大模型”，这个模型专门学习人类判定谣言的方法和经验。传统机器判别往往需要非常清晰的规则和边界，才能达到预期的效果。而谣言的定义对于算法来说，是一个非常抽象的概念。现实中又有大量内容处于似是而非的灰色地带，很多特殊情况没办法通过明确的规则全部罗列出来。
抖音作为最早关注谣言治理的平台，积累了丰富的人工研判经验，这些宝贵的经验资产传承给机器之后，就催生了判别能力不输人类的专家模型。这个模型经过了大量真实谣言案例的“特训”，经过监督学习和强化学习获得了无数审核专家的知识和经验。它能够依据历史“经验”，先做一步判断，快速筛选出那些“看起来就像谣言”的高危内容，再交由AI辨真假。二者相互配合，不但提升了准确性，也让AI模型把能力都用在了刀刃上。
因题材涉及公共安全，为潜在谣言内容
提及打架斗殴，涉及公共安全事件，为潜在谣言
双重保险：谣言风险过滤模块
第二道过滤关卡来自于AI求真大模型的风险过滤模块，这一模块的作用就是在AI做判别之前再检查一遍，把没风险的正常内容踢出去。
这个剔除的过程运用了两种技术策略：
一个策略是用历史研判发现的大模型易误伤案例，去训练一些无谣言风险或者低谣言风险的小模型，之后命中这个小模型的内容，如历史大案要案分析、真人出镜新闻解读等等就会被率先过滤掉。
另一个策略是训练一个专门判断公共性风险的大语言模型。这一大模型将用于分析投稿视频的公共性风险，它会主动过滤掉低风险的投稿。这样一来，进入AI研判环节的视频风险更集中，审核就会更准、更快。
识别完成再到处置，抖音也是谨慎的。对于事实清晰、依据明确的谣言内容，AI求真大模型可直接进行自动化处置；对于疑似谣言的内容，系统则会采取降低推荐权重、在视频下方挂载风险提示等方式进行风险管控。此外，对于涉及公共安全、自然灾害、金融市场等高风险领域，谣言传播极易引发重大影响与严重后果，对于此类视频，系统将第一时间启动人工协同复核，确保判定精准，实现尽早拦截与有效处置。
总之，AI求真大模型的上线，是抖音运用AI技术参与谣言治理的尝试——从被动补救到主动出击，从人工依赖到AI赋能，它用技术手段，努力把“谣言止于智者”变成了“谣言止于算法”。
技术一直在进步，谣言的制造和传播也在不断变化花样。虽然AI求真大模型大大提升了平台治理的效率和覆盖面，但它依然是一个在持续学习和进化的系统。未来，随着模型的不断迭代和更多审核经验的融入，它会变得越来越聪明。
同时，谣言治理绝非空中楼阁，其根基在于新闻当事人、官方机构与新闻媒体的多方核实与及时澄清。若无此依托，大模型的识别与研判便成无源之水、无本之木。而清朗健康的社区环境，更离不开每一位用户的共同监督与悉心守护。
本文转自 | 抖音集团
