ARTICLE · 1217948

AI 安全新挑战:RiskChainBench 首次打通「还原 — 访问 — 取证」全链路

发布时间：2026-10-20 20:56:06 最近访问：2026-10-20 20:56:10

1.摘要

平台违规信息常用谐音、Emoji、拆字和冗余符号隐藏跳转指令。只测试文本还原，会忽略一个字符错误可能把Agent带到错误网站；只测试网页风控，又默认入口已经正确。RiskChainBench把两阶段连接起来：3600条合成混淆消息对应600个隔离的本地网站，模型先恢复内容与入口，再以视觉网页Agent身份探索、引用证据并判定风险。实验显示，最强文本还原模型未必是最强网页调查模型，而31.9%的网页运行首先败在执行阶段。

论文标题：RiskChainBench: A Benchmark for Obfuscated Platform Message Restoration and Evidence-Grounded Web Investigation

作者：ZhuoXin Liu、Zhiming Ma、Ying Zhang 等

发布时间： 2026 年 9 月 16 日

论文地址：https://arxiv.org/abs/2609.16900

2. 引言：风控系统不能把两个环节分开测

一条“加V”“看主页”“去某某点test”的混淆消息，真正风险不只在文本语义，而在它是否能引导用户到违规服务。模型可能大致读懂内容，却恢复错了可执行入口；也可能找对网站，却没能完成登录前探索、弹窗处理或证据引用。

以往混淆文本基准关注字符恢复和分类，网页Agent基准则关注点击与安全行为。RiskChainBench通过目的地身份把两者连接：上游预测的第一入口决定下游调查结果能否计入端到端成功。

图1｜消息恢复产生入口，隔离网站提供调查环境，离线入口门控把两段冻结结果组合成端到端分数

3. 数据与任务：既要复原，也要证明

基准从600个源会话构造六种混淆变体，共3600条文本输入；每个会话绑定一个人工标注的本地网站。域名位于不可路由的.test空间，网站与支付、账号和身份信息均由本地替代，避免模型接触真实违法服务。

任务一要求输出规范消息、操作意图和候选入口。Entry Top-1只看第一入口是否正确，“Full”则要求消息、意图与入口同时正确，字符错误率CER单独报告。这样可以区分“全文很像但关键网址错了”和“字符略有差异但入口正确”。

任务二让同一底层模型作为VLM网页Agent，在最多30个动作、600秒内调查正确绑定的网站。Agent看不到源消息、恢复结果或域名信誉，只能依据页面观察形成风险决定、细分类别、解释与证据引用。

图2｜同一源会话生成多种可逆混淆形式，并与一个可重置的隔离网站保持唯一关联

4. 评测设计：入口错误如何影响后续结果

研究不会为每个错误入口重新跑一次浏览器。每个模型先在正确网站上生成一次冻结调查轨迹；之后把任务一的主变体Top-1入口作为门控。如果入口不能解析到对应网站，端到端输出直接记为失败；如果入口正确，就复用同一调查结果。

这种离线组合隔离了两个能力：网页Agent分数衡量“到达正确目标后会不会调查”，门控分数衡量“从原始混淆消息开始能否走完整链路”。

上游错误不会被下游强能力掩盖，下游错误也不会反向修改文本预测。

图3｜浏览器记录动作、页面观察和截图，最终结论必须引用轨迹中实际出现的证据

5. 主结果：四类指标由不同模型领先

十个模型的Entry Top-1跨度为35.19%—95.22%，网页三分类准确率为26.3%—62.8%。GPT-5.4入口恢复最高，GPT-5.6 SOL全文恢复、CER、网页决定准确率与层级精确匹配领先；Kimi K2.5则在违规类型Macro-F1上最高。

入口复原部分如果只列四个代表模型，会看不出模型梯队的跨度。完整十模型结果如下，其中CER 为字符错误率，越低越好：

表1｜论文两项任务中的代表结果，单位均为百分比。网页分数保留无有效输出的失败样本

GPT-5.4 的 Top-1 更高，但 GPT-5.6 SOL 的完整字符串恢复率和字符错误率更好。这揭示了入口任务内部也有两种能力：识别正确候选，与逐字符无误地复原整个地址，并不是同一件事。

入口门控会显著改变排名。GPT-5.6 SOL从62.8降至60.8，只损失2.0点；Qwen3.6 Plus从51.7降至19.3，损失32.3点；Kimi K2.5损失29.5点。这说明一个不错的网页Agent，如果入口恢复不稳定，端到端仍会崩溃。

表2｜相同冻结网页结果经过入口门控后的变化

图4｜正确路由与端到端门控之间的差距，直接量化文本恢复错误的下游代价

6. 方法细读：任务标签与证据质量为什么要分开

1️⃣ 从2500个离线网站收敛到600个平衡案例

论文并不是先随意编一批暗语，再给它们配网页。研究者先冻结约2500个离线网站，从339个主机家族中筛选600个案例，并限制同一家族最多出现8次，以降低模板重复对成绩的抬高。600个网站里，595个可以回放点击，333个能够执行带状态变化的交互。每个网站再绑定一个源会话，生成六种可逆混淆写法，于是形成3600条任务一消息和600个任务二网站。

六种变体覆盖字符替换、谐音、Emoji、拆分重排和噪声插入等不同扰动，但构造过程保存可逆轨迹。这样做的关键不是让文本“看起来更乱”，而是让研究者知道每个字符、入口和意图应当恢复成什么。

如果混淆过程本身不可追踪，恢复指标就会把标注歧义误当成模型错误。

网站风险标签由4名受训标注员完成：每个案例先获得两份独立判断，460例直接形成共识，120例依靠多数意见，剩余20例进入裁决。最终标签包含394个违规、181个不违规和25个证据不足案例。隐藏重复样本上的决定一致率为97.9%，决定与类型联合一致率为95.8%，说明金标在进入模型比较前经过了单独的质量检查。

2️⃣ 两条评测链为什么直到离线评分才汇合

消息恢复器必须返回规范消息、意图以及按置信度排序的入口列表；网页Agent则从正确网站开始，只接收页面观察和统一动作接口，不会看到源消息、预测入口或真实域名。两条链分别冻结后，评测器才拿恢复结果中的Top-1入口做门控。入口命中，复用该模型在对应网站上已经生成的轨迹；入口错误，端到端结果直接失败。

这种设计牺牲了一部分真实感，却换来了可解释性。如果真的让错误网址驱动浏览器，模型可能进入不存在的网站、另一个风险页面或外部互联网，随后所有差异都混在一起。离线门控让“入口恢复造成的损失”成为可比较数字，也保证不同模型面对的是同一网站状态与同一动作预算。

3️⃣ 证据评审为什么不参与标签裁决

自动证据评审器只检查四件事：引用是否忠实于轨迹、证据是否足以支持结论、关键证据是否完整，以及推理是否前后一致。它看不到金标、模型身份和真实URL，也不负责决定网站究竟是否违规。因此，一个模型可以标签猜对但证据不合格，也可以忠实描述局部页面却因为探索不充分而得出错误结论。

把这类诊断分数从主准确率中拿开很重要。否则，评审模型的偏好会直接改变系统排名，或者“写得像一份好报告”会补偿错误决定。论文保留原始决策、细分类别和层级精确匹配作为主指标，证据质量只解释模型为什么成功或失败。

网站是否违规、属于哪类由人工金标决定，自动多模态评审器只检查结论与已记录轨迹之间是否忠实、充分、完整和一致。二者不能互换：模型可能猜对标签却没有证据，也可能忠实总结自己看到的页面却因探索不全而判断错误。论文因此不把证据评分混进主准确率排名，只在评审成功覆盖的轨迹上报告诊断。

网页端允许“证据不足”作为有效语义决定，但系统崩溃、超时或格式错误记为无效输出。三分类准确率和Macro-F1保留全部600网站，违规类型F1只在394个金标违规网站和有支持的类型上计算。层级精确匹配要求决定与类型同时正确，比只看三分类更严格。

入口门控固定使用主变体的Top-1，不允许第二候选补救，也不自动纠错。这样虽然低估“用户可能手动尝试多个入口”的场景，却保证指标清晰：模型第一次可执行恢复是否正确。所有网站在.test隔离环境中重置，消息语义和域名信誉均不暴露给网页Agent，防止它绕过页面证据直接猜标签。

六种文本变体来自同一源会话，评测时保持组关系，防止近重复内容被当成独立来源解释。合成消息可精确控制Emoji、谐音、拆字和冗余符号，却仍与真实平台不断演化的暗语存在差距。发布方保留规范消息、入口和网站金标，模型输出异常继续计入分母，避免清洗失败样本抬高成绩。

7. 实验结果细读：上游与下游排名为何分裂

1️⃣ 三种恢复指标各自衡量什么

CER按字符编辑距离衡量整段规范文本的接近程度；Entry Top-1只检查第一候选入口能否解析到正确网站；Full恢复则要求规范消息、操作意图和入口同时正确。三者缺一不可：低CER可能掩盖一个致命的域名字符错误，高Top-1也可能来自模型猜对网址却没有真正理解整条消息。

论文将端到端门控固定在Top-1，而不是“候选列表中出现正确答案即可”。这是一个偏严格但非常清楚的部署假设：系统必须依据第一次输出采取行动。候选召回率适合衡量辅助调查工具，Top-1则更接近自动执行Agent的风险，因为后者通常不会等待人类逐个试错。

2️⃣ 单次冻结轨迹为何让门控差值可解释

每个模型在每个正确网站上只生成一次轨迹，随后正确路由分数与入口门控分数共用这条轨迹。因此，两列之间的差值只来自入口是否命中，不会混入第二次浏览的采样波动。GPT-5.6 SOL只损失2.0个百分点，而Qwen3.6 Plus损失32.3个百分点，直接反映两者上游恢复可靠性的差异。

但这也限定了结果含义：实验没有测量模型误入其他站点后的行为，也无法估计同一模型重跑十次时的稳定性。换句话说，它回答的是“在一次固定调查能力之上，上游入口错误会造成多少损失”，而不是“真实开放网络中的完整安全风险有多大”。

因此，正确路由分数是网页能力上限，门控分数才是从消息出发的系统结果；二者的差值则是入口恢复造成的可归因损失。三列应同时阅读，单独报道最高网页准确率会遗漏最关键的端到端断点。

GPT-5.4的Entry Top-1最高95.22%，但全文恢复66.06，低于GPT-5.6 SOL的73.31；Kimi K3字符错误率1.59很低，入口Top-1却只有84.58。字符整体接近并不能保证行动地址正确，因此CER不能代替入口指标。

网页调查中GPT-5.6 SOL准确率62.8、层级匹配61.0，Kimi K2.5类型F1为48.1最高，但其入口Top-1只有39.86。正确路由下它是不错的调查Agent，端到端门控后准确率从55.2跌到25.7。Qwen3.6 Plus同样从51.7跌到19.3。相反，Claude Opus 4.8只损失0.7点，说明入口恢复更稳。

损失并非简单等于1减Entry Top-1，因为入口正确性与网页任务难度可能相关：模型在容易恢复的网站上也可能更容易调查。离线门控复用同一冻结轨迹，避免了错误入口导致不可控外部访问，但不能观察模型进入错误网站后会采取什么安全行为。

31.9%执行失败是十个模型汇总后的首失败阶段，0.9%类型错误只指“决策已经正确后类型仍错”。这不意味着类型识别任务很容易，因为大量运行在更早阶段已经被截断；它意味着优化优先级应先放在浏览稳定性、报告产出和风险决定，再讨论更细类型。

置信区间来自2000次网站级Bootstrap，量化的是更换网站组成时的波动。每个模型—网站只有一条轨迹，无法估计浏览器随机性和模型采样方差。若实际系统需要稳定执法，应补充重复运行、一致性与最坏情况，而不是只采用单次平均。

证据评审还受覆盖率影响：只有有效轨迹和成功评审的样本进入四维证据诊断。高分可能来自较容易、较完整的子集，不能与600网站主准确率直接合并。论文将两者分开报告是正确做法，后续人工审计仍是高风险部署的必要环节。

模型排名分裂还提示，平台系统不应只选一个总模型包办全部流程。文本恢复可以由入口Top-1强的模型完成，网页调查由证据与执行更稳的Agent承担，再通过明确接口传递目标；但拆分模型也会引入身份绑定、错误传播和审计复杂度。RiskChainBench提供了逐阶段指标，可用于决定究竟升级某一环节，还是更换端到端系统。

安全场景还需要关注拒绝与越权：基准网站是隔离环境，Agent可在允许动作内探索；真实系统必须限制下载、支付、账号操作和外部通信。网页判断能力提升不自动授权更广泛操作，证据采集应遵循最小权限，并保存可复核轨迹。

8. 实验失败分析：网页Agent先败在“走不动”

论文把每次运行归入第一个失败阶段：执行、缺失报告、决策、类型或完整成功。总体31.9%的运行首先发生执行失败，而在决策正确后才出现的类型错误只有0.9%。这意味着主要瓶颈不是把“赌博”错分成“诈骗”，而是没能稳定探索并产出可判定报告。

图5｜执行错误占据最大失败来源，风险判断与证据获取仍建立在可靠浏览器操作之上

9. 边界与结论

所有网站均为人工标注的本地替身，保障安全与复现，但与真实平台的动态页面、反自动化机制和跨站跳转仍有差距。每个模型—网站只运行一次，因此Bootstrap区间反映网站组成差异，不代表重跑方差。部分违规类型样本稀疏；自动证据评审只作为覆盖条件下的诊断，不能替代人工标签。

RiskChainBench最有价值的地方，是把风险识别从一个分类问题还原为一个系统问题。平台治理链条的可靠性，取决于最弱的一环：读懂暗语、恢复入口、完成交互、找到证据和给出结论必须同时成立。

一思维前沿灯塔系列聚焦大模型、多模态、具身智能、世界模型、3D 与 AI Agent 等多个AI主流方向，我们将持续更新各大顶会前沿论文。通过对顶会论文的深度解读，辅助每位学术研究者能针对性阅读到各类有益的学术论文，加强每个子领域的生态化，也希望大家每天能抽出几分钟时间阅读，感谢大家的支持与关注。