夜雨聆风HI~大家好，我是 Amber，一个喜欢分享 AI 相关技术和资讯的前行者。今天看了一个关于AI安全的研究，很有意思，分享给大家。
一、一个被忽视的攻击面
当企业部署 AI 智能体来辅助内部研究——查阅私有文档、检索外部信息、综合分析并给出结论——大多数人关注的是"智能体会不会把答案泄露给不该看到的人"。但 ServiceNow Research 团队最近发现了一个更隐蔽的攻击面：智能体在搜索过程中的查询日志本身，就足以让攻击者还原出企业私有数据中的机密信息。
这项研究发表在 2026 年 6 月，题为 MosaicLeaks: Privacy Risks in Querying-in-the-Open for Deep Research Agents（arXiv:2605.30727）。它不仅揭示了问题，还推出了一套强化学习方案 PA-DR，在几乎不牺牲任务性能的前提下，将隐私泄露率从 51.7% 压缩到 9.9%。
这篇文章将拆解这项研究的技术细节，讨论它对企业级 AI 智能体部署的实际影响。
二、马赛克效应：单次无害，累积致命
"马赛克效应"（Mosaic Effect）是情报分析领域的经典概念——单条信息看似无关紧要，但当多条信息被拼合在一起时，就能还原出完整的情报图景。MosaicLeaks 研究将这个概念迁移到了 AI 智能体的搜索行为上。
设想这样一个场景：某企业的 AI 研究助手需要回答一个涉及内部项目进度的问题。为了补充外部背景信息，它发起了如下搜索：
查询1: "MediConn 云迁移 2025年 里程碑"查询2: "MediConn 基础设施 70% 迁移完成 安全事件"查询3: "MediConn 2025年1月 数据中心 云服务"每一条查询单独来看，都像是公开信息的检索。但一个监控网络流量的攻击者将这三条查询拼合后，可以直接得出结论：MediConn 公司截至 2025 年 1 月已将 70% 的基础设施迁移到了云端——这是一个从未在公网上发布过的企业内部数据。
研究将这种泄露划分为三个递进的严重等级：
意图暴露（Intent Exposure）：攻击者能推测出智能体正在研究什么主题。这是最轻的等级，但仍然可能暴露企业的战略方向。
答案暴露（Answer Exposure）：攻击者利用查询日志直接解答某个特定的私有问题。比如通过查询中的关键词组合，推断出某个内部项目的具体完成时间。
全信息暴露（Full Information Exposure）：最严重的等级。攻击者在没有任何先验提示的情况下，仅通过分析查询日志就能主动发现并完整陈述一个隐私事实。
MosaicLeaks 的核心发现是：当深度研究智能体混合使用本地私有数据和外部网络检索时，马赛克效应导致的隐私泄露不是偶发事件，而是系统性风险。
三、MosaicLeaks 基准测试：1001 条多跳研究链
为了量化这种风险，研究团队构建了 MosaicLeaks 基准测试——一个包含 1001 条多跳研究链的数据集，每条链都精心设计了私有数据和公开数据的交错依赖。
3.1 数据集结构
数据集被划分为训练集（559 条）、验证集（98 条）和测试集（344 条）。每条研究链由多个子问题组成，这些子问题的答案跨越私有文档和公开网络，形成了强制性的跨域依赖链。
一个典型的链式问题可能长这样：
子问题1（私有）: MediConn 的云迁移项目在几月份完成？子问题2（公开）: 该月份发生了什么重大安全事件？子问题3（私有+公开）: 该安全事件对 MediConn 后续的迁移策略产生了什么影响？子问题 1 的答案（某个月份）是子问题 2 的搜索前提。智能体在搜索公开信息时，不得不将这个来自私有文档的月份信息带入查询词中。这就是泄露发生的根源——跨域依赖迫使智能体在公网查询中携带私有上下文。
3.2 三步构建流程
MosaicLeaks 的构建分为三个阶段：
种子生成：从企业文档中提取私密问答对作为链的起点。这些种子事实只存在于企业内部文档中，不可能通过公开搜索获得。
桥梁构建：利用上一步的答案作为桥梁，生成跨源依赖的后续问题。比如将"迁移完成的月份"作为关键词，去公网检索该月发生的事件。这一步确保了私有数据和公开数据之间存在真实的逻辑依赖，而非人为拼凑。
连贯性验证：人工审核每条链的可答性和来源顺序，确保智能体理论上可以通过合理的检索策略完成任务，同时验证泄露风险确实存在。
四、实验：四种工具、一个发现
4.1 智能体工具链
研究中使用的深度研究智能体具备四种工具，模拟了真实场景下的研究行为：
Plan（规划）：生成并执行搜索查询，以文档卡片形式返回结果。这是泄露发生的关键节点——查询内容直接暴露在网络流量中。
Choose（选择）：从检索结果的文档列表中挑选需要深入阅读的文档。
Read（阅读）：并行从选定的多个文档中提取当前步骤所需的信息。
Resolve（决策）：判断下一步动作——直接作答、继续阅读文档、还是发起新的搜索。
这四种工具构成了一个完整的"规划-检索-阅读-决策"循环。智能体在一次任务中可能执行多轮循环，每轮循环中的 Plan 操作都可能产生泄露。
4.2 提示词工程的失败
研究首先测试了最直觉的防御方案：在系统提示词中命令智能体注意隐私。比如加入"不要在搜索查询中包含敏感的私有信息"之类的指令。
结果令人失望。提示词约束虽然让泄露率有所下降，但代价是任务成功率也同步下滑。原因在于智能体并没有真正理解"什么是安全的搜索策略"，它只是机械地减少了搜索次数——既减少了泄露风险，也减少了获取有效信息的机会。这是一种"因噎废食"式的退化，而非真正的隐私保护。
4.3 纯性能优化的反噬
更值得警惕的是，如果仅使用强化学习优化智能体的任务完成率（不施加任何隐私约束），泄露率反而会飙升。实验数据清楚地展示了这个趋势：
仅任务奖励的方案让成功率从 48.7% 提升到 59.3%，看似进步显著。但泄露率从 34.0% 恶化到 51.7%——超过一半的研究任务都在查询日志中暴露了私有信息。原因不难理解：为了找到更精准的答案，模型学会了在搜索词中堆砌更多上下文信息，而这些上下文中大量来自私有文档。模型越"努力"完成任务，泄露就越严重。
这个发现对所有正在用 RL 微调 AI 智能体的团队都是一个警告：优化目标的单一维度可能导致安全维度的系统性退化。
五、PA-DR：隐私感知的深度研究算法
PA-DR（Privacy-Aware Deep Research）是本文提出的核心解决方案。它的设计思路是在强化学习框架中引入两个新的信号维度：精细化的任务奖励和显式的隐私惩罚。
5.1 情境任务奖励：精细化的信用分配
传统的结果导向强化学习对整条任务轨迹给出一个粗粒度的分数——任务成功则全轨迹正奖励，失败则全轨迹负奖励。这种方式的问题在于信用分配（credit assignment）极其模糊：一条成功的研究链可能包含 10 次工具调用，其中真正"功劳最大"的那次关键检索被淹没在整体奖励中。
PA-DR 的情境任务奖励机制改变了这种粗放的打分方式。它的核心思想是：将每次工具调用与处于相同阶段、相同信息状态的其他调用进行比较，对单次操作的质量给出精准反馈。
具体来说：
Plan 操作如果精准检索到了相关文档，获得正向奖励；如果避免了重复搜索（即不发起已经执行过的查询），也获得正向奖励。 Choose 操作如果选中了包含答案的文档，获得正向奖励；如果选中了无关文档，获得负向反馈。 Read 操作如果成功提取了当前步骤所需的信息，获得正向奖励。 Resolve 操作如果在信息充足时果断作答（而非继续无意义的搜索），获得正向奖励。
这种精细化的信用分配带来了两个好处：一是模型能更快学会"好的搜索策略"，训练效率大幅提升；二是模型不再需要通过堆砌上下文来提高召回率，从源头上减少了泄露动机。
5.2 隐私惩罚：实时风险评估
情境任务奖励解决了"效率"问题，但还不足以主动防御泄露。PA-DR 引入了一个独立的隐私惩罚机制。
系统使用一个 Qwen3-4B 分类器来实时评估每次搜索查询的暴露风险。这个分类器做两层判断：
单次查询评估：当前这条搜索查询本身是否直接暴露了私有信息？比如查询中是否包含了私有文档中的专有名词、具体数字或内部项目代号。
累积日志评估：将当前查询加入已有的查询日志后，是否会引发新的马赛克泄露？即使当前查询本身看似无害，但如果它与前序查询组合后能推断出私有事实，同样会被标记。
惩罚被精确施加于导致泄露的 Plan 节点——不是惩罚整条轨迹，而是只惩罚那个"多说了不该说的话"的具体查询操作。这种精准归因确保模型学到的是"在查询中剥离敏感特征"，而非"减少搜索次数"。
5.3 模型学到了什么
PA-DR 训练后的智能体行为发生了明显变化。它依然会发起多次搜索（甚至比基础模型更多），但查询内容的特征发生了本质改变：
私有项目名被替换为通用描述或相关公开概念。 具体年份、百分比等数值特征被模糊化处理。 查询词的构成更多依赖公开可获取的信息，而非私有文档中的事实。
用一个类比来说：训练前的智能体像一个不谨慎的研究员，在搜索引擎里直接输入"公司X的2025年Q3营收数据"；训练后的智能体像一个经验丰富的分析师，输入的是"行业Y 2025年第三季度市场趋势"——它能通过公开信息间接推导出需要的答案，而不暴露自己正在研究的具体目标。
六、样本效率：六分之一的训练成本
PA-DR 的另一个优势是显著提升了训练的样本效率。实验数据很能说明问题：
达到约 55% 任务成功率所需的生成样本数量——
结果导向奖励（outcome reward）：约 96.3 万条样本 情境任务奖励（contextual reward）：约 14.6 万条样本 完整 PA-DR（情境 + 隐私奖励）：约 18.3 万条样本
情境奖励的样本效率是结果奖励的约 6.6 倍。这个差距在工程实践中意味着训练成本和迭代速度的数量级差异。原因正如前文所述——精细化的信用分配让模型能从每次操作中学到更清晰的信号，而不需要在海量轨迹中"碰运气"地发现哪些步骤做对了。
完整的 PA-DR 方案比纯情境奖励多消耗了约 25% 的样本（18.3 万 vs 14.6 万），这是因为隐私分类器的评估引入了额外的信号维度。但考虑到它将泄露率从纯情境奖励的水平进一步压缩到 9.9%，这个边际成本完全值得。
七、对工程实践的启示
MosaicLeaks 的研究结论对企业级 AI 智能体部署有几层实际意义。
提示词不是安全边界。 在系统提示词中加入隐私约束，效果等同于在员工手册里写"请注意保密"——聊胜于无，但绝不能作为核心防线。智能体的搜索行为是由训练目标和推理策略驱动的，提示词级别的指令无法改变底层的优化方向。
性能和安全不是零和博弈。 PA-DR 的结果证明了，在正确的训练框架下，任务成功率和隐私保护可以同时优化。关键是不要把它们当成两个独立的目标分别处理，而是在奖励设计中让模型学会"在不泄露的前提下完成任务"这一统一策略。
监控搜索行为比监控输出更重要。 传统的数据防泄露（DLP）方案主要关注最终输出——智能体给用户的回答中是否包含敏感信息。MosaicLeaks 揭示的攻击面在中间过程——搜索查询本身。这意味着企业部署 AI 智能体时，需要对搜索日志实施与输出同等严格的审查和脱敏处理。
多跳依赖是泄露的放大器。 单步检索任务中，泄露风险相对可控。但当任务涉及多跳推理、需要跨私有和公开数据源串联信息时，泄露风险急剧上升。在设计智能体的任务范围时，应当对涉及跨域依赖的任务类型给予额外的安全审查。
八、局限与开放问题
这项研究也有其局限性。首先，MosaicLeaks 的 1001 条研究链虽然覆盖了多种泄露模式，但数据源主要来自 DRBench 和 BrowseComp-Plus 风格的模拟任务，与真实企业环境的复杂度仍有差距。其次，隐私惩罚依赖的 Qwen3-4B 分类器本身也需要持续维护和更新——如果攻击者的推理策略进化，分类器可能需要重新训练以覆盖新的泄露模式。
此外，PA-DR 目前假设攻击者是被动监控网络流量。如果攻击者能够主动向智能体注入诱导性信息（比如通过 SEO 操纵搜索结果），防御难度会进一步上升。这些方向值得后续研究关注。
九、结语
MosaicLeaks 研究用一句话总结了它的核心发现：当你的 AI 智能体在互联网上搜索时，它同时在向潜在的观察者广播你的私有信息。
这个发现之所以重要，是因为它指向了一个在 AI 智能体部署中被系统性低估的攻击面。我们习惯了关注模型输出的安全性——回答中有没有有害内容、有没有幻觉、有没有偏见。但智能体的"行为"本身——它搜索什么、查询什么、访问什么——同样是一个信息通道，而这个通道目前几乎不在安全防护的视野之内。
PA-DR 方案给出了一个可行的修复路径：通过精细化的奖励设计和显式的隐私惩罚，在训练阶段就重塑智能体的搜索行为。但更根本的问题是，所有正在构建或部署深度研究智能体的团队，都需要重新审视一个问题：我们是否充分理解了智能体在工作过程中产生的所有信息流？
好了，今天就和大家分享这么多，如果这篇文章对你有帮助，麻烦大家转发、点赞和小红心，感激不尽ღ( ´･ᴗ･` )比心。
本文基于 ServiceNow Research 团队发表于 Hugging Face 博客的研究文章整理，论文全文：MosaicLeaks: Privacy Risks in Querying-in-the-Open for Deep Research Agents (arXiv:2605.30727)
