夜雨聆风学习资料网

ARTICLE · 1308413

AI 助手在出卖隐私?67950 条工具调用记录背后的实测

AI 助手在出卖隐私?67950 条工具调用记录背后的实测
AI 助手经工具调用泄露隐私的概念封面(AI 生成示意,非官方素材)

上海人工智能实验室联合电子科技大学、悉尼大学的研究者,最近把一件一直没人量化的事做成了实验:让四个大模型扮演攻击者,只看 Agent 的工具调用记录,反推用户画像。

结论是一组可复现的数字。盲猜的攻击成功率是 17.97%,拿到工具调用轨迹之后升到 26.25%,跨四个领域串起来能冲到 32.77%。

整场实验一共攒下 67950 条真实调用记录,没有一方作恶,没有一处越权访问,画像照样被拼了出来,这结论并不玄学。

对话保密,不等于隐私安全

先说清攻击者站在哪儿。大模型 Agent 通过 MCP 这类标准接口调用地图、日历、健康服务、购物平台,每次调用都留下一条记录。

记录里有工具名、传入的参数、返回内容和调用顺序,合起来就是工具调用轨迹。关键在于,工具服务器看不到你和 Agent 的对话,却能完整看到这些调用。

架在中间的那层网关或聚合平台视野更宽,能看到你全部任务的轨迹。研究者把这两类叫本地观察者和全局观察者,它们都规规矩矩干本职工作,只是顺手多看一眼。

这类观察者最难防,因为它不违反任何规则,工具都按协议正常调用,攻击者甚至不需要一个恶意工具,这是数字隐私的老剧本换新皮肤,二十年前匿名化搜索日志就反推出过用户身份。

你什么都没说,但行为替你说了

论文第一张图画的就是这个场景。你让 Agent 规划下周的通勤和办事路线,轨迹里会留下目的地的地理编码、出行时间和交通方式。

单看每一条都平平无奇,线索凑齐之后画面就变了:目的地落在伦敦某家医院附近,出行严格避开安息日,从周五日落到周六夜间一律只步行。

旁观的服务器就能推出三条结论:你可能住在伦敦,患有慢性肾病,信仰犹太教。你没有说过一个字,是你的行为替你说了。

整个过程里没有一个人主动出卖你,没有一处越权访问,这就是侧信道最反直觉的地方:泄露走的是轨迹这条暗道,而不是对话这条明道,它不需要坏人。

论文 Figure 1:工具调用轨迹作为隐私侧信道,地理编码、出行时间与交通方式的规律可支撑对位置、健康与宗教信仰的推断(图源:论文原图)

67950 条记录,是怎么攒出来的

要量化这种风险,最大的障碍是拿不到真实隐私数据,没人会把自己的病历交给研究者做攻击实验,所以团队的做法是合成数据。

他们参考联合国、世界银行、UNESCO、国际劳工组织的人口统计分布,用迭代比例拟合生成 1000 个贴近真实结构的虚拟用户,每个用户带 17 项属性。

属性包括国籍、年龄、职业、宗教信仰、身心健康、收入这些真正敏感的东西。接着围绕旅行、健康、购物、职业学习四个领域,用 25 个真实 MCP 服务器的真实工具执行任务。

这套任务产出 4000 条 Agent 轨迹,合计 67950 条工具调用记录,四个模型扮演攻击者只看轨迹不看对话,推断那 17 项属性,对照组是只拿属性清单盲猜。

四个攻击者是 DeepSeek-V4-Flash、GPT-5.5、Gemini-3-Flash 和 MiniMax-M3,17 项属性强制预测不跳题,模糊地带一律判错。

论文 Figure 4:观察者可见范围越大,画像推断越准,从盲猜 17.97% 升到跨四域串联的 32.77%(图源:论文原图)

参数比结果更要多嘴

论文把轨迹拆成元数据、调用顺序、参数、返回内容四块逐一消融,答案很干脆:参数贡献最大。只有元数据和调用顺序时,成功率只有 14.53%。

这个数字甚至比盲猜的 17.97% 还低,加上参数成功率飙到 27.71%,比基线净增 13.18 个点,只加返回内容升到 24.54%,净增 10.01 个点。

加全反而回落,完整轨迹 26.25%,比只看参数的 27.71% 低了 1.46 个点,多给信息未必给得更准,这一点挺反直觉。

论文的解读是,返回内容常夹带跟用户无关的候选项,它既可能印证参数里的线索,也可能稀释它们,这两种机制目前还分不开。

道理也不难想,参数是 Agent 替你做的选择,查什么地址、问什么药、预算设多少全写在里面,哪怕服务器看不到返回内容,泄露也几乎不打折扣,管好请求参数是防御的第一道抓手。

论文 Figure 6:各轨迹通道的推断成功率对比,参数是最大的信息源,仅加参数即达 27.71%(图源:论文原图)

跨域串联,和 46 美元的门槛

观察者的可见范围直接决定画像的清晰度。单个 MCP 服务器能看到的是 24.24%,单个域的完整轨迹是 26.25%,跨四个领域串起来跳到 32.77%。

论文在这里很谨慎,提醒这三个数字来自三组不同的统计口径,只能视为关联而非因果。在同一口径的配对实验里,从单服务器扩大到单域,实际只提升 3.09 个百分点。

分属性看才是真正扎心的地方。泄露最严重的是国籍,成功率 57.73%;其次是宗教信仰 50.03%,族裔 49.85%,连当前位置都有 38.40%。

按任务域拆开差距更明显,购物类最多嘴达到 31.86%,旅行 28.33%,健康 23.25%,职业学习垫底也有 21.57%。

好在有一件事能让人稍微松口气:精确的身份标识其实很难猜。16000 个标识符预测槽里只猜对 35 次,其中 34 次是姓名、1 次是电话号码,邮箱和政府身份标识是零。

这是整份报告里少数让人安心的数字,四个攻击者彼此的成绩差距同样很小,换谁上场都差不了太多,泄露这件事并不挑模型。

论文估算 GPT-5.5 跑完全部实验要 1080 美元,DeepSeek-V4-Flash 只要 46 美元,一个便宜模型加上一份本来就有权看的日志就能拼出完整画像。

论文给的防御方向很具体,可以概括成三道闸门:模糊化、最小化、切断跨服务的会话关联。不过论文同时声明,这三类防御的有效性都未经实验验证,目前只是方向性建议。

对企业用户还有一层部署层面的启示,员工每次授权 Agent 连接新工具,都在扩大公司的行为数据暴露面。安全团队的传统思路是守住数据和模型,现在恐怕得加一条——守住调用。

论文 Figure 5:各属性推断成功率与任务域泄露差异,国籍与宗教信仰最严重(图源:论文原图)

一句话总结

一句话总结:对话保密不等于隐私安全,Agent 越能干,留下的脚印越密,它替你跑腿的每一步,都可能成为日后画像的证据。

AI天昊程序猿 | 每天 1-3 篇 AI 硬核解读

参考来源

1. How Much Can Tool Calls Reveal About You? Privacy Leakage from Tool-Call Traces(2026-10-30):https://arxiv.org/abs/2610.418852. PrivacyTrace 代码与数据仓库(2026-11):https://github.com/AI45Lab/PrivacyTrace

作者:天昊 | AI天昊程序猿

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料