
导语
当AI智能体开始自动操作数据库、调用系统工具、处理金融/医疗敏感数据,提示注入、记忆投毒、工具劫持攻击层出不穷。
过去所有安全方案都靠全程强制安检:智能体每思考一步、调用一次工具,就要额外跑一轮安全检测,延迟直接翻倍、误报满天飞,企业落地直接卡死。
近日,由上海财经大学、NUS、CMU、中科大等多校联合团队发布Spider-Sense(蜘蛛感应)防御框架,彻底推翻“一刀切强制检测”逻辑,让智能体自带原生风险直觉,只在感知危险时启动防护,整体延迟开销仅8.3%,同时拿下全场景最低攻击成功率与误报率,为商业化Agent安全打通最后一道效率关卡。
一、行业痛点:现在的AI安全,是“全员安检”式低效折磨
先搞懂当下智能体防御的致命短板:
目前主流Agent安全架构是外置强制校验范式,把安全模块当成独立外挂,在智能体完整生命周期四大环节——用户输入Query、内部规划Plan、工具调用Action、工具返回Observation,每一步强制插入安全扫描。
举个真实业务场景你就懂:
一个医疗智能体处理患者病历,流程是:接收问诊→梳理诊疗方案→调用病历数据库→读取检验报告。按照传统防御,4个节点全部强制安全检测,每一轮都要调用额外校验模型,带来三大无解问题:
1. 延迟爆炸:复杂多步骤Agent延迟涨幅普遍200%-380%,长链路任务卡顿严重,实时业务完全无法落地; 2. 误报泛滥:大量正常业务文本被误判风险,频繁打断正常工作,用户体验崩盘; 3. 成本与依赖双重负担:安全检测依赖独立大模型,推理、API调用成本翻倍,多一套系统维护,扩展性极差。
更致命的是,攻击藏在全链路任意环节:输入篡改、记忆投毒、工具参数劫持、返回内容间接注入,只检测单一层面根本拦不住复合攻击。市面上现有基准测试大多只覆盖单轮文本,无法模拟真实工具交互下的多阶段攻击,行业长期缺少一套贴合落地场景的安全评测标准。

二、核心创新:给AI装“蜘蛛感应”,安全从外挂变本能
项目取名Spider-Sense(蜘蛛感应),灵感来自蜘蛛侠的危险预知能力——不用全程警惕,危险靠近瞬间自动预警,完美对应两大核心自研模块:IRS内在风险感知 + HAS分层自适应筛选。
1. IRS内在风险感知:把安全意识嵌入智能体原生思维流
传统防御是“外部保安拦路检查”,IRS是让智能体自己长了风险神经,属于内生式安全,不需要额外外部模型介入。
智能体在执行全程持续自检四大阶段内容:用户指令、内部规划、工具操作、工具返回结果,一旦捕捉到可疑特征,自动生成专属标记触发安全流程:
• 用户输入可疑: <|verify_user_intent|>• 历史规划/记忆存在投毒风险: <|validate_memory_plan|>• 工具调用参数异常: <|audit_action_parameters|>• 工具返回内容藏注入攻击: <|sanitize_observation|>
简单说:正常无害任务直接一路畅通,只有模型自主识别出风险信号,才会暂停流程进入安全校验,从“每步必查”变成“有事才查”,从根源砍掉大量无效推理开销。
消融实验验证:四个阶段风险感知缺一不可,关闭任意一个阶段,攻击成功率直接暴涨,尤其是工具执行阶段,关闭后ASR飙升29.9个百分点,证明全链路原生感知是防御复合攻击的基础。
2. HAS分层自适应筛选:快慢双流程,兼顾速度与准确率
一旦IRS触发预警,分层自适应筛选机制启动,采用先粗筛、后细判的阶梯逻辑,动态平衡效率与精度,解决“快检测不准、精准检测太慢”的矛盾:
第一层:轻量粗粒度匹配(极速低成本)
团队为四大执行阶段分别搭建独立向量库,存储各类攻击模式向量,使用BGE-M3做向量化,通过余弦相似度快速比对当前可疑内容与已知攻击模板。
相似度超过阈值,直接判定风险,无需额外大模型推理,毫秒级完成拦截。
第二层:深度细粒度推理(应对未知模糊攻击)
如果相似度偏低、无法直接判定风险,自动升级至深层LLM推理:召回Top-K相似攻击案例,交给模型结合上下文综合研判,识别新型、变种攻击,避免漏判。
两套流程动态切换:常见已知攻击走快速向量检索,小众未知威胁启动深度推理,不用全量任务都跑重型分析,完美压低整体延迟。
三、配套重磅工具:S²Bench,首个贴合真实业务的Agent安全基准
过去所有安全评测数据集都有明显短板:只测单轮文本、缺少真实工具调用、缺少易混淆的良性样本,很难复现真实场景下的多步骤链式攻击。
为此团队同步推出S²Bench全生命周期评测基准,也是论文四大核心贡献之一,核心优势拉满:
1. 全阶段覆盖:包含Query(76例)、Plan(123例)、Action(134例)、Observation(104例)四大阶段攻击样本; 2. 真实工具仿真:内置300+工具函数、100余种真实工具返回内容,模拟金融、医疗、运维、电商等8大行业79类细分场景; 3. 硬核良性样本:153条和攻击文本高度相似的正常请求,精准衡量防御误报率,避免“为了安全一刀切阻断正常业务”; 4. 动态攻击注入器:不用修改智能体内部代码,动态篡改工具返回、记忆内容,模拟环境侧间接提示注入,还原真实黑客攻击链路。
对比市面主流基准(Mind2Web、eICU、WASP等),S²Bench是唯一同时满足多阶段、真实工具反馈、复杂良性样本、多类型攻击、多行业场景的评测数据集,后续Agent安全研究可统一标准化测试。
四、实测数据碾压SOTA:延迟仅+8.3%,攻击拦截、低误报双第一
团队在Mind2Web、eICU、自研S²Bench三大数据集,对比纯大模型、传统护栏、GuardAgent、AGrail等主流防御方案,结果断层领先:
1. 安全指标全面最优
• 攻击成功率ASR最低:基于Qwen-max底座总ASR仅13.6%,Claude-3.5低至9.5%;传统方案普遍30%–50%,漏防严重; • 误报率FPR大幅下降:Qwen-max底座整体FPR仅10.4%,不会误拦截合规业务; • 标签预测准确率LPA、F1、安全判定一致性AM全部达到最优,部分场景一致性100%。
2. 效率优势堪称颠覆性
主流防御方案延迟涨幅普遍200%–380%(AGrail最高延迟膨胀381%),而Spider-Sense基于Qwen-max仅增加8.3%延迟开销,Claude底座涨幅也仅37%,完全适配实时业务、长链路复杂Agent落地。
典型实战案例:拦截工具返回注入攻击
临床医疗Agent读取患者检验报告,工具返回内容暗藏恶意代码注入指令,IRS的Observation阶段感知标记自动触发,先向量匹配发现相似度偏低,升级深度推理识别隐藏攻击逻辑,智能体直接终止执行,成功阻止非法代码执行与病历泄露,完整复现论文附录真实拦截日志。
五、四大核心贡献,重新定义下一代Agent安全标准
1. 首创内生风险感知IRS范式:将安全风险识别作为智能体原生认知能力,摆脱外置强制检测架构,实现事件驱动按需防御; 2. 分层自适应筛选HAS:快慢双通路自适应校验,不用依赖外部校验模型,兼顾检测速度与未知攻击识别能力; 3. 开源S²Bench全链路评测基准:填补多阶段、工具交互型Agent安全测试空白; 4. 落地友好的平衡方案:同时实现高拦截率、低误报、极低延迟,解决安全与效率不可兼得的行业痛点。
六、未来方向与行业价值
后续研究规划
1. 强化IRS感知能力:结合强化学习,让智能体自主预判高风险执行路径,提前规避攻击; 2. 拓展S²Bench:增加长时序任务、多智能体协同场景测试样本; 3. 融合长周期规划,实现事前风险预判,而非事后拦截。
产业落地意义
现在金融投顾、企业运维、医疗诊疗、自动化代码Agent大规模商用,安全与效率冲突是落地最大阻碍。Spider-Sense给出可行解法:
• ToB企业:不用牺牲智能体运行速度换取安全,大幅降低额外算力成本; • 大模型厂商:可内置原生风险感知模块,无需额外外挂安全护栏; • 安全研发:S²Bench提供标准化测试数据集,统一Agent安全评测标尺。
结语
长久以来,AI安全陷入“要么牺牲速度保安全,要么牺牲安全保体验”的两难。Spider-Sense跳出“外置安检”固有思路,把风险感知变成智能体与生俱来的本能,就像蜘蛛侠遇事自动触发预警,无事不产生多余开销。
8.3%的极低延迟涨幅、全场景最优攻防指标,意味着兼顾安全、效率、可用性的商用级Agent安全方案正式落地,也为自主智能体大规模走进生产环境扫清关键安全障碍。
https://arxiv.org/pdf/2602.05386
夜雨聆风