乐于分享
好东西不私藏

护网期间AI系统战时值守机制

护网期间AI系统战时值守机制

护网期间AI系统战时值守机制

「护网AI实战」系列第 03 篇

护网是国家级的网络安全实战演习,每年一次,覆盖关键基础设施和重要信息系统。对央国企来说,护网不是"安全部门的事"——出了C段直接问责分管领导,轻则通报批评,重则影响年度考核。随着AI系统越来越多地进入生产环境,传统护网备战方案已经覆盖不了AI特有的攻击面——你可以在Web安全上做到满分,但一个未鉴权的模型API就能让你前功尽弃。

这个系列不讲理论,讲护网期间针对AI系统能照着做的动作。整个流程拉通为:

资产清查→备战清单→值守机制→事件响应→复盘改进

前两篇清了资产、列了清单、该修的修了、该补的补了。但护网开始之后,一切都不一样了——正常情况下能接受的延迟、能容忍的误报、能推迟的修复,在护网期间都不能等。

2024年护网我遇到一个真实场景。某省运营商的AI安全值守团队,晚上10点接到告警:模型服务的拒绝率从3%骤降到0.1%。值守工程师看了一眼——"拒绝率降低了,这不是好事吗?"然后关了告警继续睡觉。

实际上这是一次成功的prompt injection攻击——所有恶意请求都被放行了,所以拒绝率才降低的。到第二天早上安全负责人看到日报才发现异常,但攻击者已经完成了数据收集。

这件事不是人不尽责,是护网期间的AI监控逻辑和传统安全监控逻辑不一样——"指标变好"不一定是好事。

一、护网期间AI系统的战时监控

平时你可能只有基础监控(CPU、内存、请求量)。护网期间,需要切换到战时监控模式。

平时 vs 战时监控

维度
平时
战时
监控粒度
分钟级聚合
秒级、调用级
告警阈值
宽松(减少误报)
收紧(宁可误报不漏报)
日志保留
7-30天
全量保留、实时归档
review频率
日报/周报
实时Dashboard + 每小时review
安全指标
基础(CPU、内存、错误率)
扩展(拒绝率、输出安全分、异常请求模式)

AI系统战时核心监控指标

从029篇的AI-SOC指标出发,护网期间重点盯着五个指标:

指标
正常范围
告警阈值(战时)
告警含义
API请求量
日均±20%
超过基线2倍或低于基线50%
可能被扫描或探测
拒绝率
基于历史基线
偏离基线超过30%或绝对值<1%
可能Guardrail被绕过
PII输出率
接近0
>0
数据泄露,需立即阻断
异常输入率
低于总请求量5%
超过总请求量10%
批量注入攻击
下游调用失败率
<1%
>5%
Agent/工具被滥用或破坏

战时监控的核心逻辑不是看绝对值,是看变化率。 拒绝率从3%降到0.1%这个数字本身不说明问题——但它"突然变化"就是信号。

监控加固动作

护网开始前,对每个AI系统增加以下监控点:

  1. API调用全量日志
    ——不仅是请求日志,还有请求体和响应体的采样日志(至少保留前256个token)
  2. 输入输出安全分类
    ——所有输出经过轻量级安全分类器打标
  3. 异常模式检测
    ——重点检测高频重复请求间隔、异常User-Agent、来源于非常规地域的请求
  4. 下游调用追踪
    ——Agent/工具的所有下游调用记录时间、参数、返回码

二、告警分级与响应

护网期间告警量会大幅上升。没有分级,值守人员会在海量告警中淹没。

等级
定义
战时响应要求
示例
P0 紧急
确认的安全事件
5分钟内确认,15分钟内阻断
模型输出包含PII、Agent执行了非授权的工具调用
P1 高危
高度疑似攻击
15分钟内确认,30分钟内处置
拒绝率异常下降、批量注入请求
P2 观察
可疑事件
1小时内确认,进观察清单
单IP高频请求、非正常时段的请求激增
P3 信息
常规事件
记录,进日报
扫描探测(404/403高频)、非授权访问尝试

关键设计:P0和P1告警必须有电话或即时消息通知,不能只发邮件。护网期间值守人员需要在手机上也看到告警。

三、值守人员配置与分工

值守团队结构

护网期间AI系统的值守不能只靠安全团队——安全团队懂安全但不一定懂模型。

护网AI值守指挥部
├── AI安全负责人(总协调)
├── 安全值班组(24小时轮班)
│   ├── 监控告警处理
│   ├── 初步事件研判
│   └── 升级上报
├── 算法值班组(on-call,非轮班)
│   ├── 模型行为异常研判
│   ├── 攻击影响评估
│   └── 模型层应急加固
└── 数据/平台值班组(on-call)
    ├── 数据泄露排查
    ├── 基础设施应急
    └── 日志提取与取证
  • 安全值班组
    :7×24轮班。看告警、做初步研判、升级上报。需要懂AI系统的基本概念(至少能区分"模型拒绝率高"和"模型响应慢"两种异常)。
  • 算法值班组
    :on-call。平时参与备战,战时处理模型层面的问题。不需要24小时在岗,但需要15分钟内能接电话、30分钟内能上线。
  • 数据/平台值班组
    :on-call。处理数据泄露和基础设施层面的问题。

值守交接

每班交接时必须覆盖的三个问题:

  1. 当前哪些AI系统有异常标记?
  2. 护网指挥部有没有新的通报或要求?
  3. 上一班有没有未闭环的告警?

交接记录留档,作为后续复盘的原始素材。

四、与传统安全值守的协同

AI值守不是独立运行的。它需要接入公司整体的护网体系:

协同点
怎么做
告警统一
AI告警同步汇总到护网总控大屏,不是只看单独的AI看板
事件升级
AI安全事件P0级别自动同步护网指挥部
情报共享
红队攻击手法(特别是AI相关的)安全值班组和算法值班组互通
资源调度
AI系统需要额外的带宽、算力、日志存储——提前报备

不要搞两套独立的护网体系。AI值守是护网大体系中的一个专业组,不是平行于护网的另一套系统。

五、护网第一天的"战前核查"

护网正式开始前,做最后一次核查。5分钟过一遍:

核查项
标准
检查人
告警通道畅通
P0/P1告警能推送到手机
安全值班组
值班人员就位
三组人员联系方式确认、排班表确认
AI安全负责人
AI资产台帐更新
最近一次变更已更新
算法值班组
Guardrail正常运行
输入输出过滤在线
安全值班组
日志全量采集
AI系统日志已接入护网日志平台
数据值班组
备份就绪
关键模型权重已备份
算法值班组

做完这六项,AI系统的战时状态才算真正就位。

三条Takeaway

  1. 护网期间的AI监控逻辑和传统安全完全不同。
     "拒绝率下降"在传统安全里是好事,在AI安全里可能是Guardrail被绕过的信号。值守人员需要具备AI安全的基本认知——不是所有指标"变好"都值得庆祝,异常的变化率才是真正的信号。
  2. 告警分级是战时值守能跑起来的前提。
     P0(确认事件)5分钟确认15分钟阻断,P1(高度疑似)15分钟确认30分钟处置。P0/P1必须手机推送,不能只发邮件。没有分级,值守团队会在海量告警中被淹没。
  3. AI值守不是孤立的,是护网大体系中的一个专业组。
     告警统一进总控大屏、事件升级同步指挥部、情报和安全组互通。不要搞两套护网体系——做叠加,不做平行。

行动建议

  • 护网前
    :完成战时监控的升级配置。把五核心指标的告警阈值调到"战时模式",确认P0/P1告警能推送到值守人员手机。
  • 护网前一天
    :做一次"战前核查"——告警通道、值守人员、资产台帐、Guardrail、日志采集、备份。六项全过才能算就绪。
  • 护网期间
    :每班交接时回答三个问题——哪些资产有异常、指挥部有没有新通报、上一班有没有未闭环告警。交接记录留档,不要口头交接。

下一篇预告:防线被突破了怎么办?AI安全事件在护网期间的应急响应——下一篇讲从阻断到取证到复盘的完整流程。