打开美团,你自己选餐厅 打开携程,你自己比机票 打开淘宝,你自己挑商品
一段恶意提示词,可能诱导AI泄露敏感信息; 一份被污染的数据,可能让AI在关键决策上持续偏航; 一个看似合法的API调用,可能绕过传统安全系统,直接触发高风险动作。
第一,意图风险。 AI可能理解错人的真实意图。你以为你在让它做一个普通查询,它却可能把任务升级成高风险操作。就像Meta那起事故——AI擅自发布错误指令,导致系统权限向无权限员工开放了两小时。 第二,数据风险。 AI的判断依赖数据,而数据本身可能被投毒、污染、伪装。一旦训练数据、检索数据、上下文数据出了问题,模型再强也会输出错误结论。数据是AI的粮食,粮食有毒,再强壮的身体也扛不住。 第三,执行风险。 当AI接入支付、审批、供应链、财务、研发系统之后,错误不再停留在“回答层面”,而会直接变成真金白银的损失。一个错误的API调用,可能瞬间烧掉几百万。
它能不能识别危险意图; 它能不能在高风险动作前自动熔断; 它能不能保留可审计、可回放、可追责的轨迹; 它能不能防止敏感数据被泄露、被篡改、被反向推断。
第一,AI意图风控。 不是传统规则引擎那种“关键词拦截”,而是能理解上下文、任务目标和行为模式的智能风控系统,专门识别异常调用、越权请求和高风险操作。这就像给AI配了一个“纪委”,在它犯错之前拦住它。 第二,人类最终控制权。 关键动作必须保留人类确认机制。AI可以提效,但在转账、签约、审批、数据导出等敏感场景中,最终判断权不能完全交给机器。机器可以跑得快,但方向盘必须在人手里。 第三,数据安全与模型安全。 包括数据脱敏、访问控制、训练数据治理、提示词防注入、模型输出审计、供应链安全等能力。数据是AI的燃料,模型是AI的大脑,而安全系统决定它会不会失控。
夜雨聆风