夜雨聆风
大家好，我是金全。
上一篇讲到一个问题：
AI 把事情做对了，也可能不该这样做。
这一篇继续往下问：
企业怎么避免 AI 越界？
我的答案是：
先划清 AI 的行动边界。
但这里有一个很关键的变化：
传统权限管理，管的是“谁能进系统”。
AI 行动边界，管的是“它进去以后，能不能自己做动作”。
一个账号能访问工单系统，不代表 AI 可以关闭工单。
能看运维平台，不代表它可以重启实例。
能读数据库，不代表它可以修改数据。
所以，AI 进入生产以后，
问题不只是“给不给权限”。
而是要把它能做的事分清楚：
哪些只能查。
哪些只能建议。
哪些可以自动执行。
哪些必须人工确认。
哪些永远不能交给 AI。
这件事听起来不新鲜。
但 AI 进入生产以后，它会变得非常关键。
因为 AI 的风险，不只是来自模型。
也不只是来自工具。
而是来自它通过工具做了什么事。
AI 开始进入真实工作流
过去两年，很多企业里的 AI 主要做几件事：
查知识。
写内容。
总结信息。
但最近一年，一个明显变化开始出现。
越来越多 AI 不再只是提供答案。
它开始创建工单。
开始修改代码。
开始触发流程。
开始调用自动化脚本。
开始参与生产处置。
这意味着，企业第一次面对一种新的对象。
它既不是员工。
也不是传统软件。
但它正在影响真实业务结果。
过去企业最怕员工越权。
未来企业还要开始防 AI 越界。
这也是为什么，行动边界开始变得越来越重要。
风险不在工具名里，而在行动边界里
现在很多企业做 AI 项目，都会先证明一件事：
AI 能接上系统。
能接知识库。
能接工单平台。
能接运维平台。
能接审批流。
能接数据库。
这当然重要。
但“接上”不是终点。
真正的问题是：
接上以后，AI 到底能做什么动作？
同样是一个工单系统。
查工单，风险不高。
创建工单，已经进入流程。
关闭工单，可能影响服务承诺。
升级工单，可能触发新的责任关系。
同样是一个运维平台。
查指标，是观察。
生成建议，是辅助。
重启实例，是处置。
修改配置，就是生产变更。
所以，企业真正要管的，不是“AI 能不能接入某个系统”。
而是：
AI 在这个系统里，到底能做哪些动作。
这个问题，比“接了几个工具”重要得多。
企业过去给人授权，本来也是在划边界
这件事其实不陌生。
企业过去给人授权，也不是简单说：
你能不能进这个系统。
而是会区分：
你能不能查看。
能不能新增。
能不能修改。
能不能删除。
能不能审批。
能不能导出。
能不能发布。
一个员工可以查看客户资料，不代表可以修改客户信息。
可以提交审批，不代表可以批准审批。
可以查看监控，不代表可以重启服务。
这就是企业管理里最基本的权限常识。
但 AI 进来以后，很多团队反而容易忘了这一点。
因为大家太容易被“Agent 接了什么工具”吸引。
可真正决定风险的，不是工具名。
而是行动边界。
过去企业管理人，核心是权限管理。
AI 进入生产以后，企业第一次需要管理一种新的对象：
一个会自己理解问题、自己选择工具、自己执行动作的新对象。
所以这件事不只是权限设计。
而是企业要重新管理 AI 的行动过程。
边界不是写出来的，是运行时执行出来的
真正难的，不是写一句：
AI 只能建议，不能执行。
也不是在 PPT 里画一条线：
哪些能做，哪些不能做。
生产系统里，边界必须能被执行。
比如，你规定：
AI 只能建议，不能直接执行。
那企业要能证明：
它确实没有绕过人工确认。
你规定：
AI 不能修改数据库。
那企业要能拦住：
它通过工具、脚本或账号绕进去。
你规定：
生产变更必须人工审批。
那企业要能验证：
每一次动作有没有经过审批。
过去传统系统里，这些边界通常由权限系统、审批流、运维规范来执行。
但 AI 进来以后，问题变复杂了。
因为它不是一个简单执行命令的软件。
它会理解问题。
会选择工具。
会生成参数。
会决定下一步动作。
所以，企业不能只给 AI 画边界。
还要让边界在运行时真正生效。
企业需要一套新的运行治理机制。
简单说，就是不能只给 AI 一个账号。
还要管住它每一步能不能做。
换成更具体的话：
要有一个东西，持续决定：
什么能做。
什么不能做。
什么必须确认。
什么必须拦截。
这才是行动边界真正落地的地方。
工具入口，是边界被执行的位置
那为什么还要讲工具入口？
因为 AI 的行动不是凭空发生的。
它每一次查数据、建工单、改配置、跑脚本、推流程，最终都会通过某个工具、账号、流程或接口进入真实系统。
工具入口不是一个技术细节。
它是边界被执行的位置。
入口后面连着什么系统。
允许做什么动作。
动作发生后影响什么结果。
这些才是企业真正要看清楚的。
行动边界，最后要落成一张动作清单
前几篇一直在讲：
AI 进入生产以后，企业需要管它的行为。
但行为不能只停留在概念上。
行为必须拆成动作。
所谓行动边界，最后要落到一张动作清单上。
查询是一类。
建议是一类。
创建是一类。
修改是一类。
审批是一类。
执行是一类。
越往后，风险越高。
越不能只靠模型自己判断。
企业要说清楚：
哪些动作可以自动执行。
哪些动作只能建议。
哪些动作必须人工确认。
哪些动作必须留痕。
哪些动作必须可回滚。
哪些动作永远不能交给 AI。
这不是保守。
这是生产系统的基本常识。
过去人做生产变更，也不是想改就能改。
要有窗口。
要有审批。
要有灰度。
要有审计。
AI 进入生产系统以后，也不能因为它更聪明，就绕过这些东西。
看不见边界是否被遵守，边界就等于没有
我做了十几年生产系统和可观测性，越来越觉得：
生产环境里的规则，不能只靠相信。
必须能看见。
必须能验证。
必须能复盘。
AI 的行动边界也是一样。
你说 AI 只能建议。
那就要看见它有没有执行。
你说 AI 不能改配置。
那就要看见它有没有尝试调用修改工具。
你说高风险动作必须人工确认。
那就要看见确认发生在什么时候、由谁确认、确认了什么。
所以，行动边界最后一定会走向 AI 可观测性。
这里的可观测性，不只是看模型回答了什么。
而是看：
AI 看到了什么。
选择了什么工具。
生成了什么参数。
触发了什么动作。
有没有越过边界。
有没有留下证据。
过去可观测性主要回答：
系统为什么出问题？
AI 进入生产以后，企业还要回答：
AI 为什么做出这个动作？
这才是 AI 行为真正需要被观测的地方。
过去我们观测的是：
请求。
服务。
数据库。
今天开始，企业还要观测：
意图。
判断。
工具。
动作。
结果。
系统状态，正在扩展成行为状态。
所以，AI 可观测性不是监控模型本身。
而是在监控 Agent 的行为边界。
最后
过去，很多企业看 AI，先看模型。
模型准不准。
推理强不强。
回答好不好。
这些当然重要。
但 AI 一旦进入生产，真正要先问的是：
它的行动边界在哪里？
因为 AI 出问题，往往不是“接了哪个工具”这么简单。
而是它通过那个工具，做了一个不该自动做的动作。
所以，AI 治理的起点，不只是模型治理。
而是行动边界。
但边界本身并不够。
边界要能被执行。
要能被观测。
要能被审计。
企业第一次需要认真回答：
企业真正要管理的，
已经不是 AI 会不会做。
而是：
哪些事情，永远不能让它自己做。
过去企业管理的是人和软件。
未来企业还要开始管理会行动的 AI。
AI 时代最大的变化，不是 Agent 开始行动。
而是企业第一次需要观测和治理 Agent 的行动。
