夜雨聆风试想一下：你的安全团队完成了一家 AI 供应商的评估。该产品看起来无懈可击，具有内容过滤、输出防护栏以及一份出色的红队测试报告。每个人都满意地离开会议室，又一个治理项被打上了勾。
六个月后，一起生产事故发生了。一个由你团队“审查过”的模型所驱动的AI智能体，开始在你的 CRM 系统中执行未经授权的删除操作。
当应急作战室组建起来时，其中的差距暴露无遗：
➢ 模型：上个季度，它曾在客户数据上进行了本地微调，但批准流程是非正式的。没有人能提供一份完整的血统报告。
➢ MCP（模型上下文协议）：该模型通过一个模型上下文协议连接被授予了连接你生产数据库的“超级权限”，但这些凭证从未轮换过，而且该连接没有归属人。
➢ 技能件：三周前，一位开发人员为了“更快推进”而更新了管理该智能体逻辑的 skills.md 文件，但这个更新从未经过同行评审。
几天前实际上就发出了一条监控警报，但因为针对这个特定的“AI 资产”没有定义明确的升级上报路径，所以该警报被忽略了。
模型本身是安全的，但系统却无法被信任。
这种安全模型与可信的、受治理的 AI 系统之间的区别，正是企业内部正在扩大的差距。它就像是一个只会聊天的聊天机器人与一个能够采取行动的智能体之间的区别——不幸的是，这也是大多数治理讨论未能解决的差距。
为什么信任是 AI 治理中的真正问题？
当组织谈论 AI 治理时，他们通常从安全性入手。模型会被操纵吗？它会产生有害的输出吗？它是否符合内部和行业政策？这些是面向未来的 AI 开发环境真正需要解决的问题，而且幸运的是，AI 提供商正在通过改进其安全机制和控制措施来应对这些问题，并取得了进展。
但安全性是模型的一个属性，而信任则是系统的一个属性。
一个具有可靠信任层的 AI 系统，能够让你在任何时刻都能确定生产环境中所有 AI 资产的所有权，包括：
➢ 它来自哪里
➢ 谁批准了它
➢ 它基于什么数据训练
➢ 谁为其行为负责
➢ 当出现问题时会发生什么
安全性可以告诉你一个模型是否以负责任的方式构建。然而，信任则告诉你你的组织是否能为其提供支持或背书。
JFrog 的内部研究为这一差距提供了具体数据。令人惊讶的是，超过三分之一的公司仍然依赖人工来维护其批准的机器学习模型清单。不幸的是，这恰恰造成了那种使信任无法大规模持续维持的不一致性和不确定性。当保障机器学习模型的安全依赖于某人记得去更新一个电子表格时——那根本不是治理——那更像是基于摇滚圣歌《活在祈祷中》式的“凭运气”实施。
影子 AI 问题就是信任问题
当你考虑到 AI 实际是如何进入一个组织的，这一差距就变得更加尖锐。它很少始于正式的评估，而更多始于以下情况：一位开发人员从公共 registry 集成了一个模型，一位数据科学家在本地机器上微调数据集，或者一个团队因为比等待审批更快而直接连接到外部 API 提供商。
当 AI 智能体通过模型上下文协议（MCP）被赋予“超级权限”，从而被允许访问受限系统以完成其预定义任务时，风险会进一步加剧。如果没有信任层，你的组织可能会发现自己面临这样的局面：未经审查的模型，在能够访问你最敏感数据的情况下，执行着未经评审的指令。
安全性告诉你一个模型是否被负责任地构建。信任则告诉你，将智能体技能与特定工具和资源进行逻辑配对，是否正在让你的组织面临风险。
这种情况也被称为“影子 AI”，其中不受治理的 AI 资产会在合规性、数据泄露和供应链风险方面造成危险的盲点。如今，这已不再是一种罕见现象，而是大多数企业 AI 应用实际开始的方式，以及为什么规模化如此具有挑战性的现实原因。
影子 AI 之所以是一个信任问题，而不仅仅是安全问题，原因在于它揭示了底层系统的状况：对于你的组织中正在运行哪些 AI，没有单一的事实来源。如果你不知道那里有什么，你就无法治理它。如果你无法治理它，你就无法信任它。如果你无法信任它，你就可能让你的整个组织面临风险。
企业 AI 的瓶颈不是资源匮乏，而是信任缺失。组织看到了 AI 能做什么，但还不确信自己能够控制 AI 如何使用他们的数据、会泄露哪些关于客户的信息，以及如何控制对其系统的访问。这不是技术差距——而是治理差距。要弥合这一差距，需要超越基础的安全性，并建立一个建立在三个运营支柱之上的信任层：安全、管理和治理。
没有问责制的可见性只是噪音
应对信任差距的本能反应是用更多的单点解决方案来解决问题。虽然这可能会缓解某些症状，但并不能解决问题的根本原因。额外的工具可能会提供更多的扫描器、改进的监控和更好的仪表盘，但无论你添加多少工具，它们仍然无法产生一个单一的事实来源。
工具创造可见性——问责制创造信任。
治理失败不是因为没有工具，而是因为责任在生命周期各阶段之间以及在复杂的、多工具集成的环境中消失了。
这与许多组织在应用安全早期经历的模式相同：起初，工具创造了可见性，但后来，添加更多工具只会导致更多的混乱。只有在 AI 交付流程中明确定义了所有权，治理才变得真正有效。DevSecOps 的兴起不是工具层面的转变，而是关于如何将责任嵌入交付生命周期各个阶段的所有权层面的转变。
AI 领域现在也正处在同样的转折点上。一个没有指定升级负责人的漂移警报只是噪音。一份手动维护的已批准模型列表是控制的幻觉。一份存在于文档中而非交付流水线中的治理策略只是一种装饰。
可信 AI 需要问责制持续地融入到整个生命周期中，而不是在部署之后才附加上的。
可信 AI 到底是什么样子的？
信任不是一种感觉；它是安全、管理和治理的副产品。它是通过 AI 资产来源的可追溯性、对其使用的一致执行，以及在每次交接时对其行为的明确所有权建立起来的。
这意味着要像对待软件供应链中的其他制品一样对待 AI 模型。只有从源头到生产全程跟踪来源、进行自动化安全扫描、在推进前执行强制性的策略关卡，并拥有从代码到生产的完整审计轨迹，才能在 AI 时代提供哪怕一点点的信任。
这也意味着影子 AI 必须被真正的可见性和治理所取代，而不仅仅是人工的猜测。在一个真正安全和受治理的环境中，“生产环境中运行的是哪个模型，谁批准了它”这个问题必须在几秒钟内得到回答，而不是几小时。
信任是真正的竞争优势
随着 AI 采用的加速，领先的组织将不仅仅是那些拥有最强大模型的组织；它们将是那些能够在规模化使用 AI 的同时不失去控制的组织。
这就是可信 AI 在实践中的含义。它不是供应商网站上的一个声明，而是你围绕它构建的系统的属性——可验证、可审计、并且在压力下经得起辩护。
这个信任层充当着模型与企业之间的关键守门人，协调模型的完整性，强制执行精细化的策略，并生成真正实现 AI 治理所需的不可篡改的证据。信任正是建立于此，或者，一次一个不受治理的模型，悄然被侵蚀于此。
模型安全是一个特性。可信 AI 是围绕这个特性构建的系统。
JFrog 如何助力
将信任构建到您的 AI 生命周期中
安全性仅仅是一个起点。要真正规模化应用 AI，您需要一个能够确保每个模型从开发到生产环境都具有可追溯性、安全性并受到治理的系统。
不要让影子 AI 在您的治理中造成漏洞。探索 JFrog AI Catalog，了解如何在您的软件供应链中管理和保护 AI 资产，确保在每一个阶段都实现完全的可见性和问责制。
关注“JFrog捷蛙”公众号
了解DevOps国际资讯
