AI 供应链系统性风险与治理架构

当前的人工智能系统早已不再是孤立训练和部署的单一模型。

它更像是一个“系统之上的系统”，多个模型以各种方式链接、粘合在一起，共同构成一个单一的 AI 体验。

高可靠性的组件并不能自动推导出高可靠性的系统。

AI 模型不再是由一个团队为了单一目的而构建；它们由一个组织训练，分发给第二个组织，被第三个组织修改，最终由从未见过原始代码的人部署。

即使是训练这些 AI 模型的人，也无法完全理解这些“黑箱”内部到底发生了什么。

将不确定性乘以一系列的交付和微调链条，你最终会得到一个责任分散且行为不可预测的系统。

当你在别人的 AI 模型之上构建应用时，你便继承了一个不稳定的依赖关系；一旦上游供应商进行改进、重训和更新，这个依赖就会发生漂移。

当管道中游的模型发生哪怕微小的改变，其连锁反应也会像波纹一样席卷下游。

当链条末端出现故障时，要找出哪里出错以及为什么出错，必须解开一个由相互依赖的系统交织而成的庞大网络。

你可能需要与向你交付模型的供应商达成协议，至少在模型更新发生时，他们必须主动向你发出警报。

这绝不仅仅是模型交付时的一次性抽样合规检查。必须建立起持续的动态监控机制。

每次你进行局部可解释性分析时，都可能产生微小的误差，而误差会在管道的每个阶段不断复利累积。这就像是一个‘传话游戏’。

在供应链中，最终生成的决策工件是诸多上游决策的产物，这些决策在必须协同工作的多个模型之间产生了复利效应。

决策工件表面上看起来可能是正确的，即便其实际上完全错误。其输出格式高度一致，但答案却南辕北辙。

你在上游学到的知识，会极大地限制你在下游能做的事情。它是通过塑造你所关注的表征空间的几何结构来实现这一限制的。

如果你想在下游强行‘遗忘’或推翻上游学到的规则，你必须消耗成倍的能量来对抗底层的几何限制。

模型卡片现在充其量只是货运清单的等价物……仅仅因为清单上写了里面有什么，并不代表里面的实际货物确实相符。

我们正在利用这些内部‘开箱验货’的方法来检查：模型究竟学到了什么，以及这些学习结果对所有不同的下游应用会产生什么后果。

模型卡片必须发生进化，不能再仅仅是一份静态文档，而必须转变为包含动态测量指标、能检测其如何映射到你现有系统中的 API。

我们必须将这些系统视为复杂系统，隔离这些不同误差的来源，并作为一个复合系统对其进行整体验证与响应。