夜雨聆风学习资料网

ARTICLE · 1083508

企业 AI 如何落地:三种实施路径与责任边界

企业 AI 如何落地:三种实施路径与责任边界

一家企业准备建设“制度与流程助手”。员工先问:“这项业务应该按哪个流程办理?”系统检索获准制度,给出带出处的回答;下一步,它还可以整理材料、填写工单草稿,甚至在审批后向业务系统提交事项。

看起来,这只是同一个助手逐步增加功能。真正落到架构上,企业却面临三种不同的实施方式:直接采用服务商提供的工作空间;自行开发应用,调用云端模型服务,并按需使用智能体开发与运行服务;或者把模型推理放到员工设备或企业本地基础设施中,再自行组装应用与智能体。

三种方案都能展示一个聊天窗口,也都可能使用“Agent”名称,但企业需要投入的建设能力、能够控制的环节、数据经过的位置和长期运营责任并不相同。企业首先需要回答的,不是“哪个模型最强”,而是:

企业应该选择哪条实施路径?在这条路径中,哪些能力可以采购或托管,哪些建设、控制和运营责任必须由企业自己承担?

本文从企业实施视角,把 AI 应用落地归纳为三条路径:采用托管式 AI 应用及可配置智能体功能、使用云端模型服务及可选的智能体开发与运行服务、自建基于本地推理运行环境或基础设施的智能体应用。这是为了比较企业选择、建设和运营方式而采用的工作性描述,不是官方产品分类,也不是由低到高的行业等级。

一、选模型不是第一步,先确定企业要负责到哪一层

如果只比较模型名称和参数,三个关键问题会被掩盖。

第一,企业准备直接采用现成工作空间,还是建设自己的业务应用?一套员工可以直接登录的企业工作空间,与一个供开发人员调用的模型 API,代表两种不同的实施起点。

第二,企业需要自己建设哪些组件,才能把模型变成可运行的业务系统?模型可以生成回答或提出工具调用请求,但身份校验、知识检索、任务状态、参数校验、人工审批、日志和失败恢复通常位于模型之外。

第三,系统发生错误时,企业由谁阻断、恢复和举证?如果模型建议“创建工单”,企业还要知道:谁授权它代表员工操作,是否限制对象和金额,重复请求会不会创建两张工单,失败后如何重试或撤销,日志能否还原全过程。

因此,企业首先要确定的是实施与责任边界:哪些能力直接采用,哪些能力由平台托管,哪些组件必须自行建设和运营。企业采用的服务越接近成品应用,需要自建的组件通常越少,但对服务端运行的直接控制也越有限;企业采用的服务越接近模型或基础设施,设计空间越大,同时也要承担更多集成、验证和运营责任。

二、先把企业 AI 拆成四层

理解三条路径之前,需要先把容易混在一起的四层分开。

业务应用与用户界面          → 智能体编排与运行          → 模型推理服务          → 计算、网络与存储基础设施

层次

主要职责

它不等于什么

业务应用与用户界面

接收用户任务,呈现结果、证据、审批和处理状态,并接入企业业务流程。

一个聊天框不代表背后已经具备完整权限、审计和恢复机制。

智能体编排与运行

组织任务步骤,调用模型和工具,维护会话或任务状态,校验结果并实施审批、重试和停止条件。

不是某个模型,也不必等同于单一厂商的“Agent”产品。

模型推理服务

根据输入生成文本、图像、结构化输出或工具调用请求。

模型端点不等于可投入业务使用的智能体应用。

基础设施

提供计算、网络、存储、容器或设备运行环境。

基础设施本身不定义业务目标,也不会自动补齐智能体编排和治理。

本文所称的智能体应用,是围绕任务目标,把模型、指令、企业数据、工具、会话或任务状态、身份权限和验证机制组合起来的应用系统。行业对“智能体”的范围尚无完全统一的定义,因此判断一个系统时,不应只看名称,而应看它实际能读取什么、能调用什么、能否改变外部状态,以及由谁批准和验证。

智能体开发与运行平台用于构建、部署、运行和管理这类应用;智能体运行时则是执行任务、协调模型与工具调用并维护运行状态的软件组件或服务。平台可以包含运行时,运行时却不等于整个平台,更不等于已经完成业务应用。

工具调用也要分成两步:模型可以生成结构化调用请求,智能体运行时或业务应用再校验参数、身份和权限,实际调用外部 API。模型提出动作,不等于动作已经获授权,更不等于外部系统已经正确执行。

先分清产品处在架构的哪一层

产品名称之所以容易混淆,是因为它们分别位于业务应用、智能体平台、模型服务和基础设施等不同层次。下面只介绍理解三条实施路径所必需的几个名称;其余术语在首次出现时再作解释。产品名称保留官方英文名称,括号中的中文用于说明其定位,不作为官方中文译名。

名称

通俗定位

在三条路径中的位置

OpenAI

从事人工智能研发并提供 ChatGPT、模型 API 等产品与服务的公司;通常直接使用英文品牌名。

提供路径一的托管式应用实例,也运营供开发者调用的模型服务。

微软(Microsoft)与 Microsoft Azure

微软是技术与平台提供商;Azure 是其云计算平台,承载计算、存储、网络、身份、模型和资源管理等服务。

为路径二提供云端模型与平台服务,也为路径三的部分本地基础设施提供管理能力。

ChatGPT Enterprise

OpenAI 运营的托管式企业 AI 应用,已组合用户界面、服务端模型和配套管理功能。

路径一的实例,不等于部署在企业机房的私有模型。

Microsoft Foundry Agent Service

微软提供的托管式智能体开发与运行平台,包含运行时、工具、身份、安全和可观测性等能力。

路径二中可按需采用的平台服务,不是员工开箱即用的业务助手。

Foundry Local

微软面向个人设备的本地模型推理运行环境和开发工具。

路径三的设备端推理实例,不是面向多用户并发的服务器平台。

Azure Local

微软部署到客户自有场所的分布式基础设施,可承载虚拟机、容器和本地 AI 工作负载。

路径三的站点基础设施实例,本身不是模型或智能体应用。

Azure Arc

微软用于统一管理本地、边缘和其他云资源的混合与多云管理服务。

可为路径三的连接部署提供资源注册、配置、策略和运行状态管理,不是本地推理引擎。

把这些名称放回四层架构后,三条路径的差别就清楚了:企业究竟是直接采用应用,从模型和平台开始建设,还是连推理环境也自己运营。

三、三条实施路径不是等级,而是三种责任安排

企业可以用同一组问题比较三条路径:能够直接获得什么、还要自行建设什么、为什么选择它,以及需要接受哪些边界。

实施路径

企业可以直接采用什么

企业仍需建设和治理什么

企业选择它的主要原因

主要边界

采用托管式 AI 应用及可配置智能体功能

可直接使用的企业工作空间、用户界面、服务端模型、应用运行与配套管理功能。

组织账号、用户与角色、共享规则、允许使用的数据源和工具,以及使用规范。

上线较快,企业不必先建设完整的应用和模型运行环境。

企业可以治理使用方式,但通常不接管服务端模型和应用基础设施。

使用云端模型服务及可选的智能体开发与运行服务

模型 API,以及按需要选择的编排、工具、状态、身份、追踪和评估服务。

业务界面、知识检索、任务设计、工具权限、审批、结果验证、日志与事件响应。

能够把 AI 深度嵌入企业流程,并按业务需要设计应用。

平台控制不替代企业对业务动作和结果负责。

自建基于本地推理运行环境或基础设施的智能体应用

设备端推理运行时、本地集群软件,或承载本地工作负载的基础设施。

应用、智能体编排、工具和状态,以及本地硬件、网络、容量、补丁、供应链、可用性和恢复。

可以改变模型计算的位置,满足低时延、弱联网或特定本地处理要求。

本地推理不等于数据源、工具、日志和管理控制面全部在本地。

这三条路径并不互斥。企业可以让通用办公场景采用托管式应用,让特定业务流程使用云端自建智能体,同时把少量严格受限的推理任务放在本地。组合方案的关键不是产品越多越好,而是企业能为每类数据和动作规定清晰的路由、授权和责任。

图 1 把三条路径放到同一套四层结构中。企业可以据此判断:每条路径需要自己建设和运营到哪一层,哪些层可以直接采用服务商能力。

图1:三种实施路径的四层责任切分

图中蓝色表示服务商托管,灰色表示企业建设和运营,绿色表示在企业控制环境中本地运行,紫色表示企业设计但可以使用平台托管能力。最下方的橙色区域横跨三条路径:无论采用哪条路径,身份、数据权限、工具范围、人工审批、审计和业务验收标准都不能仅由模型或产品默认值决定。

四、路径一:采用托管式 AI 应用及可配置智能体功能

企业选择这条路径,最像“使用一套已经装修好的办公空间”:不再从模型接口开始建设,而是直接引入员工可以使用的界面、组织工作空间、服务端模型和应用运行环境。企业主要完成组织接入、人员管理、使用策略和数据源配置。

OpenAI 公司提供的 ChatGPT 企业版(ChatGPT Enterprise)可以作为这类产品的一个熟悉实例。OpenAI 为企业管理员提供专门的上线说明,并通过应用与连接器文档说明外部内容和服务的接入方式。具体可用的身份、管理员、应用、连接器、驻留和审计功能会随计划、地区、配置与合同变化,不能把某一时点的功能清单写成永久承诺。

企业如何配置和上线托管式应用

托管式应用看起来开箱即用,但企业上线时仍应完成一套明确的配置和验证工作。可以按以下顺序实施。

1. 先定义任务边界。 把“问制度”“生成材料草稿”“提交业务事项”分成三个权限等级。第一阶段通常只开放带出处的问答,第二阶段允许生成草稿,第三阶段才考虑写入外部系统。

2. 接入组织身份。 配置企业账号、单点登录、用户组和离职停用流程。至少用普通员工、部门负责人和管理员三个测试身份验证可见内容,避免只用高权限管理员账号验收。

3. 配置获准数据源。 只连接已经明确所有者、访问规则和更新机制的制度库。记录系统是请求时读取、预先同步还是建立搜索索引,并测试源文档修改、撤权和删除后,产品侧的内容何时失效。

4. 配置助手规则。 规定回答必须引用制度名称、版本或生效日期;找不到依据时应明确说“不确定”,不能自行补出流程。对固定业务可以要求按“适用制度—所需材料—下一步—出处”返回。

5. 分开读取工具和写入工具。 查询制度、查询工单状态属于读取;创建工单、发送通知或修改记录属于写入。写入工具应使用单独的允许清单、参数范围和人工确认,不应因为已连接数据源就自动获得写权限。

6. 用真实角色做小范围试运行。 测试正确问题、模糊问题、越权问题、过期制度、无答案、重复提交和工具失败。上线后持续检查共享范围、异常调用、人工驳回原因和制度更新是否及时生效。

这套方法的重点是“配置并验证”,而不是开发一个新的模型。企业需要形成的配置和治理成果通常包括用户组映射、数据源清单、助手规则、工具允许清单、审批矩阵、测试问题集和停用方案。

示例:从制度问答到采购工单

在制度助手场景中,员工从托管工作空间提问。系统可能只使用会话输入,也可能按配置从获准的数据源读取相关资料,再由服务端模型生成回答。如果产品支持可配置助手、连接器或工具,企业还可以限定允许使用的知识源和外部服务。

假设员工输入:“购买一台 8,000 元的研发电脑,需要走什么流程?请帮我准备申请。”一个受控的托管式应用可以这样工作:

阶段

系统做什么

用户看到什么

必要控制或证据

制度问答

按员工身份检索获准的采购制度。

适用流程、材料清单和制度出处。

返回制度名称、版本或链接;无依据时不作确定回答。

生成草稿

根据用户提供的信息填写采购申请草稿。

申请人、部门、物品、金额、用途等待确认字段。

不自动补写成本中心、供应商等关键字段;标出缺失项。

人工确认

员工检查草稿,必要时由负责人审批。

明确的“确认提交”动作和最终参数。

展示目标系统、操作对象和金额,避免把聊天中的一句“可以”当作无限授权。

工具执行

产品支持的连接器或人工把已确认参数送入采购系统。

提交中、成功或失败状态。

使用当前用户或受控服务身份;写入权限与读取权限分离。

结果确认

读取采购系统返回结果。

工单编号、创建时间和下一处理人。

只有收到可核对的编号或回执,才把任务标记为完成。

如果当前产品或合同不支持安全的写入工具,也可以停在“生成草稿”这一步,让员工手工复制到采购系统。自动化程度较低不代表方案失败;只要责任边界清楚,它往往比勉强打通一个无法审计的写入连接更可靠。

这里有三个容易忽略的边界。

第一,连接数据源不等于复制整个知识库。不同集成可能采用请求时读取、预先同步、建立索引或企业自建接口,身份传递、权限继承、更新删除和保留规则并不相同。

第二,管理员能配置工作空间,不等于企业接管服务端运行。企业可以决定谁使用、连接什么、共享什么,但服务端应用、模型和相关基础设施仍由服务商运营。

第三,可配置智能体功能不等于无限自主操作。即使系统能够调用工具,企业仍应为高影响动作设置对象范围、参数约束、人工审批、日志和停止条件。产品名称中的“Agent”不能替代这些控制。

因此,这条路径适合希望较快向员工提供通用 AI 工作空间、并接受服务商托管模式的组织。评审重点不是“是不是企业版”,而是当前合同和配置下,身份、数据源、工具、状态、日志和处理地域分别如何管理。

如果流程需要复杂事务、跨多个内部系统的补偿操作、企业专有的长时间任务状态,或者界面必须嵌入核心业务系统,托管式应用通常只能承担其中一部分。此时可以保留它作为通用办公入口,把高定制流程转到路径二,而不是在一个工作空间中不断堆叠难以验证的连接器。

五、路径二:使用云端模型服务及可选的智能体开发与运行服务

第二条路径不是购买一个现成工作空间,而是获得用于建设业务系统的模型服务,并按需要叠加智能体开发与运行服务。企业可以只调用模型 API,也可以使用平台提供的编排、工具接入、状态管理等能力;无论如何,员工入口、知识检索、业务流程、工具和审批规则仍要围绕本企业的需求设计。

微软(Microsoft)的 Microsoft Foundry Agent Service 是用于构建、部署和扩展 AI 智能体的托管平台。其文档把能力拆成多个部分:Agent Runtime(智能体运行时)负责托管和扩展智能体,并管理会话、工具调用与生命周期;Toolboxes(工具箱)管理可复用工具;可观测性功能提供追踪、指标和评估;身份与安全功能结合 Microsoft Entra 身份服务、基于角色的访问控制(RBAC)和网络隔离。这个例子说明,“智能体平台”不是一个模型接口的别名,而是一组开发与运行服务。

企业如何组装云端业务应用

这条路径的实施对象不是一个“万能智能体”,而是一条可测试的业务任务链。推荐按下面的顺序建设。

1. 写清任务合同。 明确输入字段、允许读取的数据、允许执行的动作,以及什么证据算完成。对采购工单来说,完成标准应是“业务系统返回唯一工单编号”,而不是“模型说已经创建”。

2. 先建企业应用和身份入口。 员工登录企业 Web、移动端或原有业务系统,由企业应用识别用户、部门和角色。不要让浏览器直接持有模型密钥,也不要用一个高权限服务账号代表所有用户执行动作。

3. 建设带权限过滤的知识检索。 企业应用按用户权限读取制度文档,形成带来源标识的检索片段,再送给模型。模型不应获得整个文档库的无差别访问权。

4. 调用模型并约束输出。 问答可以生成自然语言;进入业务动作时,应要求模型输出固定字段结构,例如事项类型、金额、理由和缺失字段清单,并由普通程序校验类型、范围和必填项。

5. 把工具封装成最小动作。 与其提供一个“任意调用采购系统”的工具,不如提供“创建采购草稿”“查询工单状态”等边界明确的接口。每个工具都要验证调用身份、参数、目标对象和幂等标识。

6. 把审批放在执行之前。 界面向用户或审批人展示最终字段、目标系统和影响范围。审批通过后,运行时才调用工具;审批过期或任务内容改变时,应重新确认。

7. 保存状态、追踪和结果证据。 分开记录模型输入输出、任务状态、工具请求、业务回执和人工决定。设定超时、重试上限、取消、转人工和恢复策略,并用测试集持续评估制度引用和业务字段的正确性。

在微软产品组合中,模型端点可以承担推理,Foundry Agent Service 可以按需承担部分会话、工具调用、身份和追踪能力,Microsoft Entra 与 RBAC 可以参与平台访问控制。但业务规则、下游系统授权、审批有效性和完成证据仍要由企业应用定义。

建设问题

可使用的平台能力

企业仍要补齐的内容

如何获得模型输出

云端模型端点、结构化输出能力

提示版本、输出字段、业务校验和测试集。

如何组织多步骤任务

Agent Runtime 或企业自建编排

任务目标、停止条件、失败恢复和人工接管。

如何复用外部工具

Toolboxes 或企业工具目录

工具最小权限、参数范围、下游身份和幂等设计。

如何控制平台访问

Microsoft Entra、RBAC、网络控制

用户身份到业务权限的映射,以及业务系统的二次授权。

如何观察运行过程

追踪、指标和评估服务

哪些记录构成审计证据、告警阈值和事件响应流程。

但平台功能丰富,不等于业务应用已经完成。企业仍需决定:

·员工以什么身份进入系统,智能体代表谁调用下游接口;

·哪些制度、字段和工具对当前用户可见;

·哪些动作可以自动执行,哪些必须由人工审批;

·如何验证模型回答和工具结果;

·如何处理重复请求、超时、部分成功和回滚;

·保存哪些会话或任务状态,保留多久,谁能审计。

示例:企业自建采购助手如何完成一次提交

下面是概念性伪代码,用来说明控制顺序,不对应某个厂商的可直接运行 SDK:

用户请求 = “购买一台 8,000 元的研发电脑,请创建采购申请”          1. 验证用户身份,并检查其是否有“发起采购申请”权限          2. 按用户可见范围检索采购制度,保存制度版本和引用片段          3. 调用云端模型,生成固定结构的申请草稿和缺失字段清单          4. 普通程序校验金额、成本中心、物品类别和必填字段          5. 在企业界面展示最终参数,等待用户或负责人审批          6. 审批通过后,携带幂等标识调用“创建采购工单”接口          7. 读取业务系统返回的工单编号并再次查询状态          8. 有编号且状态一致 → 标记完成;否则停止、限次重试或转人工

这里的“幂等标识”可以理解为一次业务请求的唯一编号。网络超时后,系统用同一编号重试,采购系统据此判断这是不是同一次申请,避免重复创建两张工单。模型可以生成字段,但唯一编号、重试规则和最终状态核对应由确定性的应用代码处理。

还要核对数据由谁处理、在哪里保存

完成业务流程设计后,还要分层说明数据路径。员工请求先进入企业应用,应用或智能体编排与运行层读取获准数据、调用模型,再根据结果决定是否调用工具。模型输出返回后,企业应用负责把证据、处理状态和审批信息展示给用户。

微软关于由 Azure 销售的模型(Models sold by Azure)的数据、隐私与安全说明指出,客户的提示、输出、嵌入和训练数据不提供给 OpenAI 等模型提供方,也不在未经客户许可或指示时用于训练生成式基础模型。这里的“由 Azure 销售的模型”是微软通过 Azure 提供并运营的一类模型服务,不是 OpenAI 自营的 ChatGPT 或 OpenAI API。微软在 Azure 环境中托管相关模型,它们不与 OpenAI 运营的 ChatGPT 或 OpenAI API 服务交互。这个事实回答的是服务运营与数据提供对象,不能被扩大解释为“数据只存在企业自己的虚拟网络中”。

同一份文档还区分了无状态模型推理和有状态平台功能:模型本身不保存提示与输出,但 Responses(响应记录)、Threads(对话线程)、Files(文件)、向量库(可检索索引)和 Stored completions(持久化的完成结果)等可选功能可以建立数据存储。这些名称指平台中的状态或存储功能,不是不同的大模型。企业应用自己的日志、知识库和任务状态又是另一层。因此,“模型无状态”绝不等于“整套系统零保留”。

处理位置也不能只看资源名称。Global(全球范围)和 DataZone(指定数据区域范围)是模型服务的部署类型,会影响提示和响应可能在哪些地域或区域处理;它们不是存储产品名称。静态存储位置与推理处理位置是不同问题。正式设计必须分别核对部署类型、状态存储、日志、内容安全处理和企业自有数据源。

这条路径适合需要把 AI 深度嵌入业务流程、并有能力长期开发和运营应用的企业。它提供更多控制点,同时也把任务设计、工具授权、结果校验和事件响应责任交给企业。

一个可进入试运行的最小版本,至少应同时具备:员工入口、身份映射、带权限的制度检索、结构化输出校验、一个低风险工具、人工审批、结果回读、任务日志和一套失败测试。只有聊天界面和模型端点的演示,不能算这条路径已经落地。

六、路径三:自建基于本地推理运行环境          或基础设施的智能体应用

如果企业要求模型计算在员工设备或自有站点内完成,就进入第三条路径。但“本地”不是一个单一产品形态:设备端方案面向单台终端,站点集群方案面向多个用户或应用。无论选择哪一种,企业都要分清本地基础设施、容器集群、模型推理服务和智能体应用,不能把它们统称为“私有化系统”。

设备端推理

Foundry Local 面向在用户设备上运行的本地 AI 应用。官方文档说明,它提供 SDK、经过优化的模型目录和自动硬件加速,可以利用 GPU、NPU 或 CPU,在模型准备完成后离线工作;提示与模型输出在设备上处理。

这不意味着它是一套多用户服务器推理平台。官方 FAQ 明确说明,Foundry Local 主要针对单用户设备端场景,不为多用户并发排队、连续批处理和 GPU 共享而设计。首次使用时还可能下载模型或执行组件,诊断信息则要按适用产品条款核对。因此,准确说法是“设备端本地推理”,而不是笼统写成“整套系统完全私有部署”。

设备端方案:离线制度查询和材料草拟

设备端方案可以按“准备设备—分发模型—建立本地知识—离线运行—联网后受控同步”的顺序实施。

1. 核对设备能力。 根据 CPU、GPU、NPU、内存和磁盘选择可运行的模型,并测试首字延迟、完整响应时间、耗电和长文本处理能力。模型能启动不代表体验可接受。

2. 预先分发运行时与模型。 如果目标环境会离线,应在进入离线区域前完成模型、执行组件、许可证和必要依赖的下载与校验,并保存版本和哈希记录。

3. 准备本地知识包。 把获准制度转换为设备可检索的本地索引,保留文档版本、生效日期和来源。知识包应支持过期、撤回和重新发布,不能只在安装时复制一次后永久使用。

4. 在本地应用中编排任务。 应用负责接收问题、检索本地资料、调用本地模型、展示引用并保存草稿。即使模型离线运行,应用仍要校验输出并限制可访问的本地文件。

5. 分开离线草稿和联网动作。 离线时可以回答制度问题、整理材料和生成工单草稿;真正提交采购系统时,应在恢复网络后重新校验用户身份、制度版本和草稿内容,再进入审批与工具执行。

6. 管理更新和设备风险。 规定模型与知识包更新周期、丢失设备的密钥撤销、缓存清理和诊断信息策略。设备端推理减少了请求离开设备的需要,但也把模型文件、索引和本地日志带到终端安全范围内。

例如,员工出差到弱网现场前,企业应用下载已批准的采购制度包和适配模型。员工离线询问流程,应用在设备上检索制度并生成申请草稿,同时标记“尚未提交”。恢复企业网络后,应用先检查制度是否更新,再要求员工确认金额和成本中心,最后调用采购系统。这个例子中,本地模型解决的是离线阅读和草拟,不应在无法验证身份和业务状态时声称工单已经创建。

企业本地基础设施与集群推理

Azure Local 是微软提供的、延伸到客户自有环境的分布式基础设施,支持连接和断开连接的部署形态,并使用 Azure Arc(跨环境统一管理服务)作为管理控制面。它可以承载虚拟机、容器和本地 AI 工作负载,但它本身不是模型,也不自动提供智能体应用。

Azure Arc-enabled Kubernetes 用于把运行在本地、边缘或其他云中的 Kubernetes 集群接入 Azure 管理体系。连接部署中,集群内的 Arc 代理建立到 Azure 的安全出站连接,集群会在 Azure Resource Manager(Azure 资源管理服务)中显示为可管理资源。这条管理路径可以承载资源注册、配置、策略和运行状态,但不等于员工的提示和模型回答必须经过 Azure。

Foundry Local on Azure Local 则是在 Azure Local 的 Arc-enabled Kubernetes 集群中运行本地模型推理的具体组合。它以 Azure Arc 扩展安装,并使用 Kubernetes operator——一种把部署和运维规则封装为集群控制程序的机制——协调模型和部署资源;应用再通过受保护的推理端点调用模型。截至 2026 年 9 月 25 日,官方页面仍将其标为预览,并说明部署需申请访问。

站点集群方案:提供共享推理能力

集群方案不是把设备端软件搬到服务器上,而是要建设一套面向多应用的运行服务。实施时至少包括以下工作。

1. 先决定连接方式。 明确站点是否允许连接 Azure 管理控制面,还是运行期必须断开连接。这个决定会影响身份、证书、制品导入、更新、监控和故障支持方式,应在采购硬件前确定。

2. 准备集群和容量。 规划 Kubernetes 集群、GPU 或其他加速资源、共享存储、网络分区、负载上限和高可用。用代表性提示长度和并发量做容量测试,不只看模型参数规模。

3. 建立受控的软件与模型供应链。 记录模型来源、许可证、版本、校验值和批准状态;镜像、扩展包和依赖进入本地制品库前完成扫描。升级时保留回退版本。

4. 部署受保护的推理端点。 端点只接受获准应用身份访问,设置请求大小、并发、超时和配额。模型端点负责推理,不直接获得任意数据库或业务系统权限。

5. 在端点之外建设应用。 企业仍需提供用户界面、身份映射、知识检索、智能体编排、工具网关、审批、状态和日志。多个应用共用推理端点时,要隔离各自的数据、配额和日志。

6. 建立运行与恢复机制。 监控容量、延迟、错误率和模型版本,演练节点故障、模型回滚、证书过期、知识库不可用和工具部分成功。断开连接环境还要验证离线更新包和本地身份系统是否可用。

例如,某受限网络站点希望让内部员工查询制度并创建维修工单。站点内应用读取本地制度库,调用集群内推理端点生成维修描述和分类建议,再由企业编排服务校验设备编号和人员权限。负责人在本地审批入口确认后,工具网关调用站点维修系统,并把工单编号写入审计日志。如果维修系统位于外部网络,那么工具调用仍然会跨越站点边界;本地模型不会自动消除这条外部数据流。

设备端和站点集群都属于本地推理,但使用方法明显不同:

比较项

设备端推理

站点内集群推理

主要使用者

单个员工或单台设备上的应用

多个用户或多个企业应用共享服务

主要优势

低时延、可离线、请求可在设备内处理

统一容量、集中运维、可为多个应用提供端点

关键限制

终端算力、模型规模、设备丢失和版本分散

集群容量、并发调度、供应链、高可用和专业运维

典型组成

运行时、模型、设备应用和本地知识包

集群、模型服务端点、企业应用、编排与工具网关

动作边界

离线时宜以问答和草稿为主

可接本地业务系统,但仍需授权、审批和结果回读

管理方式:连接部署与断开连接部署

连接部署中,本地集群承载推理工作负载,Azure Arc 参与管理。业务请求与数据流、管理控制路径应画成两条线:前者包括提示、检索片段、模型输出和工具结果;后者包括资源注册、配置、策略、扩展和运行状态。

如果运行期不得依赖公网 Azure,需要评估 Microsoft 单独定义的断开连接部署。官方文档说明,这种部署要预先导入扩展包、模型包和网络依赖,使用本地制品库与本地身份体系;文档同时注明遥测不发送给 Microsoft。它不是给普通 Arc 连接部署简单关闭网络,而是另一套制品、证书、身份、容量和运维安排。

选择时可以用一项实际演练来验证边界:在测试环境中切断外部连接,分别检查用户登录、模型推理、知识检索、工具执行、日志查看、证书校验、扩容和故障恢复是否仍能工作。某个页面仍能打开,不等于整个系统具备断开连接运行能力。

评估连接方式时,至少要回答五个问题:软件和模型如何进入环境,身份与证书如何签发和轮换,诊断信息在哪里保存,更新失败后如何回退,以及业务请求是否跨越本地边界。连接部署需要说明哪些能力依赖云端控制面;断开连接部署则要说明谁负责下载、扫描、签名、转运和导入离线制品,并证明本地身份、监控和恢复机制能够独立工作。

无论采用哪一种本地形态,企业仍需建设应用、智能体编排、知识检索、工具接入、状态管理、审批和验证,还要负责硬件、网络、容量、补丁、模型许可、软件供应链、备份和故障恢复。模型在哪里运行,只回答了整套系统中的一个问题。

七、同一个任务,在三条路径中如何流动

回到“制度与流程助手”,从业务执行顺序看,可以把同一项任务拆成七个节点:用户与身份、知识读取、模型推理、草稿与校验、人工审批、工具执行和结果证据。会话或任务状态、日志和权限控制则贯穿整条链路。

节点

采用托管式 AI 应用及可配置智能体功能

使用云端模型服务及可选的智能体开发与运行服务

自建基于本地推理运行环境或基础设施的智能体应用

用户入口

服务商提供的企业工作空间

企业自建 Web、移动端或业务系统入口

企业本地或设备端应用

身份与权限

企业配置组织账号、角色和连接范围

企业应用身份、用户身份、平台身份和下游系统权限共同决定

企业负责本地身份、设备或集群身份及下游权限

知识读取

通过产品支持的数据接入方式读取获准内容

企业设计检索、过滤、引用和权限继承

企业在本地或获准边界内建设检索;外部数据源仍可能跨界

模型推理

服务商托管模型

云端模型服务

设备或企业本地推理端点

状态与日志

按产品配置、合同和连接方式核对

平台状态、企业应用状态和日志分别配置

企业负责本地状态、索引、缓存、日志和备份

工具与审批

仅在产品支持与企业授权范围内使用

企业定义工具清单、参数约束和人工审批

企业自行建设工具接入、审批和故障处理

最终动作

由受支持的工具或人工完成

运行时发起、业务系统执行并返回证据

本地应用或获准外部系统执行并返回证据

图 2 把“查制度并创建采购工单”画成三条泳道。三条路径的组件所有者不同,但关键控制顺序相同:身份和权限在前,人工审批位于写入动作之前,业务系统返回的编号或回执位于最后。

图2:同一采购工单任务在三条路径中的执行链

图中实线蓝箭头表示业务请求与数据流,灰色虚线表示管理控制路径,橙色表示审批和失败控制,绿色表示本地运行或已经取得的成功证据。右侧三条失败分支共同汇入“停止、限次重试或转人工”,说明任何路径都不能把无编号、权限不足或结果不确定的请求标记为完成。最下方的 Azure Arc 虚线只表示站点集群采用连接部署时的一种管理控制路径,不代表主要业务请求必须经过 Azure。

例如,员工要求“根据制度创建一张采购审批工单”。可靠流程不是模型直接连接工单系统,而是:

识别用户与任务          → 检索适用制度并保留出处          → 生成工单草稿          → 校验必填字段和权限          → 员工确认或审批          → 使用幂等标识调用工单接口          → 核对返回编号并记录证据          → 失败时停止、重试或转人工

模型可以参与检索、归纳和生成参数,但业务系统返回的工单编号才是“创建成功”的证据。没有授权、校验和结果回读,工具调用只能说明系统尝试过某个动作,不能证明任务已经正确完成。

八、企业如何评审和选择

项目评审可以先固定使用以下四问,避免被产品名称带偏。

评审问题

必须追问的内容

企业准备采用哪种实施方式?

是直接采用员工可用的托管式应用,还是基于模型 API、智能体开发与运行服务或本地推理基础设施自建应用?企业从哪一层开始建设?

企业必须掌握哪些控制?

谁控制用户身份、智能体身份、数据权限、网络、密钥、工具清单、参数范围、人工审批和共享策略?哪些控制可由平台实施,哪些业务控制必须由企业定义?

数据和状态如何流动、保存?

提示、检索片段、模型输出、会话状态、任务状态、文件、索引、工具结果、日志、遥测和管理信息分别到哪里、保存多久、如何删除?

企业怎样验收并应对失败?

谁验证结果,谁监控异常,谁处理超时与重复请求,谁能停止动作、回滚或恢复,谁保存审计证据?企业与服务商分别承担哪些事件响应责任?

其中,第四问不能只写合同中的“服务商负责平台、企业负责应用”。运行阶段还要回答失败如何暴露。一个系统即使有身份和网络控制,如果没有动作结果回读、幂等设计、重试上限、人工接管和恢复路径,仍然可能在业务层失控。

完成边界核对后,再根据不可妥协的约束筛选路径,而不是先选产品再为它寻找场景。

首要约束

优先评估的路径

仍需重点核对

希望较快提供通用企业 AI 工作空间

采用托管式 AI 应用

身份与管理员控制、数据接入方式、状态与保留、处理地域、工具权限和合同条款。

需要深度嵌入企业业务流程

使用云端模型服务及可选的智能体开发与运行服务

应用身份、知识权限、工具与审批、状态和日志、结果验证、运行监控与事件响应。

模型推理必须在员工设备完成

设备端本地推理

支持模型、硬件、首次下载、升级、设备安全、缓存和单用户运行边界。

需要企业站点内的集群推理

自建基于本地推理基础设施的应用

集群容量、模型许可、身份、网络、供应链、可用性、连接部署或断开连接部署及长期运维。

不同场景具有不同敏感度与开发能力

组合方案

分类与路由规则、失败回退、跨路径审计和避免敏感请求误路由。

最终选择不应追求一条“最高级”的路径。更成熟的做法是,先把业务任务拆成数据读取、模型推理、状态保存和外部动作,再为每一环确定控制主体与证据要求。

九、提交方案前,再检查五个常见误解

在方案进入试运行或采购评审前,可以用下面五项做最后复核:

·企业版不等于私有部署。 它通常说明产品面向组织提供身份、管理或合同能力,不直接说明应用、模型、状态和基础设施都部署在企业机房。

·模型端点不等于智能体应用。 模型端点提供推理能力,业务应用、工具、状态、身份、验证和运营后台仍需由平台服务或企业补齐。

·模型提出动作不等于动作已经执行。 只有经过参数校验、授权、审批并收到业务系统的可验证结果,才能确认动作完成。

·本地推理不等于整个系统都不出域。 知识源、外部搜索、SaaS 工具、身份服务、状态存储、日志、更新和管理控制面仍可能跨越本地边界。

·企业控制更多,不等于服务商不再承担责任。 自建应用会增加企业责任,但服务商仍对其实际交付的模型服务、平台或软件承担相应的产品和合同责任。

企业真正需要的也不是一个看起来更像人的系统,而是一条可以说明、限制和审计的任务链:

谁发起,谁授权,在哪里执行,谁验证,失败后谁停止和恢复。

当这五个问题有明确答案时,托管式应用、云端自建或本地推理才从产品名称变成可评审、可运营的企业架构。

参考资料

1. OpenAI Docs:Enterprise 管理员上线

2. OpenAI Docs:应用与连接器控制

3. Microsoft Learn:What is Microsoft Foundry Agent Service?

4. Microsoft Learn:Data, privacy, and security for Models sold by Azure

5. Microsoft Learn:What is Foundry Local?

6. Microsoft Learn:What is Foundry Local on Azure Local?

7. Microsoft Learn:Foundry Local on Azure Local in disconnected environments

8. Microsoft Learn:Overview of Azure Arc-enabled Kubernetes

9. Microsoft Learn:What is Azure Local?

相关学习资料