ARTICLE · 1111285
第17讲:AI软件架构
第17讲:AI软件架构人工智能技术的发展正在改变传统软件系统的构建方式。传统软件主要依赖程序员预先编写确定性的业务规则，通过“输入—处理—输出”的方式完成任务。而人工智能软件则将机器学习模型、大语言模型、知识库、智能体等引入软件系统，使软件具备识别、预测、生成、推理和自主执行任务等能力。 因此，AI软件并不是简单地“在传统软件中增加一个AI模型”。从软件工程角度看，AI的引入会改变系统的功能划分、数据流、控制流以及软件开发和运维方式。一个典型的AI软件通常可以表示为6层结构：
从软件工程角度看，可以把一个AI软件简化为：用户交互层负责“用” → 应用服务层负责“管” → AI应用层负责“组织AI” → 模型层负责“推理” → 数据层负责“存取数据” → 基础设施层负责“运行”。这6层结构分别说明如下表：
1. AI软件架构的基本分类 根据AI在软件系统中所承担的角色，可以将AI软件架构分为以下几类： ① 模型服务型架构 ② 传统软件 + AI能力架构 ③ RAG（检索增强生成）架构 ④ AI Workflow（工作流）架构 ⑤ AI Agent（智能体）架构 ⑥ 多模态AI架构 ⑦ 多Agent协作架构 ⑧ 综合型AI软件架构 这些架构并不是互相排斥的。实际的软件系统通常会采用多种架构组合。例如，一个企业AI助手可能同时采用LLM、RAG、Agent和Workflow。 2. 模型服务型架构 模型服务型架构是最简单的AI软件架构。AI模型作为一个独立服务，为其他软件提供预测、分类、生成或识别能力。基本结构如下：用户请求→应用程序处理→AI模型服务→模型推理→返回结果。AI模型可以部署在本地服务器，也可以通过API调用云端模型。 例如，一个文本分类系统可以将用户输入发送给分类模型：“这是一封垃圾邮件吗？”→分类模型处理→ Spam / Not Spam。 典型应用有：垃圾邮件识别、图像分类、人脸识别、商品推荐、风险预测、销量预测、文本分类。 这种架构与传统软件的三层架构比较接近。AI模型可以被看作一种特殊的服务组件。其优点是结构简单、容易实现；缺点是模型通常只完成单一任务，无法处理复杂的多步骤业务。 3. 传统软件 + AI能力架构 在很多企业软件中，AI并不负责整个系统，而只是承担其中某个功能。 例如，一个办公软件可能增加：AI写作、AI摘要、AI翻译、AI信息提取、AI内容审核。此时系统仍然以传统软件架构为主体。其结构如下。 
例：在AI合同审查系统中，假设一个合同管理系统增加AI审查功能。传统软件负责：用户登录、合同上传、合同存储、权限管理、审批流程；AI负责：提取合同条款、识别风险、总结合同、给出修改建议。 这种架构适合在已有软件系统中逐步引入AI能力。 4. RAG架构 大语言模型虽然具有很强的语言理解和生成能力，但模型本身并不一定掌握某个组织内部的最新知识。例如：“公司的2026年差旅报销标准是什么？”如果这些信息只存在于企业内部文档中，仅依靠通用大模型无法可靠回答。RAG通过在生成答案之前检索外部知识，为模型提供相关资料。 RAG基本架构（执行过程）是：用户问题输入→ 问题向量化→向量数据库（本地知识库）检索→得到检索结果（包括问题本身）→输入LLM→生成答案。知识库的构建过程通常为：企业文档→文档解析→文本切分→Embedding→向量数据库。一种高级优化架构如下： 
例：已经构建了企业知识库，包括公司有以下文档：员工手册.pdf、差旅管理制度.docx、薪酬制度.pdf、IT使用规范.pdf。用户询问：“出差住宿标准是多少？”系统首先从知识库检索相关内容，然后将检索结果提供给大模型，让大模型生成回答。 因此，RAG的核心思想可以概括为：先检索，再生成。 5. AI Workflow架构 AI工作流将AI模型作为工作流中的一个或多个节点。传统工作流通常是：输入→步骤1→步骤2→步骤3→输出，加入AI以后变成：输入→数据处理→AI分析→条件判断→人工审核→AI生成→输出。 例：一个企业可以建立自动发票处理系统处理流程如下： 
在这个系统中，AI并不控制整个软件，而是作为工作流中的智能处理节点。 AI Workflow特别适合：文档处理、数据录入、内容审核、企业审批、客服工单、自动报告生成、它的核心优势是流程可控。 与完全自主的Agent相比，Workflow通常由开发人员预先定义执行步骤，因此更容易测试、调试和管理。 7. AI Agent架构 AI Agent进一步提高了AI系统的自主性。传统AI应用通常由程序员规定执行流程：步骤1 → 步骤2 → 步骤3。Agent则可以根据任务目标动态决定：下一步做什么？使用什么工具？是否需要继续执行？如何处理执行结果？基本架构如下： 
例：在AI数据分析助手中，用户提出：“分析本季度销售数据，并找出销售下降的主要原因。”Agent可能执行：理解任务→读取销售数据库→分析销售趋势→按地区进行比较→按产品进行比较→寻找异常数据→生成分析报告。其中每一步都可能由模型动态决定。 AI Agent与AI Workflow可以从控制方式上进行区分：
因此，Agent并不是Workflow的简单升级，而是将部分流程控制权交给AI模型。 7. 多模态AI架构 传统软件往往只处理一种主要数据类型，而多模态AI能够同时处理：文本、图片、音频、视频、文档。其基本架构： 
例：在智能医疗影像辅助系统中，用户上传医学影像并输入文字描述：医学影像+患者描述→多模态模型→影像特征分析→生成文字报告。在实际应用中，还需要结合权限管理、数据安全、人工审核等传统软件工程机制。 需要注意的是，对于医疗、金融等高风险领域，AI输出通常不能直接等同于最终专业结论，而应设置相应的人工审核和安全控制机制。 8. 多Agent协作架构 对于复杂任务，可以让多个Agent分别承担不同角色。例如，自动生成市场分析报告，可以设计成： 
每个Agent拥有不同的工具和任务。 例：一个“AI软件开发团队”可以设计为： 
这种架构适合任务复杂、角色明确的场景，但系统复杂度和运行成本也会随Agent数量增加。 9. 综合型AI软件架构 实际的大型AI软件通常不会只采用一种架构，而是将多种架构组合起来。 例如，一个企业AI助手可能采用：LLM作为核心模型、RAG访问企业知识库、Agent负责任务规划、Workflow负责固定业务流程、API负责调用企业系统、数据库保存业务数据。综合架构可以表示为： 
这类架构已经比较接近现代企业级AI应用的典型形态。 10. AI软件架构中的关键基础设施和AI软件架构的选择 除了上述应用架构，AI软件还需要考虑底层基础设施。主要包括以下三方面： 不同的软件需求适合不同的架构。下表给出了一些具体实例。
需要特别强调的是，架构越复杂并不意味着系统越好。 例如，一个简单的“企业制度问答系统”使用RAG就可能足够。如果为了体现AI能力而加入多个Agent，反而会增加系统的成本、延迟和调试难度。 因此，AI软件架构设计仍然遵循软件工程中的基本原则：以需求为驱动选择架构，而不是以技术为驱动选择架构。 11. AI软件架构与传统软件架构的区别 传统软件和AI软件最大的区别，并不是“有没有AI模型”，而是系统行为的确定性发生了变化。传统软件：输入 + 程序 + 数据→ 确定性结果，AI软件：输入 + 数据 + 模型 + 上下文→ 概率性结果。 因此，AI软件工程增加了一些传统软件较少关注的问题：Prompt设计、模型选择、模型评估、数据质量、幻觉控制、输出安全、Token成本、模型版本管理、AI结果评测、人机协作。这意味着AI软件架构不仅要解决传统软件中的功能、性能、可靠性和安全性问题，还要处理AI系统特有的不确定性和模型依赖问题。 小 结 从软件工程角度来看，AI软件架构可以从简单到复杂形成一个逐步演进的体系：模型服务→传统软件 + AI→RAG→AI Workflow→AI Agent→Multi-Agent→综合型AI系统。这些架构并不是严格的层级关系，而是不同的设计模式，其中： 因此，学习AI软件架构的重点并不是记住各种架构名称，而是理解一个核心问题：在一个软件系统中，AI应该承担什么职责，以及AI与数据、业务逻辑、工具和用户之间应该如何组织。
用户交互层 Web / App / API |
应用服务层 业务逻辑 / 权限 / 会话 |
AI应用层 Agent / RAG / Workflow / Prompt |
模型层 LLM / CV / Speech / ML |
数据层 SQL / NoSQL / Vector DB |
基础设施层 GPU / Cloud / API / Cache |
层次 | 职责 | 核心问题 | 主要内容 |
用户交互层 | 负责人与AI软件进行交互 | 用户如何使用系统？ | Web、App、API、输入输出 |
应用服务层 | 负责整个软件的业务逻辑和系统管理 | 软件业务如何运行？ | 业务逻辑、用户、权限、会话 |
AI应用层 | 负责把底层的AI模型组织成能够完成实际任务的AI应用 | 如何组织AI完成任务？ | RAG、Agent、Workflow、Prompt、Tools |
模型层 | 真正执行机器学习/深度学习推理 | AI如何进行推理？ | LLM、CV、Speech、ML、Embedding |
数据层 | 负责数据的存储、查询、管理和检索 | AI和业务数据存在哪里？ | SQL、NoSQL、Vector DB、对象存储 |
基础设施层 | 负责提供计算、网络、存储以及各种基础服务 | 软件运行在哪里？ | CPU、GPU、云、容器、缓存、网络 |
特征 | AI Workflow | AI Agent |
流程 | 预先定义 | 动态规划 |
控制方式 | 程序控制 | 模型参与控制 |
自主性 | 较低 | 较高 |
可预测性 | 较高 | 较低 |
调试难度 | 较低 | 较高 |
适合任务 | 固定流程 | 开放式复杂任务 |
模型服务：负责模型的加载、推理和API访问。 数据存储：负责存储多种数据。 可观测性：负责运营LLM,除了包括传统软件监控之外，还需关注：模型调用次数、Token消耗、响应时间、模型错误率、检索命中率、AI输出质量、用户反馈、安全事件。
需求 | 推荐架构 |
图像分类 | 模型服务型 |
销售预测 | 传统ML架构 |
AI写作 | LLM架构 |
企业知识问答 | RAG |
固定业务自动化 | AI Workflow |
自动完成复杂任务 | AI Agent |
图片+文字+语音 | 多模态 |
复杂角色协作 | Multi-Agent |
大型企业AI平台 | 综合型架构 |
模型服务解决“如何让软件使用AI能力”的问题； RAG解决“如何让AI使用外部知识”的问题； AI Workflow解决“如何将AI嵌入业务流程”的问题； Agent解决“如何让AI自主完成多步骤任务”的问题； Multi-Agent解决“如何让多个AI角色协作”的问题； 多模态架构解决“如何处理不同类型信息”的问题； 综合型架构则将这些能力组合起来，形成完整的企业级AI软件。