AI一样有架构,最经典的三层架构

今天讲讲AI的三层架构

我们天天搞各种软硬件系统，就喜欢用这种最简单的分层次方式来理解新事物。AI这套新事物，以及当前我们了解到的Agent，应该说是一个产业的新事物。我们该如何对它进行分层理解？

我翻阅了很多资料，

很多相关材料均包括中国移动、几大运营商、华为、百度，以及上海交大等高校，他们基本上都有一个统一的答，AI 分为三层：第一层是基础设施层，包括服务器、存储、网络、安全，以及由 AI 芯片打造的服务器和相关安全、硬件设备，还包括硬件算力调度的软件平台；第二层是模型层，即各大模型厂商推出的各类模型。第三层是上层的智能体开发层，包含应用层开发出的智能体应用。这一层的核心内容是智能体厂商和开发厂商需要搭建的那一套 harness 组件，以及将应用与 AI 深度融合，形成以 AI native 为导向的新应用。

模型层的大模型厂商发现，模型不仅可以像之前一样卖算力，还可以像现在这样卖 token。卖 token 是一条非常简便且高效赚钱的路子，大家必然会花大精力投入其中。那么，模型厂商就会疏于或懒于去做其他方向的工作，更不愿意深入不同的行业领域去了解业务，再做定制化开发。对模型厂商来说，这些都是高投入低回报的方向，自然没有人愿意去做。

那这样的工作会落到谁手里呢？大概率会落到基础设施那一套平台软件厂商手里，比如说华为、新华三、联想，以及一些小公司；还有那些舍得在本地吃当地红利或行业红利的三产类公司，也就是 SaaS 科技公司。

我们观察到这几层架构。作为软件系统架构师，我们应重点关注哪些内容？底层基础设施层即硬件层，包括AI服务器、高性能分布式文件存储、Rocket网络以及AI安全等。在撰写论文时，我们通常会用一段篇幅作为核心描述，阐述如何通过硬件及其上层软件（如云平台或训推框架平台）来提升高性能与可用性。

再往上走，模型层就没什么可聊的了，用什么模型基本就定下来了。模型方面，厂商通常会提前做好适配，实现模型与不同芯片的配套，比如昇腾配套 DeepSeek V4 版本，这就是典型的组合。

继续看上层应用，目前主要是 Agent 应用，其本质是“模型 + Harness 工程”。Harness 工程包含多种组件：常见的 .md 文件、软性的 rules 规则文件、系统提示词 system prompt，以及记忆系统（如 Redis、SQLite 或向量知识库等）。

此外，为了打造可视化的 Harness 工程，可以引入 Prometheus，并增加 Role 或 Guardrails 进行安全防护。这些措施能让 Agent 应用具备可视化、可理解、可分析、可观测的效果。

总的来说，通过 Harness 让 Agent 智能体应用更像传统应用，但其本质实现的场景仍具备 AI 智能化的特性。

所以这么想一想，AI这东西放在今年下半年的软考中，一定会是一个重点。而且，我们只要把这套AI智能体的应用整体框架做一个梳理，有一个大致理解之后，再去写论文就轻而易举了。