AI服务器迎内存革命

“下一代AI服务器的关键，可能不再是堆更多GPU，而是让内存真正跟上模型增长速度”

AI基础设施的下一轮竞争，可能不再只是GPU数量和制程节点的竞争，而是服务器架构、内存体系、软件栈和总体拥有成本的综合竞争。Majestic Labs 押注内存池化，反映出行业正在重新定义AI推理的核心瓶颈。对于大模型时代而言，算力仍是基础，但能否让海量内存以足够低的成本、足够高的带宽服务计算，或许才是决定下一代AI服务器价值的关键。

AI服务器的竞争正在进入一个新阶段。过去，行业习惯围绕GPU构建系统，把尽可能多的HBM堆在高性能计算芯片旁边。但随着大模型规模扩大、上下文长度增加、推理成本快速上升，单纯“算力优先”的架构开始暴露短板。Majestic Labs 选择从内存侧切入，用内存池化服务器重新设计AI推理基础设施，目标是在单台服务器中提供远超传统GPU系统的内存容量与带宽。

✦ 1 ✦ 从算力转向内存

在AI基础设施的早期阶段，行业最关注的是FLOPS、GPU数量、训练集群规模和算力密度。但随着大模型进入实际推理部署，问题逐渐发生变化：很多场景并不是计算单元不够快，而是模型权重、KV Cache、长上下文数据和多用户请求无法被高效地送到计算单元。这就是所谓的“内存墙”问题。

大模型推理尤其容易受到内存带宽和内存容量限制。模型越大、上下文越长、并发用户越多，系统越需要快速访问大量数据。如果内存容量不足，系统就要拆分到更多GPU或更多服务器；如果内存带宽不足，计算单元就会等待数据，导致昂贵的GPU利用率下降。

传统GPU服务器的设计逻辑是“计算优先”：先选择高性能计算芯片，再围绕它配置尽可能多的HBM。这种架构在训练和高密度计算中非常强大，但在内存需求远高于计算需求的推理场景中，可能会出现计算与内存比例不匹配的问题。

换句话说，企业有时并不是为了获得更多算力而购买更多GPU，而是为了获得更多显存被迫购买更多GPU。这会带来更高的硬件成本、更高的功耗、更复杂的集群管理，以及更低的资源利用率。

✦ 2 ✦ Majestic Labs 的核心思路

Majestic Labs 的切入点并不是直接复制GPU路线，也不是单纯打造一颗更强的AI加速芯片，而是重新定义服务器内部的内存架构。

其方案采用“内存优先”的系统设计，将内存与计算解耦，让内存容量和计算能力可以独立扩展。公司规划的服务器可使用大规模标准LPDDR内存，并通过内存池化方式，让AI加速芯片访问一个统一、连续、扁平的内存空间。

这与传统GPU服务器形成鲜明对比。GPU系统通常存在多级内存：本地HBM、其他GPU上的HBM、主机内存、外部存储等。开发者和系统软件需要不断处理数据放在哪里、如何迁移、如何分片、如何调度等问题。硬件性能很强，但软件映射成本也很高。

Majestic Labs 希望通过统一内存池降低这种复杂度。对计算芯片来说，整个内存空间更像一个统一地址空间，而不是分散在多个设备和层级中的碎片化资源。这样可以简化编程模型，也有利于提升大模型推理中的资源利用效率。

这并不意味着HBM不重要。HBM依然是当前AI加速器实现高带宽的关键技术。但HBM的问题在于容量有限、成本高、供应链紧张，并且通常与计算芯片紧密绑定。对于需要极大内存容量的推理系统来说，单靠HBM扩展并不总是经济。

Majestic Labs 的判断是：未来AI推理需要一种既能提供大容量，又能接近HBM级别带宽和低延迟体验的架构。这正是内存池化方案试图解决的问题。

✦ 3 ✦ 内存接口芯片与AI加速芯片

Majestic Labs 正在开发两类关键芯片：一类是靠近计算和内存的内存接口芯片，另一类是多核心AI加速芯片。

内存接口芯片的作用是把大量LPDDR内存聚合起来，并通过高速互连提供给AI计算芯片访问。这里的难点不只是“连起来”，而是要在物理层、协议层、软件层、可靠性和容错机制上同时解决问题。

大模型推理对延迟和带宽极其敏感。如果内存池容量很大但访问速度不够，计算单元依然会被饿住。因此，真正的技术挑战在于：如何把分布在服务器内部的大规模DRAM，做成一个高带宽、低延迟、可编程、可管理的内存资源池。

在计算侧，Majestic Labs 的加速器并不追求完全另类的编程模式，而是强调可编程性和软件栈可用性。其AI加速芯片包含大量CPU核心和矩阵乘法加速单元，并配套编译器和底层软件支持。

这一点很关键。AI基础设施的成功并不只取决于芯片峰值性能，还取决于开发者能否快速上手，现有模型能否迁移，推理框架能否适配，工具链是否稳定。对于大客户来说，硬件再先进，如果软件栈无法支撑生产部署，就很难形成真正的商业价值。

Majestic Labs 目前的软件路径倾向于兼容或利用 HuggingFace、Triton、vLLM 等主流AI生态，让模型能够被降低到可执行代码，并在其服务器仿真环境中运行。这说明它并不是只做芯片，而是在做完整系统。

✦ 4 ✦ 灵活的计算

传统GPU服务器的一个结构性问题，是计算和显存往往被打包销售。想要更多显存，就必须购买更多GPU；即使应用并不需要那么多计算单元，也很难只扩展内存。

Majestic Labs 试图改变这一点。其服务器设计支持不同的计算芯片数量和内存配置，可以根据工作负载调整计算—内存比例。对于AI推理来说，这种灵活性很有价值。

例如，大模型推理通常可以拆分为两个阶段：prefill 和 decode。Prefill阶段处理输入上下文，计算压力较高；decode阶段逐token生成输出，往往更受内存带宽和KV Cache影响。不同阶段对计算和内存的需求不同，如果系统能灵活配置，就有机会提升整体经济性。

这也是Majestic Labs瞄准推理市场的原因。训练市场仍然高度依赖GPU生态和成熟集群软件，而推理市场更关注单位请求成本、并发能力、功耗、延迟和部署效率。当企业开始大规模运行AI应用时，每一次推理调用的成本都会被放大。

对于超大规模云厂商、AI云服务商、大型企业，以及高频交易等对延迟和成本敏感的行业，内存池化架构的吸引力在于：它可能减少为了“买内存”而过度购买GPU的情况，让昂贵计算资源得到更合理使用。

✦ 5 ✦ 挑战服务器架构

Majestic Labs 的故事不应被简单理解为“又一家AI芯片创业公司挑战GPU巨头”。更准确地说，它挑战的是当前AI服务器的默认架构。

过去十年，AI硬件进步很大程度上围绕更强计算单元、更高带宽HBM、更先进封装和更大集群互连展开。但现在，模型规模、上下文长度、推理并发和能耗成本正在推动行业重新审视系统设计：服务器是否应该继续以计算芯片为中心？内存是否应该从附属资源变成架构核心？软件是否应该继续承担复杂的数据映射任务？

Majestic Labs 给出的答案是：AI基础设施需要从“计算优先”转向“内存优先”。这种思路并不意味着计算不重要，而是意味着计算和内存的比例需要重新平衡。对于很多推理工作负载，真正决定成本的不是峰值算力，而是单位内存带宽、单位内存容量、单位功耗和单位请求吞吐。

如果一台服务器能够承载过去需要多机架才能提供的内存资源，并且保持足够带宽和低延迟，那么数据中心的空间、供电、散热、网络和运维复杂度都有可能下降。

✦ 6 ✦ 关键挑战仍在落地

当然，内存池化AI服务器要真正成功，还需要跨过多道门槛。首先是互连带宽和延迟。把LPDDR聚合成大规模共享内存池并不难理解，但要让它在AI推理中接近HBM的使用体验，难度很高。物理层信号完整性、协议开销、流控机制、原子操作、条带化策略和故障恢复都会影响系统表现。

其次是软件栈成熟度。AI客户并不愿意为了新硬件重写大量代码。能否支持主流模型、主流框架、主流推理引擎，以及能否在真实生产环境中稳定运行，将直接决定其市场接受度。

第三是供应链与量产节奏。公司计划相关芯片流片，并面向领先客户推进服务器交付。对于硬件创业公司来说，从架构验证到芯片流片，再到系统级可靠性测试、客户导入和规模出货，每一步都充满工程风险。

但这类尝试依然值得关注，因为AI基础设施已经到了必须重新思考系统边界的阶段。GPU仍然强大，但GPU并不能独自解决所有AI部署问题。未来的数据中心很可能不是单一架构通吃，而是训练、prefill、decode、长上下文推理、RAG、agentic AI、图计算等不同场景对应不同系统形态。

Majestic Labs 的价值，正是在这个趋势中提出了一个明确方向：不再只问“芯片能算多快”，而是问“内存能否支撑模型真正跑得起、跑得稳、跑得便宜”。

❖ END ❖

《EDA网院》出品 · 与全球工程师一起探索芯片的世界