AI数据湖正在驱动全新的存储需求

本文探讨了AI发展对数据中心存储带来的新挑战，指出AI数据湖已从被动存储转变为高吞吐量的活跃分发平台，而QLC NAND等超大容量闪存技术正成为解决能耗与性能瓶颈的关键路径。

译自：AI data lakes are driving new storage demands^[1]

作者：Mrinal Kochar

AI发展的狂飙突进正在对数据中心的设计和运营范式发起挑战。超大规模计算的双支柱——智能处理器和为其提供数据的内存——也不例外。超大规模运营商在GPU集群和高带宽内存上进行了大量投资，以推动AI模型训练和推理。尽管这些投资开创了历史性的性能提升，但也暴露出了一个设计裂痕，而数据中心架构师们正竞相弥合这一裂痕。

当今最紧迫的AI计算挑战之一，不再取决于加速处理器周期，而是如何高效、持续、大规模地为各种计算引擎提供数据。

这是因为AI工作负载正在重新定义数据在数据中心中的角色。过去，数据是以间歇性或可预测的批次方式被访问的，而如今的数据在训练、推理以及复杂的智能体工作负载中被持续消耗^[2]、调取和重新组合。因此，曾经只容纳原始或半结构化数据并执行少量离线分析的数据湖和其他存储系统，现在被期望作为高吞吐量的数据分发平台来运行。

“当今最紧迫的AI计算挑战之一，不再取决于加速处理器周期，而是如何高效、持续、大规模地为各种计算引擎提供数据。”

对于负责预算、基础设施规划和长期路线图的数据中心管理者来说，这种转变引入了一系列新的权衡。

AI数据湖与不断变化的数据性质

长期以来，数据中心一直依赖集中式且具成本效益的存储库来存储海量的原始数据^[3]，范围从文本、图像到视频内容和物理传感器输出。这些仓库或数据湖在需要时被访问，通常用于面向批次的分析。

但AI改变了数据湖模型的范围和行为。

AI训练工作 workload 会重复访问大型数据集，通常跨越分布式集群。AI推理则进一步提高了要求，它会产生超出单个查询范围的数据访问事件。看似简单的请求可能会触发数十个底层操作，每个操作都需要访问存储的数据、中间结果或上下文信息。

因此，AI数据湖不仅用于存储数据^[4]。它们通过允许多个管道并发访问以及在持续负载下快速摄入新数据，以高速度持续交付输出。

“实际上，AI data湖不再是被动的存储库；它们是主动的、持久的，并且对整体系统性能越来越核心。”

实际上，AI数据湖不再是被动的存储库；它们是主动的、持久的，并且对整体系统性能越来越核心。

为什么传统存储方法会失效

超大规模数据中心面临的问题是，其存储架构并非为AI推理工作负载而设计。传统数据湖假设在任何给定时间只会访问一小部分存储数据。它们能够容忍延迟，并针对每个TB的成本进行了优化，而不是针对每个工作负载的吞吐量。该模型对于报告和分析运行良好，但在持续的、并行访问模式下却举步维艰。

与此同时，GPU集群的构建和运营成本高昂。它们消耗大量电力，并需要先进的冷却解决方案。仅仅增加更多的计算能力或基于DRAM的高带宽内存往往是不可行的。电力预算、空间以及更换周期施加了物理和经济限制。

“超大规模数据中心面临的问题是，其存储架构并非为AI推理工作负载而设计。”

这种压力也在重塑某些云服务商构建其存储服务和SLA（服务等级协议）的方式。早在生成式AI兴起之前，超大规模厂商就已经开始将客户划分为由延迟、吞吐量、IOPS和数据可用性保证定义的存储性能层。成本较低的归档和容量层强调成本和规模，而高级层则越来越多地依赖全闪存基础设施来提供更快的响应时间和可预测的性能。AI正在加速这种转变。随着推理工作负载要求近乎持续地访问海量数据集，越来越多的客户被推向能够维持并行数据检索而无瓶颈的高性能存储层。

QLC NAND与超高容量闪存的概念

这些挑战需要一种不同的存储方法，即在规模上平衡容量、性能和效率。

四阶单元（QLC）NAND闪存通过在每个单元中编码四个比特来增加存储密度，从而实现比其他NAND配置显著更高的容量。架构和制造方面的进步将企业级SSD容量推向了新的高度，包括最近展示的专门为AI工作负载构建的256TB NVMe驱动器。

这些超高容量SSD支持数据密集型应用，如AI数据湖，在这些应用中，规模和持续吞吐量都至关重要。通过增加每个设备的容量，它们允许数据中心用更少的驱动器存储更多数据，从而减少存储基础设施的物理占用空间。

好处不仅限于节省空间。更高的密度转化为能源效率，以“每瓦特太字节（TB/W）”来衡量。这是能源消耗主要限制因素的超大规模环境中的关键考量。

这些改进也反映了闪存设计方式的更广泛转变。NAND闪存不再充当通用存储介质，而是满足了AI的特定需求，在AI中，持续的访问模式和大型数据集占主导地位。

为AI规模重新思考SSD架构

随着每个驱动器的容量达到数百太字节，新的工程挑战随之出现。其中最重要的一项是随着时间推移高效管理数据。

传统SSD设计依靠后台进程来回收和重新组织数据，以维持性能和耐用性。在极高容量下，如果没有仔细管理，这些进程可能会变得低效。频繁重写大量数据既不切实际也不节能，并且会缩短驱动器的寿命。

为了解决这个问题，较新的架构正专注于减少不必要的数据移动。通过重新思考I/O操作的处理方式并优化数据放置，可以最大程度地减少写入放大并提高整体系统效率。

这些变化可能看起来是渐进的，但在超大规模下，它们转化为巨大的成本节省和更快的价值实现时间。

对数据中心战略的影响

对于数据中心管理者而言，AI数据湖和超高容量闪存的兴起提供了一种扩展存储并支持持续AI工作负载的方法，而不会成比例地增加成本、功耗或物理占用空间。

在实践中，这意味着采用更细分的存储方法，将高性能层保留在计算层附近。与此同时，基于QLC的高容量系统固定了数据湖，并创造了一个更平衡的架构，既支持当前的工作负载，又支持未来的需求。

无论采用何种内存或将其应用于何处，AI数据湖的规模和重要性都将继续增长。随着模型变得越来越复杂以及推理工作负载的扩大，存储系统的压力只会增加。

“通过实现密集、高效、高吞吐量的存储，QLC NAND为寻求扩展其AI能力的企业提供了一条实用的前进道路。”

与此同时，电力、空间和成本周围的限制将限制暴力破解方法的有效性。数据中心设计的未来取决于将计算、内存和存储更紧密地结合在一起的平衡架构。

高容量QLC NAND闪存势必在该演进中发挥重要作用。通过实现密集、高效、高吞吐量的存储，QLC NAND为寻求扩展其AI能力的企业提供了一条实用的前进道路。

引用链接

[1] AI data lakes are driving new storage demands: https://thenewstack.io/ai-data-lakes-storage/[2] 如今的数据在训练、推理以及复杂的智能体工作负载中被持续消耗: https://thenewstack.io/ai-consumes-lots-of-energy-can-it-ever-be-sustainable/[3] 原始数据: https://thenewstack.io/modus-enterprise-context-warehouse/[4] 存储数据: https://thenewstack.io/medium-scylladb-feature-store/