MaxCompute Data+AI:大数据平台的 AI 化演进与实践

导读随着人工智能技术的快速发展，数据规模与处理复杂度的急剧增长，传统的数据仓库正面临前所未有的挑战。如何构建一个能够统一管理多模态数据、高效支撑 AI 全流程开发的计算平台，成为业界关注的核心议题。在本次分享中，阿里云智能集团产品专家刘洋，深入解读了 MaxCompute 在 Data + AI 方向的核心演进与产品能力，涵盖多模态数据存储管理、基于 Python 的分布式计算框架 MaxFrame、SQL AI 函数，以及在模型训练、汽车自动驾驶、具身智能等典型场景下的实践案例，全方位展示了 MaxCompute 作为云原生数据仓库，如何通过技术与产品的深度融合，加速 AI 数据资产的构建与应用落地。

主要内容包括以下几个部分：

1. MaxCompute Data + AI重点能力

2. MaxCompute 存储管理 For AI

3.MaxCompute 计算引擎 For AI

4. MaxCompute Data + AI 重点场景及案例

分享嘉宾｜刘洋阿里云智能集团产品专家

出品社区｜DataFun

🚀AI Agent 时代来了，你的数据平台准备好了吗？

💥大数据平台到底怎么了？ — 传统架构在AI时代面临的真正困境

💥Agentic AI为何是破局关键？ ——从被动分析到主动决策的范式转变

💥实例场景 · 真实落地—阿里云、Grab、小红书、Vertica的一线实践

💥市场格局与平台选型——湖仓一体、算存分离、数据+AI方案横向对比

📥 扫码免费获取电子书：

MaxCompute Data + AI 重点能力

MaxCompute 作为阿里云核心的大数据计算平台，在 AI 时代正在围绕计算与存储两大方向进行重点演进。其技术架构自底向上可分为数据层、模型层、计算层与引擎层。

在数据层，MaxCompute 不仅管理自身存储的结构化与非结构化数据，还通过 BLOB 字段类型支持音频、视频等多模态数据的统一存储。同时，通过 Object Table、外部存储访问等能力，打通了与 OSS、Hologres 等存储引擎的连接。

在模型层，MaxCompute 托管了包括 XGBoost、LightGBM 在内的传统机器学习模型，以及千问、DeepSeek 等开源大模型，并支持调用百炼平台的商业化旗舰模型，实现模型服务的统一管理。

在计算层，MaxCompute 提供 CPU 与 GPU 的混合算力调度，用户可通过声明式的方式灵活指定所需资源，以应对多模态数据处理对异构算力的强烈需求。

在引擎层，MaxCompute 面向不同用户群体提供了两种核心计算接口：一是 SQL 引擎，通过 SQL AI 函数直接调用大模型进行离线推理；二是 MaxFrame，一套原生 Python 接口的分布式计算框架，满足数据科学家与 AI 工程师对灵活性与复杂度的要求。

02 MaxCompute 存储管理 For AI

MaxCompute 在存储方面经历了从数据联邦、湖仓一体到面向 AI 的多模态数据管理的演进。当前，其核心能力聚焦于多模态数据的统一存储与管理。

MaxCompute 提供了一套完整的“湖仓多模态数据统一管理”架构。该架构支持在 MaxCompute 内表（通过BLOB类型）和外部存储（如 OSS）中统一存放图片、视频、音频等多种格式的数据。通过统一的元数据服务（Max Meta）与 Storage API，用户可以在不移动数据的情况下，实现跨存储引擎的元数据管理与数据访问。

MaxCompute 支持单表多模态数据的一行多列混存。例如，可以将音视频图文数据与其对应的元数据、Prompt 统一存储在同一个表中，数据类型包括 BLOB、JSON 等。这种设计极大地简化了 AI 推理和多模态 AIGC 应用的数据组织与管理复杂度。

🚀AI Agent 时代来了，你的数据平台准备好了吗？

💥大数据平台到底怎么了？ — 传统架构在AI时代面临的真正困境

💥Agentic AI为何是破局关键？ ——从被动分析到主动决策的范式转变

💥实例场景 · 真实落地—阿里云、Grab、小红书、Vertica的一线实践

💥市场格局与平台选型——湖仓一体、算存分离、数据+AI方案横向对比

📥 扫码免费获取电子书：

03 MaxCompute 计算引擎 For AI

MaxCompute 的计算引擎能力，紧密围绕模型管理、AI Function 和异构计算展开。

在 MaxCompute 中，用户可以通过模型管理能力，统一查看和管理平台上的各类模型，并支持自行上传自定义模型。

1. SQL AI Function

针对 SQL 分析师群体，MaxCompute 提供了低门槛的 AI 推理分析能力——SQL AI Function。用户可以通过简单的 SQL 函数调用大模型，对 MaxCompute 中的结构化数据进行离线推理，极大降低了 AI 能力的应用门槛。

2. MaxFrame：云原生分布式 Python 计算框架

MaxFrame 是 MaxCompute 为满足 Python 生态下高效大数据处理和 AI 开发需求而推出的核心产品。它兼容 Pandas DataFrame 标准，可直接利用 MaxCompute 的海量计算资源进行分布式算子执行。MaxFrame 与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 的 Python 开发生态。

MaxFrame 具备三大核心优势：

异构算力混合调度：支持在同一个作业中混合使用 CPU（CU）与 GPU（GU）资源，用户可通过编程接口灵活指定。

分布式数据处理算子：兼容 Pandas、XGBoost、LightGBM 等开源算法库，作业自动分布式执行，不受本地资源限制。

稳定便捷的开发体验：与 DataWorks 深度集成，提供交互式开发与调度能力；支持自定义镜像，简化环境配置；支持 OSS 挂载与 AI 助手，提升开发效率。

MaxFrame 的主要应用场景包括多模态数据处理（如汽车自动驾驶中的视频切帧、图片打标）和大模型离线推理（如文本翻译、数据打标、Embedding）。

3. MaxFrame AI Function

MaxFrame 内置了 AI Function，集成了 Qwen3（8B、14B、32B 等）和 DeepSeek-R1-Distill-Qwen 等系列大模型。通过简单的 SDK 调用，用户可以指定模型、设置提示词、传入参数，对 MaxCompute 内表的结构化数据或外表的多模态数据进行大规模离线推理。

4. 便捷的开发体验

MaxFrame SDK 已对外开放，并支持在多种环境中使用，包括：

本地开发环境：支持在 VS Code、Jupyter Notebook 中通过 pip install maxframe 直接安装使用。

DataWorks Notebook：深度集成，支持通过 Magic Command 快速启停 MaxFrame Session。

DataWorks 数据开发：通过 PyODPS3 节点进行 MaxFrame 作业开发。

MaxCompute Notebook：内置 MaxFrame SDK，支持交互式开发。

🚀AI Agent 时代来了，你的数据平台准备好了吗？

💥大数据平台到底怎么了？ — 传统架构在AI时代面临的真正困境

💥Agentic AI为何是破局关键？ ——从被动分析到主动决策的范式转变

💥实例场景 · 真实落地—阿里云、Grab、小红书、Vertica的一线实践

💥市场格局与平台选型——湖仓一体、算存分离、数据+AI方案横向对比

📥 扫码免费获取电子书：

04 MaxCompute Data + AI 重点场景及案例

MaxCompute Data + AI 能力已在多个行业落地，涵盖大模型、汽车自动驾驶、金融科技等方向。

1. 大模型数据预处理

某头部大模型公司，在构建企业级数据处理工作流时，面临 PB 级数据存储、10 万核以上资源弹性、数据安全与权限管理、Pipeline 任务编排等核心需求。基于 MaxFrame，该公司实现了完整的数据预处理 Pipeline，其中 MinHash 算子性能提升 50% 以上，单次任务稳定运行 300 万核时，弹性资源达到 16 万核，远超要求的 10 万核，将 PB 级数据处理周期大幅缩短。

整个技术架构基于 MaxCompute + DataWorks 构建。任务开发在 DataWorks Notebook 中完成，通过 Pipeline 编排后自动调度至 MaxCompute。MaxCompute 提供弹性资源调度与分布式处理能力，处理后的数据统一存储在 MaxCompute 内表，下游通过 DataWorks 数据地图进行查询与分发。

2. 汽车具身智能数据预处理

在汽车具身智能场景中，车端持续产生海量多模态数据（图片、音视频、雷达、GPS 等），通常以 ROS bag 文件存储。某客户面临开发环境配置复杂、计算资源调度不灵活、海量数据处理性能压力大、任务及数据管理复杂度高等痛点。

基于 MaxFrame，客户实现了端到端的具身智能数据处理工作流。MaxFrame 提供的弹性计算资源能力，有效应对了业务波峰波谷；其分布式处理能力，相比传统单机方式，数据处理效率提升了 40% 以上。

3. 多模态数据处理

在车联网场景中，某客户需要对采集的图片、视频数据进行模式识别与打标。其核心需求包括：多模态数据与结构化数据的统一管理与跨模态计算；提供分布式 Python 计算框架，支持调用第三方模型；便捷的模型文件与第三方依赖管理。

MaxCompute 通过 Object Table 实现了对多模态数据的统一管理，支持直接检索文件路径、大小、更新时间等信息。MaxFrame 内置了 MinHash 等常用算子，并支持用户通过自定义镜像（如 yolo11n）管理模型与依赖。同时，MaxFrame 支持用户灵活设置并发度，大幅提升了作业处理效率。

4. 典型案例

某头部大模型公司：面临海量文本数据预处理挑战，初始采用本地化自建方案但存在资源管理、代码开发及性能优化痛点。MaxCompute 通过 MaxFrame 分布式处理实现 FastText 语言分类、MinHash 去重等操作，整个流程在 DataWorks 中调度并构建标准 CI/CD 流程，支持与云下代码仓库集成。

汽车自动驾驶与具身智能：数据采集不固定，来源多样（图片、音频、雷达、GPS 等），以标准 BAG 文件格式组织。MaxFrame 在云上分布式环境下相比单机 Python 性能提升超过 40%。

多模态图片打标：结合 AI Function 能力实现自动化图片打标和向量化，调用大模型进行图像 Embedding 以支撑后续检索分析。

结语：MaxCompute 通过构建从存储到计算、从 SQL 到 Python 的全链路 Data + AI 能力，正成为 AI 时代数据资产构建与智能应用落地的坚实底座。无论是大模型的数据预处理，还是具身智能的多模态数据治理，MaxCompute 都以云原生、弹性、高性能的产品能力，持续赋能千行百业的智能化转型。