这两年,大家聊 AI 的时候,常常一开口就是大模型、Agent、RAG、推理加速、GPU 集群。
听起来很酷,但如果再往下问一句:
“这些模型到底跑在哪?GPU 集群怎么搭?网络、存储、驱动、监控谁来管?”
很多人就会陷入沉思。
没错,AI 的背后不只有模型,还有一整套 AI Infrastructure and Operations。也就是我们常说的 AI 基础设施与运维。
今天要介绍的,就是 NVIDIA 面向这个方向的入门级认证:
NCA-AIIO:NVIDIA-Certified Associate: AI Infrastructure and Operations
1. NCA-AIIO 是什么?
NCA-AIIO 是 NVIDIA 官方推出的 Associate 级认证,面向想进入 AI 基础设施、GPU 运维、AI 数据中心、推理平台方向的学习者和工程师。
它不是让你去手搓一个大模型,也不是让你背 Transformer 公式背到怀疑人生。
它更关注:
AI 数据中心里有哪些核心组件 GPU、CPU、DPU 分别负责什么 NVIDIA 的硬件和软件技术栈是什么 AI 工作负载对网络、存储、电力、冷却有什么要求 如何理解 GPU 监控、管理和运维工具 企业如何采用 NVIDIA 方案建设 AI 基础设施
简单说:
如果说大模型是发动机,那 NCA-AIIO 讲的是机房、油路、冷却系统、仪表盘和维修手册。
听起来没有“写 Prompt”那么性感,但没有这些,模型可能连启动都启动不了。
2. 课程主要讲什么?
这门课程可以理解为 NVIDIA AI Infrastructure 的入门地图。
它大致围绕六层展开:
如果你之前只知道 nvidia-smi,学完之后你会发现:
原来 NVIDIA 不只是显卡厂,它还顺手造了一整套 AI 数据中心宇宙。
3. 讲师介绍
课程风格比较偏基础入门,会大量使用类比来解释技术概念。
比如讲 CPU 和 GPU:
CPU 像少量高级专家,擅长复杂决策。 GPU 像大量并行工人,适合重复、可并行的大规模任务。
讲 DPU 的时候,也会用比较生活化的方式解释:CPU、GPU、DPU 各司其职,避免所有事情都挤在 CPU 身上。
这种讲法比较适合刚进入 AI Infra 的同学,不会一上来就把你扔进 CUDA、NCCL、RDMA 的深水区。
毕竟刚学 AI 基础设施,最怕的不是难,而是每个缩写都像一个新 boss。
4. AI 对职业发展的影响
过去几年,AI 改变的不只是算法岗位。
它也正在改变基础设施、运维、云平台、网络、存储、DevOps、SRE 这些岗位。
以前我们可能更关注:
Linux Kubernetes Docker CI/CD 监控告警 云原生平台
现在 AI 时代来了,新的关键词开始频繁出现:
GPU 集群 CUDA NCCL InfiniBand RoCE MIG vGPU DCGM Triton TensorRT-LLM vLLM KServe Volcano
这意味着一个趋势:
未来懂基础设施的人,如果再懂 AI workload,会越来越吃香。
以前你会部署 Web 服务,已经不错。
现在如果你还能回答:
为什么 GPU 利用率上不去? 为什么 NCCL 通信失败? 为什么模型加载很慢? 为什么推理延迟突然升高? 为什么 Pod 申请了 GPU 但调度不上? 为什么显存够但吞吐上不去?
那你就开始从普通运维,往 AI Infra 工程师方向进阶了。
这也是 NCA-AIIO 的价值:它帮你建立第一张地图。
5. NVIDIA 认证体系概览
NVIDIA 的认证大致可以按方向理解:
其中 NCA-AIIO 是比较适合入门的一张证书。
它不像 NCP-AII、NCP-AIO 那样偏专业实操,也不像生成式 AI 认证那样偏模型应用。
它更像是:
“欢迎来到 NVIDIA AI Infra 世界,这是地图,这是方向,这是你接下来会遇到的怪。”
6. NCA-AIIO 考试覆盖主题
根据课程内容和认证方向,NCA-AIIO 主要覆盖以下主题:
1. AI 基础知识
包括:
AI、ML、DL、GenAI 的关系 Transformer 模型基础 AI 在不同行业中的应用 AI 工作流基本概念
2. 加速计算基础
包括:
CPU 与 GPU 的区别 GPU 为什么适合 AI CUDA Core、Tensor Core、RT Core 的区别 NVIDIA GPU 创新历史
3. AI 数据中心
包括:
AI 中心数据中心的组成 计算、网络、存储、电力、冷却 PUE 能效指标 云上部署与本地部署对比
4. NVIDIA 硬件平台
包括:
DGX 平台 DGX SuperPOD ConnectX BlueField DPU DGX A100 与 DGX H100
5. 网络与数据移动
包括:
Ethernet 与 InfiniBand Converged Ethernet / RoCE NVLink、NVSwitch、PCIe DMA、RDMA GPUDirect RDMA GPUDirect Storage
6. 驱动、虚拟化与核心库
包括:
NVIDIA GPU Driver CUDA CUDA 安装基础 NCCL vGPU MIG
7. 监控和管理
包括:
NVIDIA-SMI DCGM Base Command Manager 不同工具的适用场景
7. 谁适合学 NCA-AIIO?
我觉得以下几类人比较适合:
想从传统运维转向 AI Infra 的同学 做 Kubernetes / DevOps / SRE,想补 GPU 和 AI 集群知识的人 做私有化交付,需要理解 GPU 服务器、驱动、网络和监控的人 做 AI 平台,但对底层硬件和 NVIDIA 技术栈还不熟的人 准备后续学习 NCP-AII、NCP-AIO 的人 想系统了解 NVIDIA AI 基础设施地图的人
如果你现在只会一句:
nvidia-smi没关系,很多 AI Infra 工程师的第一步也都是从这句开始的。
只不过后面你会发现,nvidia-smi 只是新手村门口那块木牌。
8. 学完之后能获得什么?
学完 NCA-AIIO 相关课程后,你大概率能建立以下认知:
知道 NVIDIA AI 技术栈有哪些层次 能区分 CPU、GPU、DPU 的角色 能理解 DGX、SuperPOD 的定位 能区分 Ethernet、InfiniBand、RDMA、NVLink、NCCL 能理解 vGPU 和 MIG 的区别 能知道 NVIDIA-SMI、DCGM、BCM 分别用在什么场景 能从整体上理解一个 AI 数据中心如何支撑模型训练和推理
它不会让你立刻成为 GPU 集群专家,但会让你不再面对一堆缩写时两眼发黑。
9. 推荐学习方式
建议按这个顺序学:
先看 AI Infrastructure and Operations Fundamentals对照 NCA-AIIO 考试大纲整理知识点 重点记忆各种对比关系 找一台 GPU 机器练习 nvidia-smi了解 CUDA、NCCL、DCGM 的基本用途 再继续学习 Kubernetes GPU Operator、vLLM、Triton 等实操内容
尤其要注意对比类知识点,比如:
这些内容非常适合做考试速记。
10. 最后说两句
AI 时代,模型当然重要。
但模型背后的基础设施也同样重要。
一个大模型能不能稳定服务,不只取决于参数量,也取决于 GPU、网络、存储、驱动、调度、监控和运维体系。
所以,如果你正在从传统运维、云原生、DevOps、SRE 转向 AI Infra,NCA-AIIO 是一个不错的起点。
它不会一口气把你变成专家,但它会帮你把地图展开。
至于后面是走 NCP-AII、NCP-AIO,还是深入 vLLM、Triton、KServe、Volcano,那就是下一段旅程了。
毕竟 AI Infra 这条路,越往下走,越会发现:
原来大模型背后,不只是“算力”,还有一整套工程世界。
如果你需要 NCA-AIIO 课程字幕整理版、章节笔记、考试速记表、学习路线图,可以关注后留言或私信。
我会继续整理 AI Infra、GPU 运维、NVIDIA 认证、推理平台相关内容。
下次我们可以聊聊:
CPU、GPU、DPU 到底各管什么?为什么 AI 数据中心越来越像一座“算力工厂”?
夜雨聆风