夜雨聆风现在想进顶尖AI实验室，光会调PyTorch已经不够用了。
招聘启事上悄悄多了一行要求：CUDA经验优先。
这话说得毫不夸张。
过去五年，PyTorch、分布式训练框架、8-bit量化，把训练大模型的门槛拉到了历史最低。
几乎任何一个工程师，装好环境、抄一份脚本，就能跑起一个模型。
可问题也在这里：当所有人都站在同一套工具链上，差异化就只剩两条路，要么拼算法，要么拼系统底层的极致实现。
后一条路，几乎没有捷径。
它要求你真正理解GPU是怎么算数的，理解一个kernel在芯片上到底跑成了什么样。
这恰好是眼下最稀缺、也最难速成的一种能力。
于是斯坦福出手了。
一条推文，实锤了一门「王炸」课程
6月30日，AI教育博主 @Hesamation 发了一条推文，很快被大量转发：
"Stanford dropped their latest course on Parallel Programming, GPU, and CUDA. 24 hours, 19 lessons. this is one of the hottest skills that AI labs are looking for."
「斯坦福发布了最新的并行编程、GPU和CUDA课程。24小时，19节课。这是AI实验室目前最热门的底层技能之一。」
推文附了一张课程截图，评论区很快有人补上了播放列表链接。
▲ @Hesamation 的推文，配图为CS149讲座片段，发布后获得1000+点赞、1.3万收藏
这条推文说的"最新"，准确讲是Fall 2025的最新课表配2023年录制的讲座视频，官网写得明白：今年不再公开发布新录像，沿用三年前那套。
但这丝毫不影响它的分量。
因为翻开这门课的内容清单就会发现，它讲的东西，恰恰是眼下每一个AI基础设施团队天天在死磕的问题。
这门课到底是什么
它的正式名字是Stanford CS149：Parallel Computing，每周二四上午10点半在NVIDIA Auditorium开课，两位主讲人分量都不轻。
▲ CS149官网首页，明确写出课程目标：教会学生设计现代并行计算系统所需的原理与工程权衡
Kayvon Fatahalian，曾在CMU创办了传奇课程15-418 Parallel Computing，风格严谨扎实，常年逼着学生对着真实机器的测量数据较真。
Kunle Olukotun，斯坦福多核架构的开拓者之一，早年主导过Hydra项目和Sun的Niagara处理器，如今研究方向也转向了AI加速器与软件、芯片的协同设计。
两人在课程简介里说得毫不含糊：
"From smart phones, to multi-core CPUs, to GPUs, to AI accelerators, to the world's largest supercomputers and web sites, parallel processing is ubiquitous in modern computing."
「从智能手机到多核CPU，从GPU到AI加速器，再到全球最大的超算和网站，并行计算无处不在。」
这门课已经开了很多年，但讲义仍在随着芯片的更新换代持续调整，最新一版加入了对Trainium2等新加速器的讨论。
真正让人倒吸一口气的，是完整摊开讲义列表的那一刻。
从第9讲开始，几乎全是AI基础设施
前六讲还是"传统"的并行计算基础：多核处理器、SIMD、ISPC编程、任务调度、局部性优化。
但从第七讲开始，画风陡然一变。
▲ Fall 2025完整讲义表：从Lecture 7起，内容几乎全部指向GPU与AI基础设施
Lecture 7：GPU Architecture and CUDA Programming，GPU架构与CUDA编程抽象。
Lecture 9：Efficiently Evaluating DNNs on GPUs，如何在GPU上高效跑Transformer和卷积网络，讲layer fusion、讲GEMM。
Lecture 12：Mapping AI Applications to the Datacenter Computer，现代AI应用如何在数据中心规模上被调度和服务。
Lecture 13：Domain-Specific Programming Systems and AI-Driven Performance Optimization，用AI Agent驱动自动性能优化，这已经是2026年才会被大规模讨论的话题。
一门"三年前录制"的课，讲义却提前埋下了2026年才逐渐成为共识的方向，原因并不难猜。
底层的执行模型，SIMT、warp调度、内存层次，变化极慢；变的只是上层的库和芯片参数。
真正理解了底层逻辑的人，反而更容易看穿表面变化背后的不变规律。
小白也能看懂：CUDA到底在解决什么
先回答一个最基本的问题：为什么训练AI非要用GPU，不能用CPU死扛？
CPU是"少数几个聪明的大脑"：核心数量少，但每个核心极其强大，擅长处理复杂的分支判断和乱序执行，适合处理逻辑复杂的串行任务。
GPU则是"成千上万个简单的工人"：单个核心很弱，但数量庞大，配合超高的内存带宽，专门用来做同一种简单操作的海量重复，矩阵乘法、卷积、注意力计算，全都是这种活。
AI训练和推理的本质，就是大规模线性代数运算的重复堆叠。
一次完整的前向加反向计算，可能涉及数万亿次浮点运算。
CPU算这个，慢到没有实际意义；必须靠GPU的海量并行把时间压下来。
而CUDA，就是让开发者能够亲自指挥这成千上万个"工人"的编程语言。
它的核心概念其实不复杂：
Kernel是开发者写的、会在GPU上并行跑的函数。
线程被组织成Thread（单个线程）→ Warp（32个线程绑在一起同步执行）→ Block（共享内存的线程组）→ Grid（一堆Block）这样一层层的结构。
内存则分成速度依次递减的几层：寄存器最快，Shared Memory次之，Global Memory（显存）容量大但延迟高。
而衡量一段代码写得好不好，最关键的指标之一叫Arithmetic Intensity，每读一次内存能做多少次计算。
这个比值决定了你的程序到底是被算力卡住了，还是被内存带宽卡住了，业内管这套分析方法叫Roofline Model（屋顶线模型）。
看起来抽象，但这恰恰是所有GPU性能优化工作的地基。
作业才是照妖镜：这就是实验室的日常
真正暴露这门课"实战属性"的，是它的编程作业。
前两次作业还在CPU上练手：并行程序性能分析、多核任务图调度。
到了Assignment 3，画风突变，学生要在CUDA里从零写一个圆形渲染器。
▲ stanford-cs149/asst3仓库首页：一个看似简单的CUDA渲染器作业，实际考验线程层次设计、共享内存优化与性能实测
题目描述写得很朴素：输入一堆圆的参数，在GPU上并行画出来。
但要做对，你必须真正设计出能在GPU上高效构建和操作的数据结构，还要用shared memory做tile优化，最后拿性能数据和参考实现对比。
README里甚至专门加了一句提醒："Seriously, you are advised to start early."
「说真的，建议尽早开始。」
这还只是第三次作业。
第四次作业就跳到了真实的云端AI加速器，在Trainium2上实现卷积和最大池化的算子融合。
第五次作业更狠：Make the World's Fastest CUDA Kernels，写出全班最快的CUDA kernel，纯粹的性能竞赛。
这几乎就是把学生原样扔进了大厂性能团队的工位。
融合kernel、新芯片适配、在配置空间里搜索最优参数，这些字眼放在作业里是练习题，放进Meta、Google、Anthropic、OpenAI的性能团队，就是他们每周一站会要过一遍的正经议题。
Lecture 7：这一讲专门解剖GPU
如果只能精读一讲，绕不开的就是第七讲。
▲ Lecture 7完整幻灯片墙：从GPU的图形渲染起源，一路讲到CUDA线程层次、内存模型与同步机制
这一讲的野心不小：先从GPU最初为3D图形渲染而生的历史讲起，再过渡到2007年NVIDIA Tesla架构如何第一次让GPU变成通用计算设备，最后落在CUDA的线程层次、内存空间、同步原语这些扎实的技术细节上。
讲义里有一页专门做了提醒，措辞略带自嘲：
"I am going to describe CUDA abstractions using CUDA terminology. Specifically, be careful with the use of the term 'CUDA thread.' A CUDA thread presents a similar abstraction to a pthread in both control, but the implementation of a CUDA thread is very different."
「我接下来会用CUDA的术语来描述CUDA的抽象概念。尤其要小心'CUDA thread'这个词，它在控制逻辑上和pthread类似，但底层实现完全是两回事。」
这种细节上的较真，正是这门课被反复推荐的原因：它不满足于让你会用API，而是逼着你搞懂API背后的芯片到底在做什么。
真正用过的人怎么说
课程好不好，光看讲义说服力有限，得看真在啃的人怎么反馈。
一位坚持做「Day X/365 GPU Programming」系列的学习者@levidiamode，在啃到第89天时专门写了一条长推：
"Came across Stanford's CS149 Parallel Computing course, which has been awesome so far... I particularly enjoyed lecture 10 on how neural networks are efficiently optimized on GPUs. It goes through 'implicit vs explicit' GEMMs, CUTLASS, cuDNN, memory traffic between ops, fusing and the difficulties of computing attention. The materials are from 2023 but have prescient insights on where we'd eventually converge to in 2026 (e.g. lower precision, sparsification, autoresearch, etc)."
「偶然看到斯坦福的CS149并行计算课程，到目前为止非常棒……我特别喜欢第10讲，讲的是神经网络如何在GPU上被高效优化。它讲解了'隐式vs显式'GEMM、CUTLASS、cuDNN、算子间的内存流量、融合技巧，以及计算attention的难点。这些材料虽然是2023年的，却对2026年的技术走向（比如低精度、稀疏化、自动搜索）有着惊人的预见性。」
▲ @levidiamode 附上的四张讲义笔记图，涵盖卷积映射矩阵乘法、attention计算流程与优化技巧总结
他还提到自己同时在啃AMD的GPU编程挑战赛，被里面的MM和MLA部分卡住，而CS149里学到的直觉，恰恰能帮上忙。
这条推文底下没有营销号的痕迹，只有一个正在一线摸爬滚打的工程师，把课堂知识和当下真实的工程难题对上了号。
Hacker News上，它被列进了「专业路线图」
社区的印证不止于此。
今年6月，Hacker News上有一条帖子火了："Ask HN: How to learn CUDA to professional level"，如何把CUDA学到专业水准。
▲ 这条帖子拿到249点赞、82条评论，多条高赞回复把CS149/gfxcourses列为"理解芯片原理"环节的推荐资源
发帖人说得很坦率：很多想去的公司都要求有CUDA经验，这才是他学习的真实动机。
高赞回复里，有人给出了完整的六到八周学习计划，从啃CUDA Programming Guide开始，一路推进到写出真正能跑的并行程序；也有人专门讨论起该用哪一代显卡练手才不算浪费时间。
而CS149的讲义，被反复当作"搞懂芯片到底在干什么"这一环节的推荐入口。
不同的社区、不同的语境，指向了同一个结论，真正找工作、真正写代码的人，已经替它验证过效果。
为什么AI实验室偏偏缺这一块
把这些线索拼在一起，答案渐渐浮出水面。
第一，框架红利已经见顶。
PyTorch把大多数人拉到了同一条起跑线上，剩下能拉开差距的，只有算法创新和系统底层的极致优化两条路，后者门槛高得多。
第二，作业写的就是实验室的日常。
融合kernel、适配新加速器、在参数空间里搜索最优配置，这几个字眼放进作业是练习题，放进性能团队的日常，就是他们每天在处理的正经工作。
第三，芯片换代太快，需要"翻译官"。
Trainium、Inferentia、Grace-Blackwell、AMD MI300、Google TPU接连登场，高层框架的适配永远慢半拍。
真正懂CUDA、懂底层架构的人，能在窗口期把模型更快地搬到新芯片上，这中间往往是三到十二个月的先发优势。
第四，效率本身就是护城河。
课程里反复出现的关键词，每瓦特能跑多少token、算术强度、算子融合、数据中心规模的调度，正是2026年AI公司最在意的成本和速度指标。
第五，人才金字塔的中上层空着。
能从零手写高性能kernel的人极少；会调Triton、读得懂CUTLASS、用得好nsight的人也不算多；而只会跑脚本调参数的人，市面上已经不缺了。
AI实验室缺的，恰恰是这个金字塔的中上层。
写在最后
不用被"2023"这个年份唬住。
SIMT执行模型、内存层次结构、warp调度这些底层原理，几乎不随时间变化；真正在变的，只是具体的芯片参数和上层库的接口。
如果想真正上手，不必从第一讲一路啃到第十九讲。
比较务实的路径是：先看Lecture 1建立并行思维，再接着看Lecture 7吃透CUDA；然后看Lecture 9、10，亲眼见证DNN是怎么被映射到GPU上的；同步动手做Assignment 3，把肌肉记忆先建立起来。
装一个NVIDIA nsight，拿自己写的PyTorch自定义算子练手，试着把它改写成CUDA kernel。
再顺手翻一翻FlashAttention和vLLM的源码，你会发现很多设计思路，其实都能在这门课里找到源头。
当行业里的每个人都能熟练调用同一套框架时，真正拉开差距的，从来都是那些愿意往下多挖一层的人。
这门免费、24小时、19讲的课程，现在就摆在所有人面前。
剩下的问题只有一个：你愿不愿意坐下来，把它啃完。
