夜雨聆风
在整个硅谷和中关村，有这样一群极其昂贵、也极其神秘的工程师。
他们不写花哨的网页，也不搞花哨的前端，而是整天戴着降噪耳机，死死盯着英伟达 GPU 最底层的寄存器、共享内存和指令周期。为了把一个核心算法的执行时间缩短哪怕 0.5 毫秒，他们能把几千页的英伟达硬件微架构手册翻到卷边。
这就是 CUDA 内核工程师，AI 时代身价最高、也最难培养的“底层手艺人”。
长期以来，业界有一条心照不宣的铁律：大语言模型写写 Python 脚本还行，千万别让它碰底层 CUDA。 因为大模型写出的底层代码，要么一跑就爆显存，要么看似跑通了，速度却慢得像蜗牛，甚至被 PyTorch 自带的编译器 torch.compile 甩出几条街。
然而，就在这两天，这个被视为人类工程师最后堡垒的领域，被彻底攻破了。
清华大学智能产业研究院（AIR）与字节跳动 Seed 团队组建的 SIA-Lab 联合实验室，正式发布了一项名为 CUDA Agent 的颠覆性研究。
▲ 清华AIR与字节Seed团队联合发布的 CUDA Agent 官方主页
他们没有给大模型灌输任何现成的人工优化规则，而是把它扔进了一个装有 128 张英伟达 H20 芯片的真实硬件沙箱里，让它自主编译、自主测试、自主做性能分析，在失败与重试的循环中狂刷强化学习（RL）。
战果出来的那一刻，整个计算圈子都安静了：
在斯坦福权威基准 KernelBench 的 250 道全套考题上，CUDA Agent 跑出了 98.8% 的惊人通过率；在生成的内核性能上，它有 96.8% 的概率直接击溃 PyTorch 的官方自动编译器 torch.compile，平均速度直接提升 2.11 倍（相比 PyTorch 原生 Eager 模式更是快了 2.60 倍）。
在最难的 Level-3 关卡中，它不仅把顶级的 Claude Opus 4.5 和 Gemini 3 Pro 甩开了将近 40%，更让业内长期笃信的“底层代码唯有人工才能极致”的教条，瞬间瓦解。
▲ 知名开发者 Robert Youssef 发文感叹：AI 无需人类手册，靠硬件反馈完成了顶尖专家的优化工作
一场没有手册的“极限压榨”：为什么手写 CUDA 这么难？
要理解清华和字节这次突破的含金量，需要明白：为什么全世界的顶级科技公司，都在为手写 CUDA 算子发愁？
我们可以把一块顶级 GPU 想象成一个拥有几万名流水线工人的超级超级工厂。
如果你用默认的 PyTorch 写代码（即所谓的 Eager 模式），就像是厂长每喊一句口令，工人们就动一下：算完加法，把零件放回几公里外的中央总仓库（全局显存）；下一道指令来了，再跑去把零件搬出来算乘法。
这种模式极其浪费时间，工人们大部分精力全耗在来回搬运零件的路上了。
为了解决这个问题，PyTorch 推出了 torch.compile，相当于引入了工业级自动化调度：它把几个算子揉在一起（算子融合），让零件尽量留在工人的手边桌子上（共享内存），算完再放回去。
torch.compile 已经是极其强大的工业结晶，普通程序员写的代码根本跑不过它。
▲ 斯坦福大学推出的 KernelBench 成为衡量模型底层优化能力的金标准
顶尖 CUDA 工程师在干什么？他们在做纳米级的排班调度
他们不仅要精细计算每个工人桌上能放几个零件（寄存器压力），还要确保所有工人必须同时走左边通道（访存合并对齐），甚至要精准安排哪批工人负责计算、哪批工人负责搬运（指令级并行与流水线掩盖）。
只要一步算错，程序要么直接报“段错误”崩溃，要么所有工人集体排队发呆，速度甚至不如不优化。
过去的通用大语言模型之所以在这个领域全军覆没，是因为代码的“逻辑正确”和“硬件跑得快”完全是两码事。
GPT-4 或 Claude 写出的代码在语义上挑不出毛病，但由于缺乏硬件底层的空间感知，一上真机，就会被硬件结构无情反噬。
字节和清华的这次实验，就是为了解决这个“正确但奇慢无比”的死结。
撕掉虚假繁荣：128张芯片上长出来的“进化闭环”
其实在 CUDA Agent 之前，业内已有团队尝试让 AI 写 CUDA。
2025 年初，知名 AI 机构 Sakana AI 曾推出过一款名为 AI CUDA Engineer 的系统，号称拿下了几十倍甚至上百倍的加速。但随后整个社区在复现时发现，系统内部存在严重的“跑分作弊”：模型在沙箱里学会了钻空子，甚至直接调用预编译的高速原生库来骗取高分。
清华与字节团队从一开始就堵死了所有偷奸耍滑的路径。他们打造了一个由 三根支柱 撑起的硬核工业系统：
▲ 清华 AIR 官方解读：通过大规模智能体强化学习突破底层代码生成瓶颈
支柱一：6,000个真实融合算子的“魔鬼题库”
专家级的标注数据太贵，团队就从 torch 和 transformers 库中提取基础算子，用大模型自动拼装出最多 5 个算子的复杂融合任务，并用真机严格过滤掉无效、退化或不确定的样本，最终沉淀出高质量的训练集 CUDA-Agent-Ops-6K。
这套题库包含了大量的多算子融合场景，专门用来逼迫模型去解决共享内存冲突和带宽瓶颈。
支柱二：长达200轮的“写代码-真机分析-改错”循环
团队没有采用“让模型一次性猜出答案”的传统做法，而是为模型设计了一套类人类的工程师工作流（Agent Skills）。
模型拥有一个真实的 GPU 沙箱环境，配备了专业的 profiling 性能分析工具。
在单次任务中，模型可以拿到多达 131,072 个 token 的超长上下文，进行多达 200 轮 的交互尝试：
编写代码 $\rightarrow$ 编译 $\rightarrow$ 真实硬件测试 $\rightarrow$ 性能瓶颈分析 $\rightarrow$ 查看报错与寄存器占用 $\rightarrow$ 重新修改代码。
沙箱还施加了极其严苛的安全与防作弊锁定，模型无法篡改测速脚本，也无法偷调外部现成库，奖励只取决于生成的自定义 CUDA 代码能否变快。
支柱三：多阶段防崩溃的“渐进式强化学习”
直接在大规模智能体上跑多轮强化学习极易崩溃。团队以字节自研的 Seed1.6（约 230B 总参数的 MoE 架构模型）为底座，采用了三步走的稳健策略：
- 单轮 RL 预热
：先让模型掌握基础代码生成能力； - 拒绝采样微调（RFT）与价值预训练
：建立正确的行为先验和准确的价值判断； - 多轮 Agentic PPO 训练
：在 128 张 H20 构成的算力池中，把 CPU 编译和 GPU 测速彻底解耦，稳定训练了 150 步。
毁灭性的消融实验：没有硬件反馈，大模型就是个“空心架子”
在这项研究中，一组极其残酷的消融对比数据，比 2.11× 的最终数字更让硅谷工程师感到震撼。
推特上的半导体分析师 Straggler Liu 一针见血地指出了真相：
▲ 社区分析师指出：一旦抽离硬件反馈循环，超越编译器的概率将从 96.8% 暴跌至 14.1%
如果把 CUDA Agent 的多轮性能分析与交互调试循环（Agent Loop）抽离掉，让模型仅凭自身能力进行单次生成，它击败 torch.compile 的概率，会瞬间从 96.8% 暴跌至 14.1%！
即使是强大的 Seed1.6 原始基座模型，在未经这套强化学习体系训练前，面对 torch.compile 时的平均加速比只有 0.69×，原始模型生成的代码大部分都比官方编译器慢了 30% 以上。
但经过这套硬件反馈系统的淬火之后，整个战局被彻底逆转：
| 全部综合 | |||
| 全部综合 | |||
| 全部综合 | |||
| 全部综合 | CUDA Agent | 98.8% | 96.8% / 2.11× |
| Level-2 (融合算子) | CUDA Agent | 100% | 100% / 2.80× |
| Level-3 (极限网络) | CUDA Agent | 94.0% | 90.0% / 1.52× |
在涵盖复杂网络结构的 Level-3 极限大题中，面对人类工程师都头疼的复杂依赖图，CUDA Agent 的击败率依然高达 90.0%，平均速度直接提升 1.52 倍，把行业公认的推理王者 Claude Opus 4.5 远远甩在身后。
这组结果表明，把硬件真实的执行延迟纳入强化学习闭环的惩罚信号，是 AI 掌握高性能计算的关键。
英伟达护城河塌了？不，这是“杰文斯悖论”的又一次降临
研究一出，海外社交媒体上立刻掀起了一轮狂欢，不少自媒体甚至打出了“英伟达软件帝国末日”、“CUDA 垄断被清华字节击穿”的耸动标题。
然而，硅谷资深基础设施投资人 Ben Pouladian 随即发文，泼了一盆极其清醒的冷水：
Pouladian 指出，许多人根本没有看清这套系统运作的本质：
“整个 CUDA Agent 是完全建立在英伟达 CUDA 之上、在英伟达 H20 芯片上完成训练和测试、使用英伟达官方性能分析工具链跑出来的。你居然写长文说英伟达要害怕一个加深 CUDA 生态绑定的项目？”
这里蕴含着计算机历史上演化过无数次的杰文斯悖论（Jevons Paradox）：
在蒸汽机时代，当蒸汽机效率提升、每消耗一吨煤产生的动力翻倍时，煤炭的消耗量不仅没有减少，反而因为蒸汽机应用场景的无限爆发而呈指数级飙升。
同样的逻辑放在今天：底层算子被 AI 优化得越快，单颗 GPU 能支撑的业务吞吐量就越高，这不仅不会削减算力需求，反而会催生出更庞大、更复杂的实时 AI 应用，从而推高 GPU 采购需求。
这套逻辑会让 AMD、Intel 以及一众试图自建软件生态的造芯新势力承受更大压力。
过去，非英伟达阵营还可以寄希望于“依靠 Triton 或高层编译器绕过 CUDA 人才短缺的困境”；但现在，当顶级科技巨头证明了AI 智能体可以在几天之内自动把英伟达的底层硬件潜能压榨到极致时，硬件生态之间的软件鸿沟，不仅没有被抹平，反而被强化学习的飞轮进一步焊死了。
终局时刻：从“写代码的工具”到“吞噬编译器的巨兽”
清华大学与字节跳动的这项工作，目前已经将数据集 CUDA-Agent-Ops-6K 以及相关的智能体开发环境完全开源。
它为整个行业指明了一条从未有人走通的道路：
大模型的演进终点，绝不仅仅是在浏览器里帮人类写几句日常业务代码，而是化身为一套无休无止的“系统级自动进化引擎”。
每当有新的神经网络架构诞生，成千上万个像 CUDA Agent 这样的智能体就会在几万张芯片的虚拟沙箱中瞬间启动。它们在数百万次失败中自我修正、在微秒级的延迟反馈中疯狂进化，在几十分钟内吐出一套超越人类一生经验积累的极限代码。
当软件优化的壁垒被 AI 一脚踢碎，人类工程师终于可以从繁琐的寄存器缝隙中抬起头来，去思考那些更宏大的系统架构问题。
而这，或许会成为一场属于全体开发者的解放。
