乐于分享
好东西不私藏

8组关键词,看懂AI是怎么被造出来、跑起来,再慢慢长大

8组关键词,看懂AI是怎么被造出来、跑起来,再慢慢长大
AI行业的讨论,越来越像一场技术黑话大会。

Scaling、后训练、CUDA、TileLang、CoT、Agent、持续学习、具身智能……这些词单独拿出来,似乎多少都听过;可当它们同时出现一块理解时,大家很容易失去方向:它们的含义是什么?分别在解决什么问题?哪些已经成为现实,哪些还停留在前沿探索?为什么有些公司热衷多模态和视频生成,另一些团队却更关注模型效率、Coding和持续学习?

更麻烦的是,这些概念并不处在同一层面。

有的是模型变强的方法,有的是芯片和软件工具,有的是产品能力,还有一些只是尚未攻克的研究目标。单纯列出名词,我们很难理解它们之间的关系;但如果把它们放回过去十年AI发展的时间轴,脉络就会清晰很多。

大致来看,AI经历了这样一轮重心迁移

早期解决的是,怎样训练出一个足够强的语言模型;接着解决的是,怎样让模型学会推理、听懂指令;再往后,AI开始从Chat走向Work,从回答问题走向完成任务;下一阶段,人们开始追问,模型完成任务后,能不能把经验真正留下来...

这并不是一条已经得到验证的AGI标准路线,更像是一张理解当前AI技术分工的地图。

下面这8组关键词,就是进入这张地图最重要的入口

------------------------------

01 Scaling:模型变强,最直接的方法仍然是“做大”

2017年前后,大模型的技术底座逐渐成形;2020年前后,Scaling成为模型能力跃升的核心方法。
所谓的Scaling,可以理解为规模扩展。
放在大模型领域,通常包括三个方面:更多训练数据、更大的模型规模,以及更多计算量。过去几年,大模型能力的快速提升,很大程度上都建立在这条规律之上。模型读过的材料越多、参数规模越大、训练时使用的算力越强,它在语言理解、代码生成和复杂推理上的表现,通常也会随之提高。
可以把它理解成培养一个学生。读更多书、做更多题、投入更多时间,能力大概率会继续提升。
2017年前后,Transformer架构为后来的大模型奠定了基础;到2020年前后,随着模型规模迅速扩大,行业越来越清楚地看到:只要数据、参数和算力继续增加,模型就可能解锁新的能力。此后几年,Scaling几乎成为大模型竞赛的起点。

但从2024年开始,围绕Scaling的争论明显增多。

原因并不难理解。高质量数据不是无限的,先进GPU越来越昂贵,数据中心还需要电力、网络和巨额资本投入。行业开始追问:如果算力再增加十倍,模型能力还能提高多少?
不过,对许多国内团队而言,眼下真正的限制还不是理论上限,而是算力、资金和实验机会不足。模型没有继续做大,未必是因为当前规模已经够用,也可能只是因为没有足够多的芯片去验证更大规模。
所以,Scaling仍然是大模型进步的重要底座。
真正发生变化的是,Scaling已经从一个单纯的技术问题,逐渐变成了投入产出比问题。

------------------------------

02 模型效率:同样一张卡,能不能产出更多智能

模型效率一直存在,但在2023年以后,随着训练与推理成本快速上升,它开始从“工程优化”变成模型公司的核心竞争力。
模型效率讨论的,是怎样让有限的计算资源发挥更大作用。
它可以表现为两种结果:在相同算力下训练出更强的模型,或者在模型效果接近时,用更低的训练和推理成本完成。
两个团队拥有相同数量的GPU,最后做出来的模型可能完全不同。差距可能来自数据质量、模型架构、训练方法、算子效率、系统调度,也可能来自推理时是否浪费了大量Token和计算。
这就像两个人都有十个小时,一个只是不断刷题,另一个会选择题目、调整方法、及时纠错,最终效果自然会有差距。
因此,强调效率并不是否定Scaling。恰恰相反,算力越稀缺,就越需要提高效率,才能用有限资源训练更大的模型、尝试更多实验。
Scaling决定能够投入多少资源,模型效率决定这些资源最终能换来多少智能。效率和Scaling,究竟是不是两条路线
表面上看,Scaling代表“多花钱”,效率代表“少花钱”,两者似乎互相矛盾。
其实不然。
提高效率的目的,往往正是让Scaling继续走下去。假如同样一批芯片可以训练更大的模型,或者完成更多实验,那么效率提升本身就在扩大可以实现的Scaling规模。
当前竞争的并不是“要算力,还是要效率”,而是:每增加一单位算力,究竟能换来多少新的能力。

------------------------------

03 训练、后训练与推理:看起来是一件事,其实是三个环节

2018-2021年,行业重心是大规模预训练;2022年以后,后训练让模型真正变得好用;2023年至今,推理成本决定AI能否大规模进入真实业务。
外界经常把“训练大模型”理解成一件完整的事情。
实际上,一个模型从最初训练到真正被用户使用,至少要经历预训练、后训练和推理三个重要环节。
预训练决定基础能力。模型通过阅读大量文本、代码和其他数据,学习语言、知识、规律和基本推理方式。它有点像一个人接受基础教育,先建立比较宽的知识面和理解能力。
早期大模型竞争的核心,主要就是预训练。谁的数据更多、模型更大、算力更强,谁就更可能获得更好的基础能力。
但是,完成预训练的模型并不一定马上好用。它可能懂很多,却不一定善于理解指令,也不一定知道怎样使用工具、遵守规则,或者按照具体业务要求完成任务。
2022年前后,随着对话式AI快速普及,后训练的重要性开始被普通用户真正感知。通过指令数据、人类反馈、强化学习和专业任务数据,同一个基础模型可以被塑造成代码助手、法律模型、金融助手或客服系统。
可以简单理解为:预训练决定模型会多少,后训练决定模型怎样使用这些能力
推理则是模型真正面对用户的阶段。我们每问一次问题,企业每调用一次API,模型都需要进行一次计算。
训练像建厂,推理像工厂每天开工。工厂建得再先进,如果每生产一件产品都成本过高,最终也很难实现大规模应用。
到了2023年以后,模型能力已经不再是唯一焦点。企业开始真正关心:一次调用需要多少Token、消耗多少算力、响应速度够不够快,能不能通过量化、蒸馏、缓存和调度进一步降低成本
训练决定模型能做到什么,推理决定这些能力能否被普遍使用
这也是为什么,大模型不是训练完成就大功告成了。真正的产品竞争,往往发生在模型发布之后:谁能让它更稳定、更便宜、更快速地服务真实用户。

------------------------------

04 CUDA:英伟达真正难以替代的,不只是一张GPU

谈到AI算力,人们最容易关注的是芯片参数:算力多高、显存多大,新一代产品比上一代快多少。
但英伟达真正难以替代的部分,并不只是一张GPU,还有围绕GPU建立起来的CUDA生态
CUDA诞生于2006年;2012年前后,GPU开始在深度学习中显现巨大价值;到了大模型时代,CUDA已经从开发工具长成了一整套AI基础设施。
我们可以把GPU理解成一座工厂。芯片是工厂里的机器,CUDA则包括开发工具、数学库、编程接口、调试系统、操作流程,以及工程师多年积累的使用经验。
开发者通过CUDA编写程序、调用计算库、管理数据,才能让模型真正高效地运行在GPU上。经过多年发展,主流AI框架、大量高性能算子和底层工具,都已经围绕CUDA建立。
英伟达真正强的地方,不只是它的机器性能领先。更大的优势是,大量AI开发者已经习惯用它的方式工作。
理解CUDA,还需要知道几个经常一起出现的概念。
PTX,可以理解为程序代码和具体GPU指令之间的一层中间表示。开发者不需要直接控制芯片的每一个细节,而是先把计算任务转换成PTX,再由后续工具针对具体GPU进行编译和优化。
算子,则是模型计算中的基础操作单元。矩阵乘法、归一化、Attention中的各种计算,最终都要由一个个算子完成。
编译器负责把模型代码拆解、翻译和优化,最后生成适合芯片执行的指令。
因此,CUDA生态并不是某一个软件,而是一整套链条:框架-算子-编译器-中间指令-GPU硬件。
这也解释了为什么国产芯片即使硬件参数不断提高,真正投入使用时仍然会遇到困难。主流框架能否顺利适配,常见算子是否齐全,编译器能否充分发挥芯片性能,多卡训练是否稳定,原有代码迁移过去需要修改多少,这些都会影响实际体验。
一张芯片“可以运行模型”,和“可以被大规模、稳定、低成本地使用”,中间还隔着大量工程工作
芯片性能决定理论上限,软件生态决定人们能不能顺利接近这个上限。

------------------------------

05 TileLang:能不能缩短国产算力的生态追赶时间

这是近两年才开始进入更多讨论的新变量,目前仍处于早期工程化阶段;它解决的不是模型能力本身,而是不同芯片生态之间的迁移效率。
TileLang可以理解为一种更高级的GPU算子编程语言和编译工具。
过去,要写出一个高性能GPU算子,工程师不仅要理解算法,还要深入掌握显存、缓存、线程分配和具体硬件结构。一个在纸面上并不复杂的计算,真正变成高性能底层代码,可能需要大量手工优化。
TileLang这类工具试图改变这种工作方式。
开发者可以更多描述“需要完成什么计算”,把一部分“这些计算应该怎样在硬件上高效执行”的问题交给编译器处理。
它可能带来两个变化:一是提高算子开发速度,二是降低同一套计算逻辑迁移到不同芯片时的难度。
再叠加AI Coding,底层生态建设的方式可能发生更大变化。过去,重建一套软件工具链,需要大量资深工程师长期手工开发;未来,一部分算子和编译器工作,可能由高级语言、编译工具和AI共同完成。
AI可以生成代码、运行测试、发现性能瓶颈,再根据结果不断修改。
不过,这并不意味着CUDA会迅速被替代。成熟的算子库、开发工具、用户习惯和真实反馈,都需要长期积累。国产芯片还要面对性能、稳定性、产能和系统工程等多重约束。
更稳妥的判断是:TileLang和AI Coding正在降低生态迁移的门槛,但降低门槛,不等于已经补齐生态
它提供的是一条加速追赶的可能路径,而不是一张绕过所有工程积累的通行证。
再往前想一步:AI会不会亲手削弱CUDA的护城河?
这里有一个很有意思的矛盾。
CUDA最重要的护城河之一,是大量工程师多年积累的代码、工具和优化经验。而AI Coding恰好擅长写代码、做迁移、运行测试和持续修改。
换句话说:CUDA依靠代码和工程经验建立优势,而越来越会写代码的AI,可能降低复制这些经验的成本。
当然,生态不是把一批代码翻译一遍就能完成。大型模型训练还涉及稳定性、调试、通信、框架适配和长期运行经验。
但AI不只运行在计算生态之上,也可能反过来改写计算生态。这或许才是TileLang真正值得关注的地方。

------------------------------

06 CoT:让模型先“想一想”,再回答

CoT在2022年前后进入大模型研究视野;到了2024—2025年,推理模型成为前沿竞争焦点。在一套业内判断中,2025年可以被概括为重点突破CoT的一年
CoT,全称Chain of Thought,通常翻译为思维链
简单来说,就是让模型不要立刻给出答案,而是把复杂问题拆成多个步骤,经过中间推理后再形成结果。
它有点像做数学题。只写最后答案,很容易算错;把条件、过程和中间步骤逐步展开,正确率通常会提高。
在早期语言模型阶段,模型更像根据已有模式直接生成答案。引入思维链之后,模型可以分解问题、检查条件、尝试不同路径,再完成推理。
到了2024—2025年,行业的重心进一步从“把推理过程写出来”,走向“给模型更多推理时间和计算预算”。模型不再只是快速回答,而是可以在输出前进行更长时间的计算、尝试和修正。
这大幅提高了模型处理数学、代码和复杂逻辑任务的能力。
不过,CoT也不能简单理解成模型拥有了和人一样的内心思维。更准确地说,它是一种增加推理计算和中间步骤的方法,让模型在回答之前拥有更多解决问题的空间。
它解决的是:怎样让模型在已有知识基础上,把一个问题想得更深。
但CoT仍然主要发生在一次任务内部。问题回答完以后,这次思考不会自动沉淀成模型新的长期能力。
这也是它和持续学习之间最重要的区别。

------------------------------

07 Coding与Agent:AI开始从“会说”变成“会做”

这两大概念相信是大家最为耳熟能详的概念词。2021年前后,Coding主要表现为代码补全;2024-2025年,它逐渐进入复杂代码任务;到了2026年,Agent开始成为行业新的能力焦点。
Coding,也就是代码能力,是当前AI发展中非常特殊的一个场景。
代码有一个其他任务很难提供的优势:结果可以被明确验证。
一段程序能不能运行,测试能不能通过,Bug有没有修复,都有相对清晰的答案。AI写错了,可以根据报错进行修改;修改以后,还可以重新运行和验证。
整个过程天然形成一个闭环:理解目标、拆解任务、编写代码、运行测试、发现错误、继续修改。

早期的AI Coding更像一个自动补全工具。程序员写出前半段代码,模型帮助完成后半段。随着模型推理和工具调用能力增强,Coding开始从“补几行代码”走向“理解整个项目、调用工具、运行测试和持续修改”。

这也使Coding成为训练Agent能力非常理想的试验场。

一个模型只会补全几行代码,还不能算真正具备行动能力;如果它能够读取整个代码库、调用工具、修改程序,并在较长时间内持续推进任务,它就开始从“代码生成器”变成“数字世界里的执行者”。
Agent通常被翻译为智能体。
它和聊天机器人的区别,并不只是回答更长,而是能否围绕一个目标连续完成多步任务。
现实中的工作很少只需要回答一道题。AI可能要先理解目标,再搜索资料、读取文件、调用工具、比较方案、执行操作,遇到错误以后重新规划,最终完成交付。
聊天机器人更像告诉你“这件事应该怎么做”。Agent则开始尝试替你把事情推进下去。
Chat解决的是问答,Agent瞄准的是Work
Coding在这里拥有双重意义。向下,它可以帮助编写算子、优化编译器和迁移硬件生态;向上,它为Agent和自动研究提供了一个可以持续执行、验证和纠错的环境。
所以,Coding未必是理论上唯一的AGI入口,却是当前最成熟、最有商业价值,也最容易形成反馈闭环的试验场。
咱们再往前想一步:会做事的Agent,为什么还不是员工?
今天的Agent已经可以完成越来越长的任务,但它和真实员工之间仍然存在一个很大的区别。
员工进入一家公司后,会在几个月甚至几年里逐渐熟悉同事、流程、业务背景和隐性规则。很多信息不需要每次重新说明,他会在长期工作中形成经验。
Agent则更依赖当前提供的上下文。上下文没有写清楚,它就可能不知道某个同事是谁、某项任务以前为什么这样处理,也不知道组织中那些没有写进制度里的默认规则。
因此,今天的Agent更像一位能力很强、执行很快,却可能每天下班后失忆的外包人员。它能完成任务,却未必能把任务经历稳定沉淀成新的能力。
这也自然牵引出AI下一阶段最难的问题:持续学习。

------------------------------

08 持续学习、自我迭代与具身智能:AI能不能真正继续长大

现在的大模型,大多采用阶段式训练。
集中训练一次,发布以后,基础能力基本固定,直到下一次版本升级。
这有点像一个人毕业以后,就停止系统学习。
但现实中的人类不是这样工作的。一个员工进入公司后,可以在几个月里逐渐熟悉同事、流程、业务背景和组织习惯。很多信息不需要每次重新说明,他会在长期工作中慢慢形成经验。
AI目前更依赖完整上下文。如果没有提前提供资料,它往往不知道某个同事是谁,也不了解一家公司的隐性规则和历史背景。
很多产品看起来像“模型记住了”,实际上可能只是上下文记忆或外部知识库。
真正的持续学习,要求模型根据新的任务和反馈发生可靠变化,同时不能破坏原来的能力。
这很难。
模型学习新知识时,可能遗忘旧知识;直接吸收用户反馈,也可能把错误、偏见和噪声学进去。持续学习需要解决什么值得学、谁来验证、怎样避免遗忘,以及怎样保证更新后的模型仍然稳定。
Agent解决的是能不能持续做事,持续学习解决的是做完以后,经验能不能真正沉淀成能力。
在一套业内技术判断中,2025年重点突破的是CoT,2026年的重点是Agent,而Agent之后可以看见的下一个瓶颈,就是持续学习。
这并不代表持续学习会在某个确定时间点突然被解决。更可能的情况是,它由记忆、数据更新、在线学习、反馈筛选和模型稳定性等多个问题共同组成,并在很长时间内逐步推进。
再往前一步,就是自我迭代。
如果AI能够持续完成任务,也能够从任务中稳定学习,下一步自然会出现一个更激进的问题:它能不能帮助改进下一代AI?
自我迭代更严格的概念,通常叫递归自我改进。AI不仅学习外部知识,还能够参与优化模型、算法、训练方法、算子和工具,使下一代系统变得更强。
今天,AI已经可以辅助编写训练代码、优化算子、运行实验和分析结果。但这些更接近AI辅助研究,距离完整的自我迭代仍然很远。
真正的自我迭代还要求AI判断:什么问题值得研究,什么指标代表真实进步,实验结果是否可信,模型是真的变强,还是只适应了某个测试。
这些问题目前仍然高度依赖人类。
具身智能:产业已经起跑,技术路线却仍有分歧。
具身智能则把AI从数字世界带入物理世界。机器人不只要理解语言,还要判断位置、重量、摩擦、碰撞和环境变化,并及时调整动作。它需要语言、视觉、空间理解、控制系统和现实反馈共同工作。

值得注意的是,具身智能在产业上已经同步推进,并不需要等持续学习或自我迭代全部完成后才开始研究。但在不同团队的技术路线中,它的优先级并不相同。

有的团队认为,AI必须通过视觉、视频和物理交互建立世界模型,才能真正走向通用智能;也有团队认为,现阶段更重要的是先把语言、推理、Coding、Agent和持续学习做深,再让更强的AI反过来帮助解决机器人问题。

拥有更多“感官”,就意味着更高的智能吗?
这里也带出了一个很有争议的问题:多模态是不是AGI的必经之路?
一个模型能够看懂视频、识别声音、生成图片,并不代表它自动具备长期规划、复杂推理和持续学习能力。
反过来,一个主要依赖语言和代码的模型,也可能通过Coding、工具调用和Agent能力,完成越来越广泛的认知任务。
语言和代码,本身就是人类对世界高度压缩后的表达。大量知识、规则和逻辑,已经存在于文字和程序中。
因此,一条相对克制的路线也可能成立:不急着追逐所有模态,而是先把语言、推理、Coding、Agent和持续学习做深。
多模态扩大的是AI的感官,却不自动等于更高层次的智能。
但当AI真正进入物理世界时,视觉、声音、触觉和动作又会变得不可缺少。多模态未必是迈向AGI每一步的必要条件,却很可能是完整具身智能的重要条件。

------------------------------

这些概念,记录了AI重心的迁移。
它们并不完全处在同一层面。
Scaling和模型效率,讨论的是模型能力如何继续增长。
训练、后训练和推理,讨论的是模型怎样从基础能力变成真实服务。
CUDA、PTX、算子、编译器和TileLang,讨论的是算力怎样真正转化成模型能力,以及国产算力替代究竟难在哪里。
CoT、Coding和Agent,讨论的是模型如何从生成答案,走向推理、行动和完成任务。
持续学习、自我迭代与具身智能,则讨论了AI下一阶段还缺少哪些能力。
如果把它们放回时间轴,会看到AI行业的重心正在不断移动

最初,人们关心怎样把模型做大;接着,人们开始让模型学会听指令、进行推理;2025年前后,CoT和推理能力成为重点;到了2026年,Agent开始推动AI从Chat走向Work;再往后,持续学习、自我迭代和具身智能,可能构成新的前沿。

这并不是一条已经得到验证的标准路线。Scaling、Agent、多模态和机器人很可能同时发展,也可能出现新的技术分支。

但理解这些概念以后,我们会发现,AI行业真正值得关注的,并不是名词本身,而是名词背后的几组矛盾:

效率不是Scaling的反面,而是在有限资源下继续Scaling的方法;

CUDA的生态护城河很深,但AI Coding也可能降低复制生态的成本;
Agent已经开始做事,却还没有真正学会积累经验;
多模态让AI获得更多感官,却未必自动带来更高层次的智能。
这些问题暂时都没有标准答案。
但它们会影响我们怎样判断一家AI公司:
它能不能提高每一单位算力的产出?
能不能把训练能力转化成低成本、稳定的推理服务?
能不能跨过芯片性能与软件生态之间的鸿沟?
Coding Agent能不能真正完成长程任务?
模型获得的信息究竟只是被暂时记住,还是已经沉淀成新的能力?
它是在使用AI辅助研究,还是已经形成更完整的自动研究闭环?
今天的大模型已经学会了很多东西,也开始能够调用工具、执行任务和修正错误。
但它还没有真正解决一个更根本的问题完成训练以后,AI能不能继续稳定地长大?
我们一起保持关注!
本文完。