夜雨聆风前言
我一直习惯在混乱中寻找和探索。
过去这几年，AI行业的喧嚣程度可以说是史无前例的。每隔几周，总会有一个新的词汇闯入视野——agent、world model、embodied AI、scaling law、Harness/Loop/Graph engineering……仿佛只要跟不上词汇的更迭节奏，就会在一夜之间落伍。在这个行业里工作、也在这片喧嚣中进进出出，时常感到一种难以名状的疲倦：不是因为看不懂某项技术，而是因为很少有时间真正停下来问一句：这一切究竟在往哪里去？
记得2022年年底ChatGPT刚刚发布的时候，周围的很多人都有一种"世界从此不同了"的感觉。细想起来，那种感觉并没有错，但所谓"不同"的边界在哪里，却很少有人说得清楚。行业里随之涌现出的种种热点讨论，大多停留在功能层面——"它能写代码""它能做客服""它能替代律师助理"——这些都对，但似乎都只是冰山一角。更深处的问题，关于AI究竟要解决什么、需要经历哪些阶段才能真正改变人类社会的运作方式，却始终没有人从底层讲清楚。
创业后这段时间，我尝试在自己脑海中整理一套框架——不是为了写论文或者传播，而是因为如果连自己都没想清楚，每天在这个行业里打转也不过是随波逐流。这篇日志就是试图把这套框架从零散的思绪变成相对完整的陈述，把所能想到的每个细节都展开，检验其中逻辑的合理性。
首先声明：这远非一份技术综述，更不是试图假装站在某种全知视角的评述。这里有我自己的判断和偏好，很多部分只是尚在成形的猜测和大概率偏颇的personal taste。对我个人而言重要的是把它们放在这里，可以几年之后回头看——到那时，也许能看清今天哪些地方想对了，哪些地方想偏了。
这篇日志大体分为四个部分：首先从最一般性的层次出发，讨论"智能"本身需要包含哪些层次；然后依次深入模型层、软件层和硬件层，把各层面需要做什么、正在做什么、还差什么，尽可能讲清楚。
一、智能时代的两大层次：决策与执行
如果要在脑子里放一张关于"完整智能体系"的地图，我认为最清晰的分法是把所有能力分成两大类：decision（决策）和execution（执行）。
这不是一个新颖的区分。事实上，它在某种程度上对应着人类神经系统的基本结构——大脑皮层（尤其是前额叶皮质）负责高层次的认知和规划，脊髓与小脑负责实时的运动控制与协调，而两者之间的信号传导构成了我们日常所有行为的底层机制——。这并不是说这样的类比是最优视角，但不妨碍我们从这一角度获得启示。而更多时候人们把"大模型"当成所有问题的答案，把"具身智能"当成另一个独立的赛道，而不太深究二者的关系。
决策层做的事情，本质上是信息处理。这里面有两个模块缺一不可。
第一个是perception（感知）。感知的核心任务是摄入对当前系统状态的描述——这不仅仅包括外部环境的信息，同样包括人类诉求和意图的理解。值得注意的是，"感知"在日常语义下容易被理解为单纯的"接收信号"，但在这里，感知模块实际上承担着状态表征的全部工作：把原始的、多模态的、高维的信号转换成推理模块可以操作的中间表示。这一步如果做不好，再强的推理能力也是无源之水。
第二个是reasoning（推理）。在完整的感知之上，推理模块需要做两件事：调用知识体系（即对一般性规律的掌握），以及基于当前状态对下一状态作出预测或决策。如果用一个最简洁的语言来描述，推理就是：给定当前状态$S_t$和目标状态$S_T$，找出最优行动序列——而这个序列的每一步都是通过对世界规律的建模来预测的。LLM的语言推理本质上符合这个定义：初始问题是$S_0$，最终答案是$S_T$，中间的推理链是action序列。
执行层做的则是截然不同的事情。即使一个系统在决策层做得再完美，当它需要和物理世界真正交互的时候，所需要的能力集合是完全不同的。执行层的核心挑战是如何在高频、实时、低延迟的约束下完成对物理世界的操控。
我倾向于将这种双层结构理解为一种"慢决策、快执行"的双频机制。这种理解背后有一个重要的直觉：决策的频率是由诉求方——也就是人类——的认知速度所决定的，而基于物理世界底层反馈的执行行为本身，并不需要纳入复杂的意图推理步骤，只需要基于对最基本物理规律的理解作出反应。从生物学层面，这套系统有比较充分的支撑。运动控制领域的研究早已表明，脊髓反射弧（例如缩手反射）的反应时间在50毫秒以内，远短于大脑皮层介入所需的150至300毫秒。如果等到前额叶皮质完成了完整的"感知-推理-决策"循环再驱动手部运动，人类早在进化过程中就被淘汰了。正是这种"手脑分离"——执行层具有相当程度的自主性，不依赖每次决策都回路到高层认知中枢——使得生物智能体具备了在复杂物理环境中实时存活的能力。
如果从这个视角重新看今天的AI产业版图，一些板块的定位会变得相对清晰：LLM（以及一部分世界模型工作）属于决策层的推理模块，是整个体系的"大脑"；而以Boston Dynamics、Figure AI为代表的具身智能，以及另一部分的世界模型研究，则属于执行层，是整个体系的"手"。至于决策层的感知模块，目前以语言为主要信道，这既是因为语言是人类意图的最自然表达，也是因为大量优质的文本数据使得这一信道的建模相对成熟。
可以说到目前为止，行业发展仍然存在一些明显的结构性缺口：比如决策层感知模块的非语言部分、执行层的物理世界建模能力、以及全面进入AI时代的软硬件支撑等等，都还远远不够成熟。接下来的几个章节，我们尝试从研究和产业的几个方向切入，对这些缺口进行解剖。
二、模型层
2.1 Multi-modal perception：modality and modeling
Modality（模态）的丰富
首先来谈感知层的模态问题，也就是信息输入渠道的问题。
最直接、最强力的信道无疑是视觉（vision）。视觉的三个优势可以快速列出：第一，覆盖范围广，凡是人眼可以捕捉到的距离范围内，图像接收器基本都能覆盖；第二，功耗低，视觉图像是被动的光学信号接收，不需要主动发射信号，相比后面要讨论的雷达方案，能耗要低得多；第三，与人类的感知渠道高度一致，这意味着从视觉信号到意图理解的翻译链路天然更短，可以借鉴的人类标注数据也更丰富。
然而，视觉并不是唯一值得关注的模态。如果从自动驾驶领域汲取经验，另一个具有重要价值的信号源是雷达——尤其是激光雷达（LiDAR）和毫米波雷达（mmWave radar）。雷达的优势非常突出：它输出的是四维动态数据（三维空间坐标加速度/多普勒信息），对物理世界的刻画精度极高；在雾霾、强光、黑夜等视觉退化场景下依然稳健；而自动驾驶行业十余年积累的传感器融合经验，更是为这一方向提供了大量可参考的工程实践。
但雷达的劣势同样不可忽视。主动发射信号再接收回声的机制，使得其功耗随探查距离的增加而急剧上升；点云数据的体量非常庞大，处理成本远高于视频流；更重要的是，雷达信号与人类的直觉感知之间存在相当大的语义鸿沟，从点云到意图理解需要更复杂的中间层建模。特斯拉曾在2021年宣布放弃激光雷达转向纯视觉方案，这一决定固然不见得真正合理、其背后的逻辑也与Musk对人类驾驶机制的类比有关，但成本和数据处理的考量同样不可回避。这场"视觉 vs 雷达"的路线之争，在自动驾驶行业已经持续多年，至今仍未有定论——Waymo、Cruise坚守多传感器融合方案，而特斯拉、Comma.ai则坚持纯视觉路线，双方各有实验数据支撑，也各有顽固的局限性。
对于更一般的人机交互场景，除了对外部环境的感知之外，还有一类被严重忽视的信号：对用户自身状态和意图的直接采集。目前人机交互的主要渠道仍然是语言和触摸，这个带宽极其有限。未来可期的方向包括眼球追踪（Apple Vision Pro和Meta Quest Pro都已经内置了眼动追踪系统，用于界面交互和注意力建模）、手势识别、肌电信号（EMG）乃至脑机接口（BCI）。Neuralink在2024年完成了首例人体植入并展示了高带宽神经信号解码，虽然离消费级应用还非常遥远，但它标志着这个方向正在从理论走向工程现实（声明：我个人并不热衷于支持、目前比较排斥该方向）。
更广义地来看，感知层的每一个模态扩展，其意义都是双重的：一方面它提升了人机交互的效率和自然度，另一方面它为世界模型和具身智能的训练提供了更丰富的数据来源。这两个功用是彼此强化的——更好的感知让AI在交互中获取更多信号，更多信号让AI对物理世界的建模更精准，而更精准的建模又让感知结果的解读更准确。
Modeling（模型）的定位：三种路线
谈完模态，再来看模型。在多模态领域，目前的探索大体上沿着三条路线并行推进，而这三条路线的底层哲学有明确差异。
tokenization：第一条路线直接将多模态数据转化为离散的token，融入语言模型的处理流程，完成end-to-end的信息转化。这条路线的代表作有两个，一个是Google的Gemini系列——从Gemini Ultra开始，就采用了原生多模态训练的策略，图像、音频、视频和文本在预训练阶段就共同进入模型；另一个是DeepSeek在2024年的OCR工作，将高精度的文字识别与结构化信息提取直接纳入大模型的能力体系。后者在发布后曾一度引发行业讨论，随后略有淡出，但个人认为这个方向的潜力远未被充分挖掘——图像中包含的语义密度，在许多场景下不低于纯文本，而tokenization的方式如果能做到足够高效，则可能成为多模态理解最具扩展性的路径。
semantization：第二条路线不直接在底层将不同模态对齐，而是先把各模态的数据转换成具有语义（semantic）属性的中间表示，再让这些中间表示与语言模型发生交互。这条路线的代表是视觉语言模型（Visual Language Model，VLM）系列，从早期的CLIP（OpenAI，2021年）、BLIP，到后来的LLaVA、InstructBLIP，以及近两年大量涌现的各类开源VLM。CLIP的核心思路是用对比学习（contrastive learning）将图像和文本映射到同一个语义空间，使得"一只红苹果的图片"和"一只红苹果"这段文字在表示空间中距离足够近。这一思路优雅、直觉清晰，工程实现也相对可控，因此成为当前产业落地最广泛的多模态方案。然而它也有天然的局限：语义层的对齐不等于理解层的对齐，当任务需要精细的物理直觉（比如理解物体的三维关系、估计材质的摩擦系数）时，语义空间的表示往往力不从心。
world model：如果说前两类探索的主要目的是模态间的转换和对齐，那么第三条路线world model所期待的则是在各模态内部完成完整的表示和预测，不以语言为中心，而是以物理世界本身的规律为中心。这一方向最具代表性的倡导者是Yann LeCun。LeCun在过去数年间多次在公开场合批评当前以语言预测为核心的大模型路线，认为next token prediction本质上无法学到物理世界的因果结构和三维空间推理能力，而他提出的JEPA（Joint Embedding Predictive Architecture）框架则试图在表示空间而非像素空间完成预测，从而让模型习得对物理世界更本质的理解。Sora（OpenAI，2024年）的视频生成工作，某种程度上被解读为world model方向的一次工程验证：如果一个模型能够生成物理上自洽的复杂视频，它在某种程度上一定隐含了对物理规律的建模。但这一解读本身也有争议——生成质量好不等于物理理解深刻，Sora在一些细节上仍然会出现物理上不自洽的错误，这说明生成能力和物理建模能力之间还有一定距离。
这三条路线并非互斥，事实上越来越多的工作开始探索它们之间的融合。但在当前阶段，理解清楚每条路线的优势、局限和适用场景，对于判断哪些方向值得押注、哪些只是短期热点，是至关重要的判断基础。
2.2 world model vs embodied AI：model-based vs model-free
这一节要讨论的是执行层，而涉及到的核心差异可以用强化学习（RL）领域中一对经典对立来类比：world model代表的是对model-based learning/planning的信仰，而embodied AI（具身智能）中的主流路线则更接近于model-free learning的追求。
先说model-based方向。这一思路认为，要让智能体在物理世界中行动，首先需要一个对物理世界transition规律的显式模型——也就是世界模型（world model）。有了这个模型，智能体就可以在行动之前先在模型中进行"想象中的推演"，选出最优方案再付诸实施，从而大幅提升样本效率。David Ha和Jürgen Schmidhuber在2018年的"World Models"论文是这个方向的重要里程碑之一，他们展示了一个可以在"梦境"（即模型内部的模拟）中学习控制策略的智能体。DeepMind的Dreamer系列（Dreamer, DreamerV2, DreamerV3）则在随后几年把这个思路推向了更复杂的任务；MuZero更是在围棋、国际象棋、Atari等多个领域展示了model-based规划的强大能力——值得一提的是，MuZero并不依赖一个预先给定的规则引擎，而是从零开始学习task-specific的latent dynamics model。事实上可以看到，LeCun作为world model的主要推动者，本身也是Model-based Planning（MBP）的忠实信徒。
相比之下，model-free方向则更加直接：不去单独为transition建模，而是端到端地学习从状态到行动的映射，把对物理世界的知识内嵌在policy网络的参数里，利用PPO（Proximal Policy Optimization）、SAC（Soft Actor-Critic）等代表性算法训练。model-free方法在许多任务上仍然具有竞争力，尤其是当环境的transition足够复杂、难以被一个简洁的模型捕捉时，model-free的"暴力学习"反而更加鲁棒。
讨论到这里，还有一个涉及LLM的有趣的类比值得深入展开。在语言模型的发展历史中，存在着一个同样基本的问题：人类知识体系是以怎样的方式进入模型的？传统的做法是将知识作为外部模块，以符号系统（symbolic system）加知识库（knowledge base）的形式存在——这本质上是一种model-based的知识管理方式，知识的每一个节点和关系都是显式的、可解释的。而LLM的做法则完全相反：知识被直接内嵌在学习得到的模型权重里，没有任何外部的显式知识库。如果用RL的框架去分析LLM的推理过程，会发现一件有意思的事：LLM在做多步推理时，并没有依赖一个单独的、外部挂载的transition模型（这个transition模型在symbolic框架下可以类比为在不同subquery之间"跳跃"的离散逻辑/知识结构），而是在一定程度上"model-free"的——它的每一步推理，都是从当前的context直接生成下一个token，没有任何外部的"想象中的推演"。这并不意味着LLM没有内部的"模型"，而是说这个模型是隐式的、分布式的，完全嵌入在参数中，而不是可以被单独取出检验的显式结构。
而每当聊到这一经典对立，Rodney Brooks的Subsumption Architecture永远是一个值得反复提及的参照点。作为是MIT CSAIL的创始人之一、也是早期机器人学领域最具颠覆性的思想家之一，他在1986年提出的Subsumption Architecture打破了当时AI领域的主流范式——当时的主流是以符号推理为核心的"思考再行动"模式，而Brooks则主张：真正的智能不需要中央表示，不需要预先规划，而是从对环境的直接感应和响应中涌现出来的。他用昆虫作为类比——一只蟑螂不需要建立房间的三维地图再规划路径，它只需要对墙壁的触觉做出反应，就能在复杂障碍中自如移动。"行动即智能"（intelligence without representation），这一理念颠覆了一整代AI研究者的假设前提。
时至今日，Brooks的洞见在具身智能的讨论中依然没有获得最高的重视。人们更多地还是在用"先建世界模型、再做规划"的范式思考具身智能，而"反应式行为涌现出复杂智能"的思路虽然在一些软体机器人和微型无人机领域有所实践，却仍是少数。这场争论远未结束，而结果大概率和语言模型领域类似：不是一方彻底胜出，而是在不同的任务尺度和实时性要求下，两种范式各有其最优适用区间。
2.3 Lessons from unsupervised learning
这一节的出发点有些不同——我想往后退一步，不是讨论某个具体的技术方向，而是试图从过去几年LLM的成功中提取一些真正具有通用性的经验，然后思考这些经验对新领域的模型训练是否有启发。
在今天的LLM训练技术栈里，预训练（pretraining）、SFT（Supervised Fine-Tuning）和RLHF（Reinforcement Learning from Human Feedback）这些术语已经人尽皆知。但如果真正追问这套技术体系中哪些环节是"从0到1"的关键突破，答案也许并不是SFT或RLHF。GPT-3.5带来的能力跃升，根本上仍然建立在预训练层面；事实上，"RL finally works"的宏大叙事所描述的图景，正是在一个已经具备强大基础能力的预训练模型上的锦上添花，而非无中生有。
先从单纯的实践角度看，纯个人观点下看，带来关键跃迁的有两个重要因素：第一是模型容量（capacity），即模型的参数规模——虽然"scaling law"这个词本身已经被滥用到失去准确含义、其原始论文本身都存疑，但参数规模与能力上限之间的正相关关系是经过充分验证的；第二是高效的采样设计，而这个设计的核心，是一个在NLP领域存在了十余年的训练任务：next token prediction（下一个token预测）。
Next token prediction是self-supervised（自监督）学习的一种形式，在广义上属于unsupervised learning的范畴。这个设计在现代语言模型中大规模使用，可以追溯到2018年的初代GPT模型（Radford et al., 2018）；更早的RNNLM、乃至上世纪末IBM的Probabilistic Language Model在底层思想上与其相通，但规模和效果完全不可同日而语。
而这个看似简单的训练设计，内含两个值得反复咀嚼的核心观察：
第一个是"Intelligence from distribution"——智能来自分布建模。Ilya Sutskever在多个场合的演讲中都明确表达过他选择LLM作为AGI切入点的根本信仰：一个对自然语言进行了充分压缩的conditional distribution，必然包含了人类的intelligence——不仅是知识，还有逻辑推理能力。这个信仰乍一看像是某种难以证伪的形而上学，但它背后有着来自信息论的严肃支撑。Ilya在OpenAI阶段笃信"LLM = compression"，而Marcus Hutter长期倡导的"compression = AGI"核心论点是：一个能够完美压缩任意人类输出数据的系统，必然已经习得了生成这些数据所需要的全部知识和规律。Hutter甚至为此设立了"Hutter Prize"——奖励能够最小无损压缩100MB维基百科英文文本的程序。Shannon的信息论和Kolmogorov复杂度在这里交汇，而next token prediction正是在实践层面对这个理论框架的最直接逼近。
第二个才是高效采样（efficient sampling）的问题。深度神经网络在历史上有一个长久的困境：需要大量标注数据，而人工标注的成本极高。Next token prediction的聪明之处在于，它将大量文本数据同时作为输入也作为输出——不需要任何额外的标注，数据本身就是标签。这使得模型的预训练可以充分利用互联网上海量的未标注文本，把采样效率提升了若干个数量级。
如果把视野再扩大一些，DeepMind在过去十年中的一系列重要工作，或许也在印证着类似的逻辑。AlphaGo（2016年）在围棋领域击败世界冠军，核心之一是高效的environment simulation——对弈本身就构成了一个可以被无限次模拟的环境，self-play机制使得对手方成为环境的一部分，从而产生近乎无限的训练样本。AlphaZero进一步移除了人类先验知识的输入，完全依赖self-play，在围棋、国际象棋和将棋上超越了所有专门针对各棋种优化的引擎。AlphaFold（2021年）则把蛋白质结构预测转化为一个序列到结构的预测问题，并专门开发了一套标注游戏来模拟训练环境——这在本质上依然是"通过有效模拟环境来获得高效训练样本"的同一个逻辑。
而到这里，一个统一的理论框架开始浮现：这些看似跨越了不同领域的成功案例，都可以用sequential decision making这个语言来重新描述。所有的决策问题都可以被抽象为：从初始状态S0出发，试图到达目标状态ST。无论是LLM的语言推理（从问题到答案），还是AlphaZero的棋局规划（从开局到终局），还是AlphaFold的结构预测（从氨基酸序列到三维结构），都符合这个框架。用数学语言写出来，最优行动序列是：
而一个一般性的AGI模型则可以被理解为在进行如下的条件概率建模：
这个框架有一个特别有趣的特例：at = St，也即行动本身就是下一个状态——next token prediction就是这个特例，AlphaZero的落子预测也非常接近这个特例。这一特殊情况在数学上与Shannon的信息论深度一致：最优压缩本质上就是对条件概率分布的最优建模。
之所以花这么多篇幅讨论训练方法，是因为个人认为这些经验对新领域有切实的迁移价值。无论是world model还是具身智能的policy训练，其核心任务在上面这个一般性框架下都可以被分析，因此从LLM的预训练经验中得到的关于"如何构建高效采样机制"和"如何从分布建模中提取智能"的洞见，在其他模态上应当同样有用武之地。如何在视觉、触觉、力觉等模态上构建类似next token prediction的自监督训练任务，是接下来极具价值的研究方向。
三、软件层
3.1 操作系统的溶解：从固态到液态
讨论完模型层，往上走一层，来到软件层。这一层的变革在我看来存在被低估的地方——人们谈论AI时，惯常的讨论对象要么是模型本身，要么是硬件算力，而软件架构这个中间层，往往被当成一个不值得单独讨论的"配套设施"。但个人认为软件层的变革，会对用户体验和产业格局产生同样深刻甚至更快速的影响。
当代操作系统的设计，是为了一种特定的人机关系量身定制的：人类作为主动的意图发出方，操作系统作为静态的基础设施，应用程序作为标准化的工具集。这套体系的内在逻辑是：把所有可能的用户需求事先分门别类，为每一类需求设计一套固定的操作路径，然后通过应用程序的形式打包交付。用户学会这些路径，需求就得到满足。Windows、macOS、iOS，乃至Android，本质上都是这套逻辑的具体实现，区别只在于交互界面的形态（桌面 vs 触摸）和生态封闭程度。
但这套体系有一个根本性的假设：需求是可以被预先枚举的，而用户的操作路径是可以被标准化的。这个假设在文字处理、表格计算、图片浏览等场景下是成立的，因为这些任务的边界足够清晰。然而人类真实的信息处理需求远比这复杂——一个研究员在工作中可能需要同时操作论文数据库、代码编辑器、绘图工具和邮件客户端，而这四者之间的信息流转，几乎没有任何一款标准化软件可以原生支持。于是产生了无数的"手动胶水"：复制粘贴、截图再上传、导出CSV再导入、一遍又一遍地重复同样的操作步骤。
LLM的出现，开始从根本上瓦解这个假设。一个具备足够强语言理解和代码生成能力的模型，可以在运行时动态地理解用户意图、调用工具、组合操作步骤——这使得标准化软件的存在必要性大幅降低。以Anthropic的Claude为例，当用户说"帮我把这个PDF里的表格提取出来，整理成Excel，然后画一张折线图"，模型可以直接调用PDF解析工具、数据处理代码和可视化库，完成一个在传统软件体系下需要三款应用和数十步手动操作才能完成的任务。
这意味着，当代的标准化应用软件正在被逐渐"溶解"，取而代之的是更小的"元操作模块"：独立的工具函数（tools/skills）、低延迟的专用算法模块、以及对外部系统的API接口。这些模块本身不具备完整的用户界面，也不具备完整的业务逻辑，而是由LLM在运行时按需组装，形成一个动态生成的"程序"来完成用户的当前需求。
我把这种新形态称为"液态操作系统"（Liquid OS），对应于当代标准化软件体系的"固态操作系统"。固态的比喻来自于其形状固定、功能边界清晰；而液态的比喻则来自于其可以随容器（也就是用户的具体需求）而改变形状，在不同场景下呈现出完全不同的功能组合。
这个趋势在2024年以来已经开始有工程层面的具体体现。Anthropic推出的Model Context Protocol（MCP），就是在尝试为这种"液态OS"建立标准化的工具调用接口——让不同来源的工具模块可以被统一注册、统一调用，由模型在运行时动态组合（事实上MCP还扮演着固态到液态过渡的桥梁）。OpenAI的Function Calling机制、Google的Extension系统，以及开源社区中各种agent框架（LangChain、AutoGen、CrewAI），都是在朝着这个方向试探。虽然目前这些框架普遍仍然笨重且不稳定，但方向是清晰的：自然语言正在成为新一代的API，而LLM正在成为新一代的runtime。
这一转变对应用软件行业的含义极其深远。传统SaaS产品的护城河，很大程度上来自于其与用户的深度绑定和操作路径的学习成本；而在液态OS的范式下，用户和模型之间的自然语言对话变成了主要交互界面，标准化应用的学习成本壁垒急剧消失，取而代之的是数据和工具集成能力的竞争。换句话说，未来有价值的软件资产，可能不再是精心设计的用户界面，而是精准、高质量的工具函数和对专有数据的接入能力。
当然，这个转变不会在一夜之间完成。有几类应用软件的核心价值与交互界面的精心设计高度相关（比如设计工具、游戏），不会轻易被液态OS取代；还有一类场景，对实时性和可靠性的要求远超目前LLM的稳定性水平（比如医疗信息系统、工业控制界面），也不会轻易迁移。但对于信息密集型的知识工作场景，这个转变正在发生，而且会加速。
3.2 文件系统的重构：从树形结构到语义网络
另一个同样值得深思的软件层变革，来自于文件系统。这个话题听起来不够sexy，但如果认真想下去，会发现它牵涉到一个非常根本的问题：当AI agent成为文件系统的主要用户而非人类时，我们现有的文件组织范式是否还合适？
当代计算机的文件系统，从设计哲学上看，是为人类的认知习惯量身定制的。最普遍的树形目录结构（hierarchical file system），最早可以追溯到1969年的Unix文件系统，其设计动机非常明确：树形结构符合人类对层级分类的直觉认知，路径名（如`/home/user/documents/project/report.pdf`）对人类来说是可读可理解的；此外，树形结构天然支持命名空间隔离（不同子树下可以有同名文件）和权限控制（沿路径继承或覆盖）；当存储设备需要物理扩展时，挂载点（mount point）机制也提供了相对优雅的扩展方式。
然而，这套设计的所有优点，都基于同一个前提：文件系统的主要用户是人类，人类通过记忆路径和浏览目录来定位文件。当这个前提改变，当文件系统的主要消费方从人类变成AI agent，原有设计的很多假设就开始松动。
对于AI agent而言，定位一个文件的最自然方式并不是沿着目录树导航，而是基于内容的语义检索——"找到我上周写的关于蛋白质结构预测的那篇笔记"，而不是"打开 `/notes/biology/proteins/2024-10-15.md`"。这种语义检索需要的底层基础设施，是向量数据库（vector database）或者语义索引，而不是inode和目录表。事实上，近年来向量数据库（Pinecone、Weaviate、Chroma等）的迅速崛起，可以被理解为AI时代对文件系统语义化的一种"补丁式"解决方案——在原有文件系统之上加一层语义索引，让模型可以通过embedding相似度来检索内容。
但这只是补丁，不是根本性的重构。真正的问题是：当内容之间的关联不再是树形的，而是网状的时，树形目录结构会引入大量人为的、不必要的层级约束。一个研究笔记可能同时属于"蛋白质结构"、"机器学习应用"和"2024年秋季项目"三个维度，在树形结构下，它只能被放在其中一个节点下，其他两个维度的关联只能通过符号链接（symlink）或者手动标签来模拟——这既不优雅，也不可扩展。
其实更早以前，学界和工程界早已开始讨论替代方案（当然不是为了agent）。比如Directed Acyclic Graph（DAG）结构的文件系统，在content-addressable storage领域已经有成熟的实现，Git的底层对象存储就是一个典型例子——Git用SHA哈希而不是路径名来唯一标识每一个blob和tree对象，这使得内容的去重和版本管理变得极其高效。但Git的设计目标是版本控制，而不是通用文件系统，其交互模型对普通用户并不友好。
2025年Andrej Karpathy提出的"LLM OS"中有一个具体的构想值得在这里引用——他把大模型类比为操作系统的内核，而其中一个子系统是"LLM-accessible storage"：这种存储不应该以传统的文件路径为索引，而应该以内容的语义为索引，让模型可以直接通过描述性的自然语言查询来检索内容。这个构想与Wikipedia的内链机制有某种精神上的相似：Wikipedia的每一篇文章都可以链接到其他文章，形成一个密集的知识网络，而每一篇文章的内容本身就是其"路径"的最佳索引。把这个思路用到文件系统上，就是Karpathy所说的"LLM Wiki"：一个内容自描述、语义可检索、关联可图化的新一代存储范式。
这不是一个近在眼前的工程问题，而是一个需要从底层重新设计的系统问题。但它的方向非常清晰，而且与上面关于液态OS的讨论高度呼应：当语言和语义成为主要的人机交互媒介，整个信息处理栈都需要围绕语义而不是路径来重新组织。
四、硬件层
如果说模型层和软件层的讨论，还停留在相对熟悉的计算机科学语境内，那么硬件层的讨论则会把视野拉向一个更宽广的方向——物理基础设施。这一部分往往是行业讨论中最容易被忽视的，因为它的变革周期更长、资本密度更高，而且与当前最热的大模型话题距离最远。但如果把时间尺度拉长到十年乃至二十年，硬件层的约束会是整个智能体系中最根本的瓶颈之一。
4.1 信号采集：人机交互的带宽瓶颈
信号采集是硬件层中与模型层关联最直接的部分。在上面讨论多模态感知时，我们谈到了视觉和雷达作为对外部环境的感知手段，这里要深入讨论其硬件实现和当前的局限。
目前主流的视觉信号采集硬件，从手机摄像头到工业相机，已经相当成熟。但有几个方向值得特别关注。第一是深度信息的采集：RGB摄像头输出的是二维图像，要恢复三维几何信息需要额外的计算（如双目视差、单目深度估计），而RGBD相机（如Intel RealSense、Azure Kinect）和Time-of-Flight传感器则可以直接输出逐像素的深度信息，大幅降低三维理解的计算成本。第二是高动态范围（HDR）和低光照场景的采集能力：许多真实世界的场景（隧道、强逆光、夜晚）对标准相机传感器仍然挑战，而这些场景恰恰是自动驾驶和机器人应用的高频场景。第三是事件相机（event camera）：与传统帧率相机不同，事件相机的每个像素独立地记录亮度变化事件，输出的是异步的事件流而非同步的帧序列，这使其在高速运动捕捉和极低功耗方面具有独特优势——虽然目前仍处于研究阶段，但在某些特定场景（如无人机的高速避障）已经展示了传统相机无法企及的性能。
雷达方面，自动驾驶行业已经积累了相当丰富的工程经验。4D毫米波雷达（同时输出距离、方位、仰角和速度四个维度的信息）在近两年已经商业化，成本也已经降到可以在量产车上搭载的水平。同样值得关注的是Integrated Sensing and Communication（ISAC）的研究方向：下一代无线通信系统（6G）有可能将雷达感知和数据传输集成在同一套硬件上，使得每一个基站都同时成为一个环境感知节点——这对构建城市级别的实时3D环境地图，以及支撑车路协同（V2X）系统，具有重要价值。
另一方面，对于用户意图信号的采集，可能的技术手段远比环境感知丰富，但当前的落地程度却相当有限。眼球追踪技术（eye tracking）已经在Apple Vision Pro和Meta Quest Pro等头显设备中得到了消费级应用，其原理是用近红外光照射角膜，通过角膜反射模式计算注视方向，精度可以达到0.5度以内。手势识别目前主要依赖摄像头的视觉方案（如MediaPipe），但也有基于毫米波雷达的无接触手势识别方案（Google Soli项目曾在Pixel 4中搭载）。肌电信号（EMG）采集是另一个有趣的方向——通过贴在皮肤上的电极阵列捕捉肌肉收缩产生的电信号，可以在手势还未完全做出时就预测意图，延迟极低。Meta（原Facebook）收购的CTRL-labs公司正在开发基于EMG的腕带式意图识别设备，将其纳入AR/VR交互体系。
脑机接口（BCI）则是意图采集在理论极限方向的探索。Neuralink在2024年初完成了首例人体植入手术，被试者可以用思维控制电脑光标和游戏操作，每秒传输约8比特的有意识意图信息——这个带宽仍然极低（相比之下，人类通过语言表达的信息带宽大约是39比特/秒），但已经是划时代的工程成就。非侵入式BCI（如EEG头戴设备）的信号质量和带宽更低，目前主要用于医疗和研究场景。BCI的消费级落地距今还有相当长的时间，但它代表的方向——直接采集神经信号从而在源头捕捉用户意图——是人机交互带宽的终极上限所在。
4.2 端计算：压缩发生在边缘
随着信号采集渠道的丰富，单位时间内需要处理的数据量也会急剧增加。当前人类使用 LLM 的方式是将所有相关信息统一上传到云端大模型中，大门如果未来的一个典型AI终端设备同时采集视频流（约100-200 Mbps）、深度信息（约50 Mbps）、音频、IMU传感器数据、乃至眼动追踪和肌电信号，原始数据的总带宽很容易超过500 Mbps。而这些原始数据直接上传到云端大模型处理，在延迟和带宽成本上都是不可接受的。
这正是端计算（edge computing）发挥作用的地方。端计算的核心任务，是在本地硬件上完成对原始信号的初步压缩和特征提取，只把高度浓缩的有效信息发送给云端的推理模型。这个思路可以与上面讨论的"压缩即智能"联系起来看——端计算模块的工作，本质上就是在做一层轻量化的"局部智能"：识别哪些信号是重要的、需要进一步处理的，哪些是背景噪声、可以丢弃的。
当前的端计算硬件已经走过了相当长的路。Apple的Neural Engine从A11芯片开始引入，到M系列芯片上已经可以达到38 TOPS（Tera Operations Per Second）的AI计算性能，支持在本地运行数十亿参数的模型；Qualcomm的Hexagon NPU在骁龙8系列中也有类似的能力；Google的Edge TPU则专注于推理加速。这些芯片的出现，使得在智能手机、可穿戴设备和嵌入式系统上运行压缩后的轻量级神经网络成为现实。模型压缩技术（量化、剪枝、知识蒸馏）的进步，使得原本需要数十GB显存的大模型可以被压缩到可以在手机上运行的尺寸，同时保留大部分的能力。llama.cpp项目的流行，以及Apple在iOS上原生运行LLM的探索，都是这一趋势的体现。但端侧模型与云端大模型之间的能力差距仍然显著——这意味着最合理的系统架构是端云协同：端侧负责实时性要求高、延迟敏感的轻量推理，云端负责复杂的、需要更深层次知识和推理能力的决策。
在这个端云协同的架构下，端计算的角色其实非常接近于之前讨论的"执行层"——它处理的是对直接物理环境的实时响应，而不需要纳入复杂的意图推理链路。这与"手脑分离"的双频机制在架构层面是高度自洽的。
4.3 网络传输：5G之后的基础设施缺口
网络传输层的问题，在端计算已经完成一定压缩的前提下才真正凸显出来。但即使端侧做了大量的特征提取和降维，剩余需要上传的数据量仍然会远超当前网络的能力预期。
当前的5G网络，在理论峰值带宽上可以达到20 Gbps，但真实场景下的平均吞吐量通常只有100-500 Mbps，而且这个带宽是被大量同时在线的设备共享的。更重要的是，人类当前使用 LLM 是回合式交互，本质上是非常低频的，而其他的信道提供的则是实时性数据。对于实时交互场景，延迟（latency）比带宽更关键。5G的端到端延迟在最优情况下可以达到1毫秒以内，但在真实的复杂网络拓扑中，往往在10-20毫秒之间——这对于需要精细物理控制的机器人执行任务而言，已经接近可接受的上限，一旦超出就会产生明显的操控滞后。另一个根本的问题在于连接密度。未来的一个城市街区，可能同时有数以万计的传感器、摄像头、移动终端和机器人在线，而这些设备大多需要低延迟的双向通信——不只是下行内容消费，还有上行实时数据传输。当前的蜂窝网络架构，在连接密度和上行吞吐量上都面临严峻挑战。
6G的研究在2024-2025年已经从概念阶段进入了国际标准化的早期讨论。6G预期在Sub-THz频段（100 GHz至300 GHz）工作，理论峰值带宽可达1 Tbps，端到端延迟目标在0.1毫秒以内，连接密度目标达到每平方公里100万个设备。但Sub-THz频段的信号衰减极快，需要密集部署基站（inter-site distance可能只有几十米），这意味着基础设施投资规模是5G的数倍。而除了蜂窝网络之外，低轨卫星通信（LEO satellite）正在作为补充网络快速发展。SpaceX的Starlink在2025年已经覆盖全球大部分地区，提供50-200 Mbps的实际下行带宽和约20-40毫秒的延迟。虽然其延迟和带宽指标与地面5G仍有差距，但其广域覆盖能力使其成为地面网络难以触达的偏远地区和海洋场景的重要补充。对于具身智能在农业、林业、海洋等场景下的大规模部署，卫星通信可能是不可替代的基础设施。
网络传输层的这些发展，在时间上都落后于当前模型能力的进步——这意味着在相当一段时间内，端侧智能的能力和云端智能的协同效率，会受到网络基础设施的严重制约。这个制约会在一定程度上倒逼端侧算力和端侧模型的进一步发展，也会倒逼信息压缩和特征提取算法的持续优化。
4.4 仿生学：被忽视的物理形态多样性
最后一个话题，是整个讨论中距离当前主流关注点最远的方向：仿生学（biomimetics）。
在具身智能的讨论中，存在一个有趣的路径依赖：当大家谈论"机器人"的时候，脑海中浮现的往往是机械手、机械臂，或者人形机器人——两条腿、两条手臂、一个传感器头部。Humanoid robot的概念几乎已经成为具身智能的默认形象，Figure AI、1X Technologies、Agility Robotics、波士顿动力的Atlas，都在追逐这个方向。人形机器人的设计逻辑有其合理性：人类社会的物理环境，从门把手的高度到楼梯的踏步尺寸，都是按照人体的形态设计的；如果想要一个机器人在人类日常生活环境中无缝工作，拥有与人类相似的体型和运动方式是最直接的路径。此外，人形机器人作为"全能助手"的想象空间极大，容易获得资本和公众的关注。但这个逻辑一旦超出"在人类生活环境中工作"的场景边界，就开始出现问题。真实世界的任务场景远比家庭服务和仓库物流复杂多样：深海作业、高压输电线的维护、核电站内部的检修、茂密果园中的采摘、微小空间内的精密组装……在这些场景中，人形体型非但不是优势，反而可能是累赘。
这正是仿生学的价值所在。自然界经过数亿年的演化，已经为各种物理任务"设计"出了极其多样的身体形态：章鱼的软体臂可以穿过任意形状的缝隙并施加精细的力控制；鸟类的翅膀展示了极高的空气动力学效率；蛇的蜿蜒运动方式使其可以在极其复杂的地形中穿行；蜘蛛的足部粘附结构使其可以在任意角度的表面上站立和移动。这些形态不是偶然的，而是在特定任务约束下演化出的最优解。
软体机器人（soft robotics）是仿生学与机器人学融合最活跃的方向之一。Harvard Biodesign Lab、MIT CSAIL等研究机构已经展示了可以通过充气变形来抓取易碎物品的软体机械手、可以在受限空间中蜿蜒穿行的软体爬行机器人，以及基于形状记忆合金驱动的类肌肉执行器。哈佛大学George Whitesides团队在软体机器人领域的奠基性工作，以及Festo公司的仿生动物机器人系列（仿蜘蛛、仿飞鸟、仿蝠鲼），都展示了超越传统刚性机器人的独特能力。
微型无人机领域也有类似的趋势。Harvard的RoboBee项目展示了翼展仅3厘米、重量不足100毫克的仿蜜蜂无人机，这个尺寸使其可以深入人类和传统无人机根本无法进入的空间。Dragonfly（蜻蜓仿生）和Moth（飞蛾仿生）无人机则在低速飞行稳定性方面展示了远超传统四旋翼的表现。
群体智能（swarm intelligence）是另一个值得关注的仿生方向。蚂蚁群落可以在没有任何中央控制的情况下找到从巢穴到食物的最短路径，蜂群可以通过"摇摆舞"通信机制协调数千只工蜂的采蜜行为——这些涌现自个体间简单交互的集体智能，为分布式机器人系统的设计提供了深刻启发。Kilobot（Harvard, 2014）、Elisa-3等群体机器人平台已经展示了数百个简单机器人通过局部交互实现复杂集体行为的可能性。在农业大规模作业、灾难搜救等场景下，由数千个廉价小型机器人组成的群体，可能比单一的昂贵复杂机器人更具鲁棒性和成本效益。
在传感器系统方面，仿生学同样可以提供了重要贡献。目前具身智能的数据采集，主要依赖机械手末端的触觉传感器阵列和关节的力矩传感器，这套思路可以扩展到更一般性的仿生物理结构上：为不同形态的机器人设计对应的感知系统，而不是假设所有机器人都应该有和人类手部相似的传感器布局。章鱼皮肤上分布的数百个吸盘，每个都具有独立的触觉和化学感知能力，为"分布式触觉感知"的工程实现提供了一个极具启发性的参照。
这部分的讨论之所以放在硬件层的最后，是因为它是整个产业格局中目前关注度最低、但长期价值可能最被低估的方向。在追逐人形机器人热点的背后，多样化的物理形态探索正在以相对安静的方式推进。当具身智能的战场从家庭服务和仓库物流，扩展到农业、工业、灾难救援乃至太空探索的时候，这些被仿生学启发的非人形方案，很可能会在特定场景下展示出压倒性的竞争优势。
尾声
写到这里，我意识到这篇文章其实尝试回答的是一个很简单的问题：当我们说"AI时代"，我们在说什么？
在我个人看来，我们今天所处的阶段，大概对应于互联网发展史中1997年前后的位置——协议和基础设施刚刚成形，应用层的爆发还没有完全到来，而大多数人对于它的理解，仍然停留在它目前最显眼的那个切面上：可以聊天的模型、可以写代码的助手。这个切面是真实的，但它远不是全部。
决策层和执行层的框架并不完整，但至少提供了一张可以被不断填充的地图。每一项新技术出现的时候，我可以问自己：它解决的是感知层的信道问题，还是推理层的知识问题，还是执行层的物理建模问题？它在这张地图上的位置是什么？它和其他已有工作的关系是什么？有了这些问题，就不容易被热点带着跑，也不容易在某一个细节的惊喜里忘记了整体。
而软件层和硬件层的讨论，则提醒我一件容易被忘记的事：模型再强，它依然需要运行在现实的基础设施上。液态OS的概念、文件系统的重构、信号采集的带宽瓶颈、6G的基础设施缺口——这些问题没有一个可以单纯靠更大的模型来解决。智能体系的演进，是一个各层次协同推进、相互制约的过程，而不是某一个单一维度的线性外推。
在最后写关于仿生学那部分的讨论时，我反复想起Brooks的那句"intelligence without representation"——真正的智能，未必需要一个完整的世界模型放在脑子里，未必需要一个高度集中的中央控制器，也未必需要一个与人类外形相似的身体。演化用了数亿年告诉我们，在不同的物理约束下，智能可以有截然不同的形态。现在就放弃对多样性的想象未免为时过早。
最后想重申的是“不确定性”。这篇文章里有很多"可能"、"也许"和"我认为"，这是真实状态的反映。预测技术演进、行业发展本就是一件高度不确定的事，尤其是在一个变化如此之快的领域里。Hinton在十年前不相信attention机制会取代卷积；Musk在2019年声称2020年特斯拉将有100万辆完全自动驾驶的出租车上路；而几乎所有人在2021年都没有预料到2022年底会出现ChatGPT。
所以这篇日志的意义与其说是预测，不如说是建立一套坐标系：让我在未来遇到每一个新进展的时候，能够从局限的视角看清它在这套体系里的位置和重要性。而如果未来哪个部分被证明是错的，那至少这张地图仍然值得持续修订和完善——认错，也可以是一件享受的事。
毕竟试图理解的过程本身或许才是最有价值的。
2026年8月11日，杨通于深圳
