Software 3.0 杀来了!程序员刚学会 vibe coding,就已经落后

软件行业真正危险的转折点，不再是 AI 会不会写代码，而是我们熟悉的“软件”正在被拆掉重装。

Andrej Karpathy 在这场访谈里说得很直：Software 1.0，是人一行行写规则；Software 2.0，是用数据训练模型；而 Software 3.0，则是你把需求、上下文和目标交给 AI，让它直接替你完成一整段工作。

这意味着，很多今天看起来像 app、脚本、工作流、SaaS 的东西，可能都只是旧时代的残影。Karpathy 甚至拿自己做的菜单应用 MenuGen 举例：他辛苦写出来的应用，在 Software 3.0 里，也许根本不该存在。

这也是为什么他会说，自己作为程序员从来没有像现在这样觉得落后。vibe coding 不是终点，只是程序员第一次意识到地面正在塌陷。

真正开始的，是 Software 3.0。

太长不看版，重点笔记在这：

· Karpathy 认为，去年 12 月是一个明确拐点：最新模型生成的代码块开始“不用改就能用”，agentic workflow 真正跑起来了。

· Software 3.0 的核心不是“写代码更快”，而是 prompt 和上下文窗口变成新的编程接口，LLM 像解释器一样执行信息处理。

· MenuGen 这个 app 在他看来已经“不该存在”：拍菜单、交给 Gemini，让模型直接把菜品图渲染回菜单，才是 Software 3.0 的味道。

· AI 最先加速的不是所有工作，而是“可验证”的工作：数学、代码，以及一切能用奖励函数或评测闭环判断好坏的领域。

· vibe coding 提高的是软件能力的底线；agentic engineering 追求的是在不牺牲专业质量的前提下，让工程师能力天花板暴涨。

· 他认为现在的 agent 更像实习生：能做很多事，但仍会犯很奇怪的工程错误，人类必须负责 spec、taste、judgment 和系统设计。

· 未来的基础设施要 agent-native：不是告诉人怎么点按钮，而是直接给 agent 一段可执行的上下文。

· 教育上，他最认同的一句话是：你可以外包思考，但不能外包理解。理解仍然是人类指挥 agents 的瓶颈。

以下为访谈整理全文：

01

｜“我从没像现在这样落后”：vibe coding 的突变时刻

Q：就在几个月前，你说自己作为程序员从来没有这么落后过。从你口中听到这句话尤其惊人。你能帮我们拆解一下这种感觉吗？它更让人兴奋，还是更让人不安？

Andrej Karpathy：两者都有，肯定是混合的。首先，我想和很多人一样，我已经使用 agentic 工具一段时间了，比如 Claude Code 以及类似的东西。大概过去一年，这些工具出来以后，它们能很好地处理一些代码块。有时候会搞砸，你需要去修改，但总体上挺有帮助。

Andrej Karpathy：然后我会说，去年 12 月对我来说是一个非常明确的节点。当时我在休假，所以有更多时间。我想很多人也类似。我开始注意到，用最新模型时，代码块直接出来就是对的。然后我继续要求更多，它还是直接出来就是对的。后来我已经记不起来上一次纠正它是什么时候了。我越来越信任这个系统，然后我就开始 vibe coding 了。

Andrej Karpathy：所以我确实认为，那是一个非常鲜明的转变。我其实一直试图在 Twitter 或 X 上强调这一点，因为我觉得很多人去年体验 AI 时，感受到的还是 ChatGPT 以及类似产品。但你真的需要重新看一次，而且要以 12 月之后的状态重新看，因为事情已经发生了根本变化。尤其是在这种 agentic、连贯工作流上，它真的开始能工作了。

Andrej Karpathy：所以我会说，正是这种意识让我掉进了整个兔子洞，开始做无限多的 side projects。我的 side projects 文件夹现在塞满了各种随机项目，我一直在 vibe coding。所以这件事大概就是在 12 月发生的，从那以后我一直在观察它的后续影响。

02

｜Software 3.0：提示词变成新的编程语言

Q：你经常谈到一个观点：LLM 是一种新的计算机。它不只是更好的软件，而是一个全新的计算范式。Software 1.0 是明确写出的规则，Software 2.0 是学习出来的权重，Software 3.0 就是现在这个东西。如果这是真的，一个团队在真正相信这件事的那一天，会用什么不同方式去构建产品？

Andrej Karpathy：对，正是这样。Software 1.0 是我在写代码；Software 2.0 是我通过创建数据集、训练神经网络来编程。所以编程变成了安排数据集，也许还包括一些目标函数和神经网络架构。然后发生的事情是，如果你在足够大的任务集合上训练一个 GPT 模型或 LLM，某种程度上它会隐式地多任务学习，因为训练互联网数据时，它必须处理数据集里所有东西。于是这些模型在某种意义上就变成了一种可编程计算机。

Andrej Karpathy：所以 Software 3.0 关心的是，现在你的编程变成了 prompting。上下文窗口里的内容，就是你撬动解释器的杠杆，而这个解释器就是 LLM。它会解释你的上下文，并在数字信息空间里执行计算。这就是这个转变。

Andrej Karpathy：有几个例子让我真正意识到这一点，也许它们有助于理解。比如 OpenClaw 出来时，如果你想安装 OpenClaw，按照过去的预期，它通常应该是一个 bash 脚本或 shell 脚本。你运行这个 shell 脚本来安装 OpenClaw。但问题是，为了适配大量不同平台和不同类型的计算机，这些 shell 脚本通常会膨胀得极其复杂。你仍然被困在 Software 1.0 的世界里，也就是你想把代码写出来。

Andrej Karpathy：而 OpenClaw 的安装方式其实是复制粘贴一段文本，把它交给你的 agent。也就是说，它是一个小 skill：复制这段文本，交给你的 agent，它会帮你安装 OpenClaw。这样强大得多，因为你现在是在 Software 3.0 范式里工作。你不必精确写出安装过程的每个细节。agent 有自己的智能，它把这些智能打包起来，然后遵循指令，查看你的环境、你的电脑，执行一系列智能动作来让事情跑起来，并在循环中调试问题。这强大得多。

Andrej Karpathy：所以我觉得这是一种非常不同的思考方式：什么文本应该复制粘贴给你的 agent？这就是新的编程范式。

Andrej Karpathy：还有一个更极端的例子，是我做 MenuGen 的时候。MenuGen 的想法是，你到一家餐厅，它给你一份菜单。通常菜单没有图片，所以我不知道这些菜长什么样。一般来说，菜单里 30% 甚至 50% 的东西我完全不知道是什么。于是我想拍一张餐厅菜单照片，然后得到这些菜大致可能长什么样的图片。

Andrej Karpathy：所以我 vibe coded 了一个应用。它允许你上传一张照片，然后做所有这些事情，跑在 Vercel 上。它基本会重新渲染菜单，列出所有菜品，并用图像生成器生成图片。它会 OCR 出所有不同标题，用图像生成器生成对应图片，然后展示给你。

Andrej Karpathy：后来我看到了这个东西的 Software 3.0 版本，它让我震惊。你只需要拍一张照片，交给 Gemini，然后说：“用 Nano Banana 把这些东西覆盖到菜单上。”Nano Banana 返回的图像，基本就是我拍的那张菜单照片，但它真的把不同菜品渲染进了菜单像素里。

Andrej Karpathy：这让我震惊，因为我的整个 MenuGen 都是多余的。它是在旧范式里工作。那个 app 根本不该存在。Software 3.0 范式要原始得多。神经网络做越来越多的工作，你的 prompt 或上下文就是图像，输出也是图像，中间没有必要存在那个应用。

Andrej Karpathy：所以我觉得人们必须重构自己的理解，不要在现有范式里思考，不要只是把它看成现有东西的加速。现在真的有新东西可用了。回到你的编程问题，我觉得只把它当成“编程变快了”，也是一种旧思维。因为这不仅是编程。这是更一般的信息处理，现在可以被自动化。

Andrej Karpathy：过去代码处理的是结构化数据，对吧？你围绕结构化数据写代码。但比如我的 LLM knowledge bases 项目，基本是让 LLM 为你的组织或你个人创建 wiki。这甚至不是一个传统程序。以前不可能存在一个程序，基于一堆事实创建知识库。但现在你可以拿这些文档，用不同方式重新编译它们、重新排序它们，创造出一种新的、有趣的数据重构。所以这些是以前不可能发生的新事情。

Andrej Karpathy：这也是我不断试图回到的一点：不要只问我们能把哪些已有事情做得更快，而要问有哪些以前不可能的事情现在变成可能。我几乎觉得后者更令人兴奋。

Q：我很喜欢你刚才讲的 MenuGen 的演化和对比。我相信这里很多人也看到了你自己从去年 10 月到今年 1 月、2 月的编程演进。如果继续往前推，2026 年的对应物会是什么？就像 90 年代建网站、2010 年代建移动应用、上一个云时代建 SaaS 那样，什么东西会在事后看来完全显而易见，但今天大多还没被构建出来？

Andrej Karpathy：如果沿着菜单这个例子讲，很多代码都不该存在，神经网络应该做大部分工作。我确实认为，外推出来的未来会非常奇怪。你基本可以想象一种完全神经网络式的计算机。比如一个设备把原始视频或音频输入某个神经网络，然后用 diffusion 渲染一个 UI，而这个 UI 在某种意义上对当下这个瞬间是独一无二的。

Andrej Karpathy：我感觉，在计算机早期，人们其实有点困惑：计算机会长得像计算器，还是会长得像神经网络？在 50 年代和 60 年代，哪条路会赢并不明显。当然，我们最终走上了计算器这条路，构建了经典计算。现在神经网络是在现有计算机上虚拟化运行的。但你可以想象，很多东西会翻转过来，神经网络会变成某种 host process，而 CPU 会变成 co-processor。

Andrej Karpathy：我们已经看到一个图景：神经网络的 intelligence compute 会接管，并成为 FLOPs 支出的主导。所以你可以想象一些非常奇怪、非常陌生的东西：神经网络做大部分重活，而 tool use 成为某种历史遗留附属，用来处理一些确定性任务。真正掌控局面的，是这些神经网络。

Andrej Karpathy：所以如果外推，你可以想象一个极其陌生的未来。但我觉得我们大概会一块一块地走到那里。这个进程到底怎么展开，还待观察。

03

｜可验证性：AI 最先横扫哪里

Q：我想谈一下“可验证性”这个概念，也就是 AI 会更快、更容易自动化那些输出能够被验证的领域。如果这个框架是对的，哪些工作会比人们意识到的更快发生变化？有哪些职业大家以为安全，但其实高度可验证？

Andrej Karpathy：我花过一些时间写可验证性。基本上，传统计算机很容易自动化那些你能用代码明确指定的东西。而这一轮 LLM 很容易自动化那些你能验证的东西。因为 frontier labs 训练这些 LLM 时，本质上是在构建巨大的强化学习环境。模型会被给到验证性的奖励。由于这些模型的训练方式，它们最后会发展成这种锯齿状实体：在数学、代码以及相邻的可验证领域里能力特别高，而在不那么可验证的空间里会停滞，并且边缘比较粗糙。

Andrej Karpathy：我写可验证性的原因，是我试图理解为什么这些东西如此锯齿状。其中一些原因和实验室如何训练模型有关；另一些也和实验室的关注点有关，也就是他们把什么放进了数据分布。因为有些东西在经济中明显更有价值，于是会创造出更多环境，实验室也想在那些设置中工作。我觉得代码就是一个好例子。

Andrej Karpathy：可能有很多可验证环境是他们可以思考的，但没有进入训练组合，因为让模型具备那种能力并没有那么有用。不过，对我来说，一个很大的谜团是，以前大家最喜欢的例子是 strawberry 里有几个字母 r，模型会很著名地答错。这是锯齿性的一个例子。我觉得现在模型已经 patch 了这个问题。但新的例子是：我想去洗车店洗车，它离我 50 米。我应该开车还是走路？今天最先进的模型会告诉你走路，因为它很近。

Andrej Karpathy：这怎么可能？最先进的 Opus 4.7 可以同时重构一个 10 万行代码库，或者发现 zero-day 漏洞，却告诉我要走路去洗车。这太疯狂了。只要这些模型仍然保持锯齿状，就说明两件事：第一，也许某些地方有点不对；第二，你确实需要在循环里，必须把它们当工具看待，必须跟上它们在做什么。

Andrej Karpathy：所以我写关于可验证性的所有东西，长话短说，就是为了理解为什么这些东西是锯齿状的。这里有没有模式？我觉得答案大概是“可验证”加上“实验室关心”这两者的组合。

Andrej Karpathy：还有一个有启发性的轶事。从 GPT-3.5 到 GPT-4，很多人注意到国际象棋能力提高了很多。很多人以为，哦，这只是能力自然进步。但其实更像是，我认为这是公开信息，我在网上看到过，大量国际象棋数据进入了预训练集。仅仅因为它进入了数据分布，模型的提升就比默认情况下大得多。OpenAI 有人决定加入这些数据，于是你就获得了一个显著突出的能力。

Andrej Karpathy：所以我强调这个维度，是因为我们在某种程度上受制于实验室在做什么，受制于他们恰好把什么放进训练组合。你必须自己探索他们给你的这个没有说明书的东西。它在某些设置里有效，但在另一些设置里可能没有。你要稍微探索一下。如果你处在 RL 覆盖过的 circuits 里，你就会飞起来。如果你处在数据分布之外的 circuits 里，你就会挣扎。你必须弄清楚你的应用到底处在哪些 circuits 里。如果你不在这些 circuits 里，那你就真的要考虑 fine-tuning，做一些自己的工作，因为它不一定会从 LLM 开箱即用地出来。

Q：我之后还想再回到 jagged intelligence 这个概念。如果你今天是一个创始人，正在考虑创业，想解决一个你认为可处理的问题，一个可验证的领域；但你环顾四周会觉得，我的天，实验室在那些最明显的领域里已经开始进入逃逸速度了，比如数学、编程和其他领域。你会给在场创始人什么建议？

Andrej Karpathy：这也许回到了前一个问题。我确实认为，可验证性让某件事在当前范式下变得可处理，因为你可以向它投入大量 RL。换一种说法，即使实验室没有直接关注它，这一点仍然成立。如果你处在一个可验证的设置里，能够创建这些 RL 环境或样本，那么这实际上让你有机会做自己的 fine-tuning，并且可能从中受益。

Andrej Karpathy：这从根本上说是一种有效的技术。如果你有大量多样化的数据集、RL 环境等等，你就可以拉动这个杠杆。你可以用自己喜欢的 fine-tuning 框架，拉动这个杠杆，然后得到一些运行得相当不错的东西。我不知道具体例子可能是什么。但我确实认为，有一些非常有价值的强化学习环境，人们可以去思考，而它们还没有进入现有组合。

Andrej Karpathy：是的，我不想把答案泄露出去，但我觉得有一个领域非常……好吧，抱歉，我不是想在台上 vaguepost，但确实有一些这样的例子。

Q：反过来说，什么东西看起来只有远远看上去才像能被自动化？

Andrej Karpathy：我认为最终几乎所有东西都能在某种程度上变得可验证。有些更容易，有些更难。甚至像写作这样的事情，你也可以想象有一个 LLM 评委委员会，然后大概能从这种方法里得到一些合理的结果。所以问题更多是容易还是困难。

Q：所以一切都能自动化？

Andrej Karpathy：一切都能自动化。

Q：太棒了。去年你创造了 vibe coding 这个词，而今天我们所处的世界感觉更严肃了一点，更像 agentic engineering。你觉得二者有什么区别？你会怎么称呼我们今天所在的阶段？

04

｜从 vibe coding 到 agentic engineering

Andrej Karpathy：我会说，vibe coding 是在提高每个人能用软件做到什么的底线。底线抬高了，每个人都可以 vibe code 任何东西，这很惊人，也很不可思议。但 agentic engineering 是在保留之前专业软件里的质量标准。你不能因为 vibe coding 就引入漏洞。你仍然要像以前一样对自己的软件负责，只是你能不能更快？剧透一下，是可以。但你如何正确地做到这一点？

Andrej Karpathy：我把它叫 agentic engineering，是因为我确实觉得它像一门工程学科。你拥有这些 agents，它们是一些尖刺状实体，有点容易出错，有点随机，但极其强大。问题是，如何协调它们，让你在不牺牲质量标准的情况下更快前进，并且以正确方式做到这一点。这就是 agentic engineering 的领域。

Andrej Karpathy：所以我把两者看成不同的东西：一个是提高底线，另一个是在更高处外推。我现在看到的是，agentic engineer 的能力天花板非常高。过去人们谈 10x engineer，我觉得现在这个放大得多。10x 已经不是你能获得的加速幅度。从我现在的角度看，非常擅长这件事的人，峰值远远超过 10x。

Q：我很喜欢这个框架。去年 Sam Altman 来 AI Ascent 时说过一句令人印象深刻的话：不同世代使用 ChatGPT 的方式不同。如果你三十多岁，你把它当作 Google 搜索替代品；但如果你十几岁，ChatGPT 是你通向互联网的入口。今天在编程里有没有类似情况？如果我们看两个人用 OpenClaw、Claude Code、Codex 编程，一个你认为只是普通水平，一个你认为完全 AI-native，你会怎么描述两者的区别？

Andrej Karpathy：我觉得就是尽可能榨干现有工具的能力，使用它们的所有功能，并投资于你自己的工作环境。就像过去所有工程师都会尽量用好自己的工具，不管是 Vim、VS Code，还是现在的 Claude Code、Codex 等等。所以就是投资自己的 setup，充分利用你能用到的工具。我觉得大概就是这样。

Andrej Karpathy：还有一个相关想法。很多人现在可能在为此招聘，因为他们想雇到强的 agentic engineers。但我看到的是，大多数人还没有根据 agentic engineer 的能力重构自己的招聘流程。如果你还在给人出 puzzle 让他们解，那仍然是旧范式。

Andrej Karpathy：我认为招聘应该变成：给我一个很大的项目，看这个人如何实现这个大项目。比如让他为 agents 写一个 Twitter clone，把它做得非常好、非常安全。然后让一些 agents 在这个 Twitter 上模拟活动。接着我会用 10 个 Codex 5.4x，设置成 X-high，去尝试攻破你部署的网站。它们会试图把它弄坏，但它们不应该能够弄坏它。也许招聘应该长这样。所以，在那种设置里观察人们如何构建更大的项目、如何使用工具，可能是我主要会看的东西。

Q：随着 agents 做得越来越多，你觉得哪种人类技能会变得更有价值，而不是更不值钱？

Andrej Karpathy：这是个好问题。我觉得现在的答案是，agents 有点像实习生实体。这很了不起，但你基本上仍然要负责审美、判断、品味和一点点监督。

Andrej Karpathy：我最喜欢的一个关于 agents 奇怪之处的例子，是 MenuGen。你用 Google 账号登录，但用 Stripe 账号购买 credits。这两者都有邮箱地址。我的 agent 实际上试图在你购买 credits 时，用 Stripe 的邮箱地址去匹配 Google 的邮箱地址。它没有为用户创建持久化 user ID，而是试图匹配邮箱地址。但你可以用不同邮箱注册 Stripe 和 Google，于是资金就无法关联。

Andrej Karpathy：这就是这些 agents 仍然会犯错的地方。你为什么会用邮箱地址来交叉关联资金？邮箱可以是任意的，你可以使用不同邮箱。这是一件非常奇怪的事。所以我认为，人仍然必须负责 spec 和 plan。

Andrej Karpathy：我其实甚至不太喜欢 plan mode。当然它很有用，但这里有一个更一般的问题：你必须和你的 agent 一起设计一个非常详细的 spec，也许它基本就是文档，然后让 agents 去写。你负责监督和顶层分类，而 agents 在底层做很多事情。

Andrej Karpathy：所以我觉得你不再关心某些细节。比如神经网络里的 arrays 或 tensors。PyTorch、NumPy、pandas 之间有大量不同 API 细节。我已经忘了 keepdims 还是 keepdim，也忘了是 dim 还是 axis，是 reshape、permute 还是 transpose。我不再记这些东西了，因为你不需要记。这样的细节由实习生处理，因为它们有非常好的 recall。

Andrej Karpathy：但你仍然必须知道底层有 tensor，有 view，你可以操作同一块 storage 的 view，也可能产生不同 storage，而后者效率更低。所以你仍然必须理解这些东西在做什么，理解一些基础，以免不必要地复制内存等等。但 API 细节现在已经交出去了。

Andrej Karpathy：所以你负责品味、工程、设计，负责确保它讲得通，负责提出正确要求，比如我们要把所有东西都绑定到唯一 user ID 上。你在做一些设计和开发，engineers 或 agents 在填空。这大概就是我们现在所在的位置，我想每个人现在都能看到这一点。

Q：你觉得这种品味和判断力有没有可能随着时间变得不那么重要？还是天花板会继续上升？

Andrej Karpathy：这是个好问题。我希望它会改善。我觉得现在它没有改善的原因，还是因为它不在 RL 里。也许没有审美成本或奖励，或者做得还不够好。你真的看代码时，有时我会有点心脏病发作，因为它并不总是超级好的代码。它很臃肿，有很多复制粘贴，有笨拙而脆弱的抽象。它能跑，但真的很难看。

Andrej Karpathy：我确实希望未来模型能改善这一点。还有一个好例子是 microGPT 项目。我试图把 LLM 训练简化到尽可能简单。模型非常讨厌这件事，做不到。我不断提示 LLM：再简化一点，再简化一点。它就是做不到。你感觉自己在 RL circuits 之外。很明显，那就像拔牙，而不是光速前进。

Andrej Karpathy：所以我认为，人仍然会负责这部分。但我也觉得，没有什么根本性东西阻止模型学会它。只是实验室还没有做而已。

05

｜我们不是在造动物，而是在召唤幽灵

Q：我想回到 jagged intelligence 这个想法。你写过一篇很发人深省的文章，谈 animals versus ghosts。核心观点是，我们不是在造动物，而是在召唤幽灵。这些是锯齿状的智能形式，被数据和奖励函数塑造，但不是被内在动机、乐趣、好奇心或赋能感塑造；后面这些东西是演化带来的。为什么这个框架重要？它到底会改变我们如何构建、部署、评估甚至信任这些系统？

Andrej Karpathy：我写这个，是因为我在试图理解这些东西到底是什么。如果你对它们是什么、不是什么有一个好的模型，你使用它们时就会更有能力。我不确定这个框架是否真的有实际力量，也许有点哲学化。但我确实认为，它帮助我们接受一个事实：这些东西不是动物智能。

Andrej Karpathy：比如你对它们吼，它们不会因此工作得更好或更糟，这没有影响。它们本质上是统计模拟 circuits，底层是预训练，也就是统计；然后 RL 被加在上面，于是它会增强一些突出的部分。也许这更多是一种心智模型：我面对的是什么？什么可能有效，什么可能无效？我该如何修改它？

Andrej Karpathy：但我其实不知道自己是否能给出“五个显而易见的结果，让你的系统变得更好”。它更多是让你对它保持怀疑，然后随着时间弄清楚。

Q：这是起点。你现在已经非常深入地在和 agents 工作，而这些 agents 不只是聊天。它们有真实权限，有本地上下文，能真正代表你采取行动。当我们所有人都开始生活在那个世界里，世界会是什么样？

Andrej Karpathy：我想在座很多人都对 agent native、agentic 环境会是什么样感到兴奋。一切都必须被重写。现在一切从根本上仍然是为人类写的，必须被搬来搬去。我大多数时候使用不同框架、库或类似东西时，它们的文档仍然是为人类写的。这是我最喜欢吐槽的一点。

Andrej Karpathy：为什么人们还在告诉我该做什么？我不想做任何事情。应该复制粘贴给我的 agent 的东西是什么？每次有人告诉我，去这个 URL 或者类似东西，我就会觉得，唉。

Andrej Karpathy：所以我觉得大家都很兴奋的一点是，如何把需要发生的工作负载分解成面向世界的 sensors 和 actuators。我们如何让它变成 agent native？也就是首先把它描述给 agents，然后围绕对 LLM 非常可读的数据结构做大量自动化。

Andrej Karpathy：所以我希望会有很多 agent-first 基础设施出现。以 MenuGen 为例，当我写那篇关于 MenuGen 的博客时，很多工作、很多麻烦根本不是写 MenuGen 的代码，而是在 Vercel 上部署它。因为我要和所有这些不同服务打交道，要把它们串起来，要去它们的设置和菜单里配置 DNS。这太烦人了。

Andrej Karpathy：所以这就是一个好例子。我希望有一天，我可以给 LLM 一个 prompt：构建 MenuGen。然后我什么都不用碰，它就以同样方式部署到互联网上。我觉得这可以作为一个测试，看我们的基础设施是否正在变得越来越 agent native。

Andrej Karpathy：最终，我确实认为我们会走向这样一个世界：人和组织都有 agent representation。我的 agent 会和你的 agent 对话，来弄清楚我们会议或其他事情的一些细节。所以我觉得这大概就是事情正在去的方向。这里每个人应该都对此很兴奋。

06

｜思考可以外包，理解不能

Q：我们最后必须问一个关于教育的问题。因为你可能是世界上最擅长把复杂技术概念讲简单的人之一，而且你也非常深入地思考我们应该如何围绕它设计教育。当 intelligence 变得廉价、我们进入下一个 AI 时代时，什么仍然值得深入学习？

Andrej Karpathy：最近有一条 tweet 让我很震撼，我几乎每隔一天就会想到它。大概意思是：你可以外包你的思考，但你不能外包你的理解。

Andrej Karpathy：我觉得这句话说得非常好。因为我仍然是系统的一部分，信息仍然必须以某种方式进入我的大脑。我感觉自己正在成为瓶颈：甚至只是知道我们想构建什么、为什么值得做、我该如何指挥我的 agents 等等。所以我仍然认为，最终必须有某种东西来指挥思考和处理，而这在某种程度上仍然从根本上受理解能力的约束。

Andrej Karpathy：这也是我为什么对所有 LLM knowledge bases 都非常兴奋的原因之一。因为我觉得那是我处理信息的一种方式。每次我看到信息的另一种投影，我总觉得自己获得了洞见。所以对我来说，这其实就是对某个固定数据进行 synthetic data generation 的大量 prompts。

Andrej Karpathy：每次我读一篇文章，我都会有一个由这些文章构建起来的 wiki。我很喜欢围绕其中的东西提问。我认为，这些工具最终会以某种方式增强理解。而理解仍然是一个瓶颈，因为如果你不理解，你就无法指挥。你无法成为一个好导演。LLM 显然并不擅长理解，你仍然独特地负责这件事。所以我认为，朝这个方向发展的工具非常有趣，也非常令人兴奋。