Andrej Karpathy,前特斯拉 Autopilot 负责人、前 OpenAI 科学家,现独立研究员。他最近的一个项目是 AutoResearch,让 AI 智能体自主完成从实验设计到模型训练的全流程。近日,他做客 No Priors 播客,与主播 Sarah Guo 深度探讨了 AI 编程、智能体未来、教育变革等前沿话题。这是一场关于“人与 AI 协作边界”的思想实验。
核心要点
- • 80/20 法则的终结:Karpathy 自去年 12 月起,几乎不再手写代码,全部交给 AI 智能体。
- • AI 精神错乱期 (AI Psychosis):面对 AI 能力的飞跃,开发者进入一种持续探索“可能性边界”的焦虑状态。
- • AutoResearch:他做了一个实验,让 AI 完全自主优化 GPT-2 模型,结果发现了一些他手动调参两年都没发现的超参数组合。
- • 模型“物种起源”:他认为未来会出现更多针对特定任务的模型“物种分化”,而非一个通用的超级模型。
- • 编程教育终结:未来学习编程不再是写代码,而是学会如何给 AI 下指令。
一、编码之死:不是渐变,是跳跃
Sarah Guo:你最近在社交媒体上非常活跃,大家都在讨论你“每天花 16 个小时给 AI 智能体下指令”。这是怎么回事?
Karpathy:这种感觉就像是...你本来以为自己在“编程”,但现在你会意识到,“编码”这个词已经不够准确了。更准确的描述是,我每天要花 16 个小时向我的 AI 智能体“表达我的意志”。
Sarah Guo:这是一种什么样的体验?
Karpathy:我称之为 “AI 精神错乱” (AI Psychosis)。自从去年 12 月开始,发生了某种质变。我以前是 80/20 法则——80% 的代码自己写,20% 交给工具。现在完全反过来了,可能 98% 都是 AI 在写。我大概从 12 月开始就没亲手敲过一行代码了。
【注:这里的“编码”指的是手敲键盘的动作,而非广义的软件构建能力。】
“你不再是那个打字员,你是那个指挥官。你要学会如何组织多个 AI 智能体,如何给它们下指令,如何验收它们的工作成果。这是一项全新的技能。”
二、智能体的“精通之道”:多线程与记忆
Sarah Guo:那么,掌握 AI 编程的正确姿势是什么?
Karpathy:关键在于提升你的行动粒度。以前你是一个功能一个功能地写,现在你是一个模块一个模块地委托。
你可以想象这样一个画面:Peter Steinberger(著名 iOS 开发者)坐在一块巨大的显示器前,10 个 Claude Code 智能体在不同的代码仓库里并行工作。如果 Prompt 给得好,每个智能体大概 20 分钟就能完成一个复杂的任务。你要做的就是像个指挥官一样,在它们之间穿梭,分配任务,审查结果。
【注:Peter Steinberger 是 1Password 的开发者,因在其著名的照片中同时运行十几个 Coding 智能体而闻名。】
Sarah Guo:听起来很美好,但也很有压力。
Karpathy:是的,最大的压力来自于算力焦虑 (Token Throughput Anxiety)。当你意识到你不再是算力的瓶颈,而真正瓶颈是你自己下达指令的速度和清晰度时,你会感到一种奇怪的紧迫感。就像以前读博士时,看到 GPU 在闲置会焦虑一样,现在则是看到 AI 的“算力余量”没被用完会焦虑。
Sarah Guo:这种焦虑怎么克服?
Karpathy:你需要给你的智能体配备更好的记忆系统。普通的上下文窗口 (Context Window) 满了会自动压缩,但如果你想让它记住项目的整体架构、你的代码风格、甚至你的个人偏好,你就需要一个更持久的记忆层。
三、Dobby the Elf:我的家庭智能体实验
Sarah Guo:你最近还做了什么有趣的事?
Karpathy:我做了一个很有趣的个人项目,我称之为 “Dobby the Elf Claw”。我给我家建了一个 AI 智能体,它能控制我家的一切。
它是怎么工作的?我只需要对它说:“找找我家里的 Sonos 音响。” 它就开始自动扫描局域网 IP 段,找到了那个没设密码的 Sonos 系统,然后反向工程了它的 API,甚至自己写了一个控制面板。现在,我只需要对它说一声“晚安模式”,它就会关掉所有的灯、调节 HVAC、拉上窗帘。
Sarah Guo:这只是智能家居的范畴。
Karpathy:不,它还有更实用的功能。我家门外有个摄像头,任何东西经过都会触发移动检测。然后它会调用一个视觉模型分析画面,判断是快递还是路人,最后给我发一条 WhatsApp 消息,上面写着:“嘿,一辆 FedEx 卡车刚停在你家门口,可能有你的快递。”
“这太不可思议了。我只用了三个 Prompt,就让一个 AI 智能体完成了发现设备、理解协议、逆向工程和最终控制的全流程。”
四、自然语言编程的连锁反应
Sarah Guo:这种“自然语言编程”的普及,会带来什么深远影响?
Karpathy:首先,我们要问一个更根本的问题:人类真的需要那么多 App 吗?
以智能家居为例,我以前要装 6 个不同的 App 来控制灯光、音响、恒温器、门锁...现在我不需要这些 App 了。我只需要一个 AI,让它直接调用底层的 API。应用层的软件正在被“碾平”,所有的交互都收敛到一个自然语言界面。
这意味着,未来软件行业的主要工作不再是写 App,而是写 API。你需要把一切能力都暴露成接口,让 AI 去编排和调用。
Sarah Guo:这对普通人意味着什么?
Karpathy:“Vibe Coding” (氛围编程) 的时代来了。未来两三年内,这种能力将变得像打字一样简单。任何 AI,甚至开源模型都能做到。它不再是极客的专属,而是一种基本技能。
五、AutoResearch:AI 如何自我进化
Sarah Guo:你最近还公开了一个项目,叫 AutoResearch,这是什么意思?
Karpathy:核心思想是:如果你想最大化 AI 的能力,你必须把自己从循环中移除。
我给它设定一个目标函数,一个评估指标,然后让它自己去跑。我把一个调参了两年的 GPT-2 模型扔给它,让它 overnight 自主优化。第二天早上它回来,告诉我它发现了一些我没看到的组合:权重衰减 (Weight Decay) 的参数没调好,学习率调度 (Learning Rate Schedule) 的 Beta 参数也不对。
Sarah Guo:你一个有着 20 年经验的研究员,被自己的 AI 超越了?
Karpathy:这就是问题的关键。当一个东西可以被客观评估的时候(比如模型Loss),AI 就能帮你优化它。任何你能定义指标的任务,AI 最终都会做得比你好。
“这不仅仅是效率的提升。这是关于如何重新组织整个研究流程。你不再是那个盯着屏幕等结果的人,你只需要安排好一切,然后‘按运行键’。”
【注:Karpathy 在 OpenAI 期间训练了 GPT-2,他一直把训练 GPT-2 的过程当作一个“算法学习”的游乐场。】
六、模型“物种起源”:分化还是大一统?
Sarah Guo:现在的大模型都在追求“通才”,但你好像在暗示另一种趋势?
Karpathy:是的,我认为未来会有更多的“物种分化”。
现在的趋势是,大家都在做一个“万能模型”,往里塞各种参数。但我相信,模型最终会像自然界一样,出现各种“专家物种”。比如一个专门做数学证明的 Lean 模型,一个专门做代码生成的 Codex 模型,一个专门做创意写作的模型。
Sarah Guo:这种分化会导致大一统模型消失吗?
Karpathy:不会。但会出现一个有趣的分工:开源模型负责覆盖 80% 的日常场景,而闭源的前沿模型负责探索 20% 的最前沿问题。
就像 Linux 和 Windows 的关系。Linux 不是最强大的,但它是整个行业的基础,因为它开放、可信、且人人可用。
七、AI 时代的教育:从教人到教 AI
Sarah Guo:最后一个话题,关于教育。你最近在推广 MicroGPT,这是要教人写代码吗?
Karpathy:MicroGPT 是我用 200 行 Python 代码实现的一个最简化的 GPT 模型。它没有使用任何现代深度学习框架,就是纯粹的矩阵乘法加一点点数学。
Sarah Guo:这不是倒退吗?
Karpathy:不,这是回归本质。当你把这些“效率优化”去掉之后,你会发现神经网络的本质其实非常简单。
但更有趣的变革在于教育的对象变了。以前我做了教程是给人看的。现在我做了教程是给 AI 看的。如果 AI 能理解 MicroGPT 的代码,它就能用自己的方式、用无限的耐心和最适合你水平的方式,把这个概念教给你。
“未来,‘教育’不再是你听老师讲课。而是你给 AI 写一份 Skill(指令清单),告诉它如何把一个复杂的概念教给一个普通人。”
结语:信号与未解之谜
值得关注的信号:
- 1. 算力即权力:未来衡量个人能力的标准可能不再是财富,而是你控制的“Token 吞吐量”。
- 2. API 经济:软件行业从“做 App”转向“搭积木”,所有能力都要暴露成接口。
- 3. 模型分层:开源负责日常,闭源负责前沿,两者形成一种新的生态平衡。
未解的问题:
- 1. 信任问题:当 AI 真的能控制你家的一切时,你真的敢把全部权限都交给它吗?
- 2. 创意边界:AI 能优化一切有“指标”的任务,但对于没有标准答案的“创意”,人类的直觉还有多少价值?
原始视频链接:No Priors Podcast - Andrej Karpathy on Agents, AutoResearch, and the Loopy Era of AI[1]
播客链接:No Priors Podcast[2]
引用链接
[1] No Priors Podcast - Andrej Karpathy on Agents, AutoResearch, and the Loopy Era of AI: https://www.youtube.com/watch?v=kwSVtQ7dziU
[2] No Priors Podcast: https://www.no-briers.com
夜雨聆风