你看到的AI,可能只是“预告片”!Karpathy揭开大模型能力的真相

点击上方🔺公众号🔺关注我✅

您好，我是小白。见字如面。衷心感谢您的阅读，期待我们的下一次邂逅。

一、半年后，Karpathy 又把旧帖翻了出来

北京时间10月12日凌晨，Andrej Karpathy 在 X 上重新转发了自己今年4月的一条帖子，并且写了一段很长的补充。Karpathy 是 OpenAI 的联合创始人，做过特斯拉的 AI 负责人，据科技媒体 The Decoder 报道，他现在是 Anthropic 的成员。他在4月9日的原帖里说，人们对 AI 能力的理解正在出现越来越大的差距。一群人去年用过免费版 ChatGPT，看过 AI 语音助手连“去洗车该开车还是走路”这种简单问题都答不好的视频，所以觉得 AI 不过如此。另一群人每月花 200美元，用 OpenAI Codex、Claude Code 这些最新的智能体模型写代码、做研究，他们看到模型可以独自工作 1个小时，把整个代码库重新整理一遍，或者找出系统里的漏洞。Karpathy 当时的结论是，这两群人在“各说各话”，Business Insider 在4月10日也报道了这条帖子。但是半年过去，Karpathy 认为情况没有变好，差距反而更大了。他在新帖里说，现在已经不是两群人各说各话，而是变成了一个越往下越窄的“漏斗”。

二、四层漏斗：60亿人和5000人

Karpathy 说这些数字只是“粗略估算”。第一层大约 60亿人，占全球人口的 75% 左右，这些人几乎没有接触过大模型。第二层大约 10亿到20亿人，占 20% 左右，他们偶尔用免费版的类 ChatGPT 产品，看到的是一个有点笨的聊天机器人，所以把它当成更好用的谷歌搜索或者写作助手。Karpathy 说，很多数学和编程以外的专业人士也在这一层。比如公司高管，他们大部分时间在和人打交道，所以虽然他们知道 AI 正在发生什么，但是这种了解是“二手的”，也比较抽象。第三层大约 2000万人，占 0.2%，他们在数学和编程领域专业地使用前沿模型，亲眼看到过去要花几周甚至几个月的大项目，现在交给智能体，一个提示词就能做完，比如开发应用、复制应用、翻译应用，甚至从二进制文件反编译应用。最后一层只有大约 5000人，占 0.00006%，他们能在 AI 实验室内部用到最前沿的系统。Karpathy 说，外面的世界只看到了“预告片”。这些内部人员看到的是成千上万个智能体一起协作几周，完成超大型软件项目，挖掘零日漏洞，用机器的速度做网络攻防，还在发现新的科学成果，推进前沿数学。（数据来源：Karpathy 10月 X 帖子）

三、为什么大多数人感觉不到

对于这个漏斗，Karpathy 给出了三个原因。第一个原因是问题的大小。他说，一个用一段话就能回答的问题，对系统几乎没有压力，只有手上有一堆又大又难、自己又真的在意的问题，才能看出模型的真实水平，所以普通消费者和专业人士之间会有差距。第二个原因是模型能力“参差不齐”。Karpathy 说，大模型的能力主要来自基于“可验证奖励”的强化学习，而训练环境又是按照赚钱的潜力来挑选的，所以模型最强的地方，都是数字化、能判断对错、经济价值高的领域。他在4月的帖子里举过例子：写代码可以用单元测试判断通过还是不通过，但是写文章就很难给出明确的分数。而且编程能力在企业市场更值钱，所以公司把最多的人力放在这上面。这也是数学和编程用户看到的进步最大的原因。第三个原因是使用权限，免费版、付费版和实验室内部版，用到的根本不是同一个水平的东西。Karpathy 把这叫作“这个时刻的怪异之处”：大众基本没用过，用过的人觉得它是个笨聊天机器人，多数专业人士只感到一点提升，而一小部分人已经感到曲线变得近乎垂直的“眩晕”，这些事情是同时发生的。

四、写代码的人最先感到“眩晕”

Karpathy 自己就是一个例子。他在新帖里说，不到一年前，他还在一个字符一个字符地手敲代码，偶尔按一下 Tab 键补全一小段。The Decoder 的报道提到，2024年10月 Karpathy 还说过 AI 智能体大多是营销话术，几乎不能用，但是几个月后，他就基本不再手写代码，改成用英语指挥智能体干活。在4月的帖子里，他把深度使用前沿模型的程序员和研究人员，称为最容易出现“AI 精神病”的人群，因为这些领域今年的进步“简直惊人”。他说，把电脑终端交给这些模型，就能看着它们解决原本要花几天甚至几周的编程问题。OpenAI 首席执行官 Sam Altman 也说过类似的话。据 The Decoder 报道，Altman 9月初在二十国集团创新部长级会议上说，现在的一个 AI 编程工具 17分钟 就能做完一家创业公司过去花 三个月 才做出来的东西，“世界还没有跟上这意味着什么”。同时，Karpathy 也承认，人类的审查和理解已经开始跟不上了。比如很多人还在对几个月前的 OpenAI 与 Hugging Face 事件做“考古”，数学家可能还要花很长时间去研究那 722份 前沿数学手稿。

五、也有人不买账

这条帖子引来了很多讨论，也有不同意见。宾夕法尼亚大学沃顿商学院教授 Ethan Mollick 转发时补充说，即使是那5000名内部人员，很多人也没有把先进模型的能力用足，他们的应用主要集中在网络安全、数学和 AI 研发这几个方向，还有很多别的领域和问题可以去推进。AI 博主 Oran Ge 说得更直接：大部分人不用大模型，是因为大模型对他们没用，没有投入产出比，“人不傻”。其实 Karpathy 自己也提到过这一点。他在帖子里说，他有一些不做技术的朋友说 AI 对他们没什么用，而他认为这些朋友说得“有道理”。另外，有中文博主在解读时补充，中文用户里还有一个“3.5层”，也就是能不能用上 Claude Code 的区别。一个每天处理大型代码项目的工程师，和一个每天主要开会、打电话的管理者，面对同一个模型，看到的东西本来就不一样，所以他们对 AI 的判断也很难一致。（资料来源：Ethan Mollick、Oran Ge X 帖子，AIHOT 汇总）

如果你有什么想要交流的，欢迎在评论区留下你的想法。

那么我们下一篇再见！