人工智能“推理”能力的奇特起源

总结概述

这篇文章追溯了 AI 行业近两年反复宣传的“推理模型”概念，指出所谓链式思维（chain of thought）并不是实验室里突然诞生的革命，而是在 2020 年被一批使用 AI Dungeon 的 4chan 玩家意外摸索出来的技巧。当时他们一边在游戏里进行荒诞对话，一边发现：让 GPT-3 按步骤解释数学题，不仅能给出答案，还能让答案更准确。作者借这段历史提醒读者，许多后来被科技公司包装成“模型在思考”的能力，本质上更像是语言模式被更有效地调用。

文章的核心判断是，大语言模型并没有真正“推理”，而是在模仿训练数据中推理看起来应该是什么样子。它们能给出分步骤解释，是因为训练语料里本来就有大量分步骤解释和“自言自语式”的思考文本。链式思维之所以常常有用，不是因为模型拥有类人的内在思考，而是因为额外的文字给了模型更多上下文，把它的词语预测推向更正确的方向。

文章基本事实

•2020 年 7 月，一些 4chan 玩家在 AI Dungeon 中发现，让 GPT-3 按步骤解释数学题会提高回答准确率。

•AI Dungeon 是一款文本角色扮演游戏，本质上由 OpenAI 的 GPT-3 驱动。

•玩家们当时意识到这种做法的重要性，并把例子发到 Twitter 上。

•后来 Google 研究人员在论文中声称自己是首个从通用大模型中引出链式思维的人，但该说法后来被删除。

•OpenAI 在 2024 年称其 o1 模型“先思考再回答”，Google 也宣传 Gemini 2.0 Flash Thinking Experimental 能“展示自己的想法”。

•Anthropic 曾发表题为《大型语言模型的生物学》的文章，用大量类人术语描述 LLM 的工作机制。

•作者查阅开源训练数据后发现，其中存在大量带有“等一下”“我先理清输入”“但如果……”等表述的数学解题文本。

•Apple 研究者发现，推理模型在加入无关信息后，某些数学文字题表现可下降多达 65%。

•Perplexity CEO Aravind Srinivas 解释过，链式思维之所以有用，是因为增加了更多上下文。

核心观点/意见/看法

✓链式思维更像是一种提示技巧，而不是模型拥有真正思考能力的证据。

✓科技公司常用类人语言描述模型运作，这会夸大公众对 AI“推理”的理解。

✓4chan 玩家对模型本质的描述反而比行业营销更冷静、更贴近事实。

✓大模型输出推理过程，是在模仿训练语料里的推理文本，而不是进行内在思考。

✓如果问题稍作改写模型就显著失准，说明它的“推理”并不稳固，也不等于理解。

文章具体内容整理

1) 链式思维的发现并不来自正式实验室

•2020 年，一群使用 AI Dungeon 的玩家出于好奇，让 GPT-3 控制的游戏角色做数学题并逐步解释答案。

•他们发现，要求模型给出分步骤说明后，结果明显比直接提问更可靠，而且回答还能保留角色语气。

•这意味着，链式思维的早期发现并非来自后来被广泛引用的公司或学术团队，而是来自普通用户的试探性使用。

2) 行业后来把这种技巧包装成“模型在思考”

•Google、OpenAI、Anthropic 等公司此后陆续把链式思维与“推理模型”绑定宣传，给人一种模型正在像人类那样思考的印象。

•Anthropic 的文章用“计划”“泛化”“不忠于自己的思维链”等术语描述 LLM，让模型听起来像拥有心理状态。

•作者对照 4chan 用户写的指南，强调后者更直接地指出：聊天机器人只是公司围绕 LLM 搭建出来的一层幻象，模型本身只是在模仿训练数据。

3) 模型会“解释推理”，是因为它学过这种文本

•作者查看开源训练数据，发现其中有大量啰嗦、反复修正的数学解题文本，像人在边想边写。

•企业获取这类语料的方式，可能包括付费让人工编写，也可能让其他 AI 模型先生成。

•因此，所谓推理步骤并不证明模型内部真的进行了同样的思考，只说明它学会了“推理文本”的外观。

4) 正确答案和推理过程甚至未必一致

•研究者已经证明，模型可以给出错误的链式思维文本，却依然得出正确答案。

•Apple 的研究显示，只要在文字题里加入无关信息，最先进的推理模型也会明显退化。

•这些现象表明，链式思维并不是通向稳定逻辑能力的直接窗口，而更像一种脆弱的语言引导机制。

5) 链式思维有效，是因为它提供了更多上下文

•Perplexity CEO Aravind Srinivas 的解释是，链式思维增加了词语预测时的上下文，能让模型更容易朝相关答案靠拢。

•这和“提问越具体，回答越靠谱”的经验是同一种原理：更多细节会把模型引向记忆中更合适的语言区域。

•作者最后借 4chan 玩家当年的一句话总结：因为模型是建立在人类语言之上的，所以你得“像跟人说话那样跟它说”，它才更容易给出像样的回应。

— END —