我们现在谈到大模型“推理”,很容易想到一种熟悉的形式: 模型先把思路一步一步写出来,再给出最后答案。 这就是近年来非常重要的 Chain-of-Thought,链式思维。
它之所以有效,是因为复杂问题被拆成多个中间步骤后,模型往往更容易得到正确答案。也正因为如此,过去几年,大模型推理能力的提升,常常和“让模型把思路写出来”联系在一起。
但一个问题也随之出现:
推理,真的必须被完整翻译成语言吗?
人类思考时,并不总是在脑子里先写一篇小作文。很多时候,我们会先在心里迅速比较几种可能,最后才把结论说出来。换句话说,“会思考” 和 “能把思考过程完整说出来”,也许并不是同一件事。

论文 《Training Large Language Models to Reason in a Continuous Latent Space》 提出的 COCONUT,正是在探索这样一种新路线: 不再要求模型把每一步推理都转化成文字,而是让它直接在内部的连续隐空间中完成一部分“沉默思考”。这篇论文后来正式发表于 COLM 2025。(openreview.net )

在普通链式思维中,模型会先生成第一步文字推理,再把这一步作为后续输入,继续生成下一步。这个过程很像学生做题时,把草稿一步步写在纸上。
这样做的优点很明显:过程清楚,人类也更容易检查。 但它也有一个限制:模型每走一步,都要先明确写下一个具体方向。 一旦它选择了某条语言路径,后续推理就很容易沿着这条路继续走下去。
对于简单问题,这种方式已经足够有效;但面对需要规划、比较和回溯的问题时,过早押注某一条路径,可能反而限制了模型。因为有些问题并不是一开始就能看出哪条路对,真正合理的做法,往往是先保留多个可能,再逐步筛选。(openreview.net )

COCONUT 的做法与传统链式思维不同。
在普通语言模型中,模型会先形成一个内部隐藏状态,再把它解码成文字。COCONUT 则不急着把这个状态立刻翻译成词语,而是把它继续送回模型,让模型直接在内部状态中往前推理。论文将这种方式称为 continuous thought,连续思维。(openreview.net )
如果用一个更直观的比喻:
传统 CoT 像是 边想边说; COCONUT 更像是 先在心里想一会儿,再开口回答。
这种做法的好处在于,模型不必马上把每一个中间想法都固定成具体文字,而是可以在连续空间中暂时保留多个潜在方向。论文作者发现,这种内部表示更像是在同时探索几条路线,而不是一开始就锁定唯一答案。对于需要规划的问题,这种方式可能比传统链式思维更自然。(openreview.net )

论文中一个很有意思的发现是: COCONUT 的连续思维状态,能够同时携带多个候选方向,类似在脑中先并行试几条路,再决定往哪边走。相比之下,传统 CoT 往往更像沿着一条已经写下来的单一路径继续前进。
这对于需要搜索和规划的任务尤其重要。 比如在迷宫里找路,如果一开始就只认定一条通道,很可能很快走进死胡同;如果能先保留几条候选路线,再逐渐排除错误路径,就更有机会找到出口。

研究显示,在一些需要更强规划能力的逻辑推理任务中,COCONUT 可以使用更少的推理 token,取得优于传统 CoT 的表现。也就是说,模型并不是写得越多就一定越会推理;有时候,少说一点,先在内部多想一点,反而更有效。 (openreview.net )

COCONUT 并不是一开始就让模型完全脱离语言推理。研究者采用了一种渐进式训练方式:
一开始,模型仍然依靠完整的文字推理链; 随后,训练过程中逐渐加入连续思维; 最后,用越来越多的内部状态,替代原本必须显式写出的推理步骤。(openreview.net )
这有点像教学生做题: 刚开始要求每一步都写清楚,等他逐渐熟练后,一些简单步骤就可以在脑中完成,不必每次都完整写出。
论文结果显示,这种潜在空间推理在多类任务上都能带来提升,尤其是在需要规划和回溯的场景中更明显。不过作者也非常谨慎地指出,这一方向仍处于早期阶段,距离全面替代语言式推理还很远。(openreview.net )

并不是。
链式思维最大的优点之一,就是可见。 人类可以看到模型为什么这样回答,这对于教育、调试和高风险应用都非常重要。
而 COCONUT 的连续隐空间推理虽然可能更高效,却也带来了一个新问题: 如果模型把关键过程都放在“心里”完成,人类还能不能理解它到底是怎么得出答案的?
这意味着,未来如果隐式推理越来越重要,我们也需要新的方法去解释、验证和约束模型内部的推理过程。 所以,COCONUT 并不是要取代链式思维,而是在提醒我们:
语言化推理很重要,但它可能不是推理的全部。

过去我们常常把“能把过程说清楚”视为“会思考”的证明。 但 COCONUT 提醒我们,真正的推理能力,也许不一定都要体现在写出来的文字里。
会推理,不一定等于每一步都要说出口; 能说出口,也不一定代表那就是全部思考。
从链式思维到连续思维,大模型正在尝试从“边想边说”,走向“先在心里想一会儿”。这条路还很早,但它提出了一个值得继续追问的问题:
未来 AI 的推理能力,究竟会写在屏幕上的文字里,还是也会存在于那些我们暂时看不见的内部空间中?


夜雨聆风