AI学习笔记08|CoT:大模型为什么看起来会“思考”?

最近学习大模型时，经常看到一个词：CoT。

CoT，全称 Chain of Thought，中文一般叫“思维链”。

它的核心并不复杂：面对一个比较复杂的问题，不急着直接给答案，而是先拆成几个中间步骤，再一步一步往下推。

比如：

王五10岁，李四比王五大2岁，张三又比李四大3岁。

如果直接回答，答案是15岁。

如果按 CoT 的方式：

王五10岁→ 李四12岁→ 张三15岁

复杂问题被拆成了几个更简单的问题。

这也是 CoT 的价值之一：把“一步很难得出答案”的问题，拆成多个相对容易处理的中间步骤。

这里有几个概念很容易混。

Transformer 是模型架构，解决的是“大模型怎么搭”。

SFT 是训练方式，可以通过带有推理过程的数据，让模型学习这种一步步解决问题的方式。

CoT 则更像是一种多步推理形式，解决的是“复杂问题怎么一步步处理”。

三者不是一回事。