每天一个 AI 术语 09

推理（Inference）

模型不再学习，而是开始使用已经学会的能力

上一篇：算法（Algorithm）｜下一篇：数据集（Dataset）

上一篇我们讲了算法：算法是一套解决问题的明确步骤，它规定输入怎样处理、计算怎样进行、结果怎样得到。

但一套步骤写清楚，并不代表任务已经完成。真正使用 AI 时，我们还要把一张新图片、一段新语音或一个新问题交给模型，让它按照这些步骤运行一次。

这个从新输入出发，经过模型计算，最终得到预测、分类、推荐或回答的过程，就是推理（Inference）。

推理到底是什么

推理是 AI 的“使用阶段”。模型在训练阶段已经从大量样本中学到了某些规律；到了推理阶段，它通常不会再修改参数，而是直接使用已有参数处理从未见过的新输入。

手机的人脸解锁、短视频推荐、语音转文字、图片识别、聊天机器人回答问题，都离不开推理。我们日常感受到的“AI 正在工作”，大多数时候就是推理正在发生。

一次推理发生了什么

不同 AI 系统的内部计算很复杂，但从使用者的角度，可以把一次推理理解为四个环节：

1. 接收输入：图片、文字、声音或其他数据先进入系统。
2. 转换表示：输入被转换成模型能够处理的数字形式。
3. 模型计算：数据经过网络结构和参数，逐层完成计算。
4. 形成输出：系统把计算结果整理成类别、概率、推荐或自然语言回答。

对于大语言模型，输出往往不是整句话一次出现，而是根据当前上下文不断预测下一个更合适的词元，再一个接一个地生成内容。因此，回答越长，推理通常需要的时间和计算也越多。

推理和训练有什么不同

训练和推理都要让数据经过模型，但它们的目的完全不同。训练是在“学”，推理是在“用”。

为什么推理也需要算力和时间

模型已经训练好了，并不意味着使用它毫无成本。每一次推理仍然要执行大量数学计算。模型越大、输入越长、输出越多，需要处理的计算量通常也越大。

推理速度还会受到硬件、模型结构、并发用户数量和优化方式的影响。同一个模型放在高性能服务器、普通电脑和手机上，响应速度可能明显不同。

因此，AI 产品不仅追求“答得准”，还要在速度、成本和能耗之间做平衡。很多工程优化，解决的正是怎样让模型更快、更省地完成推理。

推理结果一定正确吗

不一定。推理只是模型根据已有规律，对当前输入作出最可能的判断。模型学到的规律可能不完整，输入可能含糊，任务也可能超出模型擅长的范围。

以聊天机器人为例，它生成的是在上下文中较合理的后续内容，而不是自动验证过的事实。重要信息仍需要核实，尤其是在医疗、法律、金融等高风险场景。

理解这一点很重要：推理结果可以很有用，但“看起来像答案”不等于“必然正确”。

常见误区

误区一：推理就是重新训练。不是。普通推理通常不会更新模型参数，它只是使用现有能力完成一次任务。

误区二：AI 回答问题时一定在搜索互联网。也不一定。有些系统会连接搜索工具，有些则只根据模型参数和当前输入生成结果。

误区三：响应越慢，模型思考得越深。速度受模型大小、硬件、网络和输出长度等多种因素影响，不能简单等同于聪明程度。

今天的小结

• 推理是使用训练好的模型处理新输入并产生输出。
• 训练负责“学会规律”，推理负责“使用规律”。
• 一次推理通常包括接收输入、转换表示、模型计算和形成输出。
• 推理同样需要算力，并要在准确率、速度和成本之间平衡。
• 推理结果是模型作出的判断，不代表天然正确。

为什么下一篇讲“数据集”

现在我们知道：推理是在使用模型已经学会的能力。模型接收一个新输入，调用参数中保存的规律，再给出结果。

但这些规律最初从哪里来？为什么模型认识猫、理解语言、分辨声音？如果给它的学习材料数量不足、内容错误或分布不均，推理结果又会发生什么变化？

模型学习时使用的一组样本集合，就是数据集（Dataset）。它决定模型看过什么，也深刻影响模型能够学会什么。

下一篇预告：我们会讲数据集到底是什么，一份高质量数据集需要满足哪些条件，以及为什么“数据越多越好”并不总是成立。