AI黑话指南:LLM、Token、Prompt都是啥?

声明   文章封面图由Image2.0生成

每次看到AI相关的文章，你或多或少都能见到LLM, Token, Context, Context，Context Window，Prompt这些生僻的词。

你可能有个大概的印象却又说不出他们具体的含义。今天，我们就重新梳理，从大概印象到揉碎讲清楚，提升你对AI的理解。

相信看完以后你也能自己发现问题解决问题。

今天我们先挑几个简单的LLM, Token, Context, Context Window, Prompt。

如果简单理解LLM，我们可以想象它是AI的大脑，但本质是一个庞大的数学函数。基本上所有的LLM模型都是基于Transformer这套架构训练出来的。

反直觉的地方在于，LLM只能理解和生成人类的文字。想象一个看不到也听不到的大脑依靠数学模型像“文字接龙”一样猜词回答你的问题这已经足够吓人了。

Token是LLM处理文字的最小单位。

正如前文所说LLM并不能直接理解文字，本质是一个数学函数。我们说的话被“词元翻译官”(Tokenizer)切分成一个个小片段（Token），并转换为一串数字id（向量）。这串数字就是LLM模型所能理解的语言了。

大模型运算后输出的一串数字再经过Tokenizer的翻译就变成了我们所能理解的文字。我们输入的文字被切成一个个Token输入给大模型，再由大模型一个又一个输出结果。

如果对词元的切分感到好奇，可以看看OpenAI 官方提供了一个在线页面。

链接如下：https://platform.openai.com/tokenizer

Prompt就很好理解了，就是你给大模型提出具体问题或者指令。

“给我生成一张图片”，就是一条简单的提示词。但AI可能给你一张人物照片也可能是风景照。

 因此，提示词的质量直接决定了AI输出结果的好坏。你给的任务说明越清晰、越具体，AI“生成的质量就越高。

Context常被直译成上下文，是模型在生成回复时接受到的全部信息综合，包括以往的对话历史，提示词，预设的规则等内容。

之前我们说过大模型并没有记忆功能，只会一股脑地将这些内容再塞回去。这就导致了两个问题：

Context的记忆有极限；

大模型不能完全记清塞回去的内容。

Context Window就是Context能够容纳大最大Token量。

Context Window不同的模型略有差别。通常模型的Context Window大小是100万token，如果非要转换成汉字大概就是150万字。

前文说过大模型不能完全记清塞回去的内容。举个例子，如果塞一本带有大量数字的产品手册，大模型就非常容易出错。这也是大模型不适合进行复杂运算的原因。

昨天Open AI前脚刚刚发布完Image2.0，今天GPT-5.5就上线了。以前我们用PS造谣恶搞可能还有些动手门槛，但今天造谣的成本就是几句提示词。

在接触AI后每时每刻都感到身边的东西在飞速变化。如果你之前多少了解一些AI那我认为你现在也差不多该开始学习了。

如果觉得我的科普做得还不错就点个赞吧。觉得我的内容有问题或者有不理解的内容欢迎在评论区留言~