如何理解AI基础知识Token

概念定义

你有没有用过 ChatGPT、DeepSeek 或文心一言，然后突然看到"Token 用量"这几个字，却完全不知道它是什么？

别担心，这篇文章 5 分钟让你彻底搞清楚。

Token 是什么？
中文一句话定义：Token 是 AI 大模型处理文字的最小单元，可以理解为"文字碎片"，中文名称为“词元”。

英文原义：Token 在语言学里意为"语言单位"。在 AI 领域，它指大模型将文本切分后得到的最小处理片段——既不是一个完整的词，也不是单个字母，而是介于两者之间的"子词单元"。

打个比方，大模型读文章就像切寿司——整条鱼（原文）被切成一片片鱼片（Token），每一片单独处理，才能理解全文。

与字节关系

很多人以为 Token 就是字节，其实两者是不同维度的概念：

语言换算关系
英文 1 Token ≈ 4 个字符 / 约 0.75 个单词
中文 1 个汉字 ≈ 1～2 个 Token
字节英文 1 Token ≈ 4 字节；中文每个汉字 UTF - 8 编码占 3 字节，但 ≈ 1 Token
一个直观对比：

英文 "Hello world" → 2 个 Token
中文"你好世界" → 4～6 个 Token
1000 个英文单词 ≈ 1300 个 Token
1000 个中文汉字 ≈ 1500～2000 个 Token
结论：中文比英文"烧"Token，同样的意思，中文消耗更多。

产生过程

每次你向大模型发送一条消息，后台会经历这三步：

分词（Tokenization）：你的文字被分词器切碎成 Token 序列。不同模型用不同算法（如 BPE、WordPiece），所以同一句话在不同模型里 Token 数量可能不同。

模型推理：每个 Token 经过数十层神经网络运算，生成上下文理解。这是最耗算力的环节。

逐 Token 输出：模型一个 Token 一个 Token 地"吐"出回复，直到生成结束符号为止。这也是为什么你看到的 AI 回复是"一字一字蹦出来"的原因。

计费方式

大模型按 Token 数量收费，分两类：

输入 Token：你发出的提问 + 对话历史
输出 Token：模型生成的回复（通常比输入贵 2～4 倍）
计费公式：

总成本 = 输入 Token 数 × 输入单价 + 输出 Token 数 × 输出单价

主流平台参考定价（以人民币/千 Token 为单位）：

模型输入输出
通义千问 Pro ¥0.015 ¥0.03
DeepSeek V3 ¥0.002 ¥0.008
GPT - 4o（约合人民币） ¥0.036 ¥0.108

省钱方法

提问简洁：废话越少，Token 越少，钱越少;
话题切换就开新对话：旧对话历史会累积 Token 消耗;
按任务选模型：简单问题用小模型，成本可降至 1/20;
批量任务走 API：比订阅制更精准控制成本。

总结概括

Token = AI 的"计量单位"，决定了它的算力消耗和你的账单金额。读懂 Token，就读懂了 AI 收费的本质。

下次再看到"Token 用量超出"，你已经知道发生了什么——是你的文字被切成了太多片"寿司"，厨师累了。🍣

关于“Token”，黄仁勋在GTC 2026大会上发表了多句重要的“金句”。梳理了其中最核心的几句分享如下：

· 论Token的经济地位：“你可以把 token 看作 AI 时代的核心货币。”
· 论AI工厂的本质：“未来的数据中心不再是存储文件的仓库，而是生产 Token 的‘工厂’。”
· 论顶尖工程师的AI使用：“如果那位年薪 50 万美元的工程师，消耗的 Token 价值还不到 25 万美元，我会非常担心。”
· 论Token作为薪酬：“我打算在基本工资之外，再给他们一半的金额以 Token 的形式发放。”