AI 核心技术速查手册 · Token篇

1️⃣ Token（令牌/词元）

🔵 核心定位：AI 的最小理解单元

📝 通俗解释：大模型无法直接读懂整句文字，会把汉字、字母、标点拆分最小语义碎片，这个基础碎片就是Token。

✨ 关键特点：模型输入输出基础单位，计费、上下文容量均按Token统计。

💡 一句话记忆：Token = AI 读懂文字的最小碎片

2️⃣ Tokenizer 分词器

🟡 核心定位：AI 的文字拆分转换器

📝 通俗解释：专门把人类自然语言，自动切割、编码成模型能识别的Token序列。

✨ 关键特点：拆分规则决定理解精度，直接影响Token消耗数量。

💡 一句话记忆：分词器 = 把人话转成AI能读的单元

3️⃣ 上下文窗口 Context Window

🟢 核心定位：AI 的短时记忆上限

📝 通俗解释：模型单次最多能承载、记忆、处理的Token总量，窗口越大能读越长文档、续越长对话。

✨ 关键特点：决定长文本处理能力，窗口越大算力与成本越高。

💡 一句话记忆：上下文窗口 = AI 一次能装下的记忆容量

4️⃣ 输入 Token

🟠 核心定位：AI 的接收信息载荷

📝 通俗解释：用户发送的提问、指令、参考文档、知识库内容折算后的Token总量。

✨ 关键特点：接口计费核心项，内容越长消耗Token越多。

💡 一句话记忆：输入Token = 你发给AI的全部内容当量

5️⃣ 输出 Token

🟣 核心定位：AI 的生成信息载荷

📝 通俗解释：AI 作答、续写文案、写代码、总结文档所生成产出的Token数量。

✨ 关键特点：创作类场景主要消耗项，可控设置最大生成长度。

💡 一句话记忆：输出Token = AI 为你生成的全部内容当量

6️⃣ Token 计费规则

⚫ 核心定位：AI 接口标准计价单位

📝 通俗解释：主流大模型均按「输入Token单价+输出Token单价」计费，不按纯汉字字数算；以OpenClaw为例，其本身免费，仅收取所调用AI模型的Token费用，计费逻辑与模型绑定，且支持缓存优化降低成本：比如调用OpenAI GPT-4o，输入Token单价为$5/1M、输出Token单价为$15/1M，若在OpenClaw中用该模型处理任务，发送1000字中文指令（约1300个输入Token）、生成2000字中文结果（约2600个输出Token），则需支付（1300÷1000000×5）+（2600÷1000000×15）≈$0.0455；若启用缓存，缓存读取的输入Token仅需原价10%，可进一步降低费用，且可通过OpenClaw的/usage命令查看实时Token消耗与费用估算，还能设置月度预算限制避免超额。

✨ 关键特点：中文1字≈1.3Token，英文单词约1个Token；OpenClaw支持多模型计费适配、缓存优惠及费用监控，不同模型定价差异显著。

💡 一句话记忆：AI收费不按字数，按Token个数结算，OpenClaw按所调用模型的输入输出Token双向计费。

7️⃣ 文本分片拆分

🟤 核心定位：Token 超限兼容方案

📝 通俗解释：超长文档超出上下文窗口时，切割成多段分批输入AI，再整合统一答案。

✨ 关键特点：长文档问答、本地知识库、RAG检索必备流程。

💡 一句话记忆：超长文本拆小块，分批喂给AI处理

8️⃣ BPE 子词编码

🔴 核心定位：Token 底层通用拆分算法

📝 通俗解释：GPT等主流模型标配编码方式，自动合并常用词、拆分生僻字符，平衡效率与精度。

✨ 关键特点：兼顾中英文适配、压缩字符冗余、行业通用标准。

💡 一句话记忆：BPE = 大模型统一拆词编码标准