上个月我的同事小曾在用 ChatGPT 写代码的时候,突然收到一封邮件,说他的 API 额度已经用了 80%。小曾当时就懵了,明明才用了一周啊?
他赶紧登录后台查看账单明细,发现有一天晚上他让 AI 帮忙重构一段代码,就那么一次对话,居然消耗了 15000 多个 Token。小曾盯着那个数字看了半天,跑来问我:Token 到底是个啥玩意儿?为什么它能这么"吃钱"?
小曾专门花了一个周末去研究这个东西,但越看越迷糊。最后还是我告诉他,原来他之前用 AI 的方式都错了。很多人跟小曾一样,以为 AI 是按"对话次数"收费的,或者按"字数"收费的。其实都不是,人家收的是 Token。
这玩意儿就像你去超市买菜,你以为是按"一棵白菜"算钱,结果人家是按"斤"称的。你拿了一棵大白菜,就得付更多钱。Token 就是 AI 世界里的"秤"。
Token 到底是什么
1. Token 就是 AI 眼中的"字"
简单来说,Token 就是 AI 理解和处理文字的最小单位。但它跟我们平时说的"字"不太一样。
你写一句话:"我今天很开心",在我们看来是 6 个字。但在 AI 眼里,可能会被切成 8-10 个 Token。为什么?因为 AI 不是按照"汉字"或"英文单词"来理解的,它有自己的一套切分规则。
打个比方,就像你吃一根香肠,你可能一口吃掉,但 AI 会把它切成一小段一小段再"消化"。每一小段,就是一个 Token。
举个具体例子:
英文:"Hello world" ≈ 2 个 Token(Hello 一个,world 一个)
中文:"你好世界" ≈ 4-6 个 Token(中文通常比英文"费 Token")
代码:
print("Hello")≈ 5 个 Token(代码符号都算)Emoji:一个 😊 ≈ 1-2 个 Token
所以你会发现,同样是 100 个字,用中文跟 AI 对话会比用英文消耗更多 Token。这也是为什么很多技术文档都建议用英文提示词,不光是因为效果好,还因为省钱。
2. Token 决定你的钱包厚度
现在市面上的 AI 工具,基本都是按 Token 计费的。不管是 ChatGPT、Claude 还是国内的文心一言、通义千问,都是这个逻辑。
计费方式通常是这样的:
输入 Token(你发给 AI 的内容):便宜一些
输出 Token(AI 回复你的内容):贵一些,通常是输入的 2-5 倍
而且通常费用是几块或十几给你百万token。
你可能觉得"百万"听起来挺多的,但其实用起来很快。我之前让 AI 帮我写一篇 3000 字的技术文档,一次对话就用了将近 8000 个 Token。如果你每天这么用,一个月下来账单可不低。
更要命的是,很多人不知道,你的历史对话记录也算 Token。你跟 AI 聊得越久,它需要"回看"的上下文就越多,消耗的 Token 就越多。这就是为什么有时候你会发现,同样的问题,放在对话开头问和放在聊了半天之后问,费用能差好几倍。
3. Token 限制让 AI"失忆"
每个 AI 模型都有一个"Token 上限",也叫做上下文窗口(Context Window)。
什么意思呢?就是 AI 一次能"记住"的内容是有限的。比如:
GPT-4o:128K Token
听起来挺多的对吧?但你要知道,这个数字包含了你的所有输入和输出。
我举个例子你就明白了:
你给 AI 发了一段 5000 字的需求文档,让它帮你分析。AI 回复了 3000 字的方案。然后你又追问了几个问题,AI 又回复了几轮。这时候,所有这些内容加起来,可能已经用掉了 2 万个 Token。
如果你们这样一直聊下去,当 Token 数量达到上限时,AI 就会开始"遗忘"前面的对话内容。它不会告诉你"我忘了",而是会直接把最早的对话内容丢掉,保留最新的部分。
这就是为什么有时候你会发现:
AI 突然不记得你最开始说的需求了
你明明之前提过的信息,它又问你一遍
对话越长,AI 的回答质量越不稳定
说白了,Token 限制就像人的短期记忆,装不下那么多东西。你塞太多进去,早期的记忆就会被挤掉。
省token的几个实用技巧
开新对话而不是一直追问:当对话轮次超过 10 轮时,考虑总结前面的内容,重新开一个对话
精简提示词:不要把大段背景信息反复发送,AI 其实不需要那么多"寒暄"
能用 GPT-3.5 就别用 GPT-4:简单任务用便宜模型,复杂任务才上贵的
控制输出长度:在提示词里明确要求"简洁回答"或"控制在 500 字以内"
Token 这个东西,本质上是 AI 模型的技术限制带来的产物。但它也在倒逼整个行业去思考:我们到底需要多长的上下文?是不是所有任务都需要"超级记忆力"?
我个人觉得,理解 Token 不只是为了省钱,更重要的是能帮你更好地使用 AI 工具。就像开车需要看油表,用 AI 也需要知道你在"烧"多少 Token。
下次当你看到账单的时候,你就知道那些钱都花在哪儿了。同时针对省token的实用技巧,我也会在后续为大家整理出来。
夜雨聆风