乐于分享
好东西不私藏

AI圈子的这些新名词:LLM、Token、Context、Prompt......您了解吗?

AI圈子的这些新名词:LLM、Token、Context、Prompt......您了解吗?

从底层工程视角,拆解AI圈最常见的5个新名词,一文讲清LLM、Token、Context、Prompt、Tool、MCP、Agent和Agent Skill的本质

AI圈子的这些新名词:LLM、Token、Context、Prompt......您了解吗?

AI 圈子里每天都在冒新名词。LLM、Token、Context、Prompt、Tool、MCP、Agent、Agent Skill——这些词你可能都听说过,但是你真的能准确说出其中每一个概念的确切含义吗?

这期我们从最底层的工程视角出发,把这些概念一个一个拆开、揉碎、讲清楚。看完之后,你对 AI 的理解绝对会上升一个台阶。


一、LLM:大语言模型,一切的基础

最底层的,就是 LLM(Large Language Model),翻译成中文就是大语言模型,简称大模型。

基本上现在所有的大模型,都是基于 Transformer 这套架构训练出来的。这个架构最初由 Google 团队在 2017 年提出,论文名《Attention Is All You Need》。

虽然 Google 发明了火种,但真正把它点燃并且引爆全世界的,却是 OpenAI。

2022 年底 GPT-3.5 横空出世,它是第一个真正达到可用级别的大模型。紧接着 2023 年 3 月,GPT-4 直接把 AI 的能力天花板拉到了新的高度。

如今 AI 赛道早已不再是 OpenAI 的独角戏了。像 Claude、Gemini 等优秀的后起之秀,都在各自擅长的领域与它同台竞技。

大模型怎么工作的? 本质上就是一个文字接龙游戏。当你问"马克的视频怎么样",模型内部跑的是矩阵运算,输出的是一串数字,但它会一个词一个词地预测下一个最可能的词,直到输出结束符。


二、Token:大模型处理文本的最小单元

大模型输出的是一个词一个词的,但这是为了让你好理解而简化了。现实情况是:大模型接收和输出的都是数字,压根不认识文字。

在人类和大模型之间,必须有一个中间人——Tokenizer,负责编码和解码:

  1. 编码:把文字 → 数字
  2. 解码:把数字 → 文字

这个过程分两步:

步骤 作用 举例
切分 把文本拆成最小片段(Token) "马克的视频怎么样" → "马克"、"的"、"视频"、"怎么样"
映射 每个 Token 对应一个数字(Token ID) "马克" → 7842, "的" → 201

⚠️ 关键点:Token 不等于词!

  • 中文:"工作坊" 可能被拆成"工作" + "坊"两个 Token
  • 英文:"helpful" 被拆成"help" + "ful"
  • 甚至对勾符号 "✓" 需要 3 个 Token 来表示

经验换算

  • 1 个 Token ≈ 0.75 个英文单词
  • 1 个 Token ≈ 1.5 到 2 个汉字
  • 40 万 Token ≈ 60~80 万汉字 ≈ 30 万英文单词

三、Context & Context Window:大模型的临时记忆体

你发现了吗?大模型能"记住"之前的对话。但它只是个数学函数,并没有真正的记忆。

答案是:每次发消息时,程序会自动把整段对话历史一起发过去。这就引出了 Context(上下文) 的概念。

Context = 大模型每次处理任务时所接收到的信息总和

Context 包含:

  • 用户的问题
  • 之前的对话历史
  • 模型正在输出的每一个 Token
  • 工具列表
  • System Prompt 等

Context Window(上下文窗口) 则代表了 Context 能够容纳的最大 Token 数量:

模型 Context Window 相当于约多少汉字
小模型 1 万 Token 约 1.5 万汉字
GPT-5.4 105 万 Token 约 150 万汉字(整个哈利波特全集)
Claude Opus 4.6 100 万 Token 约 150 万汉字

如果文档太长怎么办? 这就需要 RAG(检索增强生成) 技术——从海量文档中抽取最匹配的片段,只把这几段话发给大模型,既省成本又突破了 Context Window 限制。


四、Prompt:给大模型的具体指令

Prompt(提示词) 是大模型接收的具体问题或指令。比如"帮我写一首诗",这句话就是 Prompt。

Prompt 怎么写,直接决定了大模型的输出质量。

两种 Prompt

类型 中文 说明 谁写的
User Prompt 用户提示词 用户在对话框输入的问题 用户
System Prompt 系统提示词 在后台配置的人设和规则 开发者

举个例子——数学辅导机器人:

System Prompt(后台配置):你是一个耐心的数学老师,当学生问你数学问题时,不要直接给出答案,而是要一步一步引导学生思考。

User Prompt(用户输入):3 + 5 等于几?

如果没有 System Prompt,模型可能直接说"8"。有了 System Prompt 的约束,它会说"我们可以这样想,你手里有 3 个苹果,然后又拿了 5 个……"


五、Tool:给大模型感知外部世界的能力

大模型有一个弱点:无法感知外界环境

你问"今天上海的天气怎么样?",它会说抱歉,无法获取实时信息。因为大模型只是一个文字接龙游戏,没有查天气预报网站的能力。

Tool(工具) 就是解决这个问题。Tool 本质上就是一个函数——给它输入,它给你输出。

┌──────┐     ┌──────────┐     ┌──────────┐     ┌──────┐
│ 用户  │────▶│   平台   │────▶│  大模型  │────▶│工具  │
└──────┘     │(传话筒)  │◀────│(选工具)  │◀────└──────┘
             │(串联流程)│────▶│(归纳总结)│────▶
             └──────────┘     └──────────┘

完整流程:

  1. 用户提问 → 平台转发给大模型(附带可用工具列表)
  2. 大模型分析后,输出调用工具的指令
  3. 平台接收指令,真正调用工具函数
  4. 平台把结果返回给大模型
  5. 大模型整理成"人话",通过平台返回给用户

大模型能调用工具吗?不能! 它唯一能力就是输出文本。真正调用工具的,是平台。


六、MCP:统一工具接入标准

有了 Tool 之后,问题来了:每个平台的接入标准都不一样

  • ChatGPT → 用 OpenAI 的规范接入
  • Claude → 用 Anthropic 的规范接入
  • Gemini → 用 Google 的规范接入

同一个工具要写三遍接入代码!

MCP(Model Context Protocol,模型上下文协议) 就是来解决这个问题的——它是一套统一的工具接入标准

就像手机统一用 Type-C 接口一样,开发者只需要写一次代码,就可以在所有支持 MCP 的平台上使用。


七、Agent:自主规划、持续工作的程序

有了 Tool + MCP,大模型能感知外部世界了。但有时候一个问题需要多次工具调用

问:今天天气怎么样?下雨的话帮我查附近有没有卖雨伞的店

步骤:
1. 调用定位工具 → 获取经纬度
2. 调用天气工具 → 查天气(有雨)
3. 调用店铺工具 → 找附近雨伞店
4. 综合信息 → 给出最终答案

这种能够自主规划、自主调用工具、持续工作直至完成任务的系统,就是 Agent


八、Agent Skill:给 Agent 看的说明书

即使有了 Agent,你每次提问时还得把规则、格式、示例全塞进去,太反人类了。

Agent Skill 就是解决方案——它本质上是一份给 Agent 看的说明文档,通常是一个 Markdown 文件(SKILL.md)。

一份 Agent Skill 包含:

部分 内容
元数据层 技能名称(Name)、描述(Description)
指令层 目标、执行步骤、判断规则、输出格式、示例

存放规范

  1. 在指定目录新建文件夹,名字与技能名相同
  2. 文件夹内新建 SKILL.md 文件(SKILL 必须大写)
  3. Agent 启动时自动发现并加载

总结:一图看懂 AI 概念体系

┌─────────────────────────────────────────────────┐
│              AI 技术体系全景图                     │
├─────────────────────────────────────────────────┤
│                                                  │
│  Agent ──── 自主规划、持续执行                    │
│    │                                          │
│    ├─ Agent Skill ─── 给 Agent 看的说明书          │
│    │                                              │
│    ├─ Tool ─── 感知外部世界的函数                 │
│    │      │                                       │
│    │      └─ MCP ─── 统一工具接入标准             │
│    │                                              │
│    ├─ Prompt ─── 具体指令                         │
│    │     ├── User Prompt (用户输入)               │
│    │     └── System Prompt (后台规则)             │
│    │                                              │
│    ├─ Context ─── 接收到的信息总和                │
│    │     │                                        │
│    │     └─ Context Window ─── 最大容量           │
│    │                                              │
│    ├─ Token ─── 文本处理的最小单元                │
│    │                                              │
│    └─ LLM ─── 底层大语言模型(核心引擎)          │
│          │                                       │
│          └─ Transformer ─── 架构基础              │
│                                                  │
└─────────────────────────────────────────────────┘

理解了这些概念,你就看懂了 AI 圈子里的各种新产品、新技术——无论是 Claude Code、Codex、OpenClaw,它们本质上都在这个框架下运作的。