夜雨聆风第一章奇点降临：大模型能力的觉醒
2022 年，AI 完成从"专用工具"到"通用智能"的蜕变
2022 年 11 月 30 日，OpenAI 发布了 ChatGPT。这个看似简单的聊天界面背后，是一个千亿参数的模型——GPT-3.5。上线五天，用户破百万；两个月后，用户破亿。这不仅是产品层面的成功，更是一次技术范式的断裂式跃迁。
但故事并非从这天开始。ChatGPT 之所以好用，是因为它站在三个关键技术里程碑的肩膀上。
▎Transformer 架构（2017.06）
2017 年，Google 在《Attention Is All You Need》论文中提出 Transformer。它的核心是"自注意力机制"——每个词能同时看到句子里的所有其他词。这个看似简单的设计，彻底解决了 RNN 无法并行计算长序列的瓶颈。此后 GPT（仅用 Decoder）和 BERT（仅用 Encoder），都基于这套架构。可以说，没有 Transformer，就没有今天的大模型。
▎Scaling Laws 缩放定律（2020.01）
OpenAI 在 2020 年初发表论文，证明了一件事：模型性能与参数量、数据量、计算量之间，是"可预测的幂律关系"。翻译成大白话就是——砸更多算力，就能稳定得到更好的模型。"大力出奇迹"终于有了理论支撑。后来 DeepMind 的 Chinchilla 定律（2022.03）进一步指出：数据和参数要一起放大，不能偏科。
▎RLHF 对齐训练（2022.01）
2022 年 1 月，OpenAI 发布 InstructGPT 论文，提出了 RLHF（基于人类反馈的强化学习）三阶段流程：先用人类标注数据做监督微调（SFT），再训练一个奖励模型（RM）来预测人类喜好，最后用 PPO 算法优化模型。这是 ChatGPT 真正好用的秘密——模型不再只是"预测下一个词"，而是学会了"遵循人类意图"。
��技术要点大语言模型的本质是"下一个词预测"。但加上 RLHF 之后，它学会了人类偏好——什么是有用的回答、什么是安全的回答、什么是礼貌的回答。这种"对齐"让模型从实验室走进了十亿用户的日常生活。
▎模型微调：让大模型适配垂直场景
预训练模型是"通才"，但企业需要"专才"。Fine-tuning（微调）在预训练模型基础上用特定领域数据继续训练。更重要的是 LoRA（低秩适配）技术的出现——只训练极少量参数就能达到接近全量微调的效果，将成本从上万美元降至几十美元。这让小团队也能拥有专属大模型。
第二章对话的艺术：提示词工程与推理
从"正确的提问"到"让模型自己思考"
当模型具备了强大的基础能力，下一个问题就变成了：如何让模型稳定输出我们想要的结果？
▎Prompt Engineering（提示词工程）
提示词工程的本质，是利用模型的In-Context Learning 能力——在推理时就能控制模型行为，无需任何参数更新。这不是"问什么答什么"，而是"怎么说，决定它怎么答"。角色设定、输出格式约束、Few-Shot 示例、负面约束……每一项都是精心设计的信息工程。
为什么提示词工程重要？因为大模型是"概率性"的——同样的 Prompt，每次输出都可能不同。提示词工程的目标，就是在这个概率空间中，最大化得到期望输出的概率。它不是玄学，是信息论和认知科学的交叉实践。
▎Chain-of-Thought 思维链推理（2022.01）
2022 年 1 月 28 日，Google Brain 团队发表了一篇改变游戏规则的论文，证明了一个简单而强大的发现：在提示中加入"让我们一步步思考"这样的引导，就能显著提升模型在数学推理、常识推理、符号推理上的表现。
此后，思维链技术快速演进出一系列变体：Zero-Shot CoT（仅需一句"Let's think step by step"即可触发推理）、Few-Shot CoT（给出 2-3 个带过程的示例，模型效仿推理模式）、Self-Consistency（采样多条推理路径，投票选最佳答案）、Tree-of-Thought（分支探索 + 回溯剪枝，解决需要规划搜索的复杂问题）。
▎ReAct 范式（2022.10）
ReAct 是 Reasoning + Acting 的缩写——将思维链推理与工具调用融合为一个循环：思考 → 行动 → 观察 → 再思考。这个范式直接启发了后续的 AI Agent 架构——Agent 不仅会思考，还能调用外部工具来辅助思考。可以说，ReAct 是今天所有 AI Agent 的"精神祖先"。
第三章连接世界：知识外挂与工具调用
模型开始突破"训练数据"的边界，接入真实世界
▎RAG 检索增强生成（2020 → 2023）
RAG 的学术论文早在 2020 年 5 月就由 Meta AI 的 Lewis 等人发表，但它真正在工业界的爆发在 2023 年。原因很简单：ChatGPT 让所有人看到了大模型的能力，也暴露了两个致命短板——"知识截止日期"和"张嘴就来的幻觉"。
RAG 的解决思路极其优雅：回答之前，先去查资料。用户提问 → 向量检索相关文档片段 → 将片段拼接进 Prompt → 模型基于真实文档生成答案。模型的角色，从"全知全能的先知"，变成了"会查资料的助手"。2023 年也因此被称为"RAG 元年"。
此后RAG 不断演进：从 Naive RAG（文档分块 → 向量化 → Top-K 检索 → 拼接生成）到 Advanced RAG（HyDE 假设文档、Re-ranking 重排序、多粒度检索），再到 Graph RAG（用知识图谱替代向量检索，处理实体关系推理），最终走向 Agentic RAG（RAG 作为 Agent 的一个可调用工具，按需检索、多步迭代、动态调整策略）。
▎嵌入模型与向量数据库
RAG 的底层基础设施是文本嵌入（Embedding）和向量数据库。嵌入模型将任意文本压缩为固定维度的向量——语义相近的文本，在向量空间中距离更近。向量数据库（如 Pinecone、Milvus、Qdrant、Chroma）提供高效的近似最近邻检索。这一层，构成了 AI 应用的"外脑"。
▎Function Calling（2023.06.13）
2023 年 6 月 13 日是一个分水岭。这一天，OpenAI 在 Chat Completions API 中新增了 Function Calling 能力：开发者将函数签名以 JSON Schema 格式传给模型，模型在推理时自动决定——调用哪个函数、填什么参数。
Function Calling 带来三个革命性变化：① 意图→行动：模型不再输出纯文本，而是输出结构化的函数调用指令；② 自动工具选择：模型根据上下文自己判断该用哪个工具、填什么参数；③ 链式调用：一次对话可触发多次函数调用，模型拿到返回结果后继续推理。这意味着——AI 从"只能说"进化为"能做"。
▎Skills 与 Plugins（2023.03）
2023 年 3 月 23 日，OpenAI 推出 ChatGPT Plugins，将 Function Calling 进一步封装为可插拔的技能包。每个 Plugin 包含工具定义、提示词模板和领域知识。这催生了 Skills 分层架构：L1 原子技能（单步 API 调用）→ L2 复合技能（多步流程）→ L3 场景技能（完整业务方案）。AI 的能力，从扁平的"工具列表"进化为结构化的"能力树"。
第四章自主行动：智能体的崛起
从"问答机器"到"自主执行任务的数字员工"
▎AutoGPT 引爆 Agent 概念（2023.03.30）
2023 年 3 月 30 日，一个名为 AutoGPT 的开源项目在 GitHub 上发布，迅速成为历史上增长最快的开源项目之一。它的核心概念令人兴奋：让 GPT-4 给自己设定目标、拆解任务、调用工具、检查结果、自我纠错——完全自主运行。
虽然AutoGPT 在实际使用中经常"跑偏"——陷入循环、忘记目标、产生幻觉，但它奠定了一套经典范式，至今仍是所有 AI Agent 的骨架：感知 → 规划 → 执行 → 记忆 → 反思。
▎Agent 的核心五要素
一个真正有用的Agent，必须具备五种能力：感知（读取文本上下文、API 响应、工具输出、屏幕截图），规划（将复杂目标分解为子任务序列，动态调整执行计划），执行（调用工具、API、生成代码、操控应用——将计划转化为实际行动），记忆（短期记忆即对话上下文 + 长期记忆即向量存储，跨会话保持状态），反思（根据结果评估判断、自我纠错、总结经验入长期记忆）。
▎多智能体系统（2024）
单个Agent 的能力终究有限，但多个专业 Agent 可以协作。Microsoft 的 AutoGen、CrewAI、MetaGPT 等框架让不同角色的 Agent（研究员、工程师、测试员、产品经理）通过消息传递协调工作。这模拟了人类团队的协作模式——分工、沟通、审查、迭代。
▎Computer Use（2024.10.22）
2024 年 10 月 22 日，Anthropic 发布了 Claude 3.5 Sonnet 的 Computer Use 能力。这意味着 Agent 不再仅通过 API 交互，而是像人一样——看屏幕、移动鼠标、点击按钮、输入文字。这打通了数字世界的"最后一公里"：任何有人机界面的软件，Agent 都能操作。
"Computer Use 是 Agent 能力的终极形态——不再需要为每个应用开发 API，Agent 直接像人类一样操作图形界面。这是从'软件调用软件'到'AI 使用软件'的范式转换。"
第五章标准确立：协议与互操作
AI 行业开始建立"USB 接口"——统一连接标准
▎MCP 模型上下文协议（2024.11.25）
2024 年 11 月 25 日，Anthropic 开源了 MCP（Model Context Protocol）。在此之前，每个 AI 应用要接入一个新工具或数据源，都需要定制开发。MCP 定义了统一的标准——像 USB-C 之于硬件：一次开发 MCP Server，所有兼容 MCP 的 AI 应用都能即插即用。
MCP 基于 Client-Server 架构，定义了三个核心原语：Resources（数据访问）、Tools（可执行操作）、Prompts（预定义提示模板）。协议基于 JSON-RPC 2.0，支持 stdio 和 HTTP/SSE 两种传输方式。到 2025 年底，MCP 已发展为 Linux Foundation 旗下项目，由 OpenAI、Google、Microsoft、Anthropic、AWS 等共同治理——从一家公司的提案，变成了整个行业的基础设施。
▎A2A 智能体间协议（2025.04.09）
MCP 解决的是"Agent ↔ 工具"的连接问题，A2A 解决的是"Agent ↔ Agent"的协作问题。2025 年 4 月 9 日，Google 发布了 A2A（Agent-to-Agent Protocol），定义了智能体之间的任务委派、能力发现和结果同步标准。每个 Agent 通过 Agent Card 发布自己的能力描述，其他 Agent 可自动发现和调用。
��一个形象的比喻MCP + A2A 构成了 AI 时代的"TCP/IP 协议栈"——前者管连接，后者管协作。自此，AI 不再是一堆孤立模型的拼凑，而是一个可互操作的生态系统。
第六章工程化：从"炼丹"到"科学"
Context 管上下文，Harness 管控中枢，Loop 自主循环——三大工程让 Agent 从 Demo 走向生产
▎Context Engineering（上下文工程）
上下文工程将Prompt 设计从"手艺活"升级为"系统工程"。核心问题很直接：在有限的上下文窗口内，Token 预算怎么分？哪些信息该放前面、哪些放后面？怎么压缩长对话历史？什么时候懒加载工具定义？
关键实践包括：Token 预算管理（System Prompt、工具定义、历史消息、检索结果各自占多少），Attention 热点管理（利用 Lost-in-the-Middle 研究的发现——关键信息要放开头或结尾，不能埋在中间），动态上下文组装（根据当前任务类型，选择加载哪些 Skill 和知识片段）。上下文工程是 Harness 管控中枢"上下文管理"能力的理论基础。
▎Harness Engineering（智能体管控中枢）
如果说Agent 是"发动机"，Harness 就是整车的控制系统。它不是简单的管线编排，而是智能体运行时的全生命周期管控中枢——覆盖从输入到输出、从单轮到跨轮、从正常执行到异常处理的完整闭环。
Harness 包含六大核心能力：
模块 | 能力 | 功能说明 |
❶ 上下文管理 | Context Management | 筛选并提供当前任务所需信息，剔除无效内容。动态决定Token 预算分配，确保关键信息不丢、噪音不进。 |
❷ 工具系统 | Tool System | 统一管理可调用工具，规范输入输出格式与操作权限。每个工具有明确的能力边界、参数Schema 和调用白名单。 |
❸ 验证机制 | Verification | 校验模型输出的格式、内容、逻辑是否合规可用。不是"跑完就行"，而是"输出达标才算完成"。 |
❹ 反馈循环 | Feedback Loop | 捕获执行异常、自动重试、沉淀问题处理规则。错误变成学习机会，形成可复用的处理模式。 |
❺ 状态记忆 | State Memory | 留存任务进度与中间信息，保证跨轮连续执行。管理短期（对话上下文）和长期（磁盘持久化）两层记忆。 |
❻ 可观测性 | Observability | 全链路日志记录，支持审计与复盘。每一步LLM 调用、每个工具执行、每次反馈重试都被完整追踪。 |
Harness 的定位Harness 不是编排框架（如 LangChain/LangGraph），而是 Agent 运行时的管控层。如果说 Loop 让 Agent "自动跑起来"，Harness 就是在 Agent 跑的过程中，确保它不越界、不出错、可追溯、可控制。六大能力共同构成 Agent 的"安全护栏 + 运行底盘"。
▎Loop Engineering（循环工程）
Google 云 AI 工程总监 Addy Osmani 给出了一个精辟的定义："Loop Engineering，就是用你设计的系统替代你本人去提示 Agent。你不再是那个不断输入指令的人，你是那个设计循环结构的人。"
Loop 的本质是一个递归目标模型——你定义一个目的，AI 持续迭代直到完成。它由五个核心模块和一个记忆机制构成：
模块 | 关键设计 | 核心价值 |
❶ 自动化调度 | cron 任务 / /goal 指令 / hooks | 让Loop 成为真正的持续循环。关键设计：判断 Loop 是否完成的，是一个独立的模型——写代码的不给自己评分。 |
❷ 工作树隔离 | git worktree | 并行Agent 的文件安全方案。一个 Agent 的改动物理上无法触碰另一个 Agent 的检出。上限是你的 Review 带宽。 |
❸ Skill 机制 | SKILL.md + 元数据 | 固化意图+ 知识积累。没有 Skill 的 Loop 每轮从零推导项目；有了 Skill，在复利增长。 |
❹ 插件与连接器 | MCP 协议为基础 | 让Agent 能读 issue tracker、查数据库、发 Slack 消息。这是"说方案"和"自动执行"之间的差距。 |
❺ 子 Agent | 读写分离× 不自我评分 | 探索、实现、验证、安全审查由不同Agent 承担。每个 Agent 专注一件事，协作完成复杂任务。 |
❻ 记忆机制 | Markdown 文件 / Linear 看板 | 记忆必须在磁盘上，不能只在上下文里。状态文件是整个系统的骨架——昨天的运行从今天停的地方继续。 |
��一个完整的Loop 运行流程每天早上的自动化循环：Triage Skill 读取昨天的 CI 失败记录 → 对每个值得处理的发现，开独立工作树 → 派子 Agent 起草修复 → 派第二个子 Agent 对照项目 Skill 审查 → 自动开 PR、更新票据。处理不了的进 Triage 收件箱。你设计了一次，之后没有手动提示任何一步。
Claude Code 之父 Boris Cherny 回顾时提到，Anthropic 内部工程师经历了两次认知转变：第一次（约一年半前），工程师意识到不需要直接写源代码，只需要跟 Agent 说话；第二次（正在发生），工程师不再直接跟 Agent 对话，而是跟 Loop 交互——由 Loop 调度 Agent，Agent 再去写代码。人从执行者，变成了系统设计者。
▎Loop 做不了的三件事
第一，验证仍是你的责任。无人看守跑的Loop，也是无人看守地犯错。"完成"是声明而非证明。第二，理解债会累积。Loop 发出代码的速度越快，实际存在的代码和你真正理解的代码之间的差距越大。第三，不作为也是风险。当 Loop 自己跑起来，容易停止有自己的判断。设计 Loop 时保持判断力是解药，为逃避思考而设计是加速剂。
第七章前沿浪潮：正在发生的未来
2025—2026 年的五大趋势，正在重新定义 AI 的边界
▎推理模型：从"快思考"到"慢思考"
2024 年 9 月 12 日，OpenAI 发布 o1-preview，开创了"推理时扩展"新范式——模型在回答前进行内部深度思考，而不是一次生成。2025 年 1 月 20 日，DeepSeek-R1 完全开源了这一技术路径，通过纯强化学习训练出强推理能力，并将推理模型蒸馏到 7B/14B 小模型。这标志着 AI 从"快思考"（直觉式生成）进入"慢思考"（深度推理）时代——简单问题快速回答，复杂问题分配更多推理算力。
▎长上下文：从 8K 到 200 万 Token
GPT-4 初始上下文仅 8K，2023 年底扩展到 128K。Claude 达到 200K，Gemini 达到 200 万 Token——可以一次性处理整本书、完整代码库。但长上下文也带来新挑战：Lost-in-the-Middle 现象（中间信息检索能力显著下降），以及随 Token 数线性增长的成本。Prompt Caching 等技术通过缓存重复前缀，大幅降低了开销。
▎模型蒸馏：大模型的能力装进小模型
DeepSeek-R1 蒸馏到 7B 模型后，推理能力依然强劲。知识蒸馏 + 量化技术（INT4/INT8）让大模型的能力可以在消费级 GPU 甚至手机上运行。这为 AI 的边缘部署和隐私计算打开了大门——不是每个场景都需要"最强模型"，而是需要"用得起的模型"。
▎Vibe Coding / 规约驱动开发
2025 年初，Andrej Karpathy 提出"Vibe Coding"——开发者用自然语言描述意图，AI 完成编码。规约驱动开发将其系统化：用结构化的 Spec 文件驱动 AI 的整个开发流程——从需求分析到代码生成到测试验证。编程的范式正在从"写代码"转向"写规格"。
▎AI 原生应用架构
不是"传统应用 + AI 功能"的缝合，而是以 AI 推理和决策为核心重新设计应用架构。关键特征：Agent-First 设计（用户意图 → Agent 自主完成）、流式优先（UI 面向 Token 级流式响应）、语义缓存（按语义相似度缓存复用，而非按 URL 或请求参数）、向量数据库为一级存储（和关系数据库平起平坐）。
结语：一条主线，四次跃迁
回望这四年AI 技术的发展，可以清晰地看到一条主线：让模型从"会说"到"会查"到"会做"到"能自主"。
▎第一次跃迁：学会好好说话
ChatGPT + RLHF 让模型从"会预测下一个词"变成"能遵循指令、礼貌对话"。这催生了 Prompt Engineering 的萌芽——人们开始研究"怎么问"才能得到好答案。
▎第二次跃迁：能查、能做
RAG 让模型能检索外部知识，不再瞎编。Function Calling 让模型能调用 API，真正动手操作。Context Engineering 由此成型，核心问题变成"喂什么信息给模型"。
▎第三次跃迁：有手艺、能自主
Skill 把多个工具调用组合成可复用的业务能力。Agent 让模型能自己拆任务、定计划、执行纠错。MCP 统一了模型和工具的连接标准。Harness 工程和 Loop 工程开始成熟——管住行动、跑稳循环。
▎第四次跃迁：可预测、可规模化
推理模型让模型学会"慢思考"，结果可追踪、可审计。四大工程方法（Context、Harness、Loop、Evaluation）全面融合。AI 开发从"试运气"走向"可工程"。
而所有这一切，最终指向同一个方向：AI 不再是一个需要人类操作的"工具"，而是一个能够理解意图、自主行动、持续进化的"协作者"。我们正站在这个转变的起点上。
