乐于分享
好东西不私藏

一文看懂 AI Agent:从经验学习、工具调用到自主规划

一文看懂 AI Agent:从经验学习、工具调用到自主规划

AI Agent 这几年突然变得很热门。

但问题是,每个人口中的 AI Agent,可能都不是同一种东西。

有人认为,能自动帮你完成任务的 ChatGPT、Claude、Codex 就是 AI Agent;也有人认为,必须像机器人一样能在真实世界行动,才算真正的 Agent。

所以我们先不争定义。

这篇文章里说的 AI Agent,指的是:

人类只给 AI 一个目标,不告诉它每一步怎么做;AI 需要自己观察环境、采取行动、根据反馈调整,直到完成目标。

比如你让 AI 做研究。

普通 AI 可能只是回答你几段文字。

但一个 AI Agent 应该可以:

提出假设;
设计实验;
执行实验;
分析结果;
发现结果不对后,重新修正假设。

这就是 Agent 和普通聊天机器人的区别。

普通 AI 是“你说一步,它做一步”。

AI Agent 是“你给目标,它自己想办法”。

一、AI Agent 的基本循环:观察、行动、再观察

AI Agent 的运行过程,其实可以简化成一个循环:

  1. 目标->观察环境->采取行动->环境变化->再次观察->再次行动

这里有三个关键词。

Goal,目标。

这是人给的,比如“赢下这盘棋”“帮我订披萨”“修好这个程序”。

Observation,观察。

AI 看到当前环境是什么样子。

如果是下棋,观察就是棋盘上黑白棋的位置。
如果是使用电脑,观察就是屏幕画面。
如果是写代码,观察就是项目文件、报错日志、测试结果。

Action,行动。

AI 根据当前观察,决定下一步做什么。

下棋时,行动是落子。
使用电脑时,行动是点击、输入、滚动。
写代码时,行动是修改文件、运行命令、修复错误。

然后行动会改变环境,AI 又看到新的观察,再决定新的行动。

这就是 AI Agent 最核心的工作方式。

二、从 AlphaGo 到大语言模型:Agent 的思路变了

过去我们谈 AI Agent,常常会想到强化学习,也就是 Reinforcement Learning。

AlphaGo 就可以看作一个典型 Agent。

它的目标是赢棋。
它的观察是棋盘状态。
它的行动是选择落子位置。
它通过大量训练,学会最大化获胜概率。

强化学习的关键是 reward,也就是奖励。

赢了,reward 是正的。
输了,reward 是负的。
模型通过不断尝试,学习怎样拿到更高奖励。

但这种方法有一个问题:

每个任务通常都要单独训练。

会下围棋的 AlphaGo,不代表天然会下西洋棋。
会玩游戏的 Agent,也不一定会写代码、订机票、做研究。

而今天 AI Agent 再次爆红,原因不是强化学习突然突破了,而是大语言模型变强了。

人们开始想:

能不能直接把 LLM 当成 Agent?

也就是说,让 GPT、Claude 这类模型接收目标、理解环境、输出行动。

这时 AI Agent 不再依赖专门为某个任务训练出来的模型,而是依靠大语言模型本身的通用能力。

从模型视角看,它其实还是在做一件事:

文字接龙。

你给它目标、观察、历史记录、工具说明,它继续生成下一段文字。

只不过这段文字可能不再是普通回答,而是:

点击某个按钮;
调用某个工具;
修改某段代码;
制定下一步计划。

所以,今天很多 AI Agent 并不是一种全新的模型技术,而是大语言模型的一种应用方式。

三、AI 如何通过经验调整行为?

一个 Agent 必须能从反馈中学习。

比如 AI 程序员写了一段代码,运行后出现 compile error。

它应该怎么办?

过去机器学习的思路可能是:拿这个错误继续训练模型,更新参数。

但今天 LLM Agent 通常不这么做。

它不需要改参数。

它只需要把错误信息放进上下文里。

第一次输入是:

  1. 请写一个程序完成这个任务。

模型可能写错。

第二次输入变成:

  1. 请修复这个程序。
  2. 错误信息是:xxx

同一个模型,因为输入变了,输出也会变。

这就是 LLM Agent 根据经验调整行为的基本方式:

不是通过更新参数学习,而是通过更新上下文改变行为。

但这里有一个新问题。

如果 Agent 一直运行,它会经历成千上万次观察和反馈。

难道每一次决策,都要把过去所有经历全部塞给它吗?

这就像一个人每做一个决定,都要回忆自己从出生到现在发生过的所有事。

信息太多,反而会影响判断。

所以 AI Agent 需要长期记忆。

这个记忆系统通常可以分成三个模块。

第一,Write:写入记忆。

不是所有事情都值得记下来。

Agent 要判断:这件事重要吗?以后可能用得上吗?

如果重要,就写入 memory;如果不重要,就忽略。

比如用户明确说“记住,我周五下午要上机器学习课”,这就应该进入长期记忆。

第二,Read:读取记忆。

当 Agent 遇到新问题时,不是读取全部记忆,而是检索相关记忆。

这其实很像 RAG。

当前问题是 query,长期记忆是数据库,Read 模块负责找出最相关的信息,放进上下文。

第三,Reflection:反思。

Agent 不只保存原始经历,还可以对经历做总结和抽象。

比如它多次发现某个 API 容易报错,就可以总结出:

“以后调用这个 API 时,必须先检查参数格式。”

这类反思会让记忆变得更有用。

所以,AI Agent 的“经验学习”并不神秘。

它主要靠:

  1. 记录重要经验->检索相关经验->在新任务中参考经验

它更像一个会查笔记的人,而不是一个每次都重新训练大脑的人。

四、AI Agent 如何使用工具?

LLM 很强,但它不是万能的。

它可能不知道实时天气。
它心算不一定可靠。
它不能凭空访问你的电脑文件。
它也不能天然看到网页、听音频、操作软件。

所以 Agent 需要工具。

什么是工具?

简单说:

工具就是 Agent 知道怎么调用,但不需要理解内部原理的能力。

比如:

搜索引擎;
计算器;
代码执行器;
数据库查询;
图片识别模型;
语音识别模型;
浏览器操作;
另一个更强的 AI 模型。

对语言模型来说,工具本质上就是 function call。

模型输出一段调用指令,系统把这段指令转成真正的函数执行,再把结果返回给模型。

比如用户问:

  1. 明天高雄气温是多少?

模型自己不知道实时天气,于是输出:

  1. 调用Weather("高雄","明天")

系统调用天气工具,返回:

  1. 32°C

模型再把工具结果组织成人能看懂的话:

  1. 明天高雄气温大约是32°C

这就是工具使用的基本流程。

工具让 AI Agent 的能力大幅扩展。

它可以搜索资料,写代码并执行,读取网页,分析文件,操作电脑。

但工具也有风险。

工具可能给错答案。

比如搜索结果里可能有玩笑、谣言、过期资料。
如果 Agent 完全相信工具,就可能把错的东西当真。

著名例子是搜索总结把网友“用胶水粘披萨奶酪”的玩笑当成建议。

所以好的 Agent 不只是会用工具,还要会判断工具结果是否合理。

它内部的知识和外部工具返回的信息之间,会有一个“拉扯”。

如果工具说“高雄现在 10000°C”,模型应该意识到这不合理,而不是照单全收。

工具不是越多越好。

如果问题很简单,比如 3 × 4,模型直接回答 12 就可以了。
非要调用计算器,反而更慢。

所以 Agent 还要学会判断:

什么时候自己解决;
什么时候调用工具;
调用哪个工具;
工具结果要不要相信。

这才是真正成熟的工具使用能力。

五、AI Agent 能不能做计划?

Agent 要完成复杂目标,光靠一步一步反应是不够的。

它需要计划。

比如用户说:

  1. 帮我规划一个三天旅行,预算3000元。

这不是一步能完成的任务。

Agent 需要考虑:

交通;
住宿;
餐饮;
景点;
时间安排;
预算限制;
用户偏好。

计划的基本思路是:

  1. 先根据目标和当前状态,生成一系列步骤;
  2. 再按照计划执行;
  3. 执行过程中,根据新情况调整计划。

但计划有一个麻烦:

现实世界会变化。

下棋时,对手不会完全按照你的预期走。
订票时,航班可能没座位。
使用电脑时,页面可能突然弹广告。
写代码时,一个修复可能引发新的报错。

所以 Agent 不能只制定一次计划,然后死板执行。

它必须能不断重新规划。

更合理的方式是:

  1. 观察当前状态
  2. ->生成当前计划
  3. ->执行下一步
  4. ->看到新状态
  5. ->判断原计划是否还适用
  6. ->必要时重新规划

这就是动态规划式的 Agent 行为。

现在很多推理模型会在回答前进行长链路思考,看起来像在脑内演练不同路径。

这可以帮助 Agent 做计划。

比如它会想:

如果点按钮 A,可能发生什么?
如果点按钮 B,可能发生什么?
哪条路径更接近目标?

这有点像 tree search,也就是在脑中搜索不同路径。

但这里也有一个问题:

模型可能想太多。

有些任务与其一直推理,不如直接试一下。

比如网页上一个普通按钮,点了不对可以返回。
模型如果在点击前思考两千字,效率反而很低。

所以 Agent 的规划能力也要平衡:

不能完全不想;
也不能一直空想。

好的 Agent 应该知道什么时候计划,什么时候行动,什么时候停下来重新判断。

六、AI Agent 的三个核心能力

总结一下,一个真正有用的 AI Agent,至少需要三种能力。

第一,根据经验调整行为。

它不一定要更新模型参数,但要能利用历史反馈、长期记忆和相关经验,让下一次行动更好。

第二,使用工具。

它要能调用搜索、代码执行、浏览器、数据库、多模态模型等外部工具,弥补自身能力边界。

第三,制定和修改计划。

它要能把复杂目标拆成步骤,并在环境变化时灵活调整,而不是机械执行最初计划。

这三种能力合起来,才让 AI 从“回答问题的模型”变成“完成任务的智能体”。

七、最后总结:AI Agent 不是魔法,而是一套循环系统

AI Agent 听起来很神秘,但拆开看,其实是一套循环系统。

它接收目标。
观察环境。
采取行动。
获得反馈。
调用工具。
读取记忆。
修正计划。
继续行动。

直到任务完成。

今天的 AI Agent 之所以变得可行,是因为大语言模型已经具备了足够强的通用理解、生成、推理和工具调用能力。

但它仍然不完美。

它可能记错东西。
可能误信工具。
可能计划失败。
可能想太多。
也可能在复杂任务中迷路。

所以,使用 AI Agent 的关键不是完全放手,而是设计好目标、工具、记忆、反馈和边界。

一句话讲清楚:

AI Agent 的本质,不是一个更会聊天的 AI,而是一个能在目标驱动下,通过经验、工具和计划持续行动的系统。

喜欢这篇文章?别忘了点击上方名片关注我,每天为你分享深度干货,我们下期见