夜雨聆风description: 从ReAct到Reflexion，AI Agent的"感知-推理-行动-反馈"循环，本质上就是一个闭环控制系统。本文用自动控制原理的视角，重新理解Agent Loop的工程设计。
控制论回归：为什么AI Agent的设计思路和自动控制原理一模一样？
最近AI Agent领域最火的概念之一，就是Agent Loop——智能体的"感知-推理-行动-反馈"循环。从2022年的ReAct，到2023年的Reflexion，再到后来的LATS、LATS-RCA，Agent Loop的架构设计不断迭代，但核心思想始终没变。
有意思的是，这个思想在自动控制领域已经存在了将近一个世纪。
一、什么是Agent Loop？
Agent Loop是AI智能体运行的基本框架。以最经典的ReAct（Reasoning + Acting）为例，一个Agent的执行流程是这样的：
Thought: 我需要查找XXX的信息Action: search("XXX相关关键词")Observation: 搜索结果显示...Thought: 根据搜索结果，我发现...Action: finish("最终答案")
这个循环包含四个核心环节：
Thought（思考）：Agent根据当前状态和历史信息，进行推理和规划。
Action（行动）：Agent调用外部工具或API，执行具体操作。
Observation（观察）：Agent获取行动的结果反馈。
循环迭代：Agent根据新的观察结果，重新思考和规划下一步行动。
二、自动控制原理中的反馈控制
在《自动控制原理》这门大学课程中，最核心的概念就是反馈控制。一个典型的闭环控制系统包含：
传感器（Sensor）：测量被控对象的实际状态。
控制器（Controller）：根据设定值与实际值的偏差，计算控制量。
执行器（Actuator）：将控制量转化为实际动作。
被控对象（Plant）：被控制的系统或过程。
反馈回路（Feedback Loop）：将输出信号反馈到输入端，与设定值比较。
三、Agent Loop = 闭环控制系统
现在，让我们把Agent Loop和自动控制原理对应起来：
这个对应关系不是巧合，而是本质上的同构。
四、从PID控制看Agent的"调参"
自动控制原理中最经典的控制算法是PID控制：
u(t) = Kp * e(t) + Ki * ∫e(t)dt + Kd * de(t)/dtPID控制器有三个关键参数：
在Agent Loop中，这三个参数对应着不同的推理策略：
比例控制（Kp）→ 直接响应 Agent看到当前的Observation，直接决定下一步行动。这是最基本的响应方式，但容易"超调"——看到一点错误信息就大幅修改策略。
积分控制（Ki）→ 记忆累积 Agent需要记住之前的尝试和失败。Reflexion框架就是典型的"积分控制"——它把之前的失败经验用自然语言总结，作为下一轮推理的输入。这类似于积分项累积历史误差，防止重复犯错。
微分控制（Kd）→ 趋势预测 Agent不仅看当前状态，还要判断"情况是在变好还是变差"。如果连续几次尝试都没有进展，Agent应该调整策略而不是继续原地打转。这需要对变化趋势的感知能力。
五、稳定性：Agent Loop的核心挑战
自动控制原理中，稳定性是最重要的概念。一个不稳定的控制系统会发散——输出越来越大，最终失控。
Agent Loop同样面临稳定性问题：
振荡（Oscillation）：Agent在两个状态之间反复跳转，永远无法收敛到最终答案。比如反复搜索同一个关键词，得到相同的结果，却不做任何改变。
发散（Divergence）：Agent的推理越来越偏离目标，进入死循环或产生幻觉。这类似于控制系统中的正反馈导致的不稳定。
稳态误差（Steady-state Error）：Agent能够收敛，但始终无法达到目标。比如搜索结果总是差一点，Agent却不知道换一种搜索策略。
如何解决？自动控制原理给出了答案：
增加阻尼：在Agent Loop中引入"谨慎机制"，不要对每次Observation都过度反应。Reflexion中的"反思"步骤就是一种阻尼。
积分限幅：限制Agent的记忆长度，防止历史信息过载。Context Window的大小就是一种积分限幅。
前馈控制：在Agent开始行动前，先做一些预判和规划，而不是完全依赖反馈。Chain-of-Thought（思维链）就是一种前馈控制。
六、从开环到闭环：Agent架构的演进
自动控制原理告诉我们，开环控制（没有反馈）比闭环控制（有反馈）简单但不可靠。Agent架构的演进也遵循这个规律：
开环阶段：早期的LLM应用是开环的——输入一个问题，直接输出一个答案，没有反馈。这就像一个没有传感器的控制系统，开环运行，输出完全取决于模型本身的能力。
单环反馈：ReAct引入了"行动-观察"的反馈循环，Agent可以感知行动的结果并调整策略。这是最基本的闭环控制。
多环反馈：Reflexion在ReAct的基础上增加了一层"反思"循环——不仅有行动层面的反馈，还有策略层面的反馈。这类似于级联控制系统（Cascade Control），内环处理快速响应，外环处理慢速调整。
树状搜索：LATS（Language Agent Tree Search）进一步引入了树搜索，Agent可以同时探索多条路径，并根据反馈选择最优路径。这类似于模型预测控制（MPC），在多个候选方案中选择最优的。
七、结语
Agent Loop不是AI领域的全新发明，而是控制论思想在大模型时代的回归。从1948年维纳的《控制论》，到今天的ReAct和Reflexion，核心思想始终是：通过反馈来纠偏，通过循环来逼近目标。
下次当你设计一个Agent系统时，不妨翻开《自动控制原理》的教材，看看那些经典理论能给你什么启发。
毕竟，控制论的创始人诺伯特·维纳说过："控制论是关于在动物和机器中控制和通信的科学。"
今天的大语言模型，既是机器，也在某种程度上学会了"控制和通信"。
长按识别二维码，加入光合开发者社区
探索更多DCU生态技术资源与开发者工具
🔗 developer.sourcefind.cn
