夜雨聆风开发一个AI Agent 难不难？提示词工程、上下文记忆、任务编排
开发一个自己的AI Agent到底需要哪些技术知识？在网上搜索相关的信息，什么提示词工程，上下文记忆，任务编排，听着都是既抽象又难理解的概念，看得脑袋都疼。 后来想起来AutoGLM 应该也是AI Agent，智谱把它开源了，代码也不多。不如先从它的代码看起，先直观了解一下AI Agent到底是怎么一回事。
Agent 到底在干什么？
简单读了一下源码，发现它也没想象的那么复杂，可以说简单到让你都觉得离谱。 输入指令：“帮我打开小红书，搜一下美食攻略。” 人会如何操作？先看一眼屏幕 → 脑子想"小红书图标在哪" → 手指点一下 → 再看一眼确认打开了 → 然后点搜索框 → 打字…… 。 AI Agent做事流程一模一样。
看（截图） → 想（大模型推理） → 动（执行动作） → 再看（新截图） → 再想 → 再动……
就是一个循环。从头跑到尾。
AutoGLM的核心代码在agent.py里，一个while循环，没有调度器，没有任务队列，没有状态机。
总结功能就三块：提示词怎么写、上下文怎么记、遇到意外怎么处理。
一、提示词工程
提示词工程这个概念听起来高大上，到底做了什么？脑子里没有概念。翻看了一下AutoGLM的提示词设计，抽象的概念马上有了直观的感受。
提示词工程是一套用来引导大模型输出精准、符合预期结果的方法论、技巧，范式与优化手段。抽象的概念不好理解，我们来看一下AutoGLM的提示词是怎么设计的。
• 1.身份定义 “你是一个智能体分析专家，可以根据操作历史和当前状态图执行一系列操作来完成任务。”
• 2.输出格式约束 {推理} +{action} • 3.动作说明书 → Launch / Tap / Type / Type_Name / Swipe / Long Press / Double Tap / Back / Home / Wait / Take_over / Interact / Note / Call_API → 每种操作都配有：用途说明 + 参数格式 + 特殊注意事项
• 4.硬性规则 涵盖了各种边缘情况：网络错误重试、滚动查找逻辑、购物车状态管理、敏感操作确认、死循环避免、操作生效验证等
先拿点击操作举例，坐标怎么算
AutoGLM的处理方式挺妙的。把屏幕统一映射成0到999的坐标系统，不管什么分辨率。
“坐标系统从左上角(0,0)开始到右下角(999,999)结束”
就这么一句话。模型只需要说"Tap [100, 200]"，代码自动换算成实际像素。一个Prompt规则解决了一个工程问题。
点歪了怎么办
AutoGLM的做法依然是写规则。
“如果点击没生效，可能因为App反应较慢，请先稍微等待一下，如果还是不生效请调整一下点击位置重试，如果仍然不生效请跳过这一步继续任务。”
三级处理：等 → 换位置 → 跳过。全写在Prompt里。
Prompt工程到底做了些什么？
1. 输出格式——你得告诉模型你要它输出什么格式（比如do(action=xxx)这种伪代码）。 2. 操作规则——遇到什么情况怎么处理，上面例子全是这个。 3. 边界条件——什么时候放弃、什么不能做。 4. 输入内容——每一步要给模型看截图、当前应用信息、历史对话。
这些东西在传统代码里需要使用分支判断，状态切换，异常处理。在Agent里，将这些逻辑通过自然语言描述的方式放到Prompt里了，这些逻辑都由ai来完成。
二、上下文记忆
模型如何记住用户之前说了什么？
拿点奶茶举个例
用户：“帮我点一杯海盐咖啡。”
第1步，模型收到的信息是：系统提示词（上面那些规则）+ 用户说的话 + 当前手机截图。 模型想了想，决定先打开美团。输出Launch(美团)。
第2步，模型收到的信息变成：系统提示词 + 上一轮的思考和动作 + “帮我点一杯海盐咖啡”（还在！） + 新的截图（美团已经打开了）。 模型看到新截图：哦，打开了，接下来要搜索。输出Tap(搜索框)。
第3步，又收到：系统提示词 + 前两轮完整对话 + “帮我点一杯海盐咖啡”（还在！！） + 新截图（搜索框已经点开了）。
模型：好，输入"海盐咖啡"。输出Type(“海盐咖啡”)。
看出门道了么？ 模型为什么能一直记住"海盐咖啡"？
因为每一轮都把这句话重新发给了它。
就是这么简单粗暴。每次循环，前面所有对话全部塞给模型。这就是AutoGLM的"上下文记忆"——没有技术含量，纯堆上下文窗口。
做了唯一的优化
一直累加上下文不是越来越长吗？那消耗的token不是越来越多吗？
图片使用token比较多，对图片做Base64处理之后，生成的文本会非常的大，非常的消耗token。AutoGLM做了唯一一个优化：每一轮推理完，立刻把这一轮的图片从历史上下文里删掉。
只保留文字，删掉图片。文字虽然也在累积，但好歹比图片小得多。
一个直观的比喻：就像你一边跟人打电话一边做笔记，每次说新的话之前，都要把前面所有的笔记重新念一遍给对方听。
没有向量数据库，没有embedding，没有RAG。就是简单的历史对话拼接。 但够用了。
一开始我也感觉奇怪，以为自己理解错了。但代码就这么写的，没有RAG技术，就是每轮把之前说过的话再发一遍。
三、任务分解与编排
前面说的都是单步操作，但几十步的操作怎么处理？如何决定先干什么后干什么？ 按传统思路：写状态机、画流程图、堆if-else。AutoGLM如何处理的呢？复杂的任务分解与编排也交给模型处理。
还是点咖啡，但这次出了意外
正常流程：打开美团 → 搜索"海盐咖啡" → 找到商品 → 加购 → 下单。真实环境下有可能出现各种意外。
意外1：App没打开
第1步，模型说Launch(美团)。执行完了，新截图来了——桌面图标闪了一下，但App没起来。模型看到截图：咦，怎么还在桌面？规则3说了，页面没加载出来就先等等，等三次还不行就重新进。于是模型决定：等两秒 → 重新Launch。
意外2：搜索出来是拿铁
模型搜了"海盐咖啡"，结果列表第一个是"海盐拿铁"。模型看到截图：嗯？不是我要的。规则5说了，找不到目标就滑动查找。于是它往下滑了一下，找到了真正的"海盐咖啡"。
意外3：点加入购物车没反应
模型找到商品了，点"加入购物车"，没反应。新截图来了，还在商品详情页。规则14：点击没生效 → 调一下位置重试。这次换了个坐标点，成功了。
最神奇的是，这些"纠错逻辑"里没有一行代码去判断"当前是不是出错了"。 代码只干了三件极简单的事：模型崩了就结束任务（总比乱操作强）；模型输出解析不了就将内容直接展示给用户；操作执行报错了不终止循环，给模型一次机会重来。真正的纠错逻辑全在Prompt规则里。 规则2是"进错页面就按返回"，规则3是"加载不出来等三次"，规则5是"找不到就滑一滑"，规则14是"点不中就换位置"。你把Prompt里的每条规则，想象成传统代码里的一个if判断。 只不过这些if-else是自然语言写的，由模型自己判断"当前情况匹配哪条"。是不是一下就理解了？
核心就这些东西
一个while循环。一个塞满规则的Prompt。一个不断追加的聊天记录。 看完代码我最大的感受不是系统好复杂，而是感觉设计很巧妙。厉害的不是代码，是思路。提示词的巧妙设计把传统工程里那些需要if-else、状态判断、异常处理的活，全用自然语言安排给大模型去做了。 当然，复杂产品肯定不止这些。场景复杂了，任务队列、并行执行、记忆压缩、RAG检索这些东西都会往上堆。但核心骨架就是这三块，万变不离其中。 所以如果你也想搞一个自己的Agent，找个AutoGLM这样的小项目，把循环、Prompt、上下文这三样搞明白，比啥都强。了解了这些简单的技术，再去研究复杂的技术，就容易多了。
