ARTICLE · 1389871
AI 写长文档总跑偏?问题不在模型,在你塞给它的东西
AI 写长文档总跑偏?问题不在模型,在你塞给它的东西
对话一长,它就开始忘事、跑偏、自相矛盾。换个更贵的模型也没用。真正该动的地方,很多人还没听说过。

周一早上,你把一份五十页的项目文档丢给 AI,让它帮你整理成周报。前十轮聊得挺顺,它会总结、会提炼。聊到第二十轮,怪事来了:它把上周开会被否掉的方案又写进了下一步计划,还把你同事随口提的一句需求,当成了你拍板的结论。
你第一反应是模型不行,换了个更贵的,结果照样。
问题多半不在模型有多聪明,而在你往那个对话框里堆了多少东西。它记不住,不是因为笨,是因为你给它的桌面已经乱到它翻不出你要的那张纸了。
上下文工程(Context Engineering),说人话就是:在 AI 每次回答之前,决定让它看什么、不看什么、按什么顺序看,以及什么时候把旧的清掉。
你可能会说,这不就是写提示词吗?以前大家管这叫提示词工程。区别在于,提示词只是其中很小一块。真正喂给模型的,除了你打的那句话,还有系统设定、历史对话、你上传的文档、工具返回的结果、之前记下的笔记。这一整包东西,才叫上下文。上下文工程管的是这一整包。
这个词是 2025 年中火起来的,Shopify 的老板 Tobi Lütke 和 Andrej Karpathy 几乎同时在社交平台上推它。到 2026 年,做 AI Agent(能自己分多步干活的 AI 程序)的团队,基本都把它当成一件正经活儿来对待了。

把 AI 想成一个刚来上班的实习生,脑子很快,但有个毛病:他同一时间只能盯着桌面上摊开的东西,桌面之外的,他一概想不起来。
你给它的上下文,就是摊在这张桌上的资料。
你要是图省事,把五十页文档、二十轮对话、十几个工具的返回结果一股脑全倒上去,桌面就成了一堆纸山。真正关键的那条要求被压在最底下;上周作废的旧规则还摊在最上面。实习生眯着眼找半天,抓到什么算什么,这就是它跑偏的真相。
有研究专门测过这件事:模型处理长内容时,放在最前和最后的信息它记得牢,埋在中间的最容易被漏掉;内容越长,整体准确率越往下掉。行业里管这叫上下文腐烂(context rot)。注意,这不是窗口不够大,很多模型现在能塞下几十万字,你还没塞满,它就已经开始犯糊涂了。
所以上下文工程干的事,其实就是替这个实习生收拾桌子:该放手边的放手边,过期的收进抽屉,要用的时候再拿出来,别让纸山埋了重点。
写周报、做竞品调研、读一份长长的合同,以前的做法是全贴进去让它总结。靠谱一点的做法是分两步:先让它对着目录和标题挑出相关章节,再把那几节喂进去细读。你给得越准,它编得越少。
现在不少人用 AI 跑自动化,查资料、抓数据、生成表格、发邮件,一跑就是几十步。每一步工具都会吐回一堆结果,全留着,桌面很快就爆了。上下文工程在这里决定:哪些结果留着,哪些压成一句摘要,哪些写到外部文件里存着、用时再读。
很多人以为接个 RAG(检索增强生成,回答前先去资料库翻一翻)就完事了。其实 RAG 只解决找资料这一步。
找回来几段、怎么排序、要不要带上前几轮的对话、旧答案要不要清掉,这些都在上下文工程的活儿范围内。同样一套知识库,有人做出来答得准,有人做出来一本正经胡说,差往往就差在这些细节。

窗口越大越好,能塞就塞。这是最贵的一个坑。前面说过,塞得越多,模型反而越不准,中间的信息尤其容易被吞掉。每个词(token)都在抢它有限的注意力,还实打实地花钱、加延迟。把三十页里有关系的三页挑出来,比全塞进去强得多。
提示词工程过时了,被取代了。没有。提示词现在是上下文的一部分,从全部变成了其中一块。它管的是怎么把话说清楚、规定输出格式,这些照样重要。有个贴切的比方:提示工程之于上下文工程,就像写 CSS 之于前端开发,还是得会,但它不再是天花板。谁要是跟你说提示词没用了,多半是想卖你新课。

上下文工程就是 RAG。这个误会特别常见。RAG 只是选这一个动作,把相关资料捞进来。完整的活儿比这大得多,下面这四个字你一看就明白。
这是 LangChain 团队总结的一套分法,到 2026 年基本成了行业共识,照着做就行。
写把信息存到上下文外面项目的固定约定、术语表、已完成的事项,写进一个笔记文件或记忆里,需要时再调回来,别一直占着桌面。
选每次只拿相关的进来检索时只取真正相关的几段,工具只开放当前要用的几个,别把几十个工具一股脑丢给它,工具多了它选错的概率也高。
压把长的历史压缩聊了二十轮,让 AI 把前面的内容总结成五条要点,从下一条开始只带这份摘要往下走。很多编码工具已经会自动做这件事,快到窗口上限时自己压缩一遍。
隔把不同的活儿分开一个任务一个干净的上下文,复杂任务拆给几个子任务各干各的,只把结论汇总回来。别把所有事揉进一个对话里从头聊到尾。
这四个不用一次全上。多数人从选和压开始,效果立竿见影。
◆ 求职加分
如果你是奔着 AI 相关岗位去的,这里有个面试很可能被问到的题:Agent 跑了几十步之后开始出错,怎么排查?别张口就说换更强的模型。
更好的答法是先怀疑上下文:是不是混进了太多无关的工具输出,关键信息是不是被埋在中间,早期的规则和最新的要求是不是打架了,历史有没有按节点压缩。能顺着这条线讲下来,比背十个概念名词都管用。
简历和作品集上也一样。别只写熟练撰写提示词,试着写成:为长流程 Agent 设计上下文管理方案,引入外部记忆与定期摘要机制,把多步任务成功率从 60% 提到 85%。有策略、有动作、有数字,这才看得出你真干过。
下次 AI 答得离谱,先别急着换模型、写更花的提示词。回头看看你塞给它的那一大堆东西:里面是不是混进了早该扔掉的旧文件,真正要紧的那句话,是不是被压在了纸山底下。
— E N D —
收拾桌子,往往比换实习生更快。
长安的 AI 办公桌 · 把 AI 讲明白















































































