原文题图：LLM长篇写作的局限

导读

大模型会写代码、做数学题、查资料，也能在几分钟内写出一篇语句通顺的长文。但语句通顺，不等于是篇好文章。

8月12日，刚完成一本312页RLHF教材的AI技术大牛Nathan Lambert写下了一篇复盘文章。他给出的判断是：当前模型擅长检查句子、公式和图表，擅长完成小而明确、结果可以验证的任务；但一旦任务变成组织知识、建立主线、决定取舍，并让几千字共同指向一个结论，能力就会明显下降。

这不是对AI写作的批评，而是一位研究者在两年写书过程中的实测。它也提醒我们：长文真正难的，从来不是把字填满，而是压缩知识、形成判断，并对全文负责。

核心内容

• AI写作最明显的短板，已经不是单句语法，而是跨段落组织：模型能把每个局部写得像样，却难以让全文形成稳定的主线、层次和结论。

• Nathan Lambert把知识组织称为一种“压缩”。好文章要降低信息熵，当前模型的长篇非虚构写作却常常增加信息熵：内容更多，判断反而更模糊。

• 模型最可靠的两类任务，是结果能够清楚验证的领域，以及在大量上下文中做一次小而明确的修改。写代码、找错字、改公式和给局部反馈，都符合这个条件。

• AI可以显著改善写作流程，但暂时不能接管全部写作。Lambert估计，今天它大约能节省10%—20%的工作量，距离承担大部分工作仍很远。

• 专家使用AI的优势，不只是会写提示词，而是拥有直觉、品位和错误识别能力。缺乏专业判断的人，更容易把“写得像”误认为“写得好”。

• 写作既是输出，也是理解形成的过程。把摘要、引言、实验和结论交给模型，可能节省时间，也可能让作者失去真正弄清问题的机会。

• 长篇技术写作仍然薄弱，说明模型在开放的、欠定义的问题上还不能充分表达和组织自己已有的知识；这也限制了它自主解决重大科学问题的可信度。

金句

• “组织知识就是一种压缩，而洞见需要这种压缩。”

• “今天的大模型在长篇非虚构写作中增加了信息熵。”

• “模型可以把一个句子写对；让它写完整一章，组织、措辞和概念就会一起变得不稳定。”

• “你的理解速度不会因为使用Agent而自动提高。”

• “直觉、品位和本能，才是未来仍然有价值的理解。”

• “AI很擅长把已有知识换一种形式，却仍不擅长从零创造最好的教育内容。”

• “今天的AI大约能节省10%—20%的写作劳动，但短期内很难承担大部分工作。”

• “长篇写作的失败说明，模型还不能在欠定义的问题上表达自己全部的知识。”

正文

一、不是文风问题

关于AI写作，最常见的批评是“没有人味”。句子太通顺，语气太稳当，喜欢把任何问题都整理成三个要点；偶尔能写出一句金句，却很难稳定保持同一水准。

Lambert认为上面这些都真的，他写的篇文章讨论的不是小说、诗歌或个人随笔，而是看起来更适合AI的非虚构写作：技术教材、研究论文、知识解释和参考资料。

这类内容不一定需要鲜明人格，只要事实正确、结构清楚、逻辑完整，似乎就应该随着模型能力提高而迅速成熟。

Lambert原本也是这样判断的。

2024年开始写《Reinforcement Learning from Human Feedback》时，他甚至担心：等这本书在2026年出版，模型可能已经能写得更好，人工写教材会显得落后。

但结果恰恰相反。

Nathan Lambert，是长期研究语言模型后训练与开放模型的技术大牛

二、局部很强，整体很弱

过去两年，模型在代码、数学、搜索和研究辅助上快速进步，长篇非虚构写作却没有出现同样的跃迁。

Lambert的观察是，模型能发现深藏在两三百页稿件中的小错，也能改正一句技术解释，甚至在作者卡住时提供一个不错的表达。但如果让它完成整章，问题就会同时出现：章节组织混乱，概念边界漂移，措辞时而含糊、时而用力过度，还会在看似顺滑的段落中加入随机的概念错误。

这些错误不是彼此独立的。单句的不准确，会影响下一段的解释；下一段为了弥补，又引入新的概念；内容越长，误差越容易复合。最后得到的往往是一篇“每一段都像文章，合起来却不像一篇文章”的文本。

这正是长文章和短问答的区别。短问答只需对当前问题负责，长文还要记得前面说过什么、后面要证明什么，以及哪些材料应该舍弃。

三、写作是压缩

Lambert在文中给出了一个很好的观点：组织知识是一种压缩。

一本教材不是把所有资料顺次摆在一起，作者需要判断什么是主干，什么是例子，什么应该先讲，什么暂时不讲；还要用有限的概念，让读者在脑中建立一个可以继续推演的模型。

这种压缩会降低信息熵。材料可能很多，但读完之后，读者看见的关系应该更清楚，问题应该更集中。

当前大模型的长文经常反过来：它不断扩写、补充和换一种说法，看起来信息丰富，实际增加了重复、分叉和含混。文章变长了，核心观点却被冲淡了。

写作的难点因此不在生成，而在取舍。模型很会回答“还可以加什么”，却很少知道“这一段为什么必须删掉”。

Lambert的《Reinforcement Learning from Human Feedback》纸质版共312页

四、为什么代码进步更快

同样是模型生成，为什么代码和数学的进步速度远快于写作？Lambert认为，关键是可验证性。

代码运行一下就知道是否过关，数学题可以核对答案。训练系统能够明确告诉模型：这一次是对还是错。基于可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards，RLVR）把这种反馈变成训练信号，使模型反复修正。

但写长文章没有同样清楚的验证标准。一段话可以没有事实错误，却仍然无聊、松散或没有洞见；两个编辑可能对同一段结构做出完全不同的判断，主观性很强。标题是否准确、例子是否多余、结论是否真正从论证中得出来，都很难还原成一个稳定的判定分数。

当然，这不意味着写作完全没有标准，而是标准分布在全文、读者和语境之中。越开放、越欠定义的任务，模型越难依靠局部奖励完成整体优化。

可验证奖励能把“正确或错误”直接变成训练信号，长文质量却很难用同样明确的规则判定

五、AI最适合做什么

Lambert没有因此拒绝AI。相反，他在写书的过程中大量使用了模型，只是严格限制了任务边界。

第一类，是可以逐项检查的工作：寻找错字、核对公式格式、整理LaTeX、生成TikZ或Python图表、重构代码仓库、在两种标记语言之间同步内容。

第二类，是给足上下文后的一次小修改。他会让Claude Code逐个定位编辑在LaTeX文件中留下的评论，打印前后段落，再判断这是简单错字还是需要作者处理的复杂问题。模型提供候选意见，最后由他决定如何修改。

这套方法有效，因为模型不需要凭空决定一本书应该是什么。任务、范围和验收方式都已经清楚。

Lambert还同时维护Markdown网页版本和Manning编辑团队审阅的LaTeX分支。读者反馈在一处，出版社修改在另一处。他估计，如果没有AI Agent辅助同步，这项工作可能需要五倍时间，而即便使用了AI，也已经花了几十个小时。

六、人必须保留什么

在最终出版的教材里，Lambert估计直接来自模型的技术解释句子远低于1%。这些句子被保留，不是因为模型拥有署名权，而是因为作为领域专家的自己的判断：这恰好是读者需要的表达。

这里有一个重要的前提——他有能力判断模型错在哪里。

模型写得像，不代表写得对、写得好。专业知识不足的人，很难识别概念漂移、因果倒置和貌似合理的小错误；即使模型把九成内容写得不错，剩下的一成也可能破坏整篇文章。

更深层次的是，写作本身就是理解形成的过程。论文的摘要、引言、实验和结论，不只是排版要求，而是作者回答“这项研究究竟做了什么”的地方。如果这些段落全部交给模型，文字可能更快完成，作者却少了一次逼迫自己想清楚的过程。

Lambert把这种能力称为直觉、品位和本能。Agent能提高执行速度，却不会自动提高人的理解速度。未来真正稀缺的，可能不是生成更多内容，而是判断什么值得生成、什么已经足够、什么根本不该出现。

七、只节省一小部分

Lambert给出的估计很克制：今天的AI可以节省一本专业书10%—20%的劳动，但短期内看不到这个比例会变得更大。

当然，节省的部分也很有价值。它让专家少做机械同步、格式转换和局部检查，也可能帮助更多人把脑中的知识真正写出来。但AI不能把“作者”替换成“提示词操作者”。

这也解释了为什么教育内容不会因为AI的出现就失去价值。模型擅长把已有内容转换成适合学生观看、学习的形式：缩写、扩写、改成问答、生成练习或制作课件初稿。但它仍然依赖优质原始内容，尤其依赖专家先完成知识结构和核心骨架。

当所有人都以为模型会成为最好的私人教师的时候，真正高质量的教材反而可能更稀缺。平均写作投入下降了，顶尖内容和表达的价值却没有下降。

八、科学能力的警报

这篇文章最后落到一个更大的问题：如果模型连本领域已经建立的知识都不能稳定组织和解释，它凭什么独立解决开放的科学难题？

Lambert并不否认模型在科学中的进展。他特意提到， Anthropic曾用一个未发布的模型在黎曼猜想相关的问题上取得了进展，把满足假设的zeta函数零点比例下界从41.6%提高到67.2%。这是一项明确而具体的数学进展，但它不是“Claude证明了黎曼猜想”。

Lambert的判断是，模型近期仍会在低垂果实、可验证问题，以及跨领域连接上不断带来成果；它也已经是科学家使用过的最强辅助工具之一。但要从这些窄而明确的任务，走向长期组织知识、自主提出问题和完成开放研究，中间还有一道没有充分暴露的鸿沟。

长篇写作之所以重要，不是因为写文章比做科学更高级，而是因为它同时要求记忆、压缩、判断、结构和持续自洽。模型在这里停滞，说明它拥有很多知识，却还不会在一个欠定义的问题里，对这些知识作出完整负责的安排。

九、两到五年

Lambert预计，未来两到五年，最好的教材仍会主要由人亲手完成。五年之后会怎样，他没有下结论。

这不是保守。2024年开始写书时，他对AI替代非虚构写作更悲观；两年之后，他因为亲自使用过这些模型，反而对书的生命力更有信心。

AI正在改变写作，但变化的不是“AI把人换掉”这么简单。它先接管了查错、格式、迁移、同步和局部建议，让作者把精力留给最困难的部分：选择主线，组织知识，建立判断，删掉多余的话。

真正的问题，也许不是AI什么时候能写完一本书，而是当生成变得廉价之后，我们是否还愿意为理解、结构和品位付出时间。

结论

AI已经能帮人把一句话写得更好，却仍不能替人决定一篇长文究竟应该说什么、删掉什么，以及为什么值得写。

参考资料

Nathan Lambert：https://www.interconnects.ai/p/i-wrote-an-ai-textbook-how-long-until