AI生成的文档到底有什么问题?
好文翻译,原文链接
https://passo.uno/whats-wrong-ai-generated-docs/
社交媒体上充斥着模仿宫崎骏动画风格的AI生成图像,堪称一种直白的实力炫耀。技术写作领域也天天上演类似情况:人们随意给 大语言模型(LLMs,Large Language Models) 输入上下文,就觉得它能轻松写出优质文档,甚至超越人类作者。是时候划清界限,别让AI博主把你的工作简单当成文本处理。
我虽多次谈过 AI辅助增强(AI augmentation) 的优势,但绝不会主张大语言模型能脱离限定场景生成文档——仅限API文档、代码片段这类来源清晰简洁、近乎程序化生成的内容。我们应让大语言模型只做它真正擅长的事。
可一旦让大语言模型生成整套文档,问题就会出现。“没法用AI做正经编程,但能用它写文档”这种说法天真又草率,既忽略了优质文档的创作逻辑,也忽视了用户体验(文档本身也是产品)。下面具体讲讲完全由大语言模型生成的文档存在的问题。
存在严重的README综合征(READMEtitis)
大语言模型生成的文档,读起来就像GitHub废弃仓库里仓促写就的README文件。这种README式文风是怪异的 拼凑式语言(frankentongue) ,由陈词滥调和不良写作习惯构成,违背多数风格指南,存在格式混乱、语态不当、表达随意等问题。
有人说能凑合用就行,但这就像用画图工具做的粗糙界面,无法为产品加分。即便强制模型遵循风格指南,效果也很差,因为其输出不具备确定性,大语言模型并不真正理解规则,必须由 技术文档工程师(technical writer) 核对格式与文风。
会隐晦且难以察觉地虚构内容
大语言模型连基础的句子补全都可能出错,会持续以看似合理、实则难察觉的方式编造信息。比如复用旧版命令或代码片段,把提示词里的期望包装成虚假内容。被指出错误时,它只会道歉并继续编造。
这是模型的设计特性:它总想提供帮助,宁愿给错答案也不沉默。这会引发 责任归属(accountability) 问题——若文档里的命令不存在,或因 大模型幻觉(hallucinating) 造成损失,该由谁负责?责任归属正是技术文档工作的核心。
缺乏战略视野、上下文与核心思路
大语言模型只能模仿结构,却没有全局视野、上下文,也不具备 信息架构(information architecture) 工作必需的目的性与主观性。它无法跳出局部看整体,即便输入海量内容,也无法为文档制定连贯的整体策略。
文档不只是信息堆砌,而是经过设计的使用体验,用来有效引导用户。决定不写什么和写什么同样重要,这是远超模式识别的架构选择。交给大语言模型,只会生成杂乱无章、无法迭代优化的文档。
无法捕捉产品真实态与细节差异
产品本身复杂,描述产品的内容也是如此。成熟功能的文档背后,藏着客服工单、用户反馈、产品开发中的未完善感,我称之为 产品真实态(product truth) ——这些是大语言模型无法知晓的。
脱离现实根基的AI生成文档空洞无物,就像危险前的虚假提示牌,无视实际场景。读者会因文档缺少注意事项、极端情况和关键信息而受挫。好文档既要讲能做什么,也要讲不能做什么,这需要有共情力的人类作者。
可辅助,不可替代
用大语言模型取代技术文档工程师,看似提升效率,实则会破坏知识传递的核心。技术文档工程师是懂技术也懂用户的解读者,能为工作承担责任,这是机器做不到的。
技术文档的未来,不是用AI取代人类,而是用AI工具辅助人类作者。让大语言模型处理琐碎工作,由人类把控战略、搭建架构、注入共情,把信息转化为理解。文档的核心不只是事实,更是信任,而信任唯有人类能建立。
夜雨聆风
