Vercel构建反馈循环,像软件一样管理智能体指令

译自：Vercel built a feedback loop that treats agent instructions like software^[1]

作者：Meredith Shubel

Vercel进行了超过200次智能体运行，旨在构建 design.md，这是一个全新的公开提示词文件，旨在帮助智能体创建具有 Vercel 品牌风格的网页，即使在无法访问公司内部代码库的情况下也能实现。

在周一发布的一篇博文^[2]中，Vercel 分享了构建和评估该文件的幕后流程，以确定其为防止故障而编码的纠正措施是否有效——答案是肯定的，但并不完美。

此次发布为开发者提供了一个更广泛的启示：将人类判断力编码进可复用的智能体指南中，有助于减少重复性故障，但这并非万能药。

在三个桌面端场景中，当 Codex 和 GPT-5.5 在加载与未加载 design.md 的情况下分别生成页面时，Vercel 的确定性检查显示，使用 design.md 时已知故障模式出现了 39 次，而未使用时则为 91 次——在这项六页的测试中，故障率降低了 57%。

将人类判断力编码进可复用的智能体指南中，有助于减少重复性故障，但这并非万能药。

尽管 Vercel 承认所有六个页面（承认样本量较小）都存在足以阻止发布的严重故障，但该实验表明，明确命名并编码的故障不太可能再次发生。

将设计知识保留在代码库中的问题

今年 6 月，Vercel 分享了其产品设计背后的思考，这是一项教导在其代码库中工作的编码智能体设计具有品牌外观和感觉的页面的技能。Vercel 表示，这已被证明是有价值的——但仅限于在代码库内部工作的智能体。一旦需要其他工具来生成同样的品牌内容，它们就无法获取相同的设计上下文。

因此，该公司决定构建一个公开文件，任何智能体或工具（即使在 Vercel 的开发环境之外）都可以加载该文件，以访问相关设计知识并制作符合品牌要求的页面。

起初，Vercel 尝试将产品设计简单地移植为公共提示词，但以失败告终。由于提示词中包含主观的设计语言，每个模型对它的解读都不同。此外，提示词只说明了故事的一半；关于设计和实现的重要信息存在于代码库中，这适用于产品设计，但不适用于公共提示词。

因此，Vercel 决定通过创建一个全新的文件，使这些设计知识变得可访问。

Vercel 如何构建和测试 design.md

在构建该文件时，Vercel 使用一组可重复的七个评估提示词对每次迭代进行了测试，旨在揭示指南中的变化如何最终影响生成的输出。每一轮测试中，这些提示词都允许 Vercel 衡量两件事：1) 该文件引起了什么变化；2) 不同智能体如何解读它。

随着 design.md 经历了不同的测试和迭代，最终覆盖了超过 200 次智能体运行，Vercel 确定了一套三部分组成的系统，使指南既可复用又可测试。

首先，提示词文件本身为智能体提供了如何做出设计决策的指导，包括撰写文案、构图层级、排版和配色，以及发布方式。重要的是，它还明确规定了哪些设计模式是不允许的，以便智能体可以避免它们。

同时，一个公共样式表定义了可复用的实现细节，这样智能体就不会在间距和布局等方面“失控”。最后，一个评估循环将人类反馈转化为更新后的指南，以及针对机械故障的确定性检查。

随后，Vercel 构建了一个本地应用程序，作为评估工具，用于审查每一轮生成的页面，并存储提示词、输入、模型配置、文件版本、截图和评审意见。纠正措施被相应地路由到每一层：判断性的更改直接作为散文编码在文件中；样式表捕获了可复用的机制；机械故障则转化为代码中的确定性检查。

通过每一轮反馈，Vercel 都会审查结果，编码已接受的纠正措施，并重新运行相同的评估提示词，以确保没有任何更改意外破坏其他内容。

持续的反馈如何转化为更新

为了保持所发布文件的时效性，Vercel 随后构建了 design-agent。只需在 Slack 频道中提及，该智能体就会加载当前的 design.md，使用已发布的样式表构建请求的网页，然后将完整的截图和 URL 发布回 Slack，为 Vercel 提供了一个连接请求、输出和后续反馈的简明记录。

周末时，所有反馈都会与 GitHub 审查和 Figma 中的评论进行汇总，每一次重复的投诉都会自动成为供人类审查和批准的变更建议。

更好的指南仍然不能保证智能体的可靠性。

随着时间的推移，Vercel 表示它会跟踪每项投诉重复出现的频率。理想情况下，一旦实施了修复，该计数应该开始下降；如果没有下降，则表明该修复需要改进。

开发者能从 design.md 中学到什么

Vercel 的实验为团队如何将人类判断转化为可复用的智能体指南提供了一个示例——这进一步证明了 智能体指令应该像软件一样进行管理，并具备开发生命周期^[3]。

但必须记住，更好的指南仍然不能保证智能体的可靠性。Vercel 的测试表明，即使在优化系统超过 200 次运行后，六个测试页面中没有一个可以在不经修改的情况下直接发布。尽管如此，重复性故障的减少表明，命名和编码故障确实能产生影响。

引用链接

[1] Vercel built a feedback loop that treats agent instructions like software: https://thenewstack.io/vercel-agent-design-guidance/[2] 一篇博文: https://vercel.com/blog/how-our-agents-build-on-brand-pages-with-design-md[3] 智能体指令应该像软件一样进行管理，并具备开发生命周期: https://thenewstack.io/agent-context-development-lifecycle