有一个挺小的 Demo:一个 AI Agent 去 Hacker News 自动给文章点赞。第一次跑直接挂了——Agent 撞到登录页之后没意识到要先登录,转头跟用户汇报"任务完成"。
跑这个 Demo 的是 IBM 的 Tejas Kumar,他在一场分享里专门讲了这个例子。他对这次失败的诊断是:这不是 prompt 的问题,是 harness 的问题。
Harness 这个词在国内的 AI 讨论里出现得还不多,但在海外 Agent 工程圈里,它正在变成一个绕不开的概念。这篇顺着 Tejas 的分享,把它梳理清楚。
Harness 到底指什么
Harness 在英文里原本指马具、安全带——给一匹烈马套上缰绳,给登山者扣上保险扣。共同点是:让本身有能量但行为不可控的对象,能在边界之内稳定输出。
放到 AI 上,Tejas 的定义很直白:
An AI Harness is a system designed to provide a stable and controllable environment for AI models.
模型像大脑,聪明但会跑偏;Harness 是它的骨架和神经系统,让大脑发出的指令真正落地到现实世界。一句话——没有 Harness 的 Agent,能力越强,翻车越快。
两种 Harness:评估的和驱动的
Tejas 把 harness 分成两类,对应两个不同的工程领域。
一种是 Eval Harness,归在 ML 工程里。本质是模型的测试套件——喂数据进去,看输出,评估质量。类比软件工程里的 Jest、Pytest,被测对象从代码换成了模型。
另一种是 Agent Harness,归在 AI 工程里。它不评估模型,它驱动模型——驱动一个 Agent 端到端把任务做完。这是这次分享的重点,也是后面要展开的部分。
Agent Harness 里都有什么
Tejas 把一个完整的 Agent Harness 拆成五个东西。
Tool Registry,工具注册表。Agent 不会凭空生成结果,所有副作用都来自工具调用——浏览器自动化、文件读写、Shell 命令、API 请求。Tool Registry 是它的工具箱。
Model Management,模型管理。选哪个底层模型、怎么切换。Tejas 在这里抛了一句很关键的话:"Providers can change their models without notice."——模型厂商随时可能改动模型,Harness 的工程价值之一,就是把这种波动隔离掉,不让上层应用被一次模型更新打穿。
Context Management,上下文管理。维护历史,压缩 context 避免超窗,决定哪些信息保留、哪些丢弃、哪些总结。一个 Agent 能跑多长的任务,瓶颈基本都卡在这一层。
Guardrails,护栏。最大迭代次数、重试次数、token 上限、调用频率。说白了就是防止 Agent 陷死循环或者无止境烧钱。
Agent Loop,把上面四个组件编排成一个循环:感知 → 思考 → 行动 → 验证,再回到感知。Agent "活起来"的地方就在这里。
回到那个失败的 Demo
回到开头那个 Hacker News 的例子。
Tejas 现场用 GPT-3.5 Turbo + Playwright 写了一个他自己戏称为 "poor man's harness" 的最小版本。任务很简单:登录 HN,给一篇文章点赞。
第一次跑就挂了——Agent 直接去点 upvote 按钮,撞到登录页,懵了,然后自信地报告说做完了。
接下来发生的事情才是这次分享的关键:Harness 检测到这次失败,挂上一个 login handler,让 Agent 先登录再重试;登录之后再点 upvote;最后还有一步 verification,跑去 DOM 上确认 upvote 这件事是真的发生了,而不是 Agent 自己脑补的。
这一整套"失败 → 处理 → 重试 → 验证"的链路,全是 Harness 提供的,跟模型本身的聪明程度没什么关系。
也是因为这个 Demo,"不是 prompt 的问题,是 harness 的问题"这句话才特别有分量——换一个更强的模型未必能修好它,但加一层 verification,问题就消失了。
为什么 Harness 这个词值得拎出来
围绕这次分享,有三点值得单独拎出来说。
第一,模型是变量,Harness 是常量。模型几个月就一个版本,今天 GPT-4 明天 Claude,但围绕它搭起来的工具调用、上下文压缩、护栏、验证这些工程能力,是跨模型复用的。真正能沉淀的是后者,不是前者。
第二,验证比生成更重要。让 Agent 做事不难,让它诚实地报告自己有没有做成才难。Verification 这一步在 Demo 里看着像配角,到了生产环境其实是主角——Agent 大部分"看起来很离谱"的失败,本质都是它在没做成的时候撒了个谎。
第三,Harness 是 Demo 到 Production 之间那座桥。Claude Code、Cursor Agent 这些目前体验较好的 Agent 产品,差异化护城河基本都不是模型,而是围绕模型搭起来的那一整套 Harness。模型层的红利留给 OpenAI 和 Anthropic,应用层最大的工程空间,大概率就在 Harness 上。
收尾
Prompt 工程教你怎么和模型说话,Harness 工程教你怎么让模型在真实世界活下来。
未来一两年,Harness Engineering 大概率会接上 Prompt Engineering 的班——这一波 AI 应用层真正能拉开差距的工程能力,会长在这一层上。
内容来源
•原视频:Harnesses in AI: A Deep Dive — Tejas Kumar, IBM (YouTube)[1]•参考报道:
•IBM's Tejas Kumar on 'AI Harnesses' — StartupHub.ai[2]•AI Harnesses Demystified: Building Reliable AI Agents with Tejas Kumar — Frank's World of Data Science & AI[3]
本文为个人学习整理,版权归原作者所有。
夜雨聆风