乐于分享
好东西不私藏

关于AI Agent格式文档撰写能力的测评

关于AI Agent格式文档撰写能力的测评
格式文档,或称“公文”,是日常办公室工作中经常用到的信息载体。不论是常态化的周报、月报,还是与工作事项绑定的方案、通知、报告,凡有明确体例、格式要求文档,都可纳入此列。格式文档的撰写往往不会耗费多少脑力,更不需要多少创造力,但却占据了许多的工时,用来收集信息、汇总成文、调整格式、精细修改。
今年以来,随着年初Openclaw的爆火,主流AI厂商分别开始启动AI Agent产品线。此类产品旨在尽可能降低部署和使用难度,同时将功能从“辅助编程”拓展到对日常工作的全面支持。而格式文档的撰写,是大多数办公室工作者在运用AI Agent时较为看重的一项能力。因此,我们来挑选字节跳动的TRAE WORK、腾讯的Work Buddy以及Google的Antigravity 2.0等几款主流的AI Agent产品,对格式文档撰写能力做一次(不完全)的测评。
任务描述
我们设计了一项简单的工作任务:编制标准化的教学设计。我们会为AI提供一份教学设计的标准格式模板,一份人工编写的教学设计样例,以及一份格式不规范的教学大纲;我们会希望AI Agent能够参考教学设计样例的行文风格,修改、补充那份格式不规范的教学大纲,并将其写入到标准格式模板中。
这项任务的挑战性在于,教学设计是一份内嵌了复杂表格的文档,且对正文的表述方式有着精细的要求,AI Agent不仅要读出文档格式,原封不动的生成一份规范的文件,还需要遵照对表述方式的要求来改编、补充待处理的材料,看起来还不能像是AI生成的作品,而是像人工编撰的文档。
那么接下来我们首先对两款国产的AI Agent做个测评。
TRAE WORK (From 字节跳动)
TRAE Work所使用的基础模型是字节跳动研发的Doubao Seed系列模型,其综合智能水平尚可,且针对Agent应用场景做了充分优化,能够提供可接受的能力表现。TRAE Work同时也支持第三方模型接入,甚至可以通过API接入GPT等境外模型,但兼容效果一般,显著低于Codex等原生Agent工具,因此日常应用中仍然会以Doubao Seed为主。
首先我们先让TRAE读取教学设计的模板。
好,它看起来信心满满,接下来我们让它把一份不规范的教学大纲修改为规范格式。
依旧充满自信,那么我们来看看它生成的产品如何...
表一的格式有些问题,不过内容还行,接下来我们来看看表二...
嗯,令人昏厥的格式,显然它没有遵照模板格式来生成文档,接下来我们再试一次。
它说它修改好了,并且列出了一系列的修改记录,我们来检查一下作业...
还是不太行... 后续我又提出了更明确的格式要求,包括列宽、行高、合并单元格的要求等等,在大约两轮反复之后,TRAE完成了输出了合格的作品。不过,考虑到TRAE收费后,高达1元/次的免排队对话费用,这样的尝试次数恐怕是无法接受的。所以,我们来试试看另一个国产AI Agent,也就是腾讯的Work Buddy。
Work Buddy(From 腾讯)
Work Buddy其实早在2026年初就已发布,但是受限于腾讯自研大模型羸弱的能力,以及腾讯混乱的AI产品线,始终未能受到关注。直到最近,腾讯为其引入了GLM5等高性能国产模型,优化了交互体验,并组织大规模推广和免费公测之后,才终于获得一定的使用量。
我们沿用之前的任务要求交给Work Buddy来处理,模型采用的是国内性能最强的GLM 5.2。
同样的信心满满,接下来让完成课程大纲的格式修正。
几乎是一次性完成了任务,仅有少量的格式问题,例如【讲授法】等由中括号括起来的字样应该删去,以及“讲授:”等教学方法关键字应该加粗,但这些问题只需要一轮修改就能够改好。
不过这并不意味着Work Buddy和GLM 5.2的组合已经臻于完美,实际上在后续的测试中,我发现它们一次性完成上述任务的概率大约是2/3;而且其算力费用消耗也相当可观,这一项简单任务一般会耗掉200左右的算力积分,而腾讯给订阅用户提供的月度积分仅有2000分,耗尽之后将需要以每1000分38元的价格购买,因此这样的工作会变得非常昂贵。所以最后我们来召唤出Antigravity 2.0,看看这个依托顶级模型的AI Agent表现如何。
Antigravity 2.0(From Google)
在今年5月的Google I/O大会上,Google发布了其AI Agent产品Antigravity 2.0,并将其纳入到Google AI Pro订阅套餐中,仍保持20美元/月的订阅费。这使得Google AI Pro成为了AI御三家(Anthropic、OpenAI、Google)中性价比最高的订阅套餐。
Antigravity能够提供的功能与TRAE和Work Buddy并无本质区别(名字也一样难读),但它的内建模型是Gemini 3.5 Flash这一性能强大且效率超高的模型,这使得其任务一次成功率、响应效率均可达到理想水平,同时算力成本还不太高。
在实际的测试中,Antigravity 2.0基本上可以在9/10的概率下一次性完成上述任务,且仅消耗周算力限额的1%左右。事实上,除了需要编程的复杂任务之外,你很难“啃”得动Antigravity提供的算力额度。因此,即便其订阅费用折算下来约为130人民币/月,在中等强度使用下,其综合成本反而相当低廉。
总结
综上,可以发现,Antigravity 2.0即便仍然不是世界上能力最强的AI Agent(其综合性能弱于Codex),但在类似于“格式文档生成”这样的日常任务中,仍能做到上佳表现,且令人意外的是,从长期使用的角度看,其性价比非常突出。
而两位国产选手中,TRAE Work仍然更加适用于编程类的任务,在日常办公支持方面,字节旗下的另一选手——飞书——实际上能够提供更为全面的支持,并且能够更顺畅、更简便的在工作流中纳入AI的能力。而Work Buddy,在启用GLM 5.2这样的高性能模型时,表现接近理想水平。但是,不论是TRAE Work还是Work Buddy,在长期使用时,其使用成本都高到了离谱的程度,或许这也是国内AI厂商总算力资源不足的一个表现吧。