夜雨聆风学习资料网

ARTICLE · 1279983

217票的冷思考:AI智能体连报税都做不好?

217票的冷思考:AI智能体连报税都做不好?

一个数字就够了:10.8%。这是Claude Sonnet 5.5在DAYJOB: Tax上的通过率。50个真实税务任务,95%的评分标准才算过,最强模型十次里只合格一次。Fable 5.1是9.6%,Opus 5.5是9.2%。前三名全是Anthropic系,差距小到可以忽略。

这不是某家模型的失手。这是整个前沿模型在专业判断上的系统性天花板,被一把尺子量了出来。往下看那个案例,你就知道差在哪

这不是考试,是上班

先把DAYJOB: Tax是什么说清楚,否则你会低估这个数字的杀伤力。它不是题库。是50个工作台。1,789个文件,中位数每个任务30个文件,最狠的一个塞了123个。里面有PDF报税表、Excel底稿、K-1、W-2、IRS通知、总账、合同、邮件,还有一张手写进货收据的照片。

传统benchmark给你一道题,问你答案。DAYJOB给你一个乱糟糟的办公桌,问你交付。评分标准是95%通过率才算合格,这不是“答得不错”,这是“能签字”。任务覆盖个人税、小企业税、合伙、房产投资、遗产赠与信托、国际税、公司交易、税务争议八大领域,全部由税务专家设计,三层审核:正确性、完整性、可解性。

这是领域专家深度介入的体检,不是工程师拍脑袋出的卷子。结果就是那个10.8%。一年前这个数字可能是0%,进步曲线确实陡。但0到10.8%和10.8%到及格之间,隔着的不是努力,是物种差异

Anna的公寓,和AI不会问的那句话

有个任务是这样的:客户Anna要卖公寓,涉及25万美元免税额资格,Astra跑了五次,五次全部漏掉同一件事:2027年8月之后,她可能失去这个免税额资格。这是个截止日期。客户没问。客户不知道自己该问。Opus跑了五次,五次全部识别。

这个细节比10.8%更能说明问题。差距不在知识储备,在职业主动性。一个好税务师的价值,从来不是会算数,是知道客户没问但必须知道的事。AI能读懂那张手写收据,读不懂这句话。

更麻烦的是失败模式。如果AI是算错一个数字,人类复核能兜住。但DAYJOB暴露的失败是“漏掉客户不知道自己该问的问题”。这种错误,人类复核者大概率也发现不了。因为Anna案例里,Astra给出的结论本身是对的,两个日期都满足居住要求,复核者看一眼,点头,过。错的是那句没说的话。

HN上有CPA和EA从业者的评论基调很一致:AI是好的助手,不是好的责任人。

这句话不是保守,是准确。税务容错率极低,一个漏掉的截止日、一个错误的多州纳税义务判断,代价是罚款、诉讼、客户关系崩塌。在这种领域,接近及格等于完全不能用。89.2%的交付不合格率,不是“还有提升空间”,是“现在不能签字”。

成本曲线里藏着的那个信号

悲观派赢了这个回合,但有个被低估的细节,乐观派没讲错。Sonnet 5.5和Opus 5.5的通过率只差1.6个百分点。高性能端挤成一团。这说明什么?专业判断能力可能正在快速商品化。 一项能力一旦被证明可习得,模型之间的差距会迅速收敛。对Anthropic是护城河,对后来者是追赶窗口。

判断放在这:12到18个月内,通过率会翻倍到20-25%区间。靠的是专项训练,用RLHF奖励“提出客户没想到的问题”这个行为。但突破40%需要架构级创新,单次前向传播很难可靠地做元认知,也就是知道自己不知道什么。这道坎,不是堆数据能过的。

行业影响分两层。短期是焦虑,不是替代。四大和Intuit、TurboTax、H&R Block会加速把Agent塞进工作流,但定位是初级助理:做底稿、查记录、初筛问题,人类做判断和签字。真正的冲击在低端报税市场,简单个人报税、标准小企业申报,10.8%配上人类抽检,经济账可能已经算得过来。高端咨询,跨境、遗产、争议,短期无虞。

“人类在环”会变成专业Agent的标配产品形态,不是过渡方案。 评测标准也会长出新指标:人机协作通过率。

最值得盯的信号有两个。Surge会不会发DAYJOB: Tax 2.0,加入对抗性任务,故意埋矛盾记录、故意给不完整信息。以及,有没有税务软件公司公开用这个benchmark做采购筛选。

当买方开始用第三方benchmark做采购决策,这个赛道才算真正成立。

在那之前,所有“AI Agent能干活了”的叙事,都还停留在演示经济

最后一句话

DAYJOB: Tax用50个任务和10.8%这个数字,给2026年的Agent狂热浇了一盆专业级的冷水。它证明AI能读懂手写收据,却读不懂客户没问但必须知道的事。

而专业服务的全部意义,就在那句话里。

未来岛屿AI
AI上你的一切
不讲原理,只讲实操 · 每篇一个真实问题

相关学习资料