夜雨聆风学习资料网

ARTICLE · 1339534

AI能拿数学奥赛金牌,却算不好你的Excel:能力为什么不均衡

AI能拿数学奥赛金牌,却算不好你的Excel:能力为什么不均衡

AI很容易,咱慢慢聊

点击上方蓝字关注,一起学习,一起成长

斯坦福大学《2026年AI指数报告》里有两个挨着的数字,放在一起有点拧巴。

Google的Gemini Deep Think在2025年国际数学奥林匹克拿了35分,满分42分,够得上金牌,4.5小时内用自然语言把题解完。

可同样是这批顶尖模型,去读指针式时钟,正确率只有50.1%,人类是90.1%。能攻下奥赛题,却读不准一个钟,这种落差,报告管它叫"锯齿状智能"。

挪到办公室里,它长这样:它能帮你把一份行业分析搭得有模有样,却在你那张月度表上把月份串行、把该改的第7列公式漏掉。越是要一格一格对着、按公司里那套规矩来的活,越容易出岔子。

别把它当成一个分数

"锯齿状智能"是Andrej Karpathy2024年提出来的说法。他举的例子很出名:模型会认为9.11比9.9大,会数错strawberry里有几个r。原因不难理解:前者那串数字在训练文本里多是版本号,后者被分词切成一整块,模型没逐字母看过。

说白了,AI的能力不是一根平线,而是几项被单独顶高、其余留在原地。所以我更愿意把它想成一张体检表:每项单独打分。

某项95分,不代表另一项也是95分,你也从高分那项推不出哪块会掉到30分。人的本事是连着长的,AI的各项分开练,练到哪儿算哪儿。

这也是打工人最容易踩的坑:拿一次惊艳的表现给它打总分,或者反过来,拿一次翻车就断定它不过如此,两个都不准。

为什么会偏科?往下追一层,能追到它的练法上。

真正卡住的,是没人给它当裁判

为什么偏偏数学和代码窜得最快?答案在练法里。

2024年11月,AI2在Tülu3报告里给一套训练方法起了名字,叫RLVR(可验证奖励强化学习);2025年1月DeepSeek-R1让它出了圈。

数学题答案唯一,程序一比就知道;代码能不能跑,扔进测试集就清楚。有这么个不发工资、不累、不偏心眼的自动裁判,模型就能自己跟自己刷上几百万道题,错了改、改完再刷。

从OpenAI的o1到DeepSeek-R1,推理能力的每一轮跳涨,都跟这套练法关系很大。

麻烦在于它有个硬边界:得先有个便宜又可靠的裁判。"这份周报写到位了没有""这笔报销该不该批",都没有现成的裁判,这些得人来判断,而判断写不成一行程序,就没法刷几百万次。裁判写不出来,这套练法就使不上劲。

表格正好是个现成的例子。2024年清华KEG实验室在NeurIPS上发布SpreadsheetBench,用真实工作里的表格操作考模型:当时GPT-4o做对约17%,Excel里的Copilot做对约20%,请来的Excel专家做对在六成以上。

这是两年前的成绩,别拿它当现在的成绩单。值得看的是考点:会不会算加法根本不是考点,考的是能不能搞清楚该改哪一格、改完别的格子会不会跟着变。

这道坎不只在表格上,你单位里到处都是。

同一条根,也长在公司里

回想一下自己单位:一件事该走哪几步、哪些数字一眼就不能信、"原则上可以"到底算可以还是不可以,这些多半没写进制度,全靠老人带、靠自己撞过几次才记住。

人干活时这些不用说出来,交给AI就得说出来。你给它十份历史方案,也不等于告诉了它当初为什么选这份、否掉那份。

于是就有个看着挺矛盾的场面:模型能证一道难题,接不住你手上那张表;个人用着一天比一天顺手,公司铺开却迟迟看不到收益。这不是两件事,是同一条根——一边有自动裁判,一边没有。

这根怎么落到自己身上?判断AI能做哪一块,别看活听起来高不高级,就看一件事:就是做对了,谁说了算,说到底,就是上一节那个"自动裁判"在不在。

我的判断

能对标准答案的、跑一遍就能验的、错了当场看得见还能重来的,这几年的进步会一直快。

定方案、写周报、核一张牵扯十几列的表,对错要人定、依据没落纸、错了常要几个月后才在对账时冒出来,就慢得多。它的短板未必永远补不上,但眼下确实卡着。

斯坦福那份报告还有一组数字能说明问题:机器人在软件模拟环境里的任务成功率能到89.4%,换成真实的家务,比如叠衣服、洗碗,掉到12.4%。环境一乱,分数就塌。你的工作表,比仿真环境乱得多。

所以结论别停在嘴上,得拿真事试一遍。

三个问题,可以测这活能交给AI多少

不用等公司上系统,就拿你每周都要做的那件事,问自己三句:

1. 做对了谁说了算?有个能对的标准答案,或者跑一下就知道,这块可以往外交。

2. 判断要用的东西写下来了吗?如果答案还停在"看情况""去问某某""原则上",AI拿不到,得先补这一层。

3. 错了多久能发现?当场看得见、改得回的,尽管交;要等季度对账才露出来、还得有人签字背责的,留一双眼睛。

三句里有一句答不上来,先别整件交出去。把答得清的那部分单独切出来,剩下的自己盯。边界画在能查的地方,返工就少。

来到当下,今天就做一件小事

打开那张你每周都要动的表,别急着让AI干活。最上面空一行,写下"做成什么样算对",三行以内。

写得出来,这三行就是你给它立的裁判,往后可以分出去一部分;写不出来,也别急着换工具、改提示词,先把那几行补上,补的时候你会看清这活儿到底难在哪一步。

哪部分能交、哪部分还得自己盯着,写完这三行,心里就有数了。


End-

感谢读到最后

看更多AI行业思考与实用干货

长按识别二维码

关注闲逛的慕

▼

闲逛的慕

一个AI领域的自由创业者,分享AI行业变化与实用干货

看见

更大的世界

▲ 长按识别关注

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料