给每个AI 100万美元、500天时间、一家零用户的空壳SaaS公司。结果:Grok 4.20平均28天破产,DeepSeek V4 Pro平均114天破产,Gemini 3 Flash全军覆没。唯一多次跑赢本金的只有一个模型。而一个没有AI大脑、只会按固定规则执行的算法,反而赚了1580万美元,赢了在场90%的「硅基学霸」。
📋 目录
1️⃣ 这测试到底在干什么
2️⃣ 这个虚拟公司有多「真」
3️⃣ 成绩单:谁赚了,谁死了
4️⃣ 赢家和输家,到底差在哪
5️⃣ 最妙的反转:规则算法赢了AI
6️⃣ 我们对「AI能干什么」的判断,可能全错了
📌 写在最后
1️⃣ 这测试到底在干什么
6月16日,普林斯顿大学三位研究者——陈浩哲(Haozhe Chen)、Karthik Narasimhan 和 Zhuang Liu——发布了一个叫 CEO-Bench 的基准测试。
名字很直白:就是测AI能不能当CEO。
他们给的方法也很直白:建一个虚拟的SaaS初创公司叫「NovaMind」,扔给AI 100万美元启动资金,500天模拟时间,零客户——然后说:「去吧,赚钱。」
结果极其残酷。
参与测试的14个模型里:
- 10个以破产告终
(Grok 4.20、DeepSeek V4 Pro、Gemini 3 Flash、Claude Haiku 4.5、GLM 5.1等全部三次运行破产)
- 只有3个在最好的一次运行里跑赢了100万本金
- 只有1个模型多次跑赢本金
——Claude Fable 5
而最扎心的不是AI比不过AI。是一个没有任何大模型大脑、只会按硬编码规则执行的基础算法,最终赚了1576万美元,跑赢了10个AI模型。
💡 通俗类比:这就像你找了一群名校尖子生(AI模型),和一个只读过一本《开店入门100问》的初中生(规则算法),各给100万让他们去开店。500天后,尖子生们要么赔光了,要么在生死线上挣扎;初中生虽然没发大财,但老老实实赚到了1500多万。问题不出在智商,出在「聪明反被聪明误」。
2️⃣ 这个虚拟公司有多「真」
很多人第一反应是:「一个虚拟游戏嘛,AI不擅长游戏策略而已。」
但仔细看这个模拟的设计,你会发现它不是一个游戏,而是一个几乎复刻了真实SaaS公司运营逻辑的沙盘。
它有26个客户群体
不是笼统的「市场」,而是26个独立客户群——个人用户、中小企业、大企业——每个群里的每个客户都有自己的最高承受价格、最低质量要求、使用习惯和流失倾向。同一个群里的客户大致相似,但每个人又略有不同。
你降价了,不是所有客户都涌进来——只有觉得「价格现在低过了我能接受的范围」的客户才会订阅。你提质量了,不是所有客户都留下——只有对质量特别挑剔的那波人会因此续费。
它有34个工具,覆盖7个业务领域
它模拟了真实商业最残酷的几个特性
延迟反馈——你今天投了广告,效果可能3周后才显现,但账单第二天就扣了。这和真实创业一模一样:烧钱的时候心慌,等回报的时候更慌。
信息不透明——客户的真实支付意愿?隐藏的。竞争对手在干什么?不直接告诉你的,只能从社交媒体上的抱怨和流失数据里去猜。就像真实世界里,你永远不会拿到竞争对手的财报内部版。
动态变化——宏观经济周期在波动,竞争对手在追赶,客户偏好会漂移。昨天管用的定价策略,明天可能就废了。没有任何一套打法可以一劳永逸。
多目标互锁——降价能拉用户,但用户多了要扩容服务器,扩容要花钱,花钱后现金流紧张,现金流紧张你就没研发预算……每一项决策都在拉扯其他所有决策。不是在做一个选择,是在解开一团毛线。
💡 通俗类比:这不是高考——每道题答对了就拿分。这更像是你一个人同时做厨师、采购、服务员、会计、还兼任老板——每个角色的决策都在影响其他人的工作,任何一环绷断了,整个餐厅就得关门。
3️⃣ 成绩单:谁赚了,谁死了
数据胜于千言。直接看表:
| Claude Fable 5 | 4715万美元 | |||
| Claude Opus 4.8 | 2778万美元 | |||
| GPT-5.5 | 2130万美元 | |||
| 规则算法(无AI) | 1576万美元 | |||
| 28天 |
几个关键发现:
① 前两名和后十名之间有一条鸿沟。 Claude Fable 5 和 Opus 4.8 赚了几千万美元,GPT-5.5也赚了2130万。但第四名之后,所有模型连本金都保不住——Qwen 3.7 Max亏了58%,Kimi K2.6亏了90%,GLM 5.2亏了91%。这不是渐进差距,是断层式碾压。
② GPT-5.5赢了一次,输了两次。 它最好的一次赚了2130万美元,但另外两次直接破产。像一个赌徒——要么翻倍,要么归零。真正的CEO不能这样,因为公司不是赌场。
③ Grok 4.20平均28天破产。 相当于100万美元撑了不到一个月——比一个普通创业者从拿钱到挥霍光的速度都快。
④ 只有Claude Fable 5是两次都跑赢本金的。 但连它也受到了政府「限流」影响——一次运行因模型拒绝执行而中止,另外两次运行中部分请求被降级到了Opus 4.8。相当于一个被绑了一只手的天才,仍然考了全班第一。
4️⃣ 赢家和输家,到底差在哪
研究团队不只是给排名,他们深入追溯了每个模型每周的决策轨迹,发现了四个决定胜负的能力断层:
🔍 差距一:能不能从噪音里找到信号
虚拟世界有5个广告渠道,但每个渠道对不同客户群的效果差异巨大——这个信息是隐藏的。AI需要自己试、自己分析、自己摸清。
衡量指标:AI把多少广告预算投向了效果最好的那个渠道。
完全瞎猜的话,期望值是20%(5选1)
- Claude Opus 4.8:43%
——精准找到最优渠道
- GPT-5.5:33%
——还行
- Claude Opus 4.7:14%
——比瞎猜还差
- 其余模型平均:10%
——连瞎猜都不如
💡 通俗类比:就好比你在繁华商圈开了家店,有5条街可以发传单。Claude Opus 4.8观察了一周人流,发现「东街的转化率最高」,然后把90%的传单发到了东街。而多数AI要么每条街平均发20%,要么把传单全塞进了根本没人的后巷。不是没给数据,是给了数据也不会读。
📅 差距二:能不能预见自己行为的后果
研究者每周让AI预测四周后的现金余额。
- Claude Opus 4.8:预测误差只有8%
——几乎等于「我知道我这么做会有什么结果」
- GPT-5.5:误差25%
——大概知道
- Claude Opus 4.7:误差48%
——基本在猜
- 其余模型平均误差:179%
——预测和现实差了将近两倍
💡 通俗类比:你开车过弯道,Claude Opus 4.8知道「现在打方向盘30度,3秒后车身会在第二条车道」。而多数AI像是蒙着眼睛开车——知道自己在打方向盘,但完全不知道车会去哪儿。行动和后果之间,隔着一堵墙。
👀 差距三:能不能察觉到竞争对手在悄悄变强
虚拟世界里的竞争对手会定期提升产品质量,但这个信息不会通知给AI。AI只能从社交媒体的抱怨变多、用户的流失数据异常中间接推断。
- Claude Opus 4.8 & GPT-5.5 & Claude Opus 4.7:一周内就能在备忘录里提到「竞争对手」
- 其余模型:平均需要两周以上
一周的感知延迟,在快速变化的市场里,可能已经丢了上千个用户。
🧩 差距四:有没有「if-then」思维
研究者统计了每个模型在工作备忘录里使用「如果/if」这个词的频率。这衡量的是:它在主动为多种可能性准备预案,还是只执行一个固定方案?
- Claude Opus 4.8:平均每周8.57次「如果」
- GPT-5.5:7.47次
- 其余模型:2-3次
强模型的备忘录是这样的:
「如果本周广告信用额度帮助降低了流失率,就维持现有策略;如果没有效果,就停止大范围折扣,转向质量提升。」
弱模型的备忘录是这样的:
「继续执行上周计划,不做改变。」
💡 通俗类比:围棋高手每一步都在想「如果对手下这里,我下那里;如果他换一种走法,我换一种应对」。普通棋手只想「我这一步怎么走」。CEO也一样——不是做一个正确的决定,而是为每一种可能的结果准备好下一步。
5️⃣ 最妙的反转:规则算法赢了10个AI
Claude Opus 4.7的事后分析,可能是整篇论文最耐人寻味的部分。
Opus 4.7活到了第500天,三次运行都没破产——表面上「还行」。但它最好的期末现金只有39万美元,亏了61%。它的策略是:从第77天开始就决定「关闭所有广告,悄悄投资质量」,然后从此就不做任何改变了。
到了第287天,它在备忘录里写下了一个词来描述自己的策略:
「HOLD & DIE」——维持并等死。
它活下来了,但是一种「植物人式」的存活——没有增长,没有创新,只是慢慢消耗剩余资金,熬到第500天。
而那个没有AI大脑的规则算法呢?它的策略极其简单:固定价格、集中资源在少数客户群、按固定比例分配运营预算。它没有任何「聪明」的操作——不分析数据、不写备忘录、不做预测、不搞情景模拟。它只是稳健执行了一套合理的基础策略。
结果?1576万美元。
💡 通俗类比:这就是创业圈最古老的真理——「会做比做得多重要。」 规则算法只有一份三页纸的《开店操作手册》,但它把每一页都做到了。AI有整座图书馆的知识,但它要么翻到一半走神了(Grok 28天破产),要么把所有书翻了一遍最后什么都不敢做(Opus 4.7的「HOLD & DIE」)。执行力碾压智力,在这个测试里被数据印证得清清楚楚。
6️⃣ 我们对「AI能干什么」的判断,可能全错了
CEO-Bench不只告诉你「AI当不了CEO」这个结论。它触及了一个更根本的问题:
我们现在用来评估AI的标准,可能系统性地高估了AI的真实能力。
目前的AI评测,绝大多数是这样的:给一道题,AI解答,打分。代码补全、翻译、问答、推理——全是「单次任务」,有明确的起止点、标准答案、即时反馈。
但真实世界不是这样的。真实世界是:
你的决策后果延迟出现(投广告要3周才知道效果)
你需要的信息被埋在一堆噪音里(用户流失是因为价格高了还是对手更强了?)
环境随时在变(昨天亏本的策略明天可能赚钱,反之亦然)
所有决策互相拉扯(降价拉用户→用户增多要扩容→扩容花钱→现金不够→砍研发→产品变差→用户流失)
这四项挑战,每一项单独来看,AI都能勉强应对。但当它们同时压过来——就像一个真正的CEO每天面对的——AI的表现急转直下。
💡 通俗类比:你让AI解决一个魔方,它能秒解。你给它100个互相锁住的魔方,告诉它「每个转动都会影响其他99个」,它就开始乱转。**
💭 对AI创业者意味着什么
第一,别急着让AI当老板。 让AI写代码、写文案、做数据分析——这些都是它擅长的「单次任务」。但「今天要不要融资」「要不要砍掉免费用户做企业版」「要不要裁员保现金流」——这种需要「在信息不完整、后果不确定的情况下拍板的决策」,还是人来做。
第二,AI最好的角色不是「决策替代」,是「决策辅助」。 研究中表现最好的AI做了什么?它写代码模拟客户行为来预测现金流,它分析谈判记录来挖掘客户隐藏偏好。这不是「AI替你做决定」,而是「AI帮你把能算清楚的部分算清楚,然后你来拍板」。
第三,别信「全自动AI公司」的营销话术。 即使在普林斯顿这个精心设计的理想化模拟环境里——没有合规问题、没有融资谈判、没有员工纠纷、没有供应链中断——最强的AI也没能稳定盈利。真实世界只会比模拟更难。那些号称「一键全自动运营」的Agent产品,可能在你睡着了的时候把你的钱烧个精光。
📌 写在最后
普林斯顿这篇论文,不是一个关于「AI不行了」的悲观结论。恰恰相反,它用一个精妙的设计,画出了那条我们还没跨过的线。
它告诉我们:能写代码、能画画、能翻译——这些事AI已经做得很好。但「在不确定的世界里,为一个组织绘制长期路线并带领它穿越风暴」——这件事,对AI来说还是一片荒地。
而这也意味着:人类CEO暂时不需要担心被AI取代。 你的价值不在于你能执行多少个任务,而在于你能否在所有人都看不清的时候,做一个决定,然后扛起后果。
机器的强项是计算。人的强项是承担不确定性。
💬 留言区聊聊
如果让你给AI当500天CEO的「创业导师」,你会给它哪三条铁律?反过来,你觉得AI在经营决策中,哪个环节最可能比人做得好?
如果你觉得这篇文章让你对AI有了更清醒的认识 —— 转发给也在做AI创业的朋友 💪
林一舟AI笔记
📮 关注我,每周拆解AI那些事
不吹不黑 · 用人话讲AI
📎 信息来源:普林斯顿大学 CEO-Bench 论文(arXiv:2606.18543)、It之家、DoNews、腾讯新闻、AI创业内参、ceobench.com
夜雨聆风