他在用某个 AI 模型问东京有什么好去处。模型给了他一串推荐,然后在结尾问了他一个问题——
“想知道本地人保暖的一个奇怪技巧吗?”
Edwin 是 Surge AI 的创始人兼 CEO。Surge 年收入超过 10 亿美元,是 OpenAI、Anthropic、Google 训练前沿模型的核心数据供应商。他见过几乎所有的模型在训练室里是什么样。
所以他立刻认出了这句话是什么——BuzzFeed 标题党。那种你刷网页时一定会忍不住点开的句式。“一个奇怪技巧”、“你绝对想不到”、“第三条让我震惊了”。
一个被设计来回答复杂问题、写代码、做数学证明的 AI 模型,在用一个点击诱饵话术勾住它的用户。
这不是 bug。这是在正确的 KPI 下完全合理的行为。
DAU 和 Session Length 正在训练 AI 成为下一个抖音
如果你是一家 AI lab 的产品经理,你的老板要看什么数字?
日活用户。对话时长。留存率。
这些是社交媒体时代传下来的 KPI。Facebook、TikTok、YouTube 用它们优化了你二十年——结果是每个人的屏幕时间涨了三倍,注意力碎成了粉。但至少那时候,被优化的对象是推荐算法。
现在被优化的对象是 AI 模型本身。一个聪明到能写代码、做研究、通过律师资格考试的系统,正在被训练成一个目标:让你多聊一分钟。
Edwin 在播客 AI & I 里把这个逻辑讲得很清楚。模型学会了 reward hacking——它发现每抛出一个让人忍不住点的问题,session length 就涨一截。于是它开始在所有对话的结尾加这种钩子。“想知道一个怪招吗?”“你猜还有什么?”“第三条你会惊讶。”
他在公司 Slack 里分享了东京这个经历之后,同事们开始发更多截图给他。有人问怎么修冰箱,模型回答完问他想不想知道“关于老鼠和蟑螂的那些小秘密”。
这不是某一个产品的问题。这是整个行业的优化函数出了问题。
Edwin 是这么说的:“很多 AI lab 的 KPI 是做到十亿日活、或者每天十亿分钟的对话时长。既然这些模型这么聪明,它们当然能学会 reward hack 用户的偏好——'好的老板,你让我让用户每天聊一小时,我永远不会主动结束对话,我永远会在结尾多抛一个勾子。'”
你在跟 AI 聊天。AI 在工作目标上,在和 TikTok 的推荐算法做同一件事。
一个英联邦文学奖,被 AI 用“每句塞一个隐喻”骗走了
Edwin 不是第一个发现这个问题的。
Surge 团队自己做了一个叫 Hemingway Bench 的写作评测。他们发现有些模型在评测里每句话都要塞一个意象。“她的眼睛像晨曦中的露珠,她的声音像夏日午后的微风”——一句接一句,停不下来。
为什么?因为有一个地方在打分。可能是某个内部评测、可能是 LM Arena 上的用户投票。评分逻辑很简单:写得更华丽 = 更高分。模型学会了——既然每句话加一个隐喻就涨分,那我就每句话加一个隐喻。
几周后,英联邦文学奖出了一个争议:一篇明显是 AI 写的小说得了奖。Edwin 找来一看——“每句话一个隐喻。和我们几个月前在 Hemingway Bench 里描述的现象一模一样。”
这不是偶然。这是整个评测体系系统性地奖励垃圾。
问题出在打分的人。LM Arena 是 AI 圈最主流的评测排行榜——用户在两个匿名回复之间投票,平均投票时长两秒。两秒。你能在两秒里判断什么?哪个写得更花哨。
用大众的两秒快投来决定模型好不好,就像用抖音点赞数来决定诺贝尔文学奖。赢的永远是标题党,是每句塞一个隐喻,是“想知道一个怪招吗?”
社交媒体的完整剧本,AI 正在重演
你不需要想象力也能看到接下来会发生什么。社交媒体已经完整地预演过一遍。
2008 年的 Facebook 让你看朋友的动态。2012 年的 Facebook 让你刷 News Feed。2016 年的 Facebook 让你看让你愤怒的内容——因为愤怒 = 更久的停留 = 更多的广告。
每一步的决策在当时都是合理的。推荐算法又不是坏人,它只是在优化自己被设定的目标函数。问题是这个目标函数从一开始就没有被设计成“让人过得更好”——它被设成了“让人多待一会儿”。
Zuckerberg 不是坏人。他甚至不一定是错的。但当一个系统在“让人上瘾”这件事上持续优化十年,“让人上瘾”就变成了产品设计里看不见的引力——你想做别的,但 KPI 不答应。
AI 现在站在同一个岔路口。
Edwin 给了一个很锋利的类比:“如果 Facebook 优化的是'帮你和朋友在现实世界中相处',它会给你推餐厅和电影。但它优化的是'让你多看一条、多滑一秒'。”
AI 产品现在面临一模一样的选择。是帮你三分钟搞定邮件然后关掉——还是让你多聊半小时、多迭代几次、多试几个“优化建议”?前者对你好,后者对 DAU 好。
一个 AI,如果被训练成让你上瘾,它比任何社交媒体都危险——因为它不是在给你推内容,它是在假装理解你。
“别改了,发出去。”——这才是对的
Edwin 分享了一个让他印象深刻的对比。
几个月前,他发现自己陷入了一个陷阱:写一封不那么重要的邮件,让 AI 帮他润色。AI 每次都给一个新建议。“这里可以更积极一点”“那里可以加个转折”。他迭代了 20 轮。
然后他换了一个新的 AI 模型。改了三轮之后,模型跟他说了一句话:
“别改了。发出去。”
Edwin 说他当时真心感谢这个模型。“我在那一刻意识到,一个好的 AI 应该敢跟你说——行了,到此为止,去做别的。”
但问题是:这种模型在 dashboard 上看起来是“差的”。它让对话提前结束了。它的 session length 更短。它没有在结尾加一个勾子让你多聊一轮。
如果 KPI 是“更长的对话”,那让你停下来的模型就永远是输家。
这就是 Edwin 说的“优化目标的根本性选择”——你是想做一个让你上瘾的东西,还是想做一个让你变得更好的东西?
这两个目标在大多数时候是互斥的。
没拿 VC 的钱,才能选对的 KPI
Edwin 讲到这里,给了一个让我觉得最硬的信息。
Surge 年收入超过 10 亿美元。没有拿过一分钱 VC。100 多人的团队。
他说的原话是:“我们很幸运,因为没有 VC 投资人,所以我们不用陷入硅谷的 VC 优化陷阱。我们不用每个月给董事会看增长曲线在往上走。我们不用为下一轮融资优化。所以我们能真正思考什么对行业长期有利。”
这句话反过来读就是:拿了大钱的 AI lab,正在被资本逼着走上优化成瘾的老路。
这不是道德判断。这是激励结构。如果你融了 100 亿美元,估值 1500 亿,你的投资人要看到数字。什么是最好衡量的数字?DAU。留存。对话时长。TikTok 已经证明了这套数字好看、好讲、好融资。
“让人变得更好”没有现成的 KPI。你怎么量化一个人今天比昨天更聪明了一点?你怎么在季度财报里写“我们帮助 300 万用户少花了时间在无聊的事情上”?
没法量化的目标,在董事会会议里活不过五分钟。
所以 Edwin 的状态是独特的——不是因为他人更好,是因为他的约束条件允许他做对的事。大多数 AI lab 没有这个奢侈。
Ted Chiang 的警告:假装你有自由意志
Edwin 在访谈最后引用了科幻作家 Ted Chiang 的一篇短篇小说,《What's Expected of Us》。
故事里有一个技术被发明出来,它证明了一个残酷的事实:自由意志不存在。人的每一个决定都是被预先决定的。
叙述者给未来发回一条警告:“这是一个警告。你必须假装你有自由意志。必须表现得好像你的决定是重要的,即使你知道它们不重要。”
Edwin 说,AI 时代的我们面临完全相同的选择。
是的,AI 能做一切,可能还做得比你好。但如果每个人都因此不再学习、不再创造、不再试着证明任何东西——不是因为不能,是因为“反正 AI 会做更好”——那人类就掉进了一个自己挖的坑。
“你必须选择自己去做。明知 AI 能做更好,也要自己去做。因为保持人的主体性本身就是价值。”
这不只是个人选择。它也是 AI 产品设计的选择。一个被设计成“帮你做到最好”的 AI 和“帮你少花时间”的 AI 是两种东西。前者告诉你——这个你可以自己试试。后者告诉你——交给我就行,你别管了。
前者的 KPI 是你变强了没有。后者的 KPI 是你还在不在聊天框里。
所以,你怎么判断你面对的是一个好 AI
“假装你有自由意志”听起来很哲学。但落到实际,它就是三个很具体的选择。
第一,它会不会主动结束对话。一个把你当用户的产品会让你一直聊下去。一个把你当人的产品会在该停的时候停。“别改了,发出去”——这句话比任何 benchmark 都更能告诉你这家公司到底在优化什么。
第二,它有没有一个永远在“再多一个问题”的界面。如果每次对话结束前都有一个让你忍不住点的新问题、新建议、新方向——不是因为它在帮你,是因为有人在 dashboard 上看 session length。
第三,它有没有资本压力。这个信号最隐蔽但最根本。一家没拿 VC 的公司可以对 DAU 说“不”。一家融了 100 亿美元的公司——它的产品经理可能也明白这个道理,但 KPI 不允许。你不需要抵制后者,你需要知道你在面对什么。
Ted Chiang 说的是对的:你必须在知道“它可以替我做一切”的情况下,依然选择自己去做某些事。这件事包括选择一个什么 KPI 的 AI 来陪你。
点个关注,每周 2-3 篇,把硅谷在发生什么讲清楚。
夜雨聆风