【AI圈事】DeepMind CEO哈萨比斯最新访谈——小模型绝不是替代品

这个问题其实属算得上“老生常谈”了。

首先，2010年DeepMind刚成立时，联合创始人谢恩·莱格（Shane Legg）就在博客上预测AGI大概需要20年，现在哈萨比斯说这个判断”其实没有太大变化”; 

其次，最近几年很多人物都做过关于AGI的实现预期判断，比如Anthropic CEO Dario Amodei最激进，他觉得今明两年人类就能进入AGI，图灵奖得主 LeCun则认为llm是错误的路径，2040年前AGI没戏，不过综合大佬们的言论大部分人的预测在5-20年之间。

AGI，可能是接下来确定性最强的事件了，如果LeCun翻车的话。

AGI会带来哪些改变？哈萨比斯给做了一个量化：

“如果工业革命是10分，AI的影响将是100分。它可能堪比火的发明或电力的发现。”

他补充了一个时间维度：

>”它就像工业革命的十倍，而且发生速度也是工业革命的十倍。也就是说，它会在十年之内展开，而不是像工业革命那样持续一个世纪。”

要知道，工业革命把人类从农田拽进工厂，用了100多年。而AI对智力劳动的自动化，要把同样的动荡和重塑，压缩到10年里完成。

工业革命前，儿童死亡率高达40%。没有工业革命，就没有现代医学。哈萨比斯说：”我们当然希望工业革命发生。只是理想情况下，这一次，我们应该比工业革命时期更好地缓解它带来的负面影响。”

这一点可以参考【赛道观察】如果TOKEN每年降价一半，会发生什么？

哈萨比斯坦诚地指出了当前AI的三大致命短板，这些也是通往AGI的最后障碍：

1. 持续学习能力：AI训练完就”知识冻结”

现在的AI，训练完一次，知识就定格了。但人类大脑会通过睡眠不断巩固记忆，把新信息优雅地整合进已有知识库。

“大脑中有一个叫做’记忆巩固’的过程，白天的记忆会在睡眠中被重播。也许我们需要某种类似的东西，来把新信息和现有的知识库融合在一起。”

2. 记忆架构太粗暴：靠”超长上下文窗口”是暴力美学

现在流行的做法是把所有信息一股脑塞进上下文窗口，哈萨比斯直言这”多少有点粗暴”。

 “现在我们主要还是靠超长上下文窗口……我觉得这里面还有很多很有意思的架构创新空间。”

3. 长期规划能力几乎为零

人类能提前很多年做战略布局，但AI在长远时间线上的规划能力”依然糟糕”。

 “现在这些系统还很不擅长在很长的时间跨度上做规划……可人类的心智其实是能做到这一点的。”

他用了一个精准的词来形容当下的AI——”参差不齐的智能”（patchy intelligence）：用某种方式提问时表现惊人，换一种问法，同一个问题却在最基础的环节翻车。

被问到最大的瓶颈是什么，哈萨比斯的答案简单粗暴：

 “最大的瓶颈仍然是算力。”

不只是为了把模型越做越大——这确实是”规模定律”（Scaling Laws）的要求。但更重要的是，云端就是他们的工作台。研究人员有一个新算法想法，需要在合理规模上测试，否则放进主系统时可能完全不work。

他透露了DeepMind内部的一个关键调整：把原本分散的人才和资源集中到一个方向上，”以一种近乎创业公司的方式，持续、专注、快速地往前推”。

这也是为什么DeepMind能从之前的”落后”状态，重新杀回前沿。

哈萨比斯不认为LLM会被替代掉。

他和Meta首席科学家杨立昆（Yann LeCun）观点不同。LeCun认为LLM（大语言模型）路线根本走不到AGI，必须换道”世界模型”。但哈萨比斯认为：

“我不认为LLM会被替代。我认为，未来的系统会建立在这些基础模型之上……问题不是’它会不会被替代’，问题是还需要什么。”

他给出了一个50/50的概率：有一半可能还缺少某些关键架构突破（比如世界模型），但基础模型的成功已经证明，这条路不会消失。

哈萨比斯认为，未来一年内，真正的价值不在更大的模型，而在更小的模型。

这其实出乎很多激进技术派的意料。不过他也有自己的理由。

第一个是成本。同样一个任务，小模型价格可能只是前沿模型的十分之一。

但是，他认为比成本更重要的是速度。原话是，当小模型能力达到前沿模型的90%到95%，那么剩下的智力差距，比不上速度带来的好处。

比如用户思考问题一般秒级，如果前沿模型一分钟才出结果，那么必然打断用户的思维过程，从而大幅降低用户效率，降低可用性。这时候小模型的性能优势就凸显出来了。

谷歌一般在前沿模型出来后，会花很多资源蒸馏一个90分性能的小模型就是这个原因。

另外手机，眼镜，家用机器人，这些边缘需求，要的就是本地跑起来的小模型，边缘端除了性能要求，还有隐私要求，这是刚性需求，前沿模型无法替代。

综上，成本，速度，边缘隐私，是小模型的价值所在，这些使其绝不是大模型的替代品。

访谈最后，主持人问了一个扎心的问题：有什么是你在思考、但没看到别人在讨论的？

哈萨比斯的回答更像一个哲学家：

“很多人在担忧AGI带来的经济问题，但我更担忧它带来的哲学问题。当它真的到来，假设我们技术上做对了，经济上也做对了——这两个都很难——那还有一个哲学问题：意义是什么，目的是什么？我们也许会搞清楚意识是什么，成为人类意味着什么。我认为这就是未来要来临的，我们需要一些伟大的新哲学家来帮助我们应对这一切。”

最后，当被问到”最希望被记住的遗产是什么”时，他说：

 “我希望自己的遗产是，在推动科学进步、构建能给世界带来巨大福祉的技术方面留下印记，比如攻克可怕的疾病。”

关注我（『正电子脑』），获取更多AI分享。