AI 时代没有个人英雄

这期小珺老师对谈 DeepMind AI 大佬姚顺宇将近 4 小时的播客还没听完。

有几个印象深刻的地方：
原来两个 yao shunyu 是多年的朋友，无话不谈，腾讯那个 yao 最近还想把这个 yao 挖过去，这个 yao 挺有一些幽默感的，性格比较佛系又有些拼劲(有点矛盾综合体了，hh)，从量子物理转到了现在的 AI方向。

他认为中美的 AI 差距实在缩小的，而且国内 AI 人才密度是要大于老美的，国内目前大模型的蒸馏水平独步全球。

他认为蒸馏分为硬蒸和软蒸，硬蒸就是一股脑没有策略的一股脑给蒸馏过来，说明这家公司没有想明白也没有方向，他不太推荐这种方式。 软蒸是带着策略和目的性按照自己预定的路线去拿一部分好的东西增强自己的模型，这种是合理的。

他认为国内也许真的可以训练出真正意义上的支撑多 Agent架构的模型，因为蒸的时候不止蒸一家，一开始就要平衡多家模型,hhh。这个观点太有趣了，也是有道理的。
yao 觉得目前认为以 scaling law 为大模型预训练基础撞墙的人可能分为三类：
1 scaling law的适用范围到头了；
2 scaling law的某个条件不能满足了（比如数据）；
3 训练的方式有 bug，一直没有修好；
根据他的理解，第三类是大多数。

目前模型进化的速度完全没有放缓，他观察至少整个硅谷搞训练的人都是这种感受，他觉得至少 4 个月内模型进化是持续发生的，不过 6 个月后他无法确定，因为现在超过 4 个月后的事情谁也说不准(预训练)，包括很多最佳实践。

还有几句很 rock ：
不要为老登浪费自己的生命。
AI 时代没有个人英雄。
“我在这个行业又没有什么导师和旧友，我当然想喷谁喷谁”