AI为什么能记住你50轮之前说过的话？一个斯

知乎热榜挂着“Transformer为何改变深度学习”，斯坦福博士Alex Wang直接甩出一句狂话：你本可以凭“记忆”发明Transformer。

他把神经网络看成不同容量的记忆库。线性存储器只能装64条，普通网络约2700条。而自注意力理论容量高达120万条。以前AI记性像小黑板，现在它有一座图书馆。

但这架构真正封神，靠的是让GPU第一次吃饱。以前模型逐词处理，后面的词必须排队等。Transformer让所有位置同时计算，训练能铺满成千上万块GPU。没有这步，大模型根本堆不起来。

代价是算账太贵。句子一长，两两比对的计算量呈平方级暴涨。所以长文档收费高、对话太长会失忆。新研究发现，让每个注意力头只看4个词，效果反而更好。以后拼的不是看得更多，而是看得更值。