AI生物|只看序列为何能读出结构？

ESM-2是一类在大规模蛋白序列上训练的Transformer掩码语言模型：输入氨基酸序列，随机遮住部分残基，通过双向上下文预测原字符。随着训练，注意力和隐藏表示会捕捉保守位点、二级结构倾向与远距离残基耦合，因此即使训练目标只是补词，冻结后的表示也能被线性探针用于接触、结构或功能相关任务，这常被称为结构信息的“涌现”。但“可线性读出”不等于模型建立了真实折叠机制：表示可能依赖同源序列统计，注意力权重也不能直接当作物理接触概率。理解ESM-2时应区分预训练目标、表示层、下游预测头和实验结论，并用远同源切分、随机编码器与简单特征做对照，才能判断规模化预训练带来的净收益。#生物AI大模型 #ESM2 #蛋白质结构 #Transformer #计算生物学