一天一个AI小知识-注意力机制

注意力机制是一种让模型在处理信息时，动态“聚焦”于输入中关键部分的技术。

大模型将文本转化为 Token，利用 自注意力 机制让这些 Token 互相交换信息，再通过 多头注意力 设计确保这种信息交换是多维且全面的。

大家多点点关注，不要看心情了

#大模型注意力#Token关联#MHA#多头注意力#互联网#位置编码