【摘要】上一篇我们介绍了旋转位置编码 RoPE ，它通过在 QK 点积中注入旋转矩阵，让注意力自然而然地感知到相对位置。如今 RoPE 已经成为几乎所有主流开源大模型的位置编码标准。 但位置编码只是现代大模型改造的一个环节。 如果把标准 Transformer 和今天的大模型放在一起对比，就会发现归一化方式 阅读全文