【摘要】上一篇我们看了现代大模型对归一化的改造。 RMSNorm 去掉了均值中心化，只保留均方根缩放：一个沿用多年的标准组件，拆开一看，其中一部分工作在现代整体架构中已经有些多余了。 本篇来看第二个改动：Transformer 架构中的 FFN (MLP) 层的重构，而其具体内容，需要先从激活函数说起。 1 阅读全文