手撕 Transformer (3):编码器的实现 - 茴香豆的茴

Wait 5 sec.

【摘要】我们在结构拆解那篇文章中讲过,Transformer 可分为四个部分:输入、输出、编码器、解码器。上篇文章介绍了输入部分的代码实现和原理讲解。 本文介绍编码器部分的代码实现和原理讲解。回顾一下,我们之前介绍过 Transformer 的编码器。它由 N 个编码器层堆叠而成;每个编码器层由 2 个子层 阅读全文