【摘要】这几周处于个人调整的 GAP 期，逐渐整理过去的学习笔记。本文是我 2025 年 5 月份左右记录的散乱学习笔记，国庆假期做了整理，分享给初学者。 1 简介 注意力计算是大模型推理的关键环节，其核心矩阵运算包括三部分：计算 Q、K、V 矩阵、计算注意力、计算线性变换。本文将介绍单机、张量并行两种场景 阅读全文