手把手教你:开了混合精度就 NaN,GradScaler 到底在做什么|AI工程师踩坑实录·第11篇 - 大雾的小屋

Wait 5 sec.

【摘要】本文深入解析混合精度训练中GradScaler的必要性:fp16数值范围仅6.1e-5~65504,远小于fp32,导致梯度易发生上溢(变inf)或下溢(变0),前者显性报错,后者静默失效,模型“装死”却无预警。GradScaler作为梯度电梯,通过放大梯度防下溢、检测异常降scale、还原梯度保学... 阅读全文