【摘要】SGD 、Momentum 、NAG、AdaGrad、RMSprop、Adam、AdamW、StableAdamW、 AmsGrad、RAdam、Lookahead、Ranger、LARS、LAMB、Fused Optimizers、Lion、Muon 阅读全文