【摘要】1. 为什么 4bit 训练会“拖累”采纳率？（信息瓶颈） “模型训练量化 4bit”，通常指的是 QLoRA（在 4bit 基座上挂载 LoRA 进行训练）。 压缩即损失：4bit 量化将原本 16bit 的权重硬生生压到 4bit。虽然 QLoRA 算法（NF4 量化）尽力保留了主要信息，但本质 阅读全文