【摘要】一个 7B 参数的模型，权重以 FP32（每个权重 4 字节）存储时需要约 28 GB 磁盘和内存。即使换成 FP16（每权重 2 字节），仍需约 14 GB。这对笔记本、手机和嵌入式设备来说是一道几乎不可逾越的门槛。 Q4_0 是 llama.cpp 生态中最早出现、也最简单的量化格式之一。它做的 阅读全文