colibri 是一个非常实用的开源项目，它能让普通电脑也能运行超大语言模型（GLM-5.2（744B），并且可以在无显卡的情况下，仅使用 CPU，但需要至少25G 内存。@Appinn普通电脑跑 GLM-5.2（744B）模型colibri 使用纯 C 语言，零依赖。可以按需从硬盘加载 Expert（专家）参数，只需要 25GB 内存的家用电脑，就可以运行 GLM-5.2（744B 参数 MoE）。没有 BLAS 依赖，，不用 Python，不需要 GPU（但支持 CUDA 加速）。它不一次性把模型全部放到内存中，而是把不常用的模型参数存放在硬盘里，需要时再读取，因此只需约 25GB 内存，就能运行原本需要数百 GB 显存的 GLM-5.2（744B）模型。GLM-5.2（744B）而 GLM-5.2（744B）是智谱（Z.ai）于 2026 年发布的旗舰开源模型，也是目前最强的开源模型之一。就是那个曾经万亿市值大模型公司。它的几个关键参数：总参数：744B（7440 亿）MoE（混合专家）架构：总参数 744B，但每次推理只激活约 40B 参数。上下文长度：100 万 TokenMIT 开源协议，可商用、可本地部署。官方提供权重，可在 vLLM、llama.cpp 等框架中运行。根据业界评论，GLM-5.2 是目前最接近 GPT、Claude 等闭源旗舰模型的开源大模型之一。但是，它需要 370GB 硬盘因为 GLM-5.2 真的很强，很大，光模型文件本身（GLM-5.2-INT4），就需要370GB硬盘。所以，像青小蛙这种电脑里只有 260GB的用户来说，虽然有25GB内存，但是没有370GB硬盘啊 支持的系统：Linux（推荐，开发和测试主要平台）macOS（支持 Intel 和 Apple Silicon）Windows 11 原生（使用 MinGW-w64 编译，无需 WSL）WSL2（Windows 下也可以使用）关于速度开发者有一个预估的速度：硬件配置预计速度25GB RAM + 约 1GB/s NVMe0.05–0.1 tok/s32GB RAM + PCIe 4.0 NVMe（3–5GB/s）0.5–1 tok/s64GB RAM + PCIe 5.0 / 双 NVMe RAID（8–12GB/s）2–4 tok/s128–256GB RAM（热点 Expert 已缓存）2–4 tok/s128GB+ RAM + 24–32 核 CPU 或 AVX-5125–15 tok/s（可交互）还有一个实测的速度：平台速度Intel Ultra 7 + 24GB RAM0.07 tok/sIntel Ultra 7（--topp 0.7）0.11 tok/sApple M5 Max（CPU）1.06 tok/sApple M5 Max（Metal）1.83 tok/sApple M5 Max（优化后）2.06 tok/s（目前最快）Mac mini M4 Pro 48GB（Metal）0.30 tok/s（CPU-only 为 0.18）Ryzen 9950X + PCIe5 SSD0.28 tok/sRyzen AI Max+ 395（缓存预热后）0.40 tok/sRyzen 9800X3D + RTX 50900.41 tok/s（开启 --topp 0.7 后 0.52 tok/s）EPYC 7443 + 430GB RAM1.00 tok/s虽然惨不忍睹，但是，这是 744B 大模型啊。这种级别的模型，往常至少需要 370GB 显存啊，如果是更高精度（FP16）的模型，可能需要1.5TB显存。所以在只有25GB内存的家用电脑上，让 744B 跑起来，已经很神奇了。最后，作者明确表示：”This is not fast.”（它并不快。），这不快。 这是一个 744B 前沿级模型，能在一台成本低于一个 H100 风扇的机器上正确响应。 原文：https://www.appinn.com/colibri-run-glm-5-2-744b-on-25gb-ram/先解决能不能用，对吧。相关阅读Claw Cloud Run 将于2026年5月11日服务停止，可退款时隔11天，OpenClaw 2026.3.23 发布，内置 ClawHub 插件/技能市场限量5000台，联通云免费送1个月4核8G服务器，预装 OpenClawTabKey Appinn – Tab 一下，自动完成输入！Relic Run – 跑酷游戏再度来袭，还带枪战[iOS/Android/WP]©2021 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南 3659b075e72a5b7b1b87ea74aa7932ff 点击这里留言、和原作者一起评论[ 点击前往获取链接 ]