大模型网摘510GB 全量 V4.1-Flash 跑进 12GB 显存：Promethevs 的 compress-then-correct 与本地推理工具速览
11 月 6 日，Hacker News 上冒出一个叫 Promethevs 的项目，口气不小——号称在一台五年前的游戏 PC 上跑全量 510GB 权重的 DeepSeek-V4.1-Flash。不是裁剪版，是原版权重。参考配置是 Ryzen 9 3950X 加 64GB DDR4 内存。显卡只有一块 RTX 3060 12GB，存储靠两块 NVMe。引擎部分以 Apache-2.0 许可开源。
compress-then-correct：先压缩，拿不准再校正
设计来自 Ryan Flavell，路数叫 compress-then-correct。每个词先在专家权重的 2-bit 副本上算，等模型拿不准——前两个候选概率接近——再换原版权重重算一遍。校正要用的数据以 correction plane 形式存着，按需重建。跑起来速度贴着压缩副本走，答案贴着全量模型走。安装器会下载 DeepSeek 原版权重在本地构建，逐项对照官方公布的哈希。
质量与速度的账
项目方把数据摆了出来。质量上，在 960 个受审计的词上，输出与全量模型选词一致的比例为 98.3%，只用 2-bit 副本时是 97.4%。速度是另一个故事。代码提示词热缓存理想情况下 7.4 token/秒，同机全量精确推理为 2.14 token/秒；服务端实测代码类 5–8 token/秒、推理与智能体类 4.5–5.4 token/秒。长提示词只有首次读取慢，之后的对话续问约 2 秒即可开始。接口开在 localhost 上，走 OpenAI 兼容协议，流式与工具调用都支持，装完即可接入现有编码智能体。
为什么 V4.1-Flash 适合这种玩法
这种玩法挑模型，V4.1-Flash 恰好对路。它是 552B 参数的 MoE，CED 结构，输入激活 8B、输出 16B，官方发布说明里把 KV Cache 对 HBM 的需求降到上一代的四分之一，对 SSD 的需求降到八分之一。缓存一小，磁盘流式供给专家权重的压力就可控，"内存扛权重、显存扛计算"这条路线才立得住。当然，官方给的大规模部署门槛仍是 2k 卡 GPU 加存储集群，个人玩家走的是社区路线。服务器级部署另有 vLLM 官方配方可循。
换模慢？llama-sleep 把 10 秒压到 2 秒
换模型这桩小事，也有人顺手管了。Robert Zaage 11 月 5 日拿出 llama-sleep，专门对付单卡换模型——用 llama-swap 硬切换两个占满显存的模型要 10.3 秒，被换下模型的提示词缓存还会丢掉。llama-sleep 改成把显存驻留搬到主机内存，沿用 cuda-checkpoint 思路，2.1 秒完成，缓存保留。再打开多尺寸透明大页的内核设置，能降到 1.7 秒。作者的结论是，瓶颈在 4KB 页的内存拷贝，而非 PCIe 带宽。
试与不试
真想动手，先掂量两件事。权重下载与本地构建耗时耗磁盘，首次跑通需要耐心；5–8 token/秒的吞吐够 overnight 批处理与低频对话，够不到高并发在线服务。想补背景，可读本站的DeepSeek Harness v0.2.1 工具速览与V4.1-Flash 技术报告解读。企业自建推理的路线对比，另见DeepInfer 自建场景一文。