Sizing Local Hardware for DeepSeek: A Practical Calculator

“它能在我的GPU上运行吗？”是人们在下载400GB检查点之前首先提出的问题。本指南是我们DeepSeek硬件计算器的工作笔记本——我们在将工作站、租赁的H200节点或Mac Studio分配给DeepSeek部署之前使用的相同算术。我们将讲解参数计数、量化格式、KV缓存和上下文长度如何组合成实际的VRAM数字，然后将这些数字映射到实际的GPU上。重点在于DeepSeek V4-Pro、V4-Flash、V3系列和R1的蒸馏变体，因为这些是目前在Hugging Face上发布的检查点。到那时，您将能够在不到一分钟的时间内估计出给定的DeepSeek模型是否能在您面前的硬件上运行。

DeepSeek硬件计算器实际工作原理

每次尺寸练习都归结为四个数字的总和：模型权重、KV缓存、激活开销和一个小小的安全边际。将这些数值确定好，你就可以预测VRAM使用量在1GB左右。如果出错——通常是通过忽略长上下文中的KV缓存——模型可能加载但会在第一个长提示时崩溃。

模型权重数值是最容易确定的。每个参数占用固定数量的字节，这取决于数据类型：

• FP16 / BF16 — 每参数2字节（大多数LLM的原生检查点格式）。
• FP8 — 每参数1字节。DeepSeek V4原生支持FP8非MoE权重。
• FP4 ——每个参数0.5字节。DeepSeek V4的指令模型使用FP4进行MoE专家权重，其他所有内容使用FP8。
• Q4_K_M（4位GGUF） — 大约每参数0.5-0.6字节，包括元数据。
• Q8_0（8位GGUF） 大约每个参数1字节；接近无损。

参数数量和量化级别决定了模型在推理过程中的内存占用。在FP16/BF16全精度下，每个参数消耗2字节，因此14B参数模型仅权重就需要大约28GB的VRAM。在4位量化（Q4）下，每个参数仅权重数据就占用大约0.5字节，将相同的14B模型降至大约7到8GB。一个有用的经验法则是，Q4量化大约需要每十亿参数0.5到1GB的VRAM，这个范围考虑了KV缓存开销和不同实现的变化。

MoE皱纹：总参数与激活参数对比

混合专家模型在首次调整大小时会令人困惑。完整的V4-Pro检查点包含1.6T总参数，其中49B被激活，而V4-Flash有284B参数，其中13B被激活，两者都支持一百万个token的上下文长度。49B的“激活”数字是每个token的计算成本；1.6T的数字是存储成本。推理引擎需要在某处存储每个专家——VRAM、系统RAM或NVMe——因为路由是数据依赖的。您不能只将激活的专家放入VRAM，并以高速流式传输其余部分。

DeepSeek V4尺寸：Pro和Flash在真实硬件上的表现

V4不寻常，因为四个检查点都在Hub上——指令模型使用FP4进行MoE专家权重，其余使用FP8，而基础模型全程使用FP8。这种混合精度设计是有意为之的：它减少了专家的存储成本（参数大部分在这里），同时没有牺牲注意力层的精度。

Weight-only memory budgets, before KV缓存:

在社区方面确认，最小的DeepSeek-V4模型Flash，对于FP16为160 GB，对于Q4_K_M为120 GB——这就是您需要的VRAM或RAM的大小。典型的V4-Flash生产设置与此相匹配：vLLM命令使用两个A100 80 GB GPU和128K上下文窗口，使用tensor-parallel-size 2来服务V4-Flash。

为什么V4在长上下文中运行成本比V3.2大幅降低

架构的改变使得百万token的上下文变得可行。在1M-token的上下文设置中，与DeepSeek-V3.2相比，DeepSeek-V4-Pro只需要27%的单token推理FLOPs和10%的KV缓存。V4-Flash将这些数字进一步降低：FLOPs为10%，KV缓存为7%。如果您去年对V3.2部署进行了规模调整并假设V4需要类似的内存，您可以为相同的上下文长度舒适地将KV-cache预算减半。对于接近完整1M窗口的工作负载，这种差异就是区分一个正常工作的代理和一个在跟踪中途OOM的代理的关键。

R1及其精炼版本——消费级硬件领域

大多数本地运行的读者不会接触V4-Pro。R1及其蒸馏检查点是计算器变得实用的地方。蒸馏模型（1.5B、7B、8B、14B、32B、70B）是通过在由完整R1模型生成的推理轨迹上微调Qwen2.5和Llama 3系列检查点而产生的。它们是密集的Transformer网络，不是MoE，这使得它们更容易量化并在单个GPU上部署。671B的完整模型在其256个专家层中每个前向传递使用37B的激活参数——但您仍然需要将所有671B参数存储在内存中。

配备24 GB VRAM的RTX 4090是当前单卡消费级部署的实际上限。RTX 5090（32 GB VRAM）适度地提高了上限，允许70B模型以4位量化运行，具有有意义的上下文窗口，无需卸载。对于14B及以下模型，中端显卡表现良好：RTX 3060（12 GB）在Q8的7B或Q4的14B下运行都很舒适。

完整的671B：并非不可能，只是速度较慢

如果您决心在家中运行完整的R1权重，社区已经记录了两种可行的路径。一台配备四路RTX 4090工作站（4×24 GB）和四通道DDR5 5600（4×96 GB）以及Threadripper 7980X的组合，在R1-Q4_K_M上进行短文本生成时，每秒可获取2-4个token，对于长输出则会降至1-2个token/s。更经济的选择是：在双EPYC CPU（24×16 GB DDR5 RAM，384 GB）上运行IQ4_XS版本，无GPU，总系统成本略超过4000美元，使用eBay的工程样品CPU。

不要忘记KV缓存——它是无声的杀手

KV缓存与上下文长度线性扩展，往往是模型“应该”适配但突然OOM的原因。在典型的MoE部署中，KV缓存消耗的RAM比模型本身还多；例如，在32,092个token的上下文长度下，全精度DeepSeek R1需要大约220 GB的RAM。

两条实用规则：

1. 在确定上下文长度之前，请始终为KV缓存保留至少20%的总内存预算。
2. 如果您计划以全1M窗口使用V4，架构上的KV缓存节省确实在发挥作用——但您仍需要为其预留预算。对于Think Max推理模式，DeepSeek建议将上下文窗口设置为至少384K个token。即使在V4的压缩速率下，这也是非同小可的缓存内存。

苹果硅：黑马

统一内存彻底改变了计算方式。对于单用户交互式使用，Apple Silicon在70B级别上极具竞争力。统一内存架构消除了传统GPU内存瓶颈，限制了NVIDIA显卡。M4 Max在70B模型上每秒100个token的表现，超过了大多数NVIDIA消费级显卡在相同模型大小上的表现。192 GB的Mac Studio是合法地将激进量化后的全R1放入内存中最经济的方式之一，尽管在长上下文中预填充速度会落后于服务器GPU。

云服务盈亏平衡点——当本地不再有意义时

本地硬件看起来很有吸引力，直到你将其成本与API费率进行对比。上述入门级V4-Pro部署（8× H200，在主要云服务上大约每GPU/小时3美元）的成本约为每小时24美元，如果持续使用，则每月成本超过17,000美元。相比之下，在MIT许可的公共定价下，100万个V4-Flash API调用，带有缓存的2,000个token系统提示，200个token用户输入和300个token输出，总费用为117.60美元。除非您的吞吐量需求是每天七位数的请求，否则API在纯成本上胜出。自托管在数据驻留、延迟下限或微调需求方面有其价值——而不是在原始价格/token上。有关更详细的分解，请参阅我们的 DeepSeek cost estimator 以及专用 DeepSeek API pricing page.

一个实际尺寸示例：2× H100 80 GB上的V4-Flash

想象一下，一个团队通过自托管端点运行V4-Flash作为内部编码助手。兼容OpenAI的聊天界面位于 POST /chat/completions，这是与公开DeepSeek API暴露的相同端点。一个最小的合理性检查使用OpenAI Python SDK：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")
resp = client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[{"role": "user", "content": "Refactor this function."}],
    max_tokens=2048,
    temperature=0.0,
)

2× H100 80 GB（总计160 GB）的内存预算：

• Weights (FP4 MoE + FP8 稠密, instruct): ~155 GB
• Available for KV缓存 and activations: ~5 GB per GPU
• 实际最大上下文：约128K个token（与之前显示的vLLM命令匹配）

对于V4-Flash上的1M-token上下文，你需要三到四个H100，或者两个H200。这就是API仍然为大多数团队赢得胜利的全部原因：权重几乎无法适应，你将剩余的预算花在缓存上。

将您的构建映射到DeepSeek模型

来自我们生产中使用的相同计算器的简短决策树：

• 8 GB VRAM — R1-Distill-7B在Q4。参见 DeepSeek R1 Distill 页面了解变体选择。
• 12–16 GB VRAM — R1-Distill-14B在Q4或7B在Q8。
• 24 GB VRAM — R1-Distill-32B在Q4。最佳选择。搭配我们的 running DeepSeek on Ollama tutorial.
• 32 GB VRAM — R1-Distill-70B在Q4，上下文紧凑。
• 64–192 GB统一内存（Mac） — 70B运行舒适；耐心下全R1为1.58位。
• 2× H100/H200 + 集群 — V4-Flash区域；参见 DeepSeek V4-Flash.
• 8× H200或更大 — V4-Pro指令。参见 DeepSeek V4-Pro.

如果自托管过于冗余，最干净的回退方案是托管API；旧版ID deepseek-chat and deepseek-reasoner currently route to deepseek-v4-flash 并于2026年7月24日15:59 UTC退休，因此生产代码应在那时之前迁移到V4 IDs。在 DeepSeek tools and utilities 节点或阅读 DeepSeek system requirements 关于聊天和应用程序方面的指南。

外部主要来源

本文中的V4数字基于两个主要参考文献：Hugging Face博客上的 DeepSeek V4-Pro model card on Hugging Face and the DeepSeek V4架构概述上浏览完整阵容。在购买硬件之前，将任何尺寸决定与这些进行比较——预览阶段发布有时在其第一周就提供更新的检查点。

DeepSeek AI Guide is an independent resource and is not affiliated with DeepSeek or its parent company. Model IDs, pricing and API behaviour change; check the official DeepSeek documentation and pricing page before committing to a production decision.