DeepSeek R1 Distill: The Six Reasoning Models You Can Run Locally

如果您想在自己的GPU上使用R1风格的推理而不是通过API，那么DeepSeek R1蒸馏系列是实际可行的解决方案。这些是六个较小的密集模型——1.5B、7B、8B、14B、32B和70B参数——在DeepSeek-R1全模型生成的80万个推理轨迹上进行微调，并于2025年1月以开放权重形式发布。它们不是新的架构。它们是现有的Qwen 2.5和Llama 3.1/3.3检查点，经过重新训练以模仿R1的思维方式，并且它们在数学和代码上可以匹配或超越许多更大的非推理模型。

本指南将介绍每个尺寸的模型，基准测试数据，它们的优缺点，如何运行它们，以及它们如何与较新的DeepSeek V4系列相匹配。

DeepSeek R1 Distill究竟是什么

DeepSeek R1蒸馏是一组六个开放权重的密集模型，通过监督微调继承了完整DeepSeek-R1的推理行为。这些较小、更高效的模型通过从Llama 3.1/3.3和Qwen 2.5的六个开源模型开始，使用R1生成80万个高质量的推理样本，并在这些合成推理数据上微调较小的模型，将R1的推理能力带到更易于接触的规模——与R1不同，这些蒸馏模型完全依赖于SFT，并且不包括RL阶段。

这一点很重要。完整的 DeepSeek R1 通过强化学习来发现其推理模式。蒸馏的兄弟完全跳过了RL阶段，只是学会了模仿R1的输出。结论是，将强大模型蒸馏成较小的模型效果更好；相比之下，使用大规模RL的小型模型需要巨大的计算能力，并且可能仍然比蒸馏表现不佳。

一目了然的六个检查点

DeepSeek于2025年1月20日发布了该系列。团队将基于Qwen2.5和Llama3系列的1.5B、7B、8B、14B、32B和70B检查点开源给社区。三条线之间的差异包括：基础模型、参数数量以及从基础模型继承的许可。

Qwen-1.5B/7B/14B/32B版本源自Qwen-2.5系列，最初在Apache 2.0许可下发布，现在经过DeepSeek-R1的800k样本微调；R1-Distill-Llama-8B基于Llama3.1-8B-基础，遵循Llama3.1许可；R1-Distill-Llama-70B基于Llama3.3-70B-Instruct，遵循Llama3.3许可。DeepSeek的代码和额外的微调权重以MIT许可发布，但基础模型许可仍然适用——因此70B受Meta的Llama 3.3社区许可管理，而非仅MIT。

基准测试：精炼模型的表现如何

精炼模型的表现远超其参数数量所暗示的重量级。在推理基准测试中，精炼模型取得了令人印象深刻的成果，通常优于GPT-4o和Claude-3.5-Sonnet等更大的非推理模型。R1技术报告中的两个关键数据：

DeepSeek-R1-Distill-Qwen-32B在AIME 2024上实现了72.6%的Pass@1，在MATH-500上实现了94.3%的Pass@1，显著优于其他开源模型，而DeepSeek-R1-Distill-Llama-70B在AIME 2024上实现了70.0%的Pass@1，在MATH-500上实现了94.5%的Pass@1。对于LiveCodeBench，70B的Llama变体在MATH-500上得分94.5，在LiveCodeBench上达到57.5，是所有精炼模型中编码得分最高的。

32B版本的结果更有趣。DeepSeek-R1-Distill-Qwen-32B在各种基准测试中优于OpenAI-o1-mini，为密集模型设定了新的高分——一个32B密集模型在已发布的数字上击败了前沿提供商的小型推理模型，这是大多数读者记住的头条新闻。

报告本身提出的一个注意事项：在样本时间，这些基准测试不是确定的。对于所有模型，最大生成长度设置为32,768个token，对于需要采样的基准测试，团队使用了0.6的温度，0.95的top-p值，并为每个查询生成64个响应来估计Pass@1。使用贪婪解码重现这些关键数据将给出更差的结果。

优势——R1 Distill特别胜出之处

• 屋檐下的数学与代码。 14B和32B的Qwen变体在单个24 GB或48 GB GPU上以4位量化运行，并为问题提供R1风格的逐步推理，这些问题对于较小的模型来说则无法解决。
• 允许度足够，适用于大多数生产用途。 由Qwen派生的检查点继承Apache 2.0许可；由Llama派生的检查点继承Meta的社区许可。无论哪种方式，在典型情况下都允许商业使用——在发布前请阅读具体许可。
• 即插即用工具。 DeepSeek-R1-Distill模型可以像Qwen或Llama模型一样使用——例如，您可以使用`vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B –tensor-parallel-size 2 –max-model-len 32768`轻松启动一个服务。无需自定义推理堆栈。
• 推理轨迹可见。 输出包含一个 <think> 后跟最终答案的块，这对于调试提示和审计推理步骤很有用。

劣势——它们不足之处

• 他们是推理专家，而非通才。 在某些测试中，创意写作、多轮指令跟随和工具使用能力不如底层Qwen-Instruct或Llama-Instruct检查点。
• 继承自R1的怪癖。 The team recommends setting temperature within 0.5–0.7 (0.6 is recommended) to prevent endless repetitions or incoherent outputs, avoiding system prompts and putting all instructions in the user prompt, and for maths problems including a directive such as: “Please reason step by step, and put your final answer within boxed{}.” Ignore those settings and you will get worse output than the benchmark numbers suggest.
• 较旧的基模型。 Qwen 2.5和Llama 3.1/3.3来自2024年。精炼模型没有从更新的Qwen 3或Llama 4基础检查点中获得收益——尽管DeepSeek后来发布了一个单独的DeepSeek-R1-0528-Qwen3-8B，从DeepSeek-R1-0528精炼到Qwen3 8B 基础，在AIME 2024上比Qwen3 8B高出+10.0%，并与Qwen3-235B-thinking相匹配。
• 32K输出限制。 最大生成长度为32,768个token。长的代理痕迹可能会触及上限并截断。

硬件：实际运行它们所需的

在常见的量化下，粗略的VRAM需求，假设单块GPU和适中的上下文窗口：

对于交互式单用户推理，RTX 4090上Q4的14B是最佳选择。这将为你提供更精确的上下文长度和批处理大小估计。 DeepSeek hardware calculator will give you a tighter estimate for your context length and batch size.

如何在本地运行R1 Distill

最快的路径是Ollama。安装后，以下shell命令可以拉取并与14B变体进行聊天：

ollama run deepseek-r1:14b

对于具有并发性的服务器，vLLM是默认设置。README中提供了一个用于32B的简短命令：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B 
  --tensor-parallel-size 2 
  --max-model-len 32768 
  --enforce-eager

SGLang的工作方式相同：

python3 -m sglang.launch_server 
  --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B 
  --trust-remote-code --tp 2

包括模型提取和量化选择的逐步说明，在我们的 running DeepSeek on Ollama 演示和更广泛的 install DeepSeek locally guide.

R1 Distill与DeepSeek API的比较

R1 Distill是一个自托管的故事。如果您想要托管推理，相同的会话界面位于 POST /chat/completions, the OpenAI-compatible endpoint at https://api.deepseek.com. 当前那一代是 DeepSeek V4，于2026年4月24日发布，以两个型号ID发行—— deepseek-v4-pro (1.6T total / 49B active) and deepseek-v4-flash （284B / 13B 激活）。两者都是MIT许可下的开放权重MoE。

The legacy IDs deepseek-chat and deepseek-reasoner still work and currently route to deepseek-v4-flash，但它们将被淘汰。 2026-07-24 at 15:59 UTC. Migrating is a one-line model= change; the base_url stays the same.

使用OpenAI SDK对V4思维模式进行的最小Python调用：

from openai import OpenAI

client = OpenAI(
    base_url="https://api.deepseek.com",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[{"role": "user", "content": "Prove sqrt(2) is irrational."}],
    reasoning_effort="high",
    extra_body={"thinking": {"type": "enabled"}},
    max_tokens=4096,
)
print(resp.choices[0].message.reasoning_content)
print(resp.choices[0].message.content)

Thinking mode returns reasoning_content alongside the final content。API本身是无状态的——客户端必须在每个请求中重新发送完整的消息历史，这与保留服务器端会话历史的Web/应用程序相反。V4上的默认上下文窗口为1,000,000个token，输出最多384,000个token。其他有用的参数包括 temperature, top_p, max_tokens and reasoning_effort支持工具调用、JSON模式、流式传输和上下文缓存。

价格快照（2026年4月）

R1 Distill本身免费下载和运行；唯一的花费是您的硬件。如果您改用V4 API，截至2026年4月的费率卡如下——请在 DeepSeek API pricing page before committing budget.

V4-Flash上的工作示例，1,000,000次调用，带有2,000个token的缓存系统提示，200个token的用户消息和300个token的回复：

Cached input    : 2,000,000,000 tok x $0.0028/M = $5.60
Uncached input  :   200,000,000 tok x $0.14  /M = $28.00
Output          :   300,000,000 tok x $0.28  /M = $84.00
Total                                             $117.60

Best use cases

• 数学辅导和证明写作 — see DeepSeek for math 对于与推理模型配合良好的提示模式。
• 离线编码助手 —— 14B和32B变体与VS Code或本地代理搭配良好；我们的页面涵盖了集成模式。 DeepSeek for coding 研究工作流程与私有数据
• —— 本地运行可以避免将敏感提示发送到机器外；边缘部署 如果R1 Distill在您的候选名单上，您还应该评估 DeepSeek for research guide goes deeper.
• API端推理比较，以及更广泛的页面是正确的起点。您可以在页面上浏览该系列的其余部分。 ——1.5B在Q5上适合在手机或Raspberry Pi级设备上进行受限推理任务。

Comparable alternatives

DeepSeek Chat DeepSeek R1 vs OpenAI o1 R1 DeepSeek alternatives for reasoning 汇总，包括Qwen QwQ、Llama-Nemotron和其他开放推理检查点。对于自托管灵活性而言，当您需要在您控制的硬件上实现R1风格的推理，并且可以接受32K的输出限制和较旧的基模型时，R1 Distill是正确的选择。 open-source AI like DeepSeek V3 DeepSeek models hub.

Verdict

当您需要在您控制的硬件上实现R1风格的推理，并且可以接受32K的输出限制和较旧的基模型时，R1 Distill是正确的选择。对于前沿级别的工作，请将请求发送到V4 API。

DeepSeek AI Guide is an independent resource and is not affiliated with DeepSeek or its parent company. Model IDs, pricing and API behaviour change; check the official DeepSeek documentation and pricing page before committing to a production decision.