DeepSeek 离线设置：在您的硬件上运行 V4 和 R1

您真的可以在不向中国服务器发送任何令牌的情况下运行DeepSeek吗？是的——一个可工作的DeepSeek离线设置是唯一诚实的答案，它回答了在客户会议中不断出现的隐私和合规性问题。开放权重在Hugging Face上以MIT许可证发布；更难的问题是您的硬件可以实际托管哪个模型，以及使用哪个运行时。

本指南将介绍我在生产环境中运行的三个部署路径：单个消费级GPU上的小型蒸馏R1、新的DeepSeek V4-Flash在专业工作站或单节点服务器上，以及V4-Pro的简要概述。期待具体的VRAM数字、真实命令，以及关于营销与现实脱节的明确警告。

What you’ll build

在本教程结束时，您将在您控制的硬件上运行一个DeepSeek模型，并在 本地主机您的提示将不会离开机器。您可以通过更改两行来交换现有的OpenAI客户端： base_url and model.

根据硬件预算分为三个部署层级：

• 第1层 — 笔记本电脑/单个消费级GPU。 通过Ollama进行DeepSeek R1蒸馏（1.5B至32B）。在200美元的二手GPU上实现推理质量。
• 第二级 — 工作站或单节点服务器。 deepseek-v4-flash 通过vLLM。当前代的MoE模型，MIT授权的权重，与OpenAI兼容的API。
• 第三级 — 多节点集群。 deepseek-v4-pro 通过vLLM进行张量和管道并行。前沿级；不是桌面安装。

如果您想比较DeepSeek托管的API与自行运行的API，请参阅 AI comparison hub and the DeepSeek privacy writeup.

Prerequisites

• 操作系统： Linux（已测试Ubuntu 22.04+），macOS 14+在Apple Silicon上，或Windows 11带WSL2。
• 磁盘： 8B蒸馏版需要10 GB，V4-Flash需要200 GB+，V4-Pro需要1.5 TB+。
• Python： 3.10或3.11（vLLM对写作时的较新版本比较挑剔）。
• GPU驱动程序： NVIDIA驱动程序550+与CUDA 12.4+用于vLLM。Apple Silicon对于Ollama无需额外驱动。
• Hugging Face账户和访问令牌 用于下载V4权重（R1蒸馏版本可以通过Ollama获取，无需此步骤）。
• Optional but recommended: DeepSeek hardware calculator 在您确定检查点之前，对您的GPU进行规模评估。

Hardware reality check

“本地运行DeepSeek”这个短语隐藏了模型之间数量级上的差异。在开始下载任何内容之前，请从这张表中选择。

有两个值得注意的事实。首先，仅在 V4 上 13B（Flash）或 49B（Pro）参数每 token 激活这使得推理计算变得可管理——但完整权重仍然需要某个地方存放，因此总内存决定了成本。 DeepSeek 自家的本地部署说明 指向模型权重转换、多进程torchrun执行、模型并行设置和多节点推理——与桌面应用程序或Ollama拉取非常不同的操作模式。其次，KV缓存在长上下文中消耗的RAM比模型本身还多，所以1M-token的上下文窗口在分配内存之前只是理论上的。

第一级：通过Ollama蒸馏DeepSeek R1

这是DeepSeek离线设置中最简单的一种，也是几乎每个人的正确起点。R1蒸馏是较小的密集模型（Qwen和Llama骨干）训练于R1的推理轨迹。它们保留了大部分推理轨迹行为，并在消费级硬件上运行。

步骤 1 — 安装Ollama

运行相应的 shell 命令：

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# macOS — use the desktop app from ollama.com, or:
brew install ollama

# Windows — download the installer from ollama.com/download

步骤 2 — 拉取模型

选择适合您VRAM的最大变体。对于12GB显卡，14B是最佳选择；对于24GB显卡，32B；对于其他所有情况，8B。

ollama pull deepseek-r1:8b      # ~5 GB on disk
ollama pull deepseek-r1:14b     # ~9 GB on disk
ollama pull deepseek-r1:32b     # ~20 GB on disk

步骤 3 — 运行它

ollama运行deepseek-r1:14b "一只蝙蝠和一个球共花费1.1美元。球比蝙蝠便宜1美元。球的价格是多少？"

You should see <think> 在最终答案之前包装模型的推理过程（0.05美元）。如果答案是0.10美元，模型跳过了推理——降低温度再试一次。

步骤 4 — 暴露一个兼容OpenAI的端点

Ollama已经提供了一种服务。位于http://本地主机:11434/v1的端点实现了OpenAI聊天完成API。将OpenAI SDK指向此URL，并使用deepseek-r1:14b作为模型名称。Ollama不验证API密钥，因此任何字符串都适用。

from openai import OpenAI
client = OpenAI(base_url="http://本地主机:11434/v1", api_key="ollama")
resp = client.chat.completions.create(
    model="deepseek-r1:14b",
    messages=[{"role": "user", "content": "Refactor this Python script."}],
)

关于 Ollama 路径的深入讲解，包括 Modelfile 自定义，请参阅 running DeepSeek on Ollama.

第二级：通过vLLM的DeepSeek V4-Flash

如果您想要当前生成而不是R1，V4-Flash是您自己托管的服务器。DeepSeek-V4-Flash总共有2840亿个参数和130亿个活跃参数，并在Hugging Face上以MIT许可证发布。指令检查点使用FP4进行MoE专家权重和FP8用于其他所有内容，这对于前沿级模型来说，可以保持磁盘占用大小可控。

步骤 1 — 配置硬件

V4-Flash 的真实单节点配置，带有 128K 上下文（而非完整的 1M）：

• 2× NVIDIA A100 80GB
• 1× NVIDIA H200 141GB
• 4× RTX 6000 Ada 48GB（紧致；预期上下文限制将降低）

步骤 2 — 下载权重

pip install huggingface_hub
huggingface-cli login   # paste your HF token
huggingface-cli download deepseek-ai/DeepSeek-V4-Flash 
    --local-dir ./deepseek-v4-flash

这将拉取FP4+FP8指令检查点（大约150-180GB，具体取决于分片布局）。

步骤 3 — 安装vLLM

使用新的虚拟环境。V4架构支持需要vLLM 0.9或更高版本：

python -m venv .venv && source .venv/bin/activate
pip install --upgrade pip
pip install "vllm>=0.9.0"

步骤 4 — 提供模型服务

以下命令在端口8000上启动了一个与OpenAI兼容的服务器，具有双向张量并行和128K上下文窗口：

python -m vllm.entrypoints.openai.api_server 
    --model ./deepseek-v4-flash 
    --tensor-parallel-size 2 
    --max-model-len 131072 
    --trust-remote-code 
    --port 8000

对于本地采样，模型卡片建议设置温度=1.0和top_p=1.0，并在Think Max推理模式下将上下文窗口设置为至少384K个令牌。提高 --max-model-len to 393216 如果您需要最大努力思考，并接受KV缓存内存将相应增加。

步骤 5 — 从Python与之交互

vLLM公开了DeepSeek托管API使用的相同的Chat Completions线格式。聊天请求击中 POST /chat/completions，与OpenAI兼容的端点和SDK交换只需两行：

from openai import OpenAI
client = OpenAI(base_url="http://本地主机:8000/v1", api_key="local")
resp = client.chat.completions.create(
    model="./deepseek-v4-flash",
    messages=[{"role": "user", "content": "Plan the migration."}],
    reasoning_effort="high",
    extra_body={"thinking": {"type": "enabled"}},
    temperature=1.0,
    top_p=1.0,
    max_tokens=8000,
)
print(resp.choices[0].message.content)

When thinking is enabled, the response returns reasoning_content alongside the final content。其他值得了解的参数： temperature, top_p, max_tokens, reasoning_effort，以及JSON模式和同一端点的工具调用。JSON模式旨在返回有效的JSON，但不保证——在您的提示中包含单词“json”和一个小示例模式，并设置 max_tokens high enough to avoid truncation.

步骤 6 — 验证其是否工作

三项快速检查：

1. curl http://本地主机:8000/v1/models 应返回一个包含您的模型路径的JSON列表。
2. nvidia-smi 应显示跨所有参与张量并行的GPU的GPU内存。
3. 测试提示应在五秒内完成，以获得短输出。如果需要30秒以上，您可能正在切换到系统RAM——减少 --max-model-len.

第三级：集群上的DeepSeek V4-Pro

V4-Pro不是单机工作负载。DeepSeek-V4-Pro总共有160万亿个参数和490亿个活跃参数，即使在FP4+FP8混合精度下，权重也填满了多个H100或H200节点。计划在节点内进行张量并行，以及在节点间进行流水线并行，再加上快速互连（InfiniBand或NVLink交换机）。

托管API比您可能构建的集群便宜得多。作为参考，官方 DeepSeek API pricing 上的V4-Flash为每百万个令牌0.0028美元/0.14美元/0.28美元（缓存命中/缓存未命中/输出）和V4-Pro目前为0.435美元/0.87美元（截至2026-05-31享受75%的折扣；列表价格为0.0145美元/1.74美元/3.48美元）。对于100万个调用，带有2000个令牌的缓存系统提示，200个令牌的用户消息和300个令牌的响应，V4-Flash总计117.60.00美元（56美元缓存输入+28美元未缓存输入+84美元输出）。在V4-Pro上执行相同的工作负载需要1,421.00美元。对于大多数团队来说，“离线”意味着一级或二级，托管API用作最重工作负载的备用方案。

Common errors and fixes

本地与托管：何时切换

本地推理从您的数据路径中移除了网络和第三方，但不移除操作工作。一些生产中的模式：

• 隐私受限的工作负载 （法律、医疗保健、内部源代码）→ 本地，每次。即使是运行离线的最小R1蒸馏也比将相同的提示发送到任何托管API更胜一筹。
• 爆发式、低流量流量 →托管。每天仅处理两个请求，工作站闲置在400 W功率下，经济性较差。
• 高容量批量处理 → 两种方式都运行数学运算。在过时的H200上运行的本地V4-Flash几个月后可以低于托管价格。
• 混合配置 → 对于敏感片段，本地V4-Pro，对于不接触私有数据的重推理工作，使用托管V4-Pro。

关于API表面的说明

托管的DeepSeek API与Web应用表现不同：它是无状态的，因此客户端必须在每个请求中重新发送对话历史。您的本地vLLM服务器继承了相同的模型：无状态。DeepSeek的API文档还列出了V4 Pro和V4 Flash作为当前模型选项，支持思考和未思考模式、JSON输出、工具调用、OpenAI格式访问和Anthropic格式访问。遗留的ID deepseek-chat and deepseek-reasoner 仍然可以与托管API对抗并路由到 deepseek-v4-flash，但它们将在2026-07-24 15:59 UTC退役——迁移只需一行代码 model= swap.

Next steps

一旦您的DeepSeek离线设置稳定，自然的后续步骤是：

• install DeepSeek locally — 如果遇到上述问题，请深入了解平台特定的安装步骤。
• DeepSeek RAG tutorial — 将您的本地模型连接到向量存储，以便它可以回答有关您私有文档的问题。
• fine-tuning DeepSeek — 在基本设置验证通过后，将蒸馏技术适配到您的领域。
• DeepSeek V4-Flash — 完整的模型页面，包含架构细节和基准测试背景。

DeepSeek AI Guide is an independent resource and is not affiliated with DeepSeek or its parent company. Model IDs, pricing and API behaviour change; check the official DeepSeek documentation and pricing page before committing to a production decision.