深度探索MoE是什么以及为什么它为V4-Pro和V4-Flash提供动力

如果你已经了解过DeepSeek V4、R1或V3，并看到了“1.6T总参数 / 49B活跃参数”这个短语，但并不完全理解它的含义，那么你就在正确的位置。 DeepSeek MoE 是一种混合专家架构，它使得实验室能够发送仅将一小部分参数用于任何给定标记的万亿参数模型。它始于2024年的一篇研究论文，成为了V2、V3、R1和V3.2的骨干，现在定义了2026年4月24日发布的V4代。

本指南将介绍DeepSeek MoE实际上是什么，使其工作的两个理念，从原始DeepSeekMoE 16B到V4-Pro和V4-Flash的演变，以及如何通过API今天使用它。

深度探索MoE是什么？

DeepSeek MoE 是DeepSeek在2024年1月的一篇论文中由Damai Dai及其同事引入的一种混合专家架构。在大语言模型时代，混合专家架构是管理模型参数扩展时的计算成本的有希望架构，但传统的MoE架构如GShard，它激活N个专家中的top-K个，在确保每个专家获得非重叠和专注的知识方面面临挑战。DeepSeek的解决方案结合了两个理念——细粒度专家分割和共享专家隔离——推动每个专家向更窄、更少冗余的知识片段发展。

架构很重要，因为每个最近的深度探索发布都使用了它。当前一代， DeepSeek V4，以两个开放权重MoE模型的形式发布： deepseek-v4-pro 总参数量为160亿，每个标记激活49亿， deepseek-v4-flash 总计2840亿参数，其中130亿活跃。早期的MoE发布包括V3、V3.1、V3.2、R1以及原始DeepSeekMoE 16B研究模型。

DeepSeek MoE的工作原理：两个想法

精粒度专家分割

在标准的MoE层中，前馈网络被分成少量的大专家（Mixtral 8x7B使用八个）。一个路由器选择前两个并将它们的输出组合。DeepSeek通过在保持参数数量不变的同时分割FFN中间隐藏维度，将专家细分为更细的粒度；保持恒定的计算成本，同时激活更多细粒度专家，以实现更灵活和适应的组合，这允许将不同的知识更精细地分解并更精确地学习到不同的专家中。

实际效果：V2的MoE层不是从8个专家中选择2个，而是从160个专家中选择6个。V2中的每个MoE层由2个共享专家和160个路由专家组成，每个专家的中间隐藏维度为1536，在路由专家中，每个token激活6个专家。更重要的是，更小的专家给路由器提供了更精细的工具；数学重组使得FLOPs和参数计数保持不变。

共享专家隔离

第二个技巧是挑选出少量专家， 总是 对每个token都有效。DeepSeek将K_s个专家隔离为共享专家，旨在捕捉共同知识并减轻路由专家中的冗余。直观的想法很简单：语法、常识先验和基本语法不需要每个路由专家重新学习。将这些知识存储在共享专家中，路由专家可以更专注于剩余的内容。

这两种选择都是为了推动每个路由专家向数据分布的更窄部分移动。DeepSeek自己的消融实验表明，细粒度专家分割和共享专家隔离都有助于整体性能的提升。

Architecture and lineage

DeepSeek MoE已经应用于五代模型。该表跟踪了总参数、激活参数以及模型的应用目的。激活参数计数是推理时你需要支付的费用；总计数是你存储在磁盘上的参数数量。

V4代重新使用了MoE骨干网络，但与之搭配了一个新的注意力堆栈。DeepSeek-V4设计了一种混合注意力机制，结合了压缩稀疏注意力（CSA）和重度压缩注意力（HCA），以显著提高长上下文效率；在1M-token设置中，V4-Pro相比于V3.2只需要27%的单token推理FLOPs和10%的KV缓存。这就是为什么V4能够提供1000万个token的上下文窗口同时保持可服务性的原因。

Benchmarks

对于历史DeepSeekMoE论文，主要结果是效率与更大的密集模型相当。DeepSeekMoE 16B仅用大约40%的计算量就达到了与DeepSeek 7B和LLaMA2 7B相当的性能。同一篇论文中的145B变体在约28.5%（也许甚至18.2%）的计算量下与67B密集模型保持同步。

对于V4，以下列出了DeepSeek从V4技术报告中自行报告的数字。这些是实验室的数字，不是独立重跑的结果——将其视为起点。

对于更深入的基准测试覆盖，包括独立重跑，请参阅 DeepSeek benchmarks 2026.

DeepSeek MoE方法的优点

• 每个标记的低成本推理。 激活284B（Flash）中的13B或1.6T（Pro）中的49B意味着推理成本跟踪的是活跃计数，而不是总数。
• 专业化。 精细分割为路由器提供了更多、更小的专家进行组合；原始论文中的消融实验表明这有助于提高性能。
• 减少冗余。 共享专家掌握共同知识基础，以便路由专家可以专业化。
• Open weights. V4-Pro、V4-Flash、V3.2、V3.1和R1都在Hugging Face上获得MIT许可。较旧版本（V3基础、Coder-V2、VL2）将MIT代码与DeepSeek模型许可中的权重分开——如果许可对您很重要，请检查具体仓库。
• 无二次成本扩展。 结合V4的混合注意力机制，该架构支持1M-token的上下文和384K-token的输出。

弱点和权衡

MoE并非免费。该架构包含实际工程成本，这些成本在您尝试自行托管时就会显现。

• 内存基础。 即使只有一小部分活跃，您仍需要将所有1.6T（V4-Pro）或284B（V4-Flash）参数存储在快速内存中。V4-Pro总共有1.6T参数；即使到Q4，您也需要大约800GB的权重，加上KV缓存和激活内存——这不仅仅是一个家用实验室的故事，而是一个配备兆字节级快速RAM的工作站，一个8-GPU的H100或H200盒子可以轻松地提供服务，而一对5090和Threadripper则无法胜任。
• 路由复杂性。 在设备间进行负载均衡、避免路由崩溃以及管理全对全通信会增加代码复杂性，这是密集模型所不具备的。
• 定量滞后。 V4的社区GGUF支持在发布时并未准备好，因此llama.cpp用户不得不等待。vLLM和SGLang在第一天就发布了配方；较小的工具链在接下来的几天内赶上了进度。
• 自报基准。 V4的头条数字是DeepSeek自己的。独立重跑将移动其中一些。

如何访问DeepSeek MoE模型

今天V4有三个表面是活跃的：

1. Web chat and mobile app. 在chat.deepseek.com上，专家模式路由到V4-Pro，即时模式路由到V4-Flash。网页/应用程序会保留对话历史；API则不会。
2. Hugging Face。 V4-Pro和V4-Flash都在Hugging Face上，遵循MIT许可。Instruct检查点以FP4格式为MoE专家提供，以FP8格式为其他所有内容提供；基础检查点全程使用FP8。
3. API。 Chat requests hit POST /chat/completions, the OpenAI-compatible endpoint at https://api.deepseek.com. DeepSeek还提供与Anthropic兼容的表面，基于相同的基URL。

Minimal Python example

使用OpenAI Python SDK针对V4-Flash：

from openai import OpenAI

client = OpenAI(
    base_url="https://api.deepseek.com",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[{"role": "user", "content": "Explain MoE in one paragraph."}],
    temperature=1.3,
    max_tokens=512,
)
print(resp.choices[0].message.content)

Thinking mode is a request parameter on either V4 model, not a separate model ID. Set reasoning_effort="high" with extra_body={"thinking": {"type": "enabled"}}, or reasoning_effort="max" 用于最大努力思考。然后响应返回 reasoning_content alongside the final content. 对于逐步设置，请参阅 DeepSeek API getting started guide.

如果您使用旧版 deepseek-chat or deepseek-reasoner 模型ID：它们当前路由到的位置 deepseek-v4-flash and will be retired on 2026-07-24 at 15:59 UTC. Migration is a one-line model= swap; base_url does not change.

API是无状态的——您必须在每个请求中重新发送对话历史。其他值得了解的参数： temperature, top_p, max_tokens （V4上最多384,000个），JSON模式（designed to return valid JSON, not guaranteed — include the word “json” plus an example schema in your prompt and set max_tokens 高），工具调用和流式传输。

Pricing snapshot

DeepSeek将V4-Pro和V4-Flash分别定价。以下价格为截至2026年4月每100万个代币的美元价格——请核实。 DeepSeek API pricing 在提交预算之前查看页面，因为预览窗口的价格可能会变化。

工作示例：V4-Flash上1百万API调用的成本

2000个代币的缓存系统提示，200个代币的无缓存用户消息，300个代币的回复，运行一百万次：

• Cached input: 2,000,000,000 tokens × $0.0028/M = $5.60
• Uncached input: 200,000,000 tokens × $0.14/M = $28.00
• Output: 300,000,000 tokens × $0.28/M = $84.00
• Total: $117.60

在V4-Pro上执行相同的工作负载需要1421.00美元——大约是12倍，由列表上的3.48美元/兆字节输出率驱动（目前为0.87美元/兆字节，在2026年5月31日前的75% V4-Pro促销期间）。默认选择Flash；当基准提升在编码或代理工作方面获得溢价时，选择Pro。使用[代码、命令、URL、数字]自行计算。 DeepSeek pricing calculator.

Best use cases

• 编码代理和工具调用管道。 V4-Pro报告的SWE-Bench和Terminal-Bench数字与封闭前沿模型具有竞争力——参见。 DeepSeek for coding and DeepSeek for developers.
• Long-document analysis. 100万个代币的上下文窗口加上CSA/HCA注意力堆栈使Flash成为全代码库或合约集分析的一个合理选择。
• 高频聊天。 每百万输出代币0.28美元的V4-Flash适合客户支持和内容生成工作负载，其中每次调用的成本占主导地位。
• 对MoE本身的 研究。 原始DeepSeekMoE 16B仍然是一个有用的研究工具——体积小巧，便于运行，旨在清晰地展示架构。

Comparable alternatives

其他值得与DeepSeek MoE进行比较的开源MoE模型包括Mixtral、Qwen的MoE检查点以及Kimi K2.6。封闭的竞争对手——GPT-5、Claude 4 Opus、Gemini 3——并未以同样详细的程度发布架构细节。对于直接对比阅读，请参阅 DeepSeek vs Mistral and DeepSeek vs Qwen, or browse the wider DeepSeek models hub 了解其他产品线的详细信息。

Verdict

DeepSeek MoE是贯穿从V2到V4-Pro的架构主线，使得所有这些版本在经济上都具有可行性。这两个想法——细粒度专家分割和共享专家隔离——在纸上看起来很简单，在原始消融实验中得到了很好的验证。在V4中，实验室将相同的骨干网络扩展到1.6T参数和1M-token的上下文中。难点在于硬件：自行运行V4-Pro需要严肃的基础设施，因此大多数读者将通过API或聊天应用而不是在权重级别遇到DeepSeek MoE。

DeepSeek AI Guide is an independent resource and is not affiliated with DeepSeek or its parent company. Model IDs, pricing and API behaviour change; check the official DeepSeek documentation and pricing page before committing to a production decision.