DeepSeek 网摘deepseek.wang
EN
📄 查看英文原文

模型 · 2026-04-25 · 机器翻译,仅供参考

DeepSeek Math 7B: Benchmarks, GRPO and How to Use It in 2026

Models·April 25, 2026·By DS Guide Editorial
DeepSeek Math 7B model card showing the headline specs of DeepSeek's February 2024 math-specialist release: a 7 billion dense parameter model continued-pre-trained on 120 billion math tokens, scoring 51.7 percent on the MATH benchmark without external tools, and introducing the GRPO reinforcement-learning recipe that later powered R1 and V4.

如果你曾尝试让一个70亿参数的开放模型解决竞赛级别的积分问题,并看到它自信地生成胡言乱语,你已经理解为什么DeepSeek Math很重要。与2024年2月的论文一同发布,DeepSeek Math是一个小型、专注于数学的语言模型,在没有外部工具的情况下发布了竞赛级别的结果——更重要的是,它引入了强化学习配方(GRPO),该配方后来推动了DeepSeek R1和V4系列的发展。

本指南涵盖了模型是什么,其背后的架构和训练数据,技术报告中精确的基准测试数字,与当前一代模型的比较,在哪里可以获取权重,以及何时在2026年运行仍然有意义。

DeepSeek Math是什么

Developer reviewing DeepSeek Math 7B step-by-step solution to a competition problem on a modern monitor

DeepSeek Math 是一个专为数学推理设计的70亿参数开放权重语言模型。它继续在 DeepSeek-Coder-Base-v1.5 7B 上进行预训练,并加入了来自 Common Crawl 的120亿个与数学相关的标记,以及自然语言和代码数据,在竞争级别的 MATH 基准测试中达到了51.7%,不依赖于外部工具包和投票技术,接近 Gemini-Ultra 和 GPT-4 的性能水平。该版本提供三种风味:基础模型、指令调整模型和RL调整模型。DeepSeek 向公众发布了 DeepSeekMath 7B 基础、指令和RL模型,以支持学术和商业社区更广泛的研究;在许可条款下允许商业使用。

该模型是您可能听说过的两个事物的直接祖先:现在在开源RL生态系统中使用的GRPO算法,以及 DeepSeek 后续的推理模型。如果您想了解一个小的模型如何在量化任务中出类拔萃,这是一个典范案例研究。

架构、谱系和训练数据

DeepSeek Math 是一个7B密集型Transformer,而不是专家混合模型——与当前一代使用万亿规模MoE的家族截然不同。 DeepSeek V4 血统是 Coder → Math,数学模型继承了 Coder 骨干结构化、程序化推理的习惯。DeepSeekMath 使用 DeepSeek-Coder-v1.5 7B 初始化,并继续在来自 Common Crawl 的与数学相关的标记上进行预训练,同时还有500B个自然语言和代码数据。

120B标记的数学语料库是默默的英雄。DeepSeekMath 语料库是一个大规模高质量预训练语料库,包含120亿个数学标记,使用基于fastText的分类器从 Common Crawl 中提取——分类器使用 OpenWebMath 的实例作为正例进行训练,同时将多样化的其他网页作为负例,然后通过人工标注进行迭代优化。团队还采取了非同寻常的措施来保持评估的公正性:他们遵循先前的工作,过滤掉包含来自英语数学基准(如GSM8K和MATH)和中文基准(如CMATH和AGIEval)的问题或答案的网页——任何包含与评估基准中的任何子字符串完全匹配的10-gram字符串的文本段都被从数学训练语料库中移除。

一瞥关键事实

Attribute Value
Parameters 7B(密集)
基础模型 DeepSeek-Coder-Base-v1.5 7B
数学预训练令牌 在500B令牌的持续预训练运行中包含120B(数学)
变体 基础、指令、强化学习
Paper arXiv:2402.03300(2024年2月)
Licence 代码遵循MIT许可;权重在DeepSeek模型许可下(允许商业使用)
Context length 4K分辨率(按2026年标准较小)

技术报告中的基准测试

Diagram of the GRPO reinforcement-learning loop used to train DeepSeek Math 7B

标题数字来自DeepSeek数学 技术报告发布在arXiv上两个值得记住。仅使用英语指令微调数据的一个子集,GRPO在DeepSeekMath-Instruct上取得了显著的改进,包括领域内GSM8K从82.9%提升到88.2%,MATH从46.8%提升到51.7%,以及领域外CMATH从84.6%提升到88.8%,在强化学习阶段均有所提升。DeepSeekMath 7B的64个样本自我一致性在MATH上达到60.9%。

Benchmark DeepSeekMath-Instruct 7B(CoT) DeepSeekMath-RL 7B(CoT) Notes
GSM8K 82.9% 88.2% 小学数学应用题
MATH 46.8% 51.7% 竞争级;无工具,无投票
数学(自洽性,64个样本) — 60.9% 64代后的多数投票
CMATH 84.6% 88.8% 中文数学;对于RL运行属于域外

两个重要的注意事项。首先,这些是2024年的数据与2024年的基线相比——即提交时的Gemini-Ultra和GPT-4,而不是当前的Gemini 3或GPT-5系列。其次,强化学习运行是故意做得比较窄。对于DeepSeekMath-RL 7B,GSM8K和带有推理步骤的MATH可以被视为领域内任务;尽管其训练数据范围受限,但在所有评估指标上均优于DeepSeekMath-Instruct 7B,展示了强化学习的效果。

GRPO:这篇论文中出现的算法

如果你在过去一年里阅读过关于DeepSeek R1或开源推理训练的任何内容,你一定了解GRPO——并且它就是在这里被介绍的。GRPO是近端策略优化(PPO)的一种变体强化学习算法;它放弃了评论员模型,而是从群体分数中估计基线,显著减少了训练资源。GRPO通过在生成组的内部比较模型生成的响应来直接评估模型生成的响应,从而优化策略模型,而不是训练一个单独的价值模型——这种方法导致计算成本显著降低。

对于从业者来说,结果是您可以在单个多GPU盒子上进行数学(或任何可验证任务)的RL微调,而不是需要并行评论员网络的内存预算。Hugging Face TRL库、vLLM和数十个开源RL堆栈现在直接支持GRPO,该算法已成为推理后训练的默认起点。

优势——DeepSeek Math仍占优势的地方

  • 质量至上,占用空间小。 7B参数可以在单个24GB消费级GPU上以4位精度运行,或者在48GB卡上以fp16模式舒适运行。您不会从通用的7B模型中获得每VRAM字节的这种MATH性能。
  • 真正开放的权重。 在发布的许可证下允许商业使用,这使得它可以在产品工作流程中使用,而原始V3 / Coder-V2许可证可能会显得有些尴尬。
  • 可复现的研究基线。 因为数据管道和GRPO配方已有文档记录,这个模型是任何人在训练后自学强化学习(RL)的最干净起点。
  • 强大的中文数学能力。 语料库是多语言的;CMATH的性能反映了这一点。

劣势——诚实地了解你所获得的内容

  • 这是一个2024年的模型。 2024年初的70亿参数专家模型在竞赛数学领域已不再是顶尖水平。虽然DeepSeekMath在定量推理基准测试中取得了令人印象深刻的成果,但作者承认在几何和定理证明方面存在局限性。
  • 短语境。 4K个token对于需要大量草稿的长时间多部分问题是不够的。当前V4版本默认提供1,000,000个token的上下文窗口。
  • 窄领域专业。 在数学、代码和结构化推理之外,它比一个通用的70亿参数聊天模型要弱。不要将其用作通用助手。
  • RL的收益是测量式,而非能力式。 强化学习(RL)提升了Maj@K的性能,但并未提升Pass@K——这种提升归因于从TopK中提升正确响应,而不是基本能力的增强。翻译:GRPO使模型更可靠,但并非严格上更强大。

如何访问DeepSeek Math

Diagram of three access paths to DeepSeek Math 7B - downloaded weights, local runtime, and GRPO fine-tuning.

DeepSeek Math没有像V4系列那样提供第一方托管API。你有三条实际路径:

  1. Hugging Face权重。 您可以直接使用Hugging Face的Transformers进行模型推理。仓库地址为 deepseek-ai/deepseek-math-7b-base, -instruct, and -rl将其与我们的设置指南搭配使用。 install DeepSeek locally 清洁设置的指南。
  2. Ollama或LM Studio。 所有三种变体的量化GGUFs都广泛镜像。见[4]获取确切信息。 running DeepSeek on Ollama 对于精确的 ollama拉取 命令。
  3. 第三方API提供商。 Together AI、Fireworks和Nebius不定期地举办了RL变体。在做出承诺之前,请始终检查当前可用性。

如果您今天只需要DeepSeek强大的数学能力,而不需要特定的数学模型,V4系列是实际的选择。DeepSeek Math在arXiv论文2402.03300中有文档记录,但到2026年的生产数学工作负载,大多数团队应该在默认使用它之前将其与V4-Flash进行比较。

最小Python推理示例

一个最小的Hugging Face Transformers代码片段,用于本地运行RL变体:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "deepseek-ai/deepseek-math-7b-rl"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id, torch_dtype=torch.bfloat16, device_map="auto"
)

prompt = (
    "Problem: Find the smallest positive integer n such that "
    "n^2 + n + 41 is composite.n"
    "Please reason step by step, and put your final answer within boxed{}."
)
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, temperature=0.0)
print(tok.decode(out[0], skip_special_tokens=True))

Set temperature=0.0 对于确定性数学,请按照DeepSeek对代码和数学任务的自身指导。使用带框答案提示模板——DeepSeek Math被训练在内部输出最终答案。 boxed{},并且下游评估器期望它。

Pricing snapshot

DeepSeek Math本身没有第一方API价格——它是一个权重发布。如果您今天想使用DeepSeek托管端点进行数学推理,您正在支付V4的费用。截至2026年4月,V4-Flash列出每1M个token的输入费用为$0.0028(缓存命中)/ $0.14(缓存未命中),输出费用为$0.28,而V4-Pro列出$0.0145 / $1.74 / $3.48(目前至2026年5月31日有75%的折扣,使实际费用为$0.003625 / $0.435 / $0.87)。请在此验证两者。 DeepSeek API pricing page before committing.

自托管DeepSeek Math真正便宜:一个7B模型在bf16中占用大约14GB的VRAM,单个A10/L4实例就足以进行批量推理。对于规模,我们的 DeepSeek hardware calculator 涵盖了数学部分。

Best use cases

这是一个利基模型。诚实的拟合是:

  • 教育和辅导后端。 从小学到竞赛问题的逐步解决方案。查看 DeepSeek for math and DeepSeek for students for workflow patterns.
  • 研究基准。 如果您正在发布关于数学推理或RL后训练的内容,这是可用的最干净的公开基准之一。
  • GRPO实验。 最清晰的RL微调实验上手入口——论文中的配方完全可重现。
  • STEM内容生成。 在小专家战胜大通用专家的工作流程中,提供解决方案、问题变体和答案生成。

Comparable alternatives

DeepSeek Math并非唯一选择,到2026年,它很少是生产环境中的最佳选择。与以下内容进行比较:

  • 智能启用的DeepSeek V4-Flash 用于当前一代托管数学。查看完整 DeepSeek V4-Flash breakdown.
  • DeepSeek R1 如果您特别想要一个使用GRPO后裔训练的推理模型。该 DeepSeek R1 页面涵盖了差异。
  • OpenAI的推理模型 如果您需要在竞赛数学上达到绝对最大值且支出合理——查看 DeepSeek vs OpenAI o1 进行直接比较。
  • 其他开源专家 例如 Qwen-Math、Mathstral 和 Llemma —— 我们对其进行了介绍 open-source AI like DeepSeek roundup.

为了全面了解 DeepSeek 的产品线,我们可以看到 DeepSeek models hub 在一个地方索引了每个模型。

关于API表面的一个注意事项,因为人们经常询问

Bar chart comparing DeepSeek Math 7B accuracy against larger closed and open peers on math benchmarks

如果你在同一堆栈中将DeepSeek Math(自托管权重)与DeepSeek的托管API混合使用,请记住托管端是不同的生物。聊天请求击中 POST /chat/completions, the OpenAI-compatible endpoint at https://api.deepseek.com,API是无状态的——你必须随每个请求重新发送对话历史,与为你保持会话状态的Web应用不同。当前一代是DeepSeek V4,以两个模型ID发货: deepseek-v4-pro (1.6T total / 49B active) and deepseek-v4-flash (284B / 13B活跃),两者都是MIT许可下的开放权重MoE。思考模式是一个请求参数——不是一个单独的模型——接受为 reasoning_effort="high" with extra_body={"thinking": {"type": "enabled"}}, or reasoning_effort="max" 用于最大努力思考;随后返回的响应是 reasoning_content alongside the final content.

Legacy IDs deepseek-chat and deepseek-reasoner still work and currently route to deepseek-v4-flash,但它们将在2026年7月24日15:59 UTC退役;迁移只需一行代码 model= swap. V4两个级别都运行1,000,000个token的默认上下文窗口,输出最多可达384,000个token,所以以前用于与DeepSeek Math的4K窗口分块的内容现在可以一次性放入。

Verdict

DeepSeek Math在历史上具有重要意义,并且作为一个小型专业模型仍然有用,但除非自托管权重和极小的VRAM预算是必须的,否则它不是你在2026年新鲜生产决策时首先考虑的模型。将其视为赋予该领域GRPO的论文,如果你在自学RL后训练,则本地运行它,而对于其他所有事情,请使用V4-Flash。

DeepSeek AI Guide is an independent resource and is not affiliated with DeepSeek or its parent company. Model IDs, pricing and API behaviour change; check the official DeepSeek documentation and pricing page before committing to a production decision.

DeepSeek Math用于什么?

DeepSeek Math是一个针对数学推理的70亿参数专业模型——包括小学应用题、竞赛数学、逐步解答和基本定理证明实验。由于与它一起引入了GRPO算法,它也被广泛用作强化学习后训练的研究基准。对于应用工作流程,请参阅我们汇总的 DeepSeek for math.

DeepSeek Math与DeepSeek V4相比如何?

They are very different beasts. DeepSeek Math is a 4K-context dense 7B from early 2024; DeepSeek V4 是一个2026年的MoE系列,具有1M-token的上下文和思考模式。V4在大多数数学任务上都要强大得多,但DeepSeek Math的体积显著更小,可以在单个GPU上完全自托管,并且作为干净的GRPO基准很有用。选择V4用于生产,Math用于研究。

DeepSeek Math是否可以免费商用?

是的,但有前提条件。模型的使用受其许可部分中概述的条款约束,并且在这些条款下允许商业使用。代码是MIT许可的;权重受DeepSeek模型许可而不是MIT许可。在发布产品之前,请阅读GitHub仓库中的完整许可。关于更广泛的讨论,请参阅 is DeepSeek open source.

DeepSeek Math取得了哪些基准分数?

技术报告中关键数据:GSM8K上达到88.2%,MATH上达到51.7%(具有逐步推理的RL变体),MATH上达到60.9%(在64个样本上具有自洽性)。域外CMATH达到88.8%。这些是针对2024年基线2024年的数据——适用于了解背景,但不适用于当前一代产品的比较。我们的 DeepSeek benchmarks 2026 页面跟踪最新数据。

我能否自己微调DeepSeek Math使用GRPO?

是的。Hugging Face TRL库拥有第一流的GRPO训练器,vLLM支持 rollout 模式,原始论文清楚地记录了超参数(学习率1e-6,KL系数0.04,每个问题64个样本),足以复现。以 Instruct 变体作为您的起点。对于Python端设置,请参阅 fine-tuning DeepSeek.

Sources & Methodology

Last source check: April 30, 2026

Primary sources

Technical references

Methodology

Architecture, parameter counts, context window, and license were checked against the official DeepSeek model card and the corresponding technical report. Benchmark figures are reproduced as they appear in vendor materials and are treated as directional indicators rather than guarantees of real-world performance.

Data confidence

High for official architecture and license; medium for vendor-reported benchmarks; low for projected future capabilities.

Editorial note

Vendor-reported figures are not always independently replicated. Benchmarks at the frontier change quickly; expect this article to need a refresh whenever DeepSeek, OpenAI, Anthropic, or Google ship a new model.