DeepSeek LLM Explained: Architecture, Benchmarks and Lineage

如果您来到这里是为了寻找最新的DeepSeek模型，您想要的是V4——但DeepSeek LLM是整个系列的开端。2024年1月5日发布的DeepSeek LLM是实验室的第一个开放权重语言模型，以7B和67B参数检查点形式提供，包括基础和聊天变体。它是自那时以来DeepSeek推出的每个混合专家模型的密集变换器祖先，与之配套的论文（《通过长期主义扩展开源语言模型》）至今仍被规模定律工作引用。本文将介绍DeepSeek LLM实际上是什么，它是如何构建的，它发布的基准，它在2026年的不足之处，以及如果您仍然想运行它，如何获取权重。

DeepSeek LLM是什么

DeepSeek LLM是杭州DeepSeek-AI推出的第一个基础模型家族，于2024年1月以一对仅密集解码器的变换器形式发布。DeepSeek于2024年1月5日发布了其第一个大型语言模型DeepSeek LLM。它包含670亿个参数，并在包含2000亿个标记的中英文数据集上从头开始训练，公司向研究社区开源了完整的DeepSeek LLM 7B/67B Base和DeepSeek LLM 7B/67B Chat。该发布附带了一份技术报告—— “DeepSeek LLM: Scaling Open-Source Language Models with Longtermism” —— 这与权重本身一样有影响力。

首先要澄清两点。首先，“DeepSeek LLM”特指2024年1月的7B/67B系列。它不是DeepSeek品牌或当前一代的同义词。其次，实验室已经超越了这种架构。当前的生产系列是DeepSeek V4（包括于2026年4月24日发布的V4-Pro和V4-Flash），大多数用户应该从这里开始，或者直接下载67B权重。 DeepSeek V4 DeepSeek LLM作为历史背景、作为规模定律工作的研究工件，以及作为需要7B或67B密集基线的团队的自主托管密集模型，在今天是很有趣的。

Architecture and lineage

DeepSeek LLM是一种类似于LLaMA风格的密集变换器，有一些故意的不同。微观设计主要遵循LLaMA，采用预归一化结构，使用RMSNorm，并以SwiGLU作为前馈网络的激活函数，使用旋转嵌入进行位置编码，67B模型使用分组查询注意力（GQA）而不是传统的多头注意力来优化推理成本。DeepSeek LLM 7B是一个30层网络，而DeepSeek LLM 67B有95层。7B保留了标准MHA；只有67B使用GQA。

训练语料库描述为包含2000亿个双语的英文/中文文本标记。模型在2000亿个标记上进行了预训练，序列长度为4096，使用AdamW优化器；7B模型使用了2304个批处理大小和4.2e-4的学习率，而67B模型使用了4608个批处理大小和3.2e-4的学习率。DeepSeek没有使用余弦调度，而是采用了多步学习率调度，他们认为这使持续训练和缩放更加清晰——这一选择预示着公司后来愿意偏离传统。

它如何融入这个家族

架构上的突破发生在V2版本。DeepSeek-V2（2024年5月7日）是一个混合专家模型，总参数量为2360亿，每个标记激活21亿，与DeepSeek 67B相比，V2在训练成本上节省了42.5%，KV缓存减少了93.3%，并将最大生成吞吐量提高了5.76倍。自那以后，每个DeepSeek模型都是MoE；DeepSeek LLM是实验室最后推出的密集型旗舰产品。

Benchmarks

实验室在发布时强调的主要结果是，DeepSeek LLM 67B在参数量少30亿的情况下击败了Meta的Llama-2 70B。评估结果显示，DeepSeek LLM 67B在各种基准测试中超越了LLaMA-2 70B，尤其是在代码、数学和推理领域，而开放式评估显示，DeepSeek LLM 67B Chat的表现优于GPT-3.5。官方仓库中的具体聊天模型数字如下：

DeepSeek LLM 67B Chat在编码（HumanEval Pass@1：73.78）和数学（GSM8K 0-shot：84.1，Math 0-shot：32.6）方面表现出色，并展示了显著的泛化能力，在匈牙利国家高中考试中得分65分。当时，匈牙利考试结果很重要，因为它是一个新鲜、无污染的测试集——与Grok-1使用的相同的评估。DeepSeek设计了新的问题集来评估能力，评估结果指出DeepSeek LLM 67B Chat在从未见过的考试中表现出色。

对于基础模型，第三方排行榜的分数落在相似的区域。根据Hugging Face卡片上的LLM Explorer索引，deepseek-llm-67b-base报告了MMLU 71.9，ARC 93.7，HellaSwag 82.3，TruthfulQA 51.1，WinoGrande 84.1和GSM8K 66.5，4K上下文窗口。这样的数字在2024年初具有竞争力，但现在远低于当前的开放权重前沿—— DeepSeek的2026年基准数据 生活在不同的尺度上。

Strengths

• 强大的双语表现。 DeepSeek LLM 67B Chat在中文方面超越了GPT-3.5。如果你的工作负载以中文为主，并且你需要一个密集型自托管模型，67B仍然是微调实验的合理起点。
• 诚实的缩放定律贡献。 伴随的论文介绍了新的批量大小和学习率缩放公式，这些公式在随后的开源工作中被引用。
• 允许的商业使用。 代码仓库采用MIT许可证，DeepSeek LLM模型的使用受模型许可证约束，DeepSeek LLM支持商业用途。代码（MIT许可证）和权重（单独的模型许可证）的分割模式与DeepSeek在V3基础版本中使用的模式相同。
• 密集的，而非MoE。 如果您的推理堆栈处理专家路由不佳，与同等质量的MoE模型相比，密集的7B或67B模型在操作上更简单。

Weaknesses

• 4K上下文窗口。 背景：4K。按照2026年的标准，这非常小——当前V4系列默认提供100万个token——因此涉及长文档、在大规模语料库上的RAG或扩展的代理工作流程都不在范围内。
• 无推理轨迹。 DeepSeek LLM早于R1。没有`reasoning_content`字段，没有推理时缩放，没有“思考”模式。对于数学密集型或多步骤任务，即使是 小型R1蒸馏 将优于67B Chat。
• 硬件需求。 The 67B base model needs roughly 135 GB of VRAM at fp16, per the LLM Explorer index — well beyond a single consumer GPU. The 7B is much more tractable; 我们的硬件计算器 覆盖了量化数学。
• 在每个公共基准测试中已被取代。 Coder-V2、V3、R1、V3.2和V4-Flash通过API访问时，在每token成本更低的情况下都能获得更高的分数。对于大多数读者来说，“DeepSeek LLM”是一个研究脚注，而不是生产目标。

如何访问DeepSeek LLM

2026年没有为DeepSeek LLM 7B/67B提供第一方托管API —— 实验室的托管端点服务于V4系列，使用旧ID `deepseek-chat` 和 `deepseek-reasoner` 路由到 `deepseek-v4-flash`，直到它们退役。 2026-07-24 at 15:59 UTC要特别使用DeepSeek LLM，您需要自行托管开源权重：

• Hugging Face： 四个标准仓库分别是 deepseek-ai/deepseek-llm-7b-base, deepseek-ai/deepseek-llm-7b-chat, deepseek-ai/deepseek-llm-67b-base and deepseek-ai/deepseek-llm-67b-chat.
• 量化构建： 社区GGUF和AWQ转换适用于两种大小；参见我们的 Ollama教程 采用Ollama友好的方法。
• 本地安装： 对于从头开始设置，本教程涵盖了依赖项。 install DeepSeek locally 本教程涵盖了依赖项。

使用Hugging Face Transformers的最小Python加载（如果您只有一个GPU，请引用7B）：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "deepseek-ai/deepseek-llm-7b-chat"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype=torch.bfloat16, device_map="auto"
)

inputs = tokenizer("Explain RMSNorm in one paragraph.", return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(out[0], skip_special_tokens=True))

如果你的真正目标是“我想从代码中调用DeepSeek”，不要运行DeepSeek LLM —— 而是调用托管V4 API。聊天请求会命中 POST /chat/completions, the OpenAI-compatible endpoint, against base_url="https://api.deepseek.com"。DeepSeek还公开了一个与Anthropic兼容的接口，位于相同的基URL。使用OpenAI SDK的Python代码（最小化）：

from openai import OpenAI

client = OpenAI(
    base_url="https://api.deepseek.com",
    api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[{"role": "user", "content": "Hello"}],
)
print(resp.choices[0].message.content)

注意，API的值为 stateless —— 客户必须在每次请求中重新发送完整的对话历史，这与维护会话历史的网页聊天或移动应用不同。有用的参数包括 temperature （代码为0.0，根据DeepSeek的指导，通用聊天为1.3）， top_p, max_tokens, and reasoning_effort （“高”模式，用于思考模式，返回 extra_body={"thinking": {"type": "enabled"}} ） reasoning_content alongside the final content全部 DeepSeek API documentation 涵盖了JSON模式、流式传输、函数调用和上下文缓存。

定价快照（仅针对API，不包括自托管DeepSeek LLM）

自托管DeepSeek LLM在API成本意义上是“免费”的 —— 你需要为GPU付费。对于适合托管API的工作负载，截至2026年4月的V4定价（请在上验证） DeepSeek API pricing page):

V4-Pro目前至2026-05-31享受75%的折扣（输入缓存未命中费用为0.435美元/兆字节，输出费用为0.87美元/兆字节）。

峰时折扣于2025-09-05结束，并且没有随着V4的推出而重新引入。DeepSeek可能会提供已授予的余额——一小笔可能过期的促销信用额——因此请检查计费控制台以获取当前优惠，而不是假设有免费信用额。

DeepSeek LLM今天的最佳用例

• 缩放定律研究。 7B和67B的检查点，以及DeepSeek发布的中间检查点，作为固定参考点是很有用的。
• 双语微调基线 在密集模型更受青睐的情况下——参见我们特定角色模式。 DeepSeek for research and DeepSeek for translation 指南。
• 隔离部署。 在这里，密集模型的操作简便性超过了基准质量。
• 教育与复制。 ——在单个GPU上运行7B Chat是一个没有MoE路由复杂性的LLaMA家族架构的干净课堂示例。

对于其他所有事情——编码辅助、代理、RAG、推理、长上下文工作——选择一个当前模型。 DeepSeek Coder V2 而V4系列在每项我们运行的编码和推理基准测试中都将优于DeepSeek LLM，并且在考虑推理时间后的总成本更低。

Comparable alternatives

如果您正在将DeepSeek LLM与其他东西进行比较，相关的比较不是针对当前的ChatGPT或Claude——它们是完全不同的代际。有用的框架：

• 在DeepSeek系列中：阅读。 DeepSeek V3 vs GPT-4o 以查看该家族在12个月内移动了多远。
• 与其他开放权重家族相比： DeepSeek vs Llama 直接覆盖了历史Llama-2/3对比。
• 对于更广泛的格局，请参阅。 DeepSeek alternatives hub.
• 浏览完整。 DeepSeek models hub 每个版本的状态。

Verdict

DeepSeek LLM是一个执行良好、文档齐全的密集型Transformer，它在2024年初的论文中确实做到了——击败了Llama-2 70B，并在开放式评估中优于GPT-3.5，背后有可复制的缩放定律工作。作为一个2026年的生产模型，它在每个公开基准测试中都被DeepSeek自己的MoE后继者超越。用于研究、教学或特定的双语微调实验时运行它；对于其他所有事情，请使用V4-Flash或V4-Pro。

DeepSeek AI Guide is an independent resource and is not affiliated with DeepSeek or its parent company. Model IDs, pricing and API behaviour change; check the official DeepSeek documentation and pricing page before committing to a production decision.