DeepSeek 网摘deepseek.wang
EN
📄 查看英文原文

模型 · 2026-04-25 · 机器翻译,仅供参考

DeepSeek VL2:MoE 视觉-语言家族实践指南

Models·April 25, 2026·By DS指南编辑
DeepSeek VL2 model card showing the headline specs of DeepSeek's December 2024 open-weight vision-language release: three Mixture-of-Experts checkpoints at 3, 16 and 27 billion total parameters, with a SigLIP-SO400M-384 dynamic-tiling vision encoder and a DeepSeekMoE plus Multi-head Latent Attention language backbone.

需要一款能够读取收据、解析图表并指向照片背后长颈鹿的视觉语言模型,而且无需按图像支付API费用?DeepSeek VL2是大多数团队在面临封闭多模态API的成本或延迟瓶颈后寻求的开放重量级解决方案。DeepSeek VL2系列于2024年12月发布,在Hugging Face上提供了三个混合专家(MoE)检查点,权重可以在低端单GPU上运行,在高端工作站上运行。本指南涵盖了模型内部的内容、三个变体的比较、值得信赖的基准数字、与2026年当前前沿多模态模型相比的不足之处,以及今天最实用的部署方式。

DeepSeek VL2究竟是什么

Diagram of DeepSeek VL2 Mixture-of-Experts routing image patches through two of eight active vision experts

DeepSeek VL2是DeepSeek-AI基于混合专家骨干构建的一系列开放重量级视觉语言模型。它在前一代产品DeepSeek-VL的基础上进行了显著改进,有两个关键升级:一个用于不同宽高比的动态分块视觉编码器,以及具有多头潜在注意力(MLA)的DeepSeekMoE语言模型,它将键值缓存压缩成潜在向量,以实现高效的推理和高吞吐量。结果是,这个模型家族可以处理文档OCR、图表和表格解析、多图像推理和视觉定位,同时每个标记只激活其总参数的一小部分。

如果您之前使用过 DeepSeek VL 发布的VL2与V4系列同源,具有稀疏骨干和更强大的OCR流程。它不属于V4系列——它早于V4系列——并且仍然是DeepSeek以这种格式发布的唯一多模态版本。对于仅文本的工作,你应该考虑 DeepSeek V4 则请替换为它。

Architecture and lineage

VL2堆栈故意采用模块化设计。它采用LLaVA风格的仅解码器结构,集成了视觉编码器、视觉语言适配器和MoE语言模型。视觉编码器使用单个SigLIP-SO400M-384模型,通过动态分块策略处理图像,将高分辨率图像划分为384×384的局部块,以处理不同的宽高比,同时控制计算量。然后,一个两层MLP压缩并将视觉标记投影到语言模型的嵌入空间。

在语言方面,所有三个变体都共享DeepSeekMoE设计,但在规模上有所不同。该模型系列采用三个MoE变体——总参数为3B、16B和27B——分别在语言骨干中激活0.57B、2.4B和4.1B参数。摘要中经常引用的“1.0B / 2.8B / 4.5B激活”数字包括视觉编码器和适配器。

变体分解

Variant Total params (MoE) 激活参数 基础大型语言模型 实用GPU基准
DeepSeek-VL2-Tiny 3.37B 1.0B DeepSeekMoE-3B 单GPU小于40 GB
DeepSeek-VL2-Small 16.1B 2.8B DeepSeekMoE-16B 40 GB(带分块预填充)
DeepSeek-VL2 27.5B 4.5B DeepSeekMoE-27B 80 GB+

变体规模和基础LLM映射已与DeepSeek的GitHub README和Hugging Face卡片进行确认。vl2-tiny总参数为3.37B-MoE,激活参数约为1B,在40GB以下的单GPU上运行;vl2-small总参数为16.1B,激活参数为2.4B;完整的vl2总参数为27.5B,语言堆栈中激活参数为4.2B。您可能需要80GB GPU内存来运行deepseek-vl2-small的演示脚本,甚至需要更大的内存来运行deepseek-vl2。

在将 DeepSeek 推入流水线之前,有一个值得注意的特例:为了保持标记可管理,动态分块仅在每回合有两个或更少的图像时应用。有三个或更多图像时,输入将填充至 384×384 而不进行分块。相应地规划批处理——高分辨率多文档提示应分回合进行。

值得信赖的基准测试

Developer using DeepSeek VL2 to summarise a scanned technical document and embedded chart

下面的数字来自 VL2 技术报告和 DeepSeek 发布的比较。请始终将其视为“DeepSeek-VL2-Standard(激活 4.5B)与竞争对手在其报告规模下的比较”——并记住这些数据是在 2024 年 12 月发布时,与当时的跨模态领域状况相对比。

Benchmark DeepSeek-VL2 参考点 为什么这很重要
OCRBench 834 GPT-4o: 736 紧密文本阅读
文档问答 93.3 % GPT-4o: 92.8 % 文档问答
图表问答 86.0 % — 图表推理
MMBench 83.1 Qwen2-VL-7B: 85.0 通用多模态
MMStar 61.3 GPT-4o: 63.9 Reasoning
文本VQA 84.2 Qwen2-VL-7B: 84.3 场景文本阅读

在 OCRBench 上,DeepSeek-VL2 得分 834,超过 GPT-4o 的 736,在 文档问答 上达到 93.3%。对于文档问答,它在 文档问答 上略胜 GPT-4o 的 92.8%,在 图表问答 上得分为 86.0%。一般多模态差距更真实地反映了其规模:它在 MMBench(83.1 比 85.0)和 MME(2,253 比 2,327)等任务上与 Qwen2-VL-7B(8.3B)和 InternVL2-8B(8.0B)等大型模型相当或超过,尽管激活参数数量小得多,其 MMStar 分数也接近 GPT-4o(61.3 比 63.9)。

DeepSeek VL2在哪些方面特别胜出

  • 文档OCR和密集文本 OCRBench 和 文档问答 上的数字是大多数团队选择它的原因。如果你的工作负载是发票、合同、实验室表格或扫描的 PDF 文件,这是默认的开源重量级选择。
  • 视觉定位 该架构支持视觉定位,模型通过类别、描述甚至抽象概念在图像中定位对象;特殊的 <|grounding|> 标记返回带有对象位置的定位响应。这对于具身 AI 和 UI 代理工作很有用。
  • 高分辨率灵活性 VL2 使用 384×384 分块加上一个全局缩略图,默认情况下最多 9 个本地块,在 InfoVQA 评估中极端宽高比时最多 18 个。这可以处理高 receipts 和宽电子表格,无需自定义预处理层。
  • 激活效率 稀疏MoE意味着一个27.5B总模型在推理成本上相当于一个~4-5B密集模型。
  • 允许商业使用。 代码仓库采用MIT许可;DeepSeek-VL2模型的使用受DeepSeek模型许可约束,该系列支持商业用途。

Where it falls short

直接,无旋转:VL2是2024年12月的模型。多模态领域已经发展。如果您将其与当前2026年的前沿多模态系统在以推理为重点的基准上进行比较,它会落后。具体来说:

  • No first-party API. DeepSeek的托管API公开了V4生成(deepseek-v4-pro and deepseek-v4-flash不是VL2。针对官方API的多模态调用不属于当前产品界面——VL2仅提供开放权重。
  • 没有视频。 InternVL3和最新的封闭式VLMs处理原生视频;VL2是单帧加多图像,没有时间建模。
  • 推理上限。 InternVL3在MMMU上得分为72.2,而GPT-4o的得分为70.7,在MathVista(79.0 vs 63.8)和视频的MLVU(79.5)上差距更大。VL2并未设计用于在多模态逐步推理上竞争。
  • 硬件限制。 DeepSeek-VL2-Small需要40 GB。Tiny是唯一能在消费级硬件上舒适运行的变体。
  • 多图像拼接限制。 两个图像动态拼接上限(上方)是批量文档工作流程的真正上限。

如何访问DeepSeek VL2

官方聊天完成API上没有DeepSeek VL2端点。要使用它,您需要自行托管——这是唯一途径。三种实际途径:

  1. Hugging Face 变换器。 拉取 deepseek-ai/deepseek-vl2-tiny, -small, or deepseek-vl2 并使用以下命令加载 trust_remote_code=True。适用于原型设计和小型批量作业。
  2. 优化后的服务栈。 对于生产环境,请考虑使用vllm、sglang或lmdeploy等优化部署方案。吞吐量和内存都得到了显著提升。
  3. 云GPU租赁。 小型变体可以在单个A100 40 GB上运行,并使用分块预填充;标准变体需要80 GB。请参阅我们的 DeepSeek hardware calculator 在预订之前请先调整大小。

最小Transformer加载(Python)

下面的代码片段加载了使用bfloat16的VL2-Tiny。DeepSeek建议在采样时使用温度T ≤ 0.7;较大的温度会降低生成质量。

import torch
from transformers import AutoModelForCausalLM
from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM

model_path = "deepseek-ai/deepseek-vl2-tiny"
processor = DeepseekVLV2Processor.from_pretrained(model_path)
tokenizer = processor.tokenizer
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)
model = model.to(torch.bfloat16).cuda().eval()
# pass `conversation` (with role + image refs) through processor, then model.generate()

VL2如何与V4相匹配(你可能也需要使用的文本API)

大多数部署VL2的团队还需要在相同的产品界面后面使用一个纯文本模型——用于总结提取的文档、回答后续问题或运行代理循环。现在这部分工作属于V4。

值得清晰说明,因为它会让人困惑: DeepSeek V4 是一个包含两个 MoE 层级的系列,两者均采用 MIT 许可开放。 deepseek-v4-pro is the frontier tier (1.6T total / 49B active); deepseek-v4-flash 是成本效益层(总容量284B / 活跃容量13B)。两者都提供1,000,000个token的默认上下文,输出最多可达384,000个token。思考模式是两种模型上的请求参数——设置 reasoning_effort="high" with extra_body={"thinking": {"type": "enabled"}} 用于生成思考型回复,或 reasoning_effort="max" 用于最大努力推理。当启用思考时,API 返回 reasoning_content alongside the final content 。

Chat requests hit POST /chat/completions, the OpenAI-compatible endpoint at https://api.deepseek.com。该API是无状态的——客户端必须在每个请求中重新发送对话历史,与保持会话历史的Web聊天不同。旧版ID deepseek-chat and deepseek-reasoner still route to deepseek-v4-flash 直到他们在2026年7月24日15:59 UTC退休;迁移只需一行代码 model= swap.

from openai import OpenAI

client = OpenAI(base_url="https://api.deepseek.com", api_key="...")
resp = client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[{"role": "user", "content": "Summarise this VL2 OCR output: ..."}],
)
print(resp.choices[0].message.content)

对于完整的开发者界面——温度预设、JSON模式、工具调用、流式传输、FIM、上下文缓存——在提交前先查看页面。 DeepSeek API documentation.

成本快照——V4-Flash用于VL2管道的文本部分

如果您将VL2 OCR的输出管道化到 deepseek-v4-flash 对于下游摘要,V4-Flash的费率适用:缓存输入每1M个token为0.0028美元,缓存未命中输入每1M个token为0.14美元,输出每1M个token为0.28美元。以一个包含2000个token的缓存系统提示、200个token的用户消息和300个token的响应的100万个调用为例:

  • Cached input: 2,000 × 1,000,000 = 2,000,000,000 tokens × $0.0028/M = $5.60
  • Uncached input: 200 × 1,000,000 = 200,000,000 tokens × $0.14/M = $28.00
  • Output: 300 × 1,000,000 = 300,000,000 tokens × $0.28/M = $84.00
  • Total: $117.60

2026年4月的价格;请在 DeepSeek API pricing V4-Pro的费率大约高出一个数量级,且很少因OCR清理而合理。

Best use cases

  • 文档自动化和后台OCR ——发票、索赔、KYC表格。参见 DeepSeek for business.
  • 规模化数据提取 ——表格、图表、扫描报告。与 DeepSeek for data analysis.
  • 开发者工具 ——UI截图理解、GUI代理、网络自动化中的视觉定位。
  • 教育和可访问性 — 描述图像,解析手写或打印材料。

Comparable alternatives

如果VL2的推理上限或硬件下限存在问题,2026年诚实的替代方案有InternVL3(更好的推理和视频)、Qwen2-VL系列(更广泛的生态系统支持)以及来自OpenAI、Anthropic和Google的封闭多模态端点。对于与VL2配对的仅文本DeepSeek工作,请参阅 DeepSeek vs Claude and DeepSeek vs ChatGPT. 开放式重量选项的完整列表位于 open-source AI like DeepSeek 汇总中,您可以浏览更广泛的 DeepSeek models hub 兄弟产品,如仅文本的V4级别。

Verdict

DeepSeek VL2 family sizes

当您需要控制、可预测的成本和商业用途许可时,DeepSeek VL2仍然是OCR密集型和文档理解工作负载的最强开放重量级选择。它不是用于视频、深度多模态推理或零操作部署的模型——它是一个具有2024年12月上限的自托管模型。对于2026年所有其他多模态文档形状的工作,它赢得了其在生产中的位置。

DeepSeek AI Guide is an independent resource and is not affiliated with DeepSeek or its parent company. Model IDs, pricing and API behaviour change; check the official DeepSeek documentation and pricing page before committing to a production decision.

DeepSeek VL2常见问题解答

DeepSeek VL2是否可以免费商用?

是的,但有条件。代码遵循MIT许可协议,模型权重在DeepSeek模型许可下发布,允许商业使用。这与V4代文本模型不同,其权重直接遵循MIT协议发布。如果许可决定性,请阅读Hugging Face上的模型卡片,并咨询您的法律团队。更广泛的许可入门信息请参阅 is DeepSeek open source.

DeepSeek VL2与GPT-4o在文档上的比较如何?

在OCR偏向的基准测试中,DeepSeek VL2获胜。在OCR Bench上,它以834的成绩超过了GPT-4o的736,在DeepSeek报告的文档问答上以93.3%的成绩超过了GPT-4o的92.8%。在一般的多模态推理(MMStar,MMMU)方面,GPT-4o仍然略胜一筹。选择VL2进行密集文本和文档工作流程,GPT-4o或当前前沿API进行自由形式推理。更多信息: DeepSeek V3 vs GPT-4o.

运行DeepSeek VL2需要什么硬件?

Tiny变体(激活1B)在单个GPU上运行,低于40GB。Small变体(激活2.4B)需要40GB,启用分块预填充,或80GB不启用。完整标准变体需要80GB或更多。对于自托管部署,vllm、sglang或lmdeploy是生产级服务堆栈。请参阅 install DeepSeek locally 提供设置步骤。

我能否通过官方DeepSeek API调用DeepSeek VL2?

No. 官方DeepSeek API服务于V4代—— deepseek-v4-pro and deepseek-v4-flash — at POST /chat/completions,以及于2026-07-24退役的旧版ID。VL2仅提供开放权重,必须自托管,或通过托管它的第三方推理提供商访问。从 DeepSeek API documentation 用于文本模型。

DeepSeek VL2中的视觉定位是什么?

开始使用。视觉定位是根据文本描述、类别或抽象概念在图像中定位对象的能力。VL2使用特殊的<|grounding|>标记来返回包含对象坐标的响应,这使得它在UI代理、机器人仿真和辅助工具中非常有用。这一能力尤其值得注意,因为它适用于自然语言描述,而不仅仅是预定义的对象类别。浏览更多应用在 DeepSeek for developers.

Sources & Methodology

Last source check: April 30, 2026

Primary sources

Technical references

  • Technical reportDeepSeek-V3 technical report (arXiv:2412.19437)V3 architecture and training methodologyLast checked: April 30, 2026
  • Technical reportDeepSeek-VL2 技术报告OCRBench 834, 文档问答 93.3, 图表问答 86.0 figuresLast checked: April 30, 2026

Methodology

Architecture, parameter counts, context window, and license were checked against the official DeepSeek model card and the corresponding technical report. Benchmark figures are reproduced as they appear in vendor materials and are treated as directional indicators rather than guarantees of real-world performance.

Data confidence

官方架构和许可证为高;供应商报告的基准数据为中等;预测的未来能力为低。

Editorial note

厂商报告的数据并不总是独立复制的。前沿的基准测试变化迅速;预计每当DeepSeek、OpenAI、Anthropic或Google发布新模型时,本文可能需要更新。