大模型网摘deepseek.wang

DeepSeek 基準測試 — 官方成績與交叉比較

兩組數據:DeepSeek 官方發布成績;第三方(Z.ai 官方部落格 2026-08-14)交叉比較。皆可從 MIT 開放權重重現。

一、DeepSeek 官方成績(截至 2026 年 10 月)

評測模型成績備註
DeepSWE v1.1(Pass@1)V4.1-Flash-101777.0%平均單一任務約 $0.20;低階 72%+ @ $0.10;前代 V4.1-Flash 為 74.2% @ $0.50
SWE-Bench VerifiedV4-Pro80.6%真實儲存庫層級問題修復
LiveCodeBenchV4-Pro93.5%即時競賽級程式設計
Terminal-Bench 2.0V4-Pro67.9%終端智慧代理
CodeforcesV4-Pro3,206競賽程式設計 Rating
Putnam-200(Pass@8)V4-Flash81.0%數學競賽
SWE-Bench VerifiedV4-Flash79.0%與旗艦差 1.6pt,價格約 1/4

來源:DeepSeek 官方發布頁面與 API 文件(V4 預覽 2026-04-24、V4.1-Flash 2026-09-10、1017 2026-10-17)。

二、第三方交叉對比(Z.ai 官方部落格,2026-08-14)

GLM-5.3 發布時官方公布的對照成績;DeepSeek-V4-Pro 欄位以高亮標示。同期 GPT-5.6 Sol 為對照中最強,V4-Pro 在開源陣營保持第一梯隊。

BenchmarkGLM-5.3Kimi K3DeepSeek-V4-ProOpus 4.8GPT-5.6 Sol
Terminal-Bench 2.188.288.387.985.088.8
DeepSWE v1.166.967.562.758.072.7
NL2Repo58.058.061.169.7—
CyberGym84.580.083.378.183.6
Toolathlon Verified73.076.574.176.274.9
AutomationBench v1.0.648.246.743.241.045.8
ALE-CLI28.527.625.725.728.6
HLE w/ Tools62.559.860.057.964.5
GDPval-AA v217691682159015881730

資料來源:Z.ai 官方部落格(2026-08-14);未參與評測的項目以 — 表示。價格對照:V4-Pro 離峰 $0.66/$1.98、V4-Flash $0.14/$0.28 每百萬 tokens。

三、1M 上下文經濟性

27% FLOPs

1M token 負載下總算力開銷約為 V3.2 的 27%——混合注意力(CSA+HCA)的直接收益。

10% KV

KV 快取佔用約為 V3.2 的 10%,長上下文並行服務的顯示記憶體成本大幅下降。

$0.003 快取命中

V4.1-Flash 系列快取命中輸入低至 $0.003/百萬 tokens,反覆檢索同一語料的管線成本趨近於零。