大模型网摘deepseek.wang

DeepSeek ベンチマーク — 公式スコアとクロス比較

2種類のデータ:DeepSeek 公式発表スコア;サードパーティ(Z.ai 公式ブログ 2026-08-14)によるクロス比較。いずれも MIT オープンウェイトから再現可能。

1. DeepSeek 公式スコア(2026年10月時点)

評価モデル成績備考
DeepSWE v1.1(Pass@1)V4.1-Flash-101777.0%タスクあたり平均約 $0.20;低ティア 72%+ @ $0.10;前世代 V4.1-Flash は 74.2% @ $0.50
SWE-Bench VerifiedV4-Pro80.6%実リポジトリレベルの問題修正
LiveCodeBenchV4-Pro93.5%リアルタイム競技プログラミング
Terminal-Bench 2.0V4-Pro67.9%ターミナルエージェント
CodeforcesV4-Pro3,206競技プログラミング Rating
Putnam-200(Pass@8)V4-Flash81.0%数学コンテスト
SWE-Bench VerifiedV4-Flash79.0%フラッグシップとの差は 1.6pt、価格は約 1/4

出典:DeepSeek 公式リリースページおよび API ドキュメント(V4 プレビュー 2026-04-24、V4.1-Flash 2026-09-10、1017 2026-10-17)。

二、サードパーティによるクロス比較(Z.ai 公式ブログ、2026-08-14)

GLM-5.3 のリリース時に公式が公開した比較スコア。DeepSeek-V4-Pro の列はハイライト表示。同時期の GPT-5.6 Sol が比較対象の中で最強であり、V4-Pro はオープンソース陣営で第一グループの地位を維持している。

BenchmarkGLM-5.3Kimi K3DeepSeek-V4-ProOpus 4.8GPT-5.6 Sol
Terminal-Bench 2.188.288.387.985.088.8
DeepSWE v1.166.967.562.758.072.7
NL2Repo58.058.061.169.7—
CyberGym84.580.083.378.183.6
Toolathlon Verified73.076.574.176.274.9
AutomationBench v1.0.648.246.743.241.045.8
ALE-CLI28.527.625.725.728.6
HLE w/ Tools62.559.860.057.964.5
GDPval-AA v217691682159015881730

データ出典:Z.ai 公式ブログ(2026-08-14)。未評価の項目は — で表示。価格比較:V4-Pro オフピーク $0.66/$1.98、V4-Flash $0.14/$0.28(100万 tokens あたり)。

三、1M コンテキストの経済性

27% FLOPs

1M token 負荷時の総計算コストは V3.2 の約 27%——ハイブリッドアテンション(CSA+HCA)による直接的な効果です。

10% KV

KV キャッシュの占有量は V3.2 の約 10% に抑えられ、長いコンテキストを同時に処理する際の VRAM コストが大幅に削減されます。

$0.003 キャッシュヒット

V4.1-Flash 系のキャッシュヒット入力は $0.003/百万 tokens まで低く、同一コーパスを繰り返し検索するパイプラインのコストはほぼゼロに近づきます。