Deux séries de données : les scores officiellement publiés par DeepSeek ; la comparaison croisée d'une tierce partie (blog officiel de Z.ai, 2026-08-14). Les deux sont reproductibles à partir des poids ouverts sous licence MIT.
| Benchmark | Modèles | Score | Remarques |
|---|---|---|---|
| DeepSWE v1.1 (Pass@1) | V4.1-Flash-1017 | 77.0% | En moyenne environ $0.20 par tâche ; niveau bas 72%+ @ $0.10 ; la génération précédente V4.1-Flash était à 74.2% @ $0.50 |
| SWE-Bench Verified | V4-Pro | 80.6% | Correction de problèmes à l'échelle de dépôts réels |
| LiveCodeBench | V4-Pro | 93.5% | Programmation de niveau compétition en temps réel |
| Terminal-Bench 2.0 | V4-Pro | 67.9% | Agent terminal |
| Codeforces | V4-Pro | 3,206 | Rating de programmation compétitive |
| Putnam-200 (Pass@8) | V4-Flash | 81.0% | Compétitions mathématiques |
| SWE-Bench Verified | V4-Flash | 79.0% | Retard de 1.6pt sur le fleuron, pour environ 1/4 du prix |
Source : pages de publication officielles de DeepSeek et documentation API (aperçu V4 du 2026-04-24, V4.1-Flash du 2026-09-10, 1017 du 2026-10-17).
Scores comparatifs annoncés officiellement lors de la sortie de GLM-5.3 ; colonne DeepSeek-V4-Pro surlignée. À la même période, GPT-5.6 Sol est le plus performant des points de comparaison, V4-Pro conservant sa place dans le premier groupe du camp open source.
| Benchmark | GLM-5.3 | Kimi K3 | DeepSeek-V4-Pro | Opus 4.8 | GPT-5.6 Sol |
|---|---|---|---|---|---|
| Terminal-Bench 2.1 | 88.2 | 88.3 | 87.9 | 85.0 | 88.8 |
| DeepSWE v1.1 | 66.9 | 67.5 | 62.7 | 58.0 | 72.7 |
| NL2Repo | 58.0 | 58.0 | 61.1 | 69.7 | — |
| CyberGym | 84.5 | 80.0 | 83.3 | 78.1 | 83.6 |
| Toolathlon Verified | 73.0 | 76.5 | 74.1 | 76.2 | 74.9 |
| AutomationBench v1.0.6 | 48.2 | 46.7 | 43.2 | 41.0 | 45.8 |
| ALE-CLI | 28.5 | 27.6 | 25.7 | 25.7 | 28.6 |
| HLE avec outils | 62.5 | 59.8 | 60.0 | 57.9 | 64.5 |
| GDPval-AA v2 | 1769 | 1682 | 1590 | 1588 | 1730 |
Source des données : blog officiel de Z.ai (2026-08-14) ; les éléments non évalués sont indiqués par —. Comparaison des prix : V4-Pro heures creuses $0.66/$1.98, V4-Flash $0.14/$0.28 par million de tokens.
Avec une charge de 1M tokens, la consommation totale de calcul représente environ 27% de celle de V3.2 — un bénéfice direct de l'attention hybride (CSA+HCA).
L'occupation du cache KV est d'environ 10% de celle de V3.2, réduisant fortement le coût en mémoire GPU du service concurrent en contexte long.
Dans la gamme V4.1-Flash, les entrées servies via cache hit sont facturées à seulement $0.003/million de tokens : le coût des pipelines qui reconsultent à répétition le même corpus tend vers zéro.
大模型网摘