Dois conjuntos de dados: resultados publicados oficialmente pela DeepSeek; comparação cruzada de terceiros (blog oficial da Z.ai, 2026-08-14). Ambos são reproduzíveis com os pesos abertos MIT.
| Avaliação | Modelos | Resultados | Observações |
|---|---|---|---|
| DeepSWE v1.1 (Pass@1) | V4.1-Flash-1017 | 77.0% | Cerca de $0.20 por tarefa em média; 72%+ @ $0.10 no escalão baixo; a geração anterior, V4.1-Flash, era de 74.2% @ $0.50 |
| SWE-Bench Verified | V4-Pro | 80.6% | Correção de problemas reais ao nível de repositório |
| LiveCodeBench | V4-Pro | 93.5% | Programação de nível competitivo em tempo real |
| Terminal-Bench 2.0 | V4-Pro | 67.9% | Agente de terminal |
| Codeforces | V4-Pro | 3,206 | Rating de programação competitiva |
| Putnam-200 (Pass@8) | V4-Flash | 81.0% | Competições de matemática |
| SWE-Bench Verified | V4-Flash | 79.0% | A 1.6pt do modelo topo de gama, por cerca de 1/4 do preço |
Fonte: página oficial de lançamentos da DeepSeek e documentação da API (pré-visualização da V4 em 2026-04-24, V4.1-Flash em 2026-09-10, 1017 em 2026-10-17).
Resultados comparativos divulgados oficialmente aquando do lançamento do GLM-5.3; a coluna do DeepSeek-V4-Pro está destacada. Na mesma altura, o GPT-5.6 Sol era o mais forte do conjunto de comparação, mantendo-se o V4-Pro no primeiro escalão do campo open source.
| Benchmark | GLM-5.3 | Kimi K3 | DeepSeek-V4-Pro | Opus 4.8 | GPT-5.6 Sol |
|---|---|---|---|---|---|
| Terminal-Bench 2.1 | 88.2 | 88.3 | 87.9 | 85.0 | 88.8 |
| DeepSWE v1.1 | 66.9 | 67.5 | 62.7 | 58.0 | 72.7 |
| NL2Repo | 58.0 | 58.0 | 61.1 | 69.7 | — |
| CyberGym | 84.5 | 80.0 | 83.3 | 78.1 | 83.6 |
| Toolathlon Verified | 73.0 | 76.5 | 74.1 | 76.2 | 74.9 |
| AutomationBench v1.0.6 | 48.2 | 46.7 | 43.2 | 41.0 | 45.8 |
| ALE-CLI | 28.5 | 27.6 | 25.7 | 25.7 | 28.6 |
| HLE com ferramentas | 62.5 | 59.8 | 60.0 | 57.9 | 64.5 |
| GDPval-AA v2 | 1769 | 1682 | 1590 | 1588 | 1730 |
Fonte dos dados: blog oficial da Z.ai (2026-08-14); os itens não avaliados são indicados com —. Comparação de preços: V4-Pro fora de ponta $0.66/$1.98, V4-Flash $0.14/$0.28 por milhão de tokens.
Sob cargas de 1M tokens, o custo computacional total é de cerca de 27% do V3.2 — o benefício direto da atenção híbrida (CSA+HCA).
A cache KV ocupa cerca de 10% da do V3.2, reduzindo drasticamente o custo de memória gráfica dos serviços concorrentes com contextos longos.
Na gama V4.1-Flash, as entradas com acerto de cache baixam até $0.003/milhão de tokens, pelo que o custo dos pipelines que recuperam repetidamente o mesmo corpus tende para zero.
大模型网摘