Два набора данных: официально опубликованные результаты DeepSeek; перекрёстное сравнение от третьей стороны (официальный блог Z.ai, 2026-08-14). Оба можно воспроизвести из открытых весов под лицензией MIT.
| Бенчмарк | Модели | Результаты | Примечания |
|---|---|---|---|
| DeepSWE v1.1 (Pass@1) | V4.1-Flash-1017 | 77.0% | В среднем около $0.20 за задачу; низкий уровень: 72%+ @ $0.10; предыдущее поколение V4.1-Flash — 74.2% @ $0.50 |
| SWE-Bench Verified | V4-Pro | 80.6% | Исправление реальных проблем на уровне репозитория |
| LiveCodeBench | V4-Pro | 93.5% | Программирование соревновательного уровня в реальном времени |
| Terminal-Bench 2.0 | V4-Pro | 67.9% | Терминальный агент |
| Codeforces | V4-Pro | 3,206 | Рейтинг спортивного программирования |
| Putnam-200 (Pass@8) | V4-Flash | 81.0% | Математические соревнования |
| SWE-Bench Verified | V4-Flash | 79.0% | Разрыв с флагманом — 1.6pt, цена примерно 1/4 |
Источник: официальная страница релиза DeepSeek и документация API (превью V4 — 2026-04-24, V4.1-Flash — 2026-09-10, 1017 — 2026-10-17).
Официально опубликованные при выходе GLM-5.3 результаты сравнения; столбец DeepSeek-V4-Pro выделен. В тот же период GPT-5.6 Sol был сильнейшим среди участников сравнения, а V4-Pro сохранял позиции в первом эшелоне лагеря открытых моделей.
| Бенчмарк | GLM-5.3 | Kimi K3 | DeepSeek-V4-Pro | Opus 4.8 | GPT-5.6 Sol |
|---|---|---|---|---|---|
| Terminal-Bench 2.1 | 88.2 | 88.3 | 87.9 | 85.0 | 88.8 |
| DeepSWE v1.1 | 66.9 | 67.5 | 62.7 | 58.0 | 72.7 |
| NL2Repo | 58.0 | 58.0 | 61.1 | 69.7 | — |
| CyberGym | 84.5 | 80.0 | 83.3 | 78.1 | 83.6 |
| Toolathlon Verified | 73.0 | 76.5 | 74.1 | 76.2 | 74.9 |
| AutomationBench v1.0.6 | 48.2 | 46.7 | 43.2 | 41.0 | 45.8 |
| ALE-CLI | 28.5 | 27.6 | 25.7 | 25.7 | 28.6 |
| HLE w/ Tools | 62.5 | 59.8 | 60.0 | 57.9 | 64.5 |
| GDPval-AA v2 | 1769 | 1682 | 1590 | 1588 | 1730 |
Источник данных: официальный блог Z.ai (2026-08-14); пункты, не участвовавшие в оценке, обозначены знаком —. Сравнение цен: V4-Pro в непиковое время $0.66/$1.98, V4-Flash $0.14/$0.28 за 1M tokens.
Под нагрузкой 1M token суммарный расход вычислительной мощности составляет около 27% от V3.2 — прямой выигрыш от гибридного внимания (CSA+HCA).
KV-кэш занимает около 10% от объёма V3.2, благодаря чему затраты видеопамяти при параллельном обслуживании длинного контекста значительно снижаются.
У серии V4.1-Flash входные данные с попаданием в кэш стоят всего $0.003/миллион tokens, поэтому стоимость конвейеров, многократно извлекающих один и тот же корпус, стремится к нулю.
大模型网摘