Zwei Datensätze: offiziell von DeepSeek veröffentlichte Ergebnisse; Gegenüberstellung durch Dritte (offizieller Z.ai-Blog, 2026-08-14). Beide sind mit den unter MIT offen verfügbaren Gewichten reproduzierbar.
| Evaluierung | Modelle | Ergebnisse | Anmerkungen |
|---|---|---|---|
| DeepSWE v1.1 (Pass@1) | V4.1-Flash-1017 | 77.0% | Durchschnittlich ca. $0.20 pro Aufgabe; untere Stufe 72%+ @ $0.10; der Vorgänger V4.1-Flash erreichte 74.2% @ $0.50 |
| SWE-Bench Verified | V4-Pro | 80.6% | Behebung echter Probleme auf Repository-Ebene |
| LiveCodeBench | V4-Pro | 93.5% | Echtzeit-Programmierung auf Wettbewerbsniveau |
| Terminal-Bench 2.0 | V4-Pro | 67.9% | Terminal-Agent |
| Codeforces | V4-Pro | 3,206 | Wettbewerbsprogrammierungs-Rating |
| Putnam-200 (Pass@8) | V4-Flash | 81.0% | Mathematikwettbewerbe |
| SWE-Bench Verified | V4-Flash | 79.0% | 1.6pt Abstand zum Flaggschiff, Preis etwa 1/4 |
Quelle: offizielle DeepSeek-Veröffentlichungsseite und API-Dokumentation (V4 Preview 2026-04-24, V4.1-Flash 2026-09-10, 1017 2026-10-17).
Vergleichswerte, die zum Release von GLM-5.3 offiziell veröffentlicht wurden; die Spalte DeepSeek-V4-Pro ist hervorgehoben. Im selben Zeitraum war GPT-5.6 Sol der Stärkste im Vergleich; V4-Pro bleibt im Open-Source-Lager in der Spitzengruppe.
| Benchmark | GLM-5.3 | Kimi K3 | DeepSeek-V4-Pro | Opus 4.8 | GPT-5.6 Sol |
|---|---|---|---|---|---|
| Terminal-Bench 2.1 | 88.2 | 88.3 | 87.9 | 85.0 | 88.8 |
| DeepSWE v1.1 | 66.9 | 67.5 | 62.7 | 58.0 | 72.7 |
| NL2Repo | 58.0 | 58.0 | 61.1 | 69.7 | — |
| CyberGym | 84.5 | 80.0 | 83.3 | 78.1 | 83.6 |
| Toolathlon Verified | 73.0 | 76.5 | 74.1 | 76.2 | 74.9 |
| AutomationBench v1.0.6 | 48.2 | 46.7 | 43.2 | 41.0 | 45.8 |
| ALE-CLI | 28.5 | 27.6 | 25.7 | 25.7 | 28.6 |
| HLE mit Tools | 62.5 | 59.8 | 60.0 | 57.9 | 64.5 |
| GDPval-AA v2 | 1769 | 1682 | 1590 | 1588 | 1730 |
Datenquelle: Offizieller Z.ai-Blog (2026-08-14); nicht bewertete Punkte sind mit — gekennzeichnet. Preisvergleich: V4-Pro außerhalb der Spitzenzeiten $0.66/$1.98, V4-Flash $0.14/$0.28 pro Million tokens.
Bei einer Last von 1M token beträgt der Gesamtaufwand an Rechenleistung etwa 27% von V3.2 – der direkte Nutzen der hybriden Aufmerksamkeit (CSA+HCA).
Der KV-Cache benötigt nur etwa 10% von V3.2 – die Speicherkosten (VRAM) für den parallelen Betrieb mit langen Kontexten sinken drastisch.
Bei V4.1-Flash kosten Eingaben mit Cache-Treffern ab $0.003 pro Million tokens – die Kosten von Pipelines, die denselben Korpus wiederholt abrufen, nähern sich null an.
大模型网摘