大模型网摘deepseek.wang
EN

评测 · 2026-10-22

V4.1-Flash-1017 首周观察:官方基准怎么读、五个待验证问题

DeepSeek-V4.1-Flash-1017 于 10 月 17 日发布,至本文发稿已满一周。官方公布的基准数字很亮眼,但独立第三方评测截至发稿尚未出炉。这篇观察回答两个问题:官方分数到底在说什么,以及哪些问题要等独立验证。

数字本身

在官方采用的 DeepSWE v1.1 基准(mini-swe-v2 测试框架)中,新模型取得 Pass@1 77.0%,平均单任务成本约 $0.20;低用量档约 $0.10 仍可达 72%。前代 V4.1-Flash 为 74.2%、成本约 $0.50。官方成本图里,GPT-6 Astra、Gemini 3.8 Flash、Claude Opus 5 等对手落在 $2–10 以上区间。发布要点全文见官方要点速览。

怎么读这三个数

其一,同框架内的相对提升比跨框架对比可信。77% 对 74.2% 是同一测试框架内的前后代对比,参考价值高;与对手的横向对比则要留意各家是否同口径。其二,"$0.2 单任务成本"是含重试的均值口径,与单次 API 调用价不是一回事,直接拿它除以调用量会算错账。其三,"更强、更快、输出更短"是官方的帕累托式表述——输出变短本身会改变 token 结构,对缓存命中率和实际账单都有影响,属于被低估的变量。

五个待验证问题

① mini-swe-v2 得分与真实仓库任务的差距有多大;② 长程智能体任务的稳定性如何——10 月 15 日的近五小时服务中断后,社区对稳定性的敏感度不低;③ 原生视觉输入在真实文档(扫描件、图表)上的表现;④ RLSF 训练是否带来可感知的风格偏置,例如过度追求简短而丢上下文;⑤ 第三方复现何时出现——官方分数是必要条件而非充分条件。RLSF 训练路线的机制分析见技术解读。

结论

对观望者,建议的动作不是等一个总榜排名,而是拿自家工作负载跑小样本 A/B:同一批真实任务,新旧模型各跑一轮,看完成率、重试次数与折算成本。前代长期表现可参考V4.1-Flash 五周复盘;与 GPT-Sol、Claude Opus 5、GLM-5.3、Kimi K3 的横向成本分析见智能编码成本对比。