V4.1-Flash 技术报告解读:CED 架构与 CSA2、FP4 缓存,把 KV 压到每 token 890 字节
V4.1-Flash-1017 上线两周后,DeepSeek 放出了对应的技术报告(arXiv:2609.19969)。这份报告回答了一个问题:长 horizon 智能体把模型工作负载越推越「重输入」,prefill 算力、HBM/SSD 容量与带宽成了部署成本的瓶颈,怎么把这三项一起压下来。本站的 模型阵容总览可以配合阅读。
CED:解码与预填充分开算账
报告给出的核心是 Causal Encoder-Decoder(CED)架构。V4.1-Flash 是一个 552B 骨干参数的 MoE 模型,支持最高 100 万 token 上下文;解码阶段每 token 激活 16B 参数,而预填充阶段只需 8B。智能体场景的负载特征是输入远大于输出——塞进几十万 token 的仓库与历史,生成几百 token 的动作——把预填充的激活砍半,正好打在成本大头上。模型在 45T token 的多模态语料上完成预训练。
KV 缓存:三件套压到 890 字节/token
报告的标题级数字是 KV 缓存占用:V4.1-Flash 把 Compressed Sparse Attention 2(CSA2)的跨层 KV 复用与 FP4 KV 缓存组合起来,常驻 HBM 的全局 KV 缓存降到每 token 890 字节,约为 V4-Flash 的四分之一;再经一项名为 SWA Bounded Replay 的部署优化,落在 SSD 或主机内存的持久化 KV 约为上代的八分之一。值得注意的是报告明确说「尽管缓存占用小得多,模型表现反而好于基线」——压缩没有以能力换成本。对部署方的含义直接:同样一张卡能塞下更长的会话、更高的并发,SSD 带宽压力也更小。
与定价、竞品连起来看
这份报告也解释了 Flash 档的定价底气:缓存命中 $0.003/百万 tokens、峰谷输入 $0.15-$0.30、并发 2500 的报价(细节见 接入速查),背后是 890 字节/token 的缓存与减半的 prefill 激活。放到 10 月的开放权重格局里,它与 3T 级的 Kimi K3.1 Pro 形成两条路线的对照——吨位对效率,本站在 V4.1-Flash-1017 对比 K3.1 Pro里做过选型分析。基准读数的首周观察则见 首周基准一文。报告还提到对 V4 架构做了精简并引入若干高效扩展,后续 V4 系列的演进方向值得留意。
大模型网摘