DeepSeek 谱系工程考古：从 dense 到混合思考的版本演进

DeepSeek 这条线最容易被误读的地方，是把 V2、V3、R1、V4 当成相互独立的“热点论文”。更接近事实的结构是：DeepSeek LLM [1] 先给出 dense 起点，包括 100K BBPE、2T token mixture、以及 SFT+DPO 的早期对齐配方；DeepSeek-Coder [4] 同期将 repo-level 数据组织、依赖图拼接与 FIM 训练工程化，说明数据轴从一开始就不是简单加量。随后 DeepSeekMoE [2] 引入 fine-grained routed expert 与 shared expert，把 MoE 问题从“要不要稀疏”改写为“专家切多细、公共通道留多少”。V2 [5] 再把这套 MoE 与 MLA 绑定，形成 236B 总参、21B 激活、128K context 的主干；其意义不只是省 KV，而是把长上下文推理、推理成本和 MoE 激活成本放到同一张账上。V3 [7] 没有推翻 V2，而是补齐训练栈：671B/37B、14.8T token、FP8 per-block、DualPipe、aux-loss-free balancing、MTP、129280 byte-level BPE。R1 [8] 把变化重心从 pretrain 架构转向 post-training，沿着 DeepSeekMath [3] 的 GRPO 路线，把 reasoning 作为 RL 目标优化。V3.1 [9] 把 thinking / non-thinking 合并到同一产品面。V4 [10] 再把主轴拉回 architecture + serving：它保留 DeepSeekMoE 与 MTP，但用 CSA/HCA + sliding-window hybrid attention、mHC、Muon 和异构 KV cache 去支撑 1M context。更务实的定位是：这不是几篇彼此无关的论文，而是一条从 dense 基线、到稀疏主干、到训练栈、到后训练分叉、再到 million-token serving 的连续工程谱系。

如果只看模型参数量，DeepSeek 的版本演进像常规扩张；真正有信息量的是配置沿八条子轴的迁移。tokenizer 从 LLM/V2 的 100K 级 BBPE，到 Coder-V2 的 128K，再到 V3 的 129280 byte-level BPE，方向是用更细的 byte-level 表达统一多语言与代码的 token 粒度 [1][6][7]。数据体量从 2T、4.8T、8.1T 到 14.8T，变化不止 token 增长，还包括代码、数学、通用文本 mixture 的重排 [1][5][7]。attention 从 MHA 到 MLA，表明 DeepSeek 优先压缩 KV cache，再考虑更激进的 sequence 稀疏；这不同于 Mistral 7B [32] 的 GQA + sliding window 路线。MoE 拓扑从无稀疏，到 64 routed + 2 shared，再到 160 routed × 2 shared，最后到 256 routed + 1 shared [2][5][7]。关键点是 shared expert 数量没有单调增加，说明 shared 不是越多越稳。负载均衡从 V2 的 aux-loss + device-level 约束，转为 V3 以 bias 更新为主、sequence-level loss 兜底 [5][7]。pipeline 也从常规 1F1B 转向 DualPipe，目标不是理论最优，而是尽量重叠通信和计算 [7]。合在一起看，模式很清楚：DeepSeek 更偏好先把系统瓶颈写成结构性默认值，而不是后期再用 patch 修补。

如果只把 DeepSeek 看成架构演化线，tokenizer 与数据组织最容易被略过。但这两条子轴的连续改动与 MLA、MoE 同等关键，只是没有一篇“代表作”单独承载信号。tokenizer 的链条很清楚：DeepSeek-LLM [1] 以 GPT-2 风格的 100K BBPE 起步；DeepSeek-Coder [4] 反而采用更小的 32K 词表，因为代码 token 分布不同于自然语言——重复关键字 / 标识符更多，过大词表会稀释 embedding。V2 [5] 将 vocab 微调到 102.4K，主要为多语言扩展腾位置。Coder-V2 [6] 跳到 128K，纳入更多编程语言关键字、Unicode CJK 块和数学符号。V3 [7] 最后落到 129280，并明确写成 byte-level BPE：所有字符先由 byte 兜底覆盖，再叠加 BPE merge；因此任何 OOV token 都能无损 fallback 到 byte 序列，不触发 unk。总体方向是统一：把多语言文本、代码语法和数学符号的 token 粒度收敛到更细的 byte-level 表达，而不是继续塞入更多英文词。

数据组织的影响更大。DeepSeek-Coder [4] 引入两件后续谱系持续受益的做法：第一是 repo-level 拼接——按依赖图将同 repo 文件依 import / include 排序并拼成长文档，让模型在真实跨文件依赖中学习；第二是 FIM 训练——把样本切成 (suffix, prefix, middle)，再重排为 ‘<suffix><prefix><PRE><middle><EOS>’，迫使模型学习 fill-in-the-middle，而不只是左到右续写。到 Coder-V2 [6]，这演变为更成熟的混合 corpus 策略：60% code、10% math、30% general，并叠加从 V2 base 的 continual pretrain。V3 [7] 继续上调代码与数学比例，同时显著降低 FIM rate，并加强文档级 dedup、toxicity / quality 过滤。业内反复对照的经验是：当模型规模足够大时，更多 FIM 不再提升自由生成，反而可能压缩通用语言能力；这与 Bavarian et al. [44] 对 FIM rate 的建议方向一致。整个谱系中，数据规模从 2T → 14.8T 并非线性堆量；每次跃升都伴随 mixture 重排（图 2、表 §3）。这也正是 RefinedWeb [12]、Dolma [11]、DsDm [13] 三条平行证据反复挑战的问题：mixture 重组到底贡献多少，透明大语料 + 模型感知选择又能补回多少。

V2 [5] 之后，很多讨论把 MLA 称为“GQA 的下一代”。这只覆盖部分运行区间。MLA 的优势在于把 KV cache 压缩到更小的 latent 表示，因此长上下文 decode 的收益最明显；但收益并非免费，额外投影与重构会增加 attention 侧计算，所以在 batch 很大、上下文较短、prefill 主导成本的区间，优势会收窄，甚至贴近 GQA 的成本曲线 [5][32]。因此，MLA 更适合作为长上下文、内存受限推理的默认选择，而不是所有部署场景的无脑替换。MoE 侧同理。DeepSeekMoE [2] 的关键洞察不是专家越多越好，而是将专家切细后保留少量 shared expert 作为公共通道，从而同时维持 specialization 与稳定性。V2 [5] 和 V3 [7] 延续了这个方向，但 shared expert 从 2 个减到 1 个，说明系统在更大规模下没有继续提高共享比例。对照来看，Mixtral [16] 代表较粗粒度、无 shared expert 的传统路线；Lu et al. [14] 则指出 many-expert 设计中的专家贡献高度不均，部分专家可以被裁剪或跳过。更稳妥的结论是：fine-grained MoE + 1–2 个 shared expert 是当前公开证据支持的安全区；继续加 shared，会向 dense 退化；继续加 routed expert，则必须同步监控专家利用率，否则参数账面增长会快于有效容量增长。

V3 [7] 的工程账本里，四件事最容易被误读为“免费午餐”：aux-loss-free balancing、FP8 per-block、DualPipe、Multi-Token Prediction。放在一起看，模式很清楚：复杂度没有消失，只是在目标函数、数值精度、pipeline schedule、decoding 端之间转移。

Aux-loss-free [7]（图 6）的表面叙事是：把 router 平衡损失从 LM loss 中拿走，模型不再被两个目标拉扯。实际机制是给每个专家配一个可学习偏置 $b_i$，并按 batch 内负载偏离量直接更新——均衡压力从“可微目标”变成“一阶 SGD 控制器”。代价是训练动力学更依赖学习率、γ 控制系数、batch 配置；好处是 LM loss 更干净，专家分布更稳定。一条轻量 sequence-level balance loss 仍保留作兜底，说明 DeepSeek 自己也不把 bias-only 视为无条件充分。

FP8 per-block [7][15]（图 7）的关键不是“切到 FP8”，而是哪些算子允许切。V3 公开的算子级白名单大致是：高吞吐 GEMM（attention QKVO + FFN + MoE expert FFN + dispatch/combine all-to-all）走 FP8（前向 E4M3、反向 E5M2），尺度细到 (1×128) per-token tile / (128×128) per-block；累加先在 tensor-core 寄存器里 FP32，再每 Nc=4 拍提升一次到 FP32 累加，以缓解 E4M3 的指数下溢；embedding / output head / RMSNorm / softmax / RoPE / router gate / MTP head / loss reduction 全部留 BF16，master weights 与 Adam 一阶/二阶矩留 FP32。换句话说，FP8 不是“全局打开”，而是“算子级开关 + 白名单”。同样的 FP8-LM [15] 路径在更小模型上未必划算，复杂度与稳定性成本可能超过 GEMM 吞吐节省。

DualPipe [7] 是 pipeline 调度上的工程改进：在常规 1F1B 之外，交替排布 micro-batch 的前向 / 反向阶段，让通信（all-to-all、reduce-scatter）尽量与计算（GEMM、激活）重叠。论文没有完整给出边界条件；公开提示是，当 expert-parallel 通信占 step time 比例变高时收益最明显。在通信不是瓶颈的更小规模或纯 dense 训练里，DualPipe 额外引入的实现成本（micro-batch 配对、bubble 计费、debug 流程）很可能不值。

Multi-Token Prediction [7] 把 next-token 预测扩展到 next-1..N-token：在每个位置加一个轻量 MTP head，用相同的 hidden state 预测之后第 i 个 token。训练时，它把 token 级监督信号提高到 N 倍；推理时，可以关掉 MTP 头退化为标准自回归，也可以把它送入 speculative decoding，由主 head 负责验证。这是少见的“pretrain 数据效率 + 推理 speculative decoding”同时受益的设计，但它假设服务端能正确处理 MTP-augmented KV cache，而这条 serving 协议在公开文档里仍偏薄。

综合起来，V3 给后来者的真正提示不是“照搬这四件事”，而是“先做好分级”。每件事的收益曲线都不在小规模上启动；团队应先评估通信压力、显存约束、router 行为诊断能力、serving 端能力，再决定打开哪些开关。

V4 [10] 最重要的结论不是“又一个更大的 MoE”，而是长上下文瓶颈从单一 attention 算子变成 attention、KV cache、serving kernel、post-training rollout 的联合问题。V4-Pro 是 1.6T 总参、49B 激活；V4-Flash 是 284B 总参、13B 激活；两者都支持 1M context，并保留 DeepSeekMoE 与 MTP。真正的结构变化在 attention：CSA 先把每 m 个 token 的 KV 压成一个 compressed entry，再用 lightning indexer 选择 top-k compressed blocks 做稀疏 attention；HCA 用更大的压缩率 m′ 做极重压缩，但不再走 sparse selection；两者都叠加 sliding-window branch，补回局部细粒度依赖。这个设计承认一个事实：到 1M token 时，只靠 latent KV 压缩还不够，模型必须同时保留局部窗口、压缩全局记忆和可索引的稀疏远程证据。

代价也更明确。CSA/HCA 让每层 KV 形态不再统一，PagedAttention 的固定 block 假设被打破；V4 因此引入异构 KV cache：SWA 与尚未压缩的 tail states 作为 state cache 管，CSA/HCA compressed entries 作为 classical KV cache 管，并用 lcm(m, m′) 对齐 block。报告还把 on-disk KV cache 写进 serving 路径：共享 prefix 命中时直接复用 compressed KV，SWA KV 体量约为 compressed cache 的 8 倍，因此需要单独管理。这里的科学结论是：V4 的 27% single-token FLOPs 与 10% KV cache（相对 V3.2，1M context）不是一个 attention trick 的收益，而是 attention 结构、cache layout、kernel alignment、低精度存储共同闭环的结果。

V4 的训练与后训练同样不是孤立模块。mHC 替代传统 residual connection 的一部分角色，用 manifold-constrained hyper-connections 试图提高深层信号传播稳定性；Muon 负责大多数模块，embedding、prediction head、mHC bias/gating 与 RMSNorm 仍保留 AdamW，说明优化器切换也是算子/模块级白名单，而不是全局替换。预训练 token 增至 32T+。后训练先训练多个 domain specialist，再用 multi-teacher on-policy distillation 合入统一模型；OPD 使用学生自身轨迹上的 reverse KL，并在工程上做 full-vocabulary logit distillation。Quick Instruction 则把 search/action/title/query 等辅助任务改成特殊 token，复用已有 KV cache，避免再跑一个小模型做重复 prefill。V4 因此把 DeepSeek 谱系从“训练一个强 base + reasoning fork”推进到“base、长上下文 serving、specialist 合并、产品辅助任务共用一套 KV 账本”。

V3 [7] 最容易被低估的，是它把若干“看上去 free”的设计固化为工程默认值。aux-loss-free balancing 的表层结论很简单：把 router balance 信号从主 loss 中移出，减少对语言建模目标的干扰。实际机制是，平衡压力转入 per-expert bias 的滑动更新，再用一个轻量 sequence-level 项兜底；loss 更干净，训练动力学也更难复现 [7]。FP8 也是同一逻辑。FP8-LM [15] 已经说明 FP8 训练可行，但 V3 [7] 把它推进到 671B MoE，依赖更细的 per-block scaling、BF16 accumulation，以及部分关键 GEMM 回退 BF16。换句话说，低精度不是“全局切换”，而是算子级白名单。R1 [8] 则把复杂度继续搬到 post-training。DeepSeekMath [3] 用 GRPO 去掉 critic，降低 PPO 式 RL 的部分系统负担；R1-Zero [8] 证明纯 RL 能先撞出 reasoning 行为，但也暴露语言风格、可读性和稳定性问题，因此 R1 [8] 又引入 cold-start 与多阶段 RL。这里的关键信号不是“纯 RL 已经足够”，而是“纯 RL 可以作为起点，但产品级模型仍需要额外约束”。Math-Shepherd [21] 和 Lightman et al. [17] 代表另一条路线：把奖励细化到步骤级，缓解 outcome-only reward 的稀疏性。V3.1 [9] 再给出第三种答案：不把所有用户都送进长思考链，而是在同一 base 上提供 thinking / non-thinking 两种模式。更务实的理解是，DeepSeek 在 2025 年给出的不是单一后训练范式，而是三种并行答案：纯 RL 起步、cold-start 修正、以及 hybrid thinking 产品化。