DeepSeek-V2强大、经济且高效的混合专家语言模型

官方源标题： DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
作者： DeepSeek-AI · 版本： arXiv v5，2024-06-19 · 论文： arXiv:2405.04434

核心结论

DeepSeek-V2 的关键不是单纯增加参数，而是让“容量”和“每次计算量”分开。模型共有 2360 亿参数，但处理每个 token 时只激活 210 亿；同时，它把生成过程中不断累积的注意力记忆压成更小的表示。作者报告，相比自家的 DeepSeek 67B，它把训练成本降低 42.5%，把 KV 缓存减少 93.3%，并把最高生成吞吐量提高到 5.76 倍。来源：摘要与第 1 节

读完最值得记住三点：

1. 参数多，不等于每次都要算得多。 2360 亿参数提供容量，每个 token 只调用其中 210 亿。
2. 生成速度的另一道瓶颈是“记忆”。 MLA 把每个历史 token 的键和值压进一个较小的潜在向量，减少 KV 缓存。
3. 亮眼结果有明确边界。 数字主要来自作者自己的硬件、实现和评测框架；模型仍会产生错误事实，也不能把 128K 上的“针藏草堆”测试等同于可靠理解整部长文。

问题

为什么生成长文本会越来越吃显存？

模型逐字生成时，会保存前文每个 token 的“键”和“值”，这样下一步不用重算全部历史。这份 KV 缓存随上下文和并发请求一起增长，最终限制批量大小与可处理的序列长度。已有的 MQA、GQA 能少存一些，但论文指出，它们通常要用能力损失换空间。来源：第 2.1 节

为什么混合专家也不自动等于便宜？

混合专家模型像一座有许多科室的医院：每个病例只去少数科室，所以单次计算可以较小。但如果路由总把 token 发给同几位专家，部分专家学不到东西，部分设备又会过载；跨设备传输也可能抵消稀疏计算省下的时间。因此，真正难点不只是“少激活”，还包括怎样分工、均衡和通信。来源：第 2.2.3 节

方法

MLA：先把历史信息压成一份小记忆

普通多头注意力会为多个头保存键和值。多头潜在注意力（MLA）先把二者联合压缩成低维潜在向量；生成时主要缓存这份压缩结果，再通过矩阵运算完成注意力。位置编码本来会妨碍这种压缩，所以作者把携带旋转位置编码的信息拆到额外的查询和共享键上。论文按元素数估算，DeepSeek-V2 的 MLA 缓存量相当于只有 2.25 组的 GQA，同时在作者的消融实验中优于 MHA。来源：第 2.1.2—2.1.4 节与附录 D

DeepSeekMoE：大专家拆细，共享知识单独保留

DeepSeekMoE 把专家切得更细，让路由能更精确地组合专长；同时保留始终参与计算的共享专家，用来承接通用知识，减少多个路由专家重复学习同一内容。一个 token 先经过路由器，只送往少数被选中的专家，再把这些结果与共享专家结果合并。DeepSeek-V2 沿用了早先 DeepSeekMoE 论文的这套结构。来源：第 2.2.1 节

路由还必须适应真实机器。作者限制每个 token 最多跨到指定数量的设备，并分别约束专家负载、设备计算量和通信接收量。平衡损失不能保证绝对均匀，因此训练时还会丢弃设备上亲和度最低的 token，直到不超出计算预算；约 10% 的训练序列受到保护，不会丢 token。来源：第 2.2.2—2.2.4 节

训练：8.1 万亿 token 之后，再教会模型对话

模型先在 8.1 万亿 token 上预训练，其中中文 token 约比英文多 12%。作者再收集 150 万轮覆盖数学、代码、写作、推理与安全的对话做监督微调。强化学习分两段：先强化数学和代码推理，再用有用性、安全性和规则奖励对齐偏好。长上下文则用 YaRN 从默认 4K 扩展；额外训练只用 32K 序列，但在 NIAH 测试中检查到 128K。来源：第 3.1 节、第 4.1—4.2 节

证据与局限

最硬的证据是同系列模型的成本对比

作者在 NVIDIA H800 集群上训练，并为通信、路由、专家计算和 MLA 做了专门优化。与 DeepSeek 67B 相比，论文报告每万亿 token 的训练成本从 300.6K GPU 小时降到 172.8K，约节省 42.5%；KV 缓存减少 93.3%。作者还按线上 DeepSeek 67B 服务的输入与输出长度分布，在单台 8×H800 节点上测得超过每秒 5 万生成 token，最高吞吐量是 DeepSeek 67B 的 5.76 倍。来源：第 3.2.3 节与图 1

210 亿激活参数换来了有竞争力、但不全面领先的成绩

在作者统一的内部评测框架里，DeepSeek-V2 的 MMLU 为 78.5，接近 LLaMA 3 70B 的 78.9；MATH 为 43.6，高于表中其他比较模型；但 HellaSwag 为 84.2，低于 LLaMA 3 70B 的 87.9，TriviaQA 和 NaturalQuestions 也不领先。聊天版经强化学习后，MT-Bench 得分 8.97，AlpacaEval 2.0 的长度控制胜率为 38.9。来源：表 2 与表 4

论文没有证明什么？

这些效率数字依赖作者的 H800 集群、定制内核和并行策略，不能直接当成任意云平台的成本承诺。基准比较由作者的内部框架完成；开放式评分还依赖模型裁判或特定评测协议。作者也明确承认：知识不会在预训练后持续更新，回答可能包含未经核实的建议或幻觉；训练语料以中文和英文为主，其他语言能力有限；当前模型只处理文本。强化学习虽改善开放式生成，也可能让 BBH 等标准基准退步，论文称之为“对齐税”。来源：第 4.4 节与第 5 节

实际意义

对产品团队，先判断瓶颈在计算还是显存

如果产品需要长上下文或高并发生成，MLA 展示了比“减少注意力头”更激进的缓存压缩路线。如果产品的成本主要来自模型前向计算，细粒度 MoE 则展示了“保留大容量、每次只用一小部分”的路线。两者解决的不是同一个瓶颈，组合起来才构成 DeepSeek-V2 的主要价值。这是基于论文机制的部署解读，不是作者给出的通用成本保证。

对工程团队，稀疏模型的账不能只看激活参数

210 亿激活参数描述一次计算用了多少专家参数，却没有消除 2360 亿总参数的存储、加载和跨设备编排负担。评估时还要测真实请求长度、并发量、首 token 延迟、逐 token 吞吐、显存占用和通信热点。论文自己的实现也用了设备受限路由、三类平衡损失、token 丢弃、定制 CUDA 内核与通信重叠，这正说明架构收益需要系统工程才能兑现。

复现或采购前，最该追问这五件事

• 在你的硬件和精度下，模型权重与 KV 缓存各占多少显存？
• 5.76 倍吞吐对应的输入长度、输出长度、批量和延迟目标是否与你一致？
• 专家路由是否出现热点，负载均衡会损失多少模型质量？
• 128K 除了找回信息，能否完成跨段归纳、冲突消解与多步推理？
• 在目标语言和高风险场景中，事实错误、过时知识与安全失败率是多少？

论文真正打开的方向，是把“大模型成本”拆成可分别优化的三笔账：参数容量、单次激活计算、生成期记忆。DeepSeek-V2 给出了一套有力组合，但是否适合具体产品，最终仍要用自己的硬件、流量和任务做端到端验证。

术语与溯源速查

• MoE（混合专家）：从许多专家子网络中为每个 token 选择少数几个参与计算。
• KV 缓存：自回归生成时保存的历史注意力键和值。
• MLA（多头潜在注意力）：用低秩联合压缩缩小 KV 缓存，并把位置编码相关部分解耦。
• SFT / RL：先用示范答案监督微调，再用奖励信号优化行为。
• 主源：arXiv 摘要页；arXiv 全文 HTML。