DeepSeek发布V3.2系列模型：推理能力突破，创新注意力机制DSA

重磅发布！

在ChatGPT问世三周年之际，DeepSeek突然推出了两款新模型：

• DeepSeek-V3.2
• DeepSeek-V3.2-Speciale

前者注重实用性与推理能力的平衡，适用于日常问答、通用Agent任务以及真实应用场景下的工具调用。

其推理水平达到GPT-5级别，略低于Gemini-3.0-Pro。

后者主打极致推理性能，在推理基准测试中与Gemini-3.0-Pro不相上下。

同时一举拿下IMO 2025、CMO 2025、ICPC World Finals 2025、IOI 2025金牌。

值得一提的是，ICPC成绩达到人类选手第二名，IOI达到人类选手第十名水平。

具体而言，DeepSeek-V3.2致力于平衡推理能力与输出长度，从而降低计算开销。

DeepSeek官方推文指出：“DeepSeek-V3.2模型在Agent评测中达到了当前开源模型的最高水平”。

该模型的其他特点如下：

• 推理能力媲美GPT-5；
• 相较于Kimi-K2-Thinking显著缩短输出长度，减少用户等待时间；
• DeepSeek旗下首个将“思考融入工具调用”的模型，支持思考/非思考双模式工具调用；
• 基于1800+环境、85000+复杂指令的大规模Agent训练数据，具备强大的泛化能力。

下图展示了DeepSeek-V3.2与其他模型在各类Agent工具调用评测集上的得分

——需要特别说明的是，DeepSeek-V3.2并未针对这些测试集的工具进行特殊训练。

DeepSeek-V3.2-Speciale是DeepSeek-V3.2的长思考增强版，融合了DeepSeek-Math-V2的定理证明能力。

在指令跟随、数学证明、逻辑验证方面，DeepSeek-V3.2-Specale表现卓越，推荐用于高度复杂的数学推理、编程竞赛和学术研究任务。

特别提醒！该版本目前未针对日常对话与写作进行专项优化。

且仅供研究使用，不支持工具调用。

在高度复杂任务上，Speciale模型显著优于标准版本，但消耗的Tokens更多，成本也更高。

目前，DeepSeek的App和Web端均已更新为正式版DeepSeek-V3.2；Speciale版本暂仅供临时API使用。

模型发布的同时，技术报告也已公开。

论文中透露的技术细节相当硬核：

新的稀疏注意力机制DSA大幅降低了计算复杂度，强化学习训练的计算量超过预训练的10%，还有全新的大规模Agent任务合成管线……

具体情况，我们详细来看。

提出DSA高效稀疏注意力机制，长文本不再是负担

DeepSeek-V3.2最大的架构创新在于引入了DSA（DeepSeek Sparse Attention）机制。

传统注意力机制在处理长序列时计算复杂度为O(L²)，严重制约了模型的部署效率和后续训练的可扩展性。

DSA将计算复杂度降至O(L·k)，其中k远小于L。

同时，DSA在长上下文任务中显著加速推理，且无明显性能损失。

支持FP8精度，适配MLA（Multi-Query Attention）架构，对训练友好。

它是如何实现的？

DSA主要包含两个组件：lightning indexer（闪电索引器）和fine-grained token selection（细粒度token选择）机制。

闪电索引器负责快速计算查询token与历史token之间的相关性分数，然后仅选择top-k个最相关的token进行注意力计算。

团队特意选用了ReLU激活函数以提升吞吐量。

从DeepSeek-V3.1-Terminus开始继续训练时，团队采用了两阶段策略。

第一阶段是Dense Warm-up，保持密集注意力，仅训练lightning indexer，使其学会对齐主注意力的分布。

该阶段仅用了1000步，处理了21亿个tokens。

第二阶段才引入稀疏机制，每个查询token选择2048个键值对，训练了15000步，共处理了9437亿个tokens。

实测效果相当显著——

在128k长度的序列上，DeepSeek-V3.2的推理成本比V3.1-Terminus降低了数倍。

H800集群上的测试显示，当序列长度达到128K时，预填充阶段每百万token的成本从0.7美元降至0.2美元左右，解码阶段从2.4美元降至0.8美元。

后训练算力超过预训练的10%

值得注意的是，DeepSeek团队此次在强化学习上投入巨大。

论文中明确指出，RL训练的计算预算已超过预训练成本的10%，这在开源模型中相当罕见。

DeepSeek在技术报告中提到，开源模型在post-training阶段的计算资源投入不足，限制了其在困难任务上的表现。

为此，团队开发了稳定、可扩展的RL协议，使训练后阶段的计算预算超过了预训练成本的10%，从而解锁了模型的先进能力。

详细来说——

为了稳定地扩展RL计算规模，团队在GRPO（Group Relative Policy Optimization）算法基础上进行了多项改进。

首先是无偏KL估计，修正了原始的K3估计器，消除了系统性误差。

原来的估计器在某些情况下会产生无界的梯度权重，导致训练不稳定。

其次是离线序列掩码策略。

在实际训练中，为了提高效率通常会生成大批量的rollout数据，然后分成多个mini-batch进行梯度更新。这种做法本身引入了off-policy行为。

团队通过计算数据采样策略与当前策略之间的KL散度，将偏离太远的负样本序列mask掉，避免干扰训练。

团队还特别针对MoE模型设计了Keep Routing操作。

推理框架与训练框架的实现差异可能导致相同输入激活不同专家，造成参数空间突变。通过保存推理时的路由路径并在训练时强制使用相同路径，确保了参数优化的一致性。

在具体训练上，团队采用了专家蒸馏的策略。

先为每个任务训练专门的模型，涵盖数学、编程、通用逻辑推理、通用Agent任务、Agent编程和Agent搜索这6个领域，每个领域均支持思考和非思考两种模式。

然后利用这些专家模型生成特定领域的数据来训练最终模型。

Agent能力的突破

此外，此次新模型在Agent任务上的突破也令人眼前一亮。

这次团队找到了让模型同时具备推理和工具使用能力的方法。

在思考上下文管理方面，团队发现DeepSeek-R1那种每次开启新对话就丢弃推理内容的策略，实在太浪费token了。

于是设计了新的管理机制：

只有在引入新的用户消息时才丢弃历史推理内容，如果只是添加工具相关消息，推理内容会被保留。即使推理痕迹被删除，工具调用历史和结果也会保留在上下文中。

冷启动阶段，DeepSeek-V3.2团队采用了巧妙的prompt设计。

团队通过精心设计的系统提示，让模型学会在推理过程中自然地插入工具调用。

例如在处理编程竞赛题目时，系统会明确要求模型先思考再给出答案，并用特殊标签标记推理路径。

最硬核的是团队开发了一个自动环境合成pipeline，生成了1827个任务导向的环境和85000个复杂提示。

以旅行规划为例，模型需要在满足各种约束条件下规划三天的行程，包括不重复城市、根据酒店价格调整餐厅和景点预算等复杂逻辑。

虽然在巨大的组合空间中找到满足所有约束的方案很困难，但验证给定方案是否满足约束相对简单，这种“难解易验”的特性非常适合RL训练。

在代码Agent方面，团队从GitHub挖掘了数百万个issue-PR对，经过严格筛选和自动环境构建，成功搭建了数万个可执行的软件问题解决环境，涵盖Python、Java、JavaScript等多种语言。

搜索Agent则采用多Agent pipeline生成训练数据，先从大规模网络语料中采样长尾实体，再通过问题构建、答案生成和验证等步骤产生高质量数据。

评测结果显示，DeepSeek-V3.2在SWE-Verified上达到73.1%的解决率，在Terminal Bench 2.0上准确率46.4%，均大幅超越现有开源模型。

在MCP-Universe和Tool-Decathlon等工具使用基准测试上，DeepSeek-V3.2也展现出接近闭源模型的性能。

这些提升，证明了模型能够将推理策略泛化到训练时未见过的Agent场景。

One More Thing

技术报告最后，研究人员坦诚地指出了一些局限性。

由于总训练FLOPs较少，DeepSeek-V3.2的世界知识广度仍落后于领先的闭源模型。

Token效率也是个挑战。通常情况下，本次上新的两个模型需要生成更长的轨迹，才能达到Gemini-3.0-Pro的输出质量。

但团队表示，这些都是未来版本的改进方向。

不过——

DeepSeek啊DeepSeek，我们心心念念的R2，什么时候给抬上来啊！！！！