DeepSeek响应新规：全面标注AI生成内容，公开训练细节

新规实施，DeepSeek迅速行动！所有AI创作内容，均标注“AI制造”。更引人注目的是，DeepSeek主动分享V3/R1的训练秘籍。

今日，网信办《人工智能生成合成内容标识办法》正式施行。

其中，明确要求对合规的AI生成内容添加明确标识。

紧跟政策步伐，DeepSeek迅速响应。

刚刚，DeepSeek官方发布声明——所有AI产出，均清晰标注“AI制造”。

它严正警告，严禁用户擅自删除、篡改或隐藏标识，更不得利用AI制造和传播虚假信息。

此外，还发布了《模型原理与训练方法说明》，揭秘DeepSeek的技术路径。

接下来，深入剖析DeepSeek V3/R1的训练细节。

查看更多详情

应对新要求，DeepSeek公开技术细节

DeepSeek详细介绍了大模型的训练和推理阶段，涵盖预训练、优化训练及训练数据等。

揭示不同大模型的神经网络架构。

模型训练

模型训练即开发阶段：通过设计的深度神经网络架构和训练方法，开发出可部署的模型。

模型由多层神经网络组成，架构直接影响性能。此外，性能还受参数规模的制约，训练旨在找到具体参数值。

目前，大模型参数规模达亿级。最新的DeepSeek-V3-0324，参数总量为6850亿。

在训练过程中，这些参数通过梯度下降算法迭代优化。

这次，DeepSeek将模型训练分为预训练和优化训练两个环节。

预训练：通过数据训练模型，使其掌握通用语言理解与生成能力。

优化训练：在预训练基础上，通过特定任务数据进一步调整模型参数，适应实际应用场景。

在预训练阶段：模型通过大规模自监督学习，从文本数据中学习语言模式与知识关联。完成后，模型能生成连贯文本，但尚不能精准回答问题或执行任务，需进一步微调。

在优化训练阶段：模型通过SFT、RL等方法，学会根据指令回答问题，符合人类偏好和需求，并激发特定领域专业能力。

优化后的模型更能满足实际需求，可部署使用。

揭秘训练细节，打造最强大脑

DeepSeek的能力基于高质量、大规模、多样化的数据。

“预训练”和“优化训练”各有侧重。

预训练阶段：

使用互联网公开信息和合作获取的数据。强调不会获取个人信息用于训练，尽管数据可能偶然包含个人信息，但会通过技术尽力筛查移除。

优化训练阶段：

通过人工或自动化方式构造、标注问答对数据。基于用户输入构造数据时，会进行安全加密、去标识化和匿名化处理，避免关联特定个人。

模型推理：

模型推理即被部署提供服务。通过编码和计算预测下一个token，具备文本生成和对话能力。DeepSeek的模型采用自回归生成方式，基于上下文内容预测最可能的词汇序列。