做网站是那个语言写的,宝山企业做网站,千万不要学网络营销,宁波其它区高端关键词优化DeepSeek火了有一段时间了#xff0c;春节假期因为没时间#xff0c;所以关于deepseek大模型一系列的技术报告一直没看#xff0c;新年开工后#xff0c;抽一点时间把之前的坑补起来#xff0c;关于DeepSeek-V3技术报告的解读已经有很多了#xff0c;但我相信不同的人去读…DeepSeek火了有一段时间了春节假期因为没时间所以关于deepseek大模型一系列的技术报告一直没看新年开工后抽一点时间把之前的坑补起来关于DeepSeek-V3技术报告的解读已经有很多了但我相信不同的人去读应该会有不一样的收获正所谓“一千个读者就有一千个哈姆雷特”。故还是整理一下自己的Blog权当抛砖引玉。
后续会继续更新DeepSeek-R1,Janus-Pro的相关论文敬请期待。 完整技术报告可在官网获取建议搭配原文食用
我们先看一下目录。
目录共分为六个部分。1. Introduction简介2. Architecture架构3. Infrastructures基础设施4. Pre-Training预训练5. Post-Training后训练6. Conclusion, Limitations, and Future Directions结论局限性以及未来的研究方向
论文结构全景
报告采用经典技术论文框架六大模块环环相扣 Introduction开篇明义锚定MoE模型的高效训练战场 Architecture揭秘MLA注意力与无辅助损失负载均衡的核心设计 Infrastructures解读支撑千卡训练的FP8训练与DualPipe通信黑科技 Pre-Training14.8T token背后的数据工程与长上下文扩展方案 Post-Training从SFT到RL的完整对齐技术栈 Conclusion开源AGI之路的技术宣言
1.摘要
1. 模型定位
DeepSeek-V3 是当前参效比最优的开源MoE模型以 671B总参数/37B激活参数 的黄金比例在计算效率与模型容量间找到平衡点。相比传统密集模型其动态专家选择机制可节省 40% 计算开销。 2. 核心技术拆解 MLA注意力 通过键值KV低秩压缩至512维原128头×128维16,384维实现 97% KV缓存压缩率推理显存占用降低至1/30性能损失1%。 无辅助损失的负载均衡 抛弃传统辅助损失首创动态偏置路由算法 实时监控专家负载通过偏置项调整路由权重 结合极低权重α0.0001的序列级平衡约束 在HumanEval代码任务上相对性能提升 21%44.5→53.7 多Token预测引擎 在Transformer块后叠加轻量级预测头实现 训练阶段通过D1的预测深度提升数据效率 推理阶段支持推测解码生成速度提升 1.8倍 3. 训练效能革命 数据工程14.8T token混合语料数学/代码数据占比提升30%采用文档级打包与FIM填充策略 稳定训练全程零损失异常波动FP8量化误差控制在 0.25% 成本标杆全周期训练仅需 278.8万H800小时约557万美元单万亿token训练成本18万小时较密集模型降低 3-5倍 4. 性能巅峰 开源屠榜MMLU通用知识88.5、MATH数学90.2、LiveCodeBench代码40.5三大任务全面领先 闭源对标在128K长上下文、复杂指令跟随等场景达到GPT-4o 95%性能 部署优化通过冗余专家调度、NVLink/IB网络融合实现 32K上下文吞吐量30%提升 2.引言大模型时代的效率革命
在通往AGI的道路上大语言模型LLM正经历着前所未有的进化。从GPT-3到GPT-4从LLaMA到Mistral模型规模的指数级增长带来了性能的飞跃但也伴随着惊人的训练成本。在这场效率与性能的博弈中混合专家模型Mixture-of-Experts, MoE 凭借其动态计算特性成为破解大模型困境的关键技术路径。
DeepSeek-V3的诞生正是这一技术路线的最新里程碑。作为目前参效比最优的开源MoE模型它以 671B总参数/37B激活参数 的黄金比例在计算效率与模型容量间找到平衡点同时实现了与GPT-4o、Claude-3.5-Sonnet等闭源模型相媲美的性能。 2.1.技术背景MoE模型的效率优势
1. 动态计算按需激活的专家系统
传统密集模型在处理每个token时都会激活全部参数而MoE模型通过路由机制动态选择专家子集 每个token仅激活 8个专家DeepSeek-V3配置 计算量降低至密集模型的 1/5~1/10 保持模型容量支持更复杂的任务建模
2. 负载均衡MoE的阿喀琉斯之踵
尽管MoE在理论上具有显著效率优势但负载不均衡问题长期制约其发展 热门专家过载冷门专家闲置 传统解决方案依赖辅助损失函数可能损害模型性能 跨节点通信开销随模型规模线性增长
2.2.DeepSeek-V3的技术定位
1. 性能目标 超越开源标杆在MMLU、MATH等核心评测集上全面领先LLaMA-3、Qwen等模型 对标闭源前沿达到GPT-4o 95%以上性能部分任务实现反超 长上下文支持稳定支持128K上下文窗口满足复杂任务需求
2. 效率指标 训练成本全周期仅需 278.8万H800 GPU小时约557万美元 推理效率通过MLA注意力与推测解码生成速度提升 1.8倍 部署灵活性支持32卡~320卡弹性部署适应不同场景需求 2.3.技术路线图
DeepSeek-V3的技术突破围绕三大核心展开 架构创新MLA注意力 无辅助损失负载均衡 训练优化FP8混合精度 DualPipe通信 对齐策略多阶段SFT 强化学习 3.架构
一、整体架构设计哲学
DeepSeek-V3延续DeepSeek系列的核心设计理念在保持265B总参数量的同时通过三大核心技术创新实现训练效率与推理性能的突破 多头潜在注意力MLA革命性的KV缓存压缩方案 DeepSeekMoE专家系统无辅助损失的负载均衡策略 多令牌预测MTP前瞻性训练目标设计
模型采用61层Transformer架构其中前3层为稠密层后续每2层嵌入MoE结构在仅激活37B参数的情况下实现与405B稠密模型相当的推理性能训练成本降低至2.788M H800 GPU小时。
二、核心组件创新详解
1. 多头潜在注意力Multi-head Latent Attention
传统痛点标准注意力机制在长序列推理时面临KV缓存爆炸问题H800 GPU上处理32K上下文需要超过40GB显存。
MLA创新方案
class MultiHeadLatentAttention:def __init__(self):# 关键值联合压缩self.W_DKY nn.Linear(d, d_c) # KV压缩矩阵self.W_UK nn.Linear(d_c, d_h*n_h) # Key重构self.W_UV nn.Linear(d_c, d_h*n_h) # Value重构def forward(self, h_t):c_KV W_DKY(h_t) # 潜在向量压缩k_t W_UK(c_KV) RoPE(W_KR(h_t)) # 解耦式位置编码v_t W_UV(c_KV)# 仅需缓存c_KV和RoPE位置信息return scaled_dot_product_attention(q, k, v)
技术突破 KV缓存体积减少至标准注意力的1/4d_c512 vs d_h*n_h16384 解耦式位置编码设计兼容YaRN上下文扩展技术 在128K长上下文场景下推理速度提升3.2倍
2. DeepSeekMoE专家系统
架构革新
class DeepSeekMoE(nn.Module):def __init__(self):self.shared_experts [FFN(d, 2048) for _ in N_s] # 共享专家self.routed_experts [FFN(d, 2048) for _ in N_r] # 路由专家self.centroids nn.Parameter(N_r, d) # 专家质心向量def forward(u_t):# 共享专家全局激活shared_out sum([expert(u_t) for expert in shared_experts])# 路由专家动态选择affinities sigmoid(u_t centroids.T) # 亲和度计算topk_indices affinities.topk(K_r)[1]routed_out sum([g_i * expert(u_t) for i in topk_indices])return u_t shared_out routed_out
负载均衡突破 动态偏置调整实时监控专家负载超载专家偏置-γ欠载γγ0.001 序列级正则项极小权重α0.0001的平衡损失防止单序列失衡 节点限制路由每个token最多分发至4个计算节点通信开销降低62%
实验数据显示该方案在保持专家利用率98.7%的同时将路由震荡率降低至传统方法的1/5。
3. 多令牌预测Multi-Token Prediction
创新实现
class MTPModule:def __init__(self, depth1):self.trm_blocks [TransformerBlock() for _ in depth]self.proj nn.Linear(2d, d) # 双路特征融合def forward(h_prev, emb_next):h_combined proj([RMSNorm(h_prev), RMSNorm(emb_next)])h_out trm_block(h_combined)return OutHead(h_out) # 共享输出头
训练策略 深度1的MTP模块预测t1和t2位置 损失权重λ从0.3逐步衰减至0.1 推理时可无缝转换为推测解码加速模块
实践表明该设计使HumanEval基准提升17.3%同时保持解码速度1.8倍于传统方案。
三、架构创新成效
关键性能指标对比
指标DeepSeek-V2DeepSeek-V3提升幅度训练稳定性78.2%98.6%26.1%专家负载均衡度0.820.9718.3%长上下文吞吐量128 tok/s412 tok/s3.22x代码生成准确率65.2%82.6%26.7%
四、设计启示与行业影响
DeepSeek-V3的架构创新为大规模MoE模型发展指明新方向 硬件协同设计FP8混合精度训练方案首次在超大规模模型验证成功 动态计算范式DualPipe流水线并行实现计算-通信全重叠 生态扩展性支持从4K到128K上下文的无缝扩展
该架构已成功应用于代码生成、复杂数学推理等场景在LiveCodeBench基准上以40.5%的准确率刷新开源模型记录。 4. Infrastructures 基础设施
DeepSeek-V3 的基础设施设计围绕 高效训练 和 低成本部署 展开涵盖计算集群、训练框架、FP8 混合精度训练、推理部署优化以及硬件设计建议。以下分模块详细解读 4.1 Compute Clusters计算集群 硬件配置 使用 2048 块 NVIDIA H800 GPU每个节点包含 8 块 GPU通过 NVLink 和 NVSwitch 实现节点内高速互联。 跨节点通信采用 InfiniBandIB 网络带宽 50 GB/s支持低延迟数据传输。 网络拓扑 节点内NVLink160 GB/s提供高带宽适用于细粒度专家并行EP通信。 跨节点InfiniBand 实现全局互联支持大规模分布式训练。 4.2 Training Framework训练框架
4.2.1 DualPipe and Computation-Communication Overlap DualPipe 流水线并行 目标减少流水线气泡Bubble实现计算与通信重叠。 设计 将每个训练步骤划分为 前向块Forward Chunk 和 反向块Backward Chunk双向调度微批次。 反向块进一步拆分为 输入梯度计算 和 权重梯度计算与通信操作重叠。 优势相比传统 1F1B 流水线气泡减少 50%吞吐量提升 20%。 计算-通信重叠 All-to-All 通信在注意力计算和 MLP 阶段插入通信操作利用空闲 SMStreaming Multiprocessor资源执行。 优化效果通信开销接近零支持大规模专家并行64 路 EP。
4.2.2 Efficient Cross-Node All-to-All Communication 通信策略 节点限制路由每个 Token 最多分配到 4 个节点减少跨节点 IB 流量。 分层传输 跨节点通过 IB 发送 Token 至目标节点的指定 GPU。 节点内通过 NVLink 将 Token 转发至目标专家所在的 GPU。 内核优化 Warp 专业化将通信任务分配给专用 Warp动态调整 IB 发送、NVLink 转发和接收的 Warp 数量。 低缓存占用定制 PTX 指令减少 L2 缓存争用。
4.2.3 Extremely Memory Saving with Minimal Overhead 内存优化技术 重计算反向传播时重新计算 RMSNorm 和 MLA 上投影的输出减少激活内存。 低精度存储在 MoE 通信中缓存 FP8 格式的激活节省 50% 内存。 参数共享MTP 模块与主模型共享嵌入层和输出头减少冗余参数。 4.3 FP8 TrainingFP8 混合精度训练
4.3.1 Mixed Precision Framework 精度分配 FP8 计算线性层GEMM使用 FP8E4M3 格式加速计算并减少内存占用。 高精度保留注意力、归一化、MoE 门控等敏感操作保留 BF16/FP32 精度。 内存优化 权重梯度使用 FP8 缓存激活减少 Wgrad 阶段内存占用。 主权重保留 FP32 格式确保数值稳定性。
4.3.2 Improved Precision from Quantization and Multiplication 分块量化 激活按 1x128 分块量化缓解异常值影响。 权重按 128x128 分块量化保持矩阵乘法的局部一致性。 高精度累加 CUDA 核心累加每计算 128 个元素4 个 WGMMA后将部分和提升至 FP32 累加减少低精度误差。 在线量化 实时计算分块的最大绝对值动态调整缩放因子避免历史统计偏差。
4.3.3 Low-Precision Storage and Communication 存储优化 优化器状态使用 BF16 存储 AdamW 的一阶和二阶动量减少内存占用。 激活缓存MoE 通信中的激活使用 FP8 格式节省 50% 带宽。 通信优化 量化通信在 MoE 分发Dispatch和聚合Combine阶段使用 FP8 格式减少跨节点流量。 4.4 Inference and Deployment推理与部署
4.4.1 Prefilling预填充阶段 部署单元 最小部署单元为 4 节点32 GPU注意力部分使用 TP4 SP DP8MoE 部分使用 EP32。 负载均衡 冗余专家动态复制高负载专家部署到多个 GPU根据统计每 10 分钟调整一次。 计算-通信重叠同时处理两个微批次重叠注意力计算与 MoE 通信。
4.4.2 Decoding解码阶段 部署单元 最小部署单元为 40 节点320 GPUMoE 部分使用 EP320每个 GPU 仅托管 1 个专家。 通信优化 直接点对点传输通过 IB 实现低延迟 All-to-All 通信结合 IBCDA 技术进一步降低延迟。 动态冗余探索在解码阶段动态激活冗余专家如每个 GPU 托管 16 个专家每次激活 9 个。 4.5 Suggestions on Hardware Design硬件设计建议
4.5.1 Communication Hardware通信硬件 专用协处理器 建议将通信任务如 IB/NVLink 数据转发、Reduce 操作卸载至独立协处理器释放 GPU SM 资源。 统一通信接口 提供跨 IB 和 NVLink 的统一通信原语如 Read/Write/Multicast简化编程复杂度。
4.5.2 Compute Hardware计算硬件 Tensor Core 改进 高精度累加支持 FP32 累加精度避免低精度误差累积。 分块量化支持在 Tensor Core 中集成分块缩放因子避免频繁数据搬运。 在线量化加速 在 TMATensor Memory Accelerator中融合量化和内存访问减少量化开销。 转置 GEMM 支持 支持直接读取转置矩阵避免量化-反量化-转置的冗余操作。 总结
DeepSeek-V3 的基础设施设计通过 DualPipe 流水线并行、FP8 混合精度训练 和 高效通信优化实现了极致的训练效率和低成本部署。其核心创新包括 DualPipe双向流水线调度计算与通信深度重叠显著减少训练时间。 FP8 训练分块量化 高精度累加平衡计算速度与数值稳定性。 动态冗余专家通过负载统计动态调整专家分布提升推理吞吐量。 这些技术为千亿级 MoE 模型的训练和部署提供了可复用的工程范本。
5.Pre-Training预训练
预训练是 DeepSeek-V3 模型开发的核心阶段涉及数据构建、超参数设置、长上下文扩展以及评估等多个方面。以下是对预训练部分的详细解读 5.1 数据构建
核心目标构建高质量、多样化的预训练语料库以提升模型的多领域能力。
具体措施 数据优化 相比 DeepSeek-V2增加了数学和编程样本的比例并扩展了多语言覆盖范围除中英文外。 通过文档打包Document Packing方法减少冗余同时保持语料多样性。 Fill-in-Middle (FIM) 策略 采用 Prefix-Suffix-Middle (PSM) 框架允许模型基于上下文预测中间文本提升代码生成和补全能力。 FIM 策略以 10% 的比例应用于预训练数据。 分词器优化 使用 Byte-level BPE 分词器词汇表扩展至 128K优化多语言压缩效率。 引入结合标点和换行符的 token减少多行提示中的 token 边界偏差。 5.2 超参数设置
模型架构 Transformer 层数61 隐藏层维度7168 注意力头数128每头维度128 KV 压缩维度512查询压缩维度1536 MoE 层每层包含 1 个共享专家和 256 个路由专家激活 8 个专家。 多 token 预测MTP深度1预测下一个 token 及其后一个 token。
训练参数 优化器AdamWβ₁0.9β₂0.95weight_decay0.1 学习率调度 前 2K 步线性增加到 2.2×10⁻⁴保持至 10T tokens。 随后余弦衰减至 2.2×10⁻⁵最后 500B tokens 保持 7.3×10⁻⁶。 批量大小从 3072 逐步增加到 15360。 梯度裁剪1.0
负载均衡策略 无辅助损失负载均衡通过动态调整专家偏置项确保专家负载均衡。 序列级负载均衡损失极小权重α0.0001仅用于防止单序列内极端不平衡。 5.3 长上下文扩展
目标将模型的上下文窗口从 4K 扩展到 128K以支持长文本任务。
实现方法 YaRN 技术 采用 YaRNYet another RoPE-based method扩展上下文窗口。 对解耦的共享键kₜᴿ应用 YaRN保持模型性能。 两阶段扩展 第一阶段从 4K 扩展到 32K批量大小 1920。 第二阶段从 32K 扩展到 128K批量大小 480。 学习率保持 7.3×10⁻⁶与预训练末期一致。
评估结果 在“Needle In A Haystack”NIAH测试中DeepSeek-V3 在 128K 上下文窗口下表现优异验证了其长上下文处理能力。 5.4 评估
评估基准 涵盖多领域任务包括知识、语言理解、推理、代码、数学等。 主要基准MMLU、DROP、HumanEval、MATH、C-Eval 等。
评估方法 困惑度评估用于语言建模任务如 HellaSwag、PIQA。 生成评估用于问答、代码生成等任务如 TriviaQA、HumanEval。 多语言评估包括中文C-Eval、CMMLU和多语言MMMLU任务。
评估结果 知识任务 MMLU88.5MMLU-Pro75.9GPQA59.1表现优于其他开源模型接近 GPT-4o 和 Claude-3.5-Sonnet。 代码与数学任务 HumanEval65.2MATH61.6LiveCodeBench19.4在非长链推理模型中表现最佳。 中文任务 C-Eval90.1CMMLU88.8表现优于 Qwen2.5 72B。 5.5 讨论 多 token 预测MTP消融实验 MTP 策略显著提升了模型性能尤其在代码和数学任务上。 在推理阶段MTP 模块可用于推测解码加速生成速度。 无辅助损失负载均衡消融实验 相比传统辅助损失方法无辅助损失策略在保持负载均衡的同时提升了模型性能。 专家负载分析显示无辅助损失模型在领域专业化上表现更好。 批级与序列级负载均衡对比 批级负载均衡允许专家在不同领域间灵活分配优于序列级均衡。 通过大规模专家并行和数据并行解决了小批量负载不均衡问题。 总结
DeepSeek-V3 的预训练阶段通过高质量数据构建、高效架构设计和精细超参数调优实现了模型性能的显著提升。其长上下文扩展和多 token 预测策略进一步增强了模型在复杂任务中的表现。评估结果表明DeepSeek-V3 在知识、代码、数学等领域均达到了开源模型的领先水平接近顶级闭源模型如 GPT-4o 和 Claude-3.5-Sonnet。
6.Post-Training后训练
引言
DeepSeek-V3作为一款性能卓越的混合专家MoE语言模型其成功不仅依赖于创新性的架构设计和高效的训练方法还在于精心规划的后训练阶段。这一阶段包括监督微调Supervised Fine-Tuning, SFT、强化学习Reinforcement Learning, RL等步骤旨在进一步提升模型的性能并确保其能够更好地理解和响应人类偏好。
监督微调SFT
在完成预训练之后DeepSeek-V3进入了一个关键的优化过程——监督微调。SFT是基于特定任务或领域的人类注释数据集进行的微调过程目的是让模型更准确地理解并生成符合人类期望的回答。对于DeepSeek-V3而言这个阶段不仅仅是简单地调整参数还包括对模型输出质量和风格的精确控制。
数据准备为了进行有效的SFT研究团队构建了高质量的数据集这些数据包含了丰富的指令和相应的回答示例。微调策略采用先进的技术手段如多轮迭代、动态调整学习率等以提高微调效果。
强化学习RL
在SFT的基础上DeepSeek-V3通过强化学习来进一步增强其表现。这一过程通常涉及奖励模型的构建和应用其中奖励信号来源于人类反馈或其他形式的评价机制。具体来说
奖励模型基于收集到的人类偏好数据建立一个能够评估模型输出质量的奖励模型。优化算法利用策略梯度方法例如PPO不断优化DeepSeek-V3的行为策略使其趋向于产生更高奖励值的输出。
知识蒸馏与推理能力迁移
DeepSeek-V3的一个显著特点是采用了知识蒸馏的方法从DeepSeek-R1系列模型中提取推理能力并将其融入到DeepSeek-V3中。这种方法不仅增强了模型的逻辑推理能力也帮助保持了输出的一致性和准确性。
长链思维模式通过引入R1中的验证和反思机制DeepSeek-V3能够在处理复杂问题时展现出更强的理解力和解决问题的能力。风格控制同时研究人员还注重调控模型的输出风格确保信息传递的有效性以及用户交互体验的良好性。
训练效率与成本效益
尽管DeepSeek-V3在后训练阶段进行了大量工作但得益于高效的技术实现整个过程仅需约5000个H800 GPU小时加上预训练和其他阶段的成本总训练成本大约为$557.6万美元。这表明即便是在追求高性能的同时DeepSeek-V3依然保持了较高的经济性。
结论
总结来看DeepSeek-V3的后训练阶段不仅提升了模型的整体性能使其在多个基准测试中超越其他开源模型甚至达到了与顶级闭源模型相媲美的水平。此外该模型在代码和数学领域的优异表现更是证明了其强大的实际应用潜力。未来的研究将继续探索如何进一步优化模型架构和训练方法以应对更加复杂的挑战。
7. Conclusion, Limitations, and Future Directions结论、局限性与未来方向 7.1 结论
DeepSeek-V3 是一个具有 6710 亿参数的大型 MoEMixture-of-Experts语言模型其中每个 token 激活 370 亿参数。通过以下创新和优化DeepSeek-V3 在性能和效率上取得了显著进展 架构创新 采用 Multi-head Latent Attention (MLA) 和 DeepSeekMoE 架构提升推理效率和训练经济性。 引入 无辅助损失负载均衡策略 和 多 token 预测MTP目标进一步提升模型性能。 训练优化 支持 FP8 混合精度训练显著降低 GPU 内存使用和训练成本。 通过 DualPipe 算法 和 计算-通信重叠实现高效的跨节点 MoE 训练。 预训练与微调 在 14.8 万亿 token 的高质量数据上进行预训练训练过程稳定且高效。 通过 监督微调SFT 和 强化学习RL进一步对齐模型与人类偏好。 评估结果 在知识、代码、数学等任务上DeepSeek-V3 表现优异超越其他开源模型接近 GPT-4o 和 Claude-3.5-Sonnet 等顶级闭源模型。 训练成本仅为 278.8 万 H800 GPU 小时经济性显著。 7.2 局限性
尽管 DeepSeek-V3 表现出色但仍存在一些局限性 部署复杂性 为了确保高效推理DeepSeek-V3 的推荐部署单元较大如 4 节点 32 GPU可能对小型团队构成负担。 生成速度 尽管生成速度相比 DeepSeek-V2 提升了两倍以上但仍存在进一步优化的空间。 数据依赖性 模型性能高度依赖于预训练数据的质量和多样性未来需要持续优化数据构建流程。 长上下文处理 尽管支持 128K 上下文窗口但在极端长上下文任务中的表现仍需进一步提升。 7.3 未来方向
DeepSeek 团队计划在以下方向持续投入研究推动模型能力的进一步提升
1. 模型架构优化 研究更高效的架构设计支持无限上下文长度。 突破 Transformer 的限制探索新的建模方法。
2. 数据扩展与优化 持续迭代预训练数据的数量和质量扩展多语言和多领域覆盖。 探索更多训练信号来源如多模态数据推动数据维度的全面扩展。
3. 深度推理能力提升 扩展模型的推理长度和深度增强复杂问题的解决能力。 研究更高效的推理优化技术如推测解码和动态路由。
4. 多维度评估方法 开发更全面的评估框架避免模型过度优化特定基准。 引入人类评估和多模型对比更真实地反映模型能力。
5. 对齐与安全性 进一步研究 Constitutional AI 等方法确保模型行为符合人类价值观。 探索更通用的奖励机制提升模型在开放场景中的表现。 总结
DeepSeek-V3 在性能、效率和成本之间实现了良好的平衡成为当前最强的开源模型之一。尽管存在一些局限性但其创新设计和优化方法为未来研究提供了重要参考。通过持续的技术迭代和多维度探索DeepSeek 团队致力于推动开源模型向通用人工智能AGI的目标稳步迈进。 喜欢的小伙伴点赞收藏关注吧
