训推全面支持、开箱即用！DeepSeek V3昇思MindSpore版本上线开源社区
应用介绍
近日，基于昇腾AI硬件与昇思MindSpore AI框架版本的DeepSeek-V3完成开发支持并上线昇思开源社区，面向开发者提供开箱即用的预训练和推理能力，并已成功在大规模集群上预训练和部署。
应用昇思MindSpore大模型使能套件，依托昇思多维混合分布式能力、自动并行、Dryrun集群内存仿真等技术，天级快速适配DeepSeek V3新增模型结构和分布式并行训练能力。同时，昇思MindSpore通过深度优化MLA、DeepSeekMoE等网络结构的推理，实现了高效的推理部署性能。
当前，通过获取昇思MindSpore版DeepSeek V3开源镜像，开发者可直接进行DeepSeek-V3的预训练和推理部署。
【预训练开箱流程】MindSpore Transformers支持对DeepSeek-V3进行预训练。仓库中提供了一份预训练配置文件供参考，该配置基于128台Atlas 800T A2 （64G），使用Wikitext-2数据集进行预训练，可参考多机教程进行使用：
便于开发者上手体验，本章节基于此配置进行修改，缩小了DeepSeek-V3模型参数量，使其能够在单台Atlas 800T A2 （64G）上拉起预训练流程。
以Wikitext-2数据集为例，参考如下步骤将数据集处理成Megatron BIN式文件。
采用BF16格式的模型权重文件，运行DeepSeek-V3推理服务，需要4台Atlas 800I A2（64G）服务器。为缩短开发部署周期，昇思MindSpore此次提供了docker容器镜像，供开发者快速体验。其主要操作步骤如下：
●执行以下Shell命令，将用于下载存储DeepSeek-V3权重文件的路径（开箱示例中为./model_path），添加至白名单：
●使用以下Python脚本，从魔乐社区下载昇思MindSpore版本的DeepSeek-V3权重文件至指定路径。完整的权重文件约1.4TB，请确保指定路径下有充足的可用磁盘空间：
●在第1台至第4台服务器上，分别执行以下Shell命令，通过msrun_launcher.sh启动单次推理测试脚本run_deepseekv3_predict.py，完成后将显示“生抽和老抽的区别是什么？ ”的问题回复。其中，master_ip需修改设置为第1台服务器的实际IP地址。
Balance：MindSpore的MoE模块中已支持全局的Expert负载统计, AuxFree Balance机制的实现是在callback中新增了根据全局专家负载而更新专家偏置的逻辑，从而达到在每个train step结束后做一次负载均衡调整的目的。
V3推理网络的实现和优化MindSpore针对DeepSeek V3的网络结构特点，高效地实现和优化了更高效的推理网络，最大化地压缩算子下发耗时和提升网络推理性能。●MLA：将FC、MatMul等超过10个小算子，融合成单个InferAttention-MLA算子，然后将其与已有的PageAttention算子，组合实现MLA模块功能。同时，在InferAttention-MLA算子内，设计了Key-Value张量存储复用机制，减少存储资源占用。
●图编译：MindSpore推理使用了图编译进行加速，通过对整图进行Pattern匹配，无需修改模型脚本，即可实现整图的通用融合。以DeepSeekV3为例，在图编译过程中实现了Add+RmsNorm、SplitWithSize+SiLU+Mul等众多Pattern的自动融合。
仿真等技术，在优化MoE的训练流程的同时，还实现了更高效的多维混合并行。●MoE模块优化：在MoE模块中可支持多种主流结构可配置，如共享专家、路由专家个数、激活函数选择等，极大地提升了模型的灵活性。在MoE并行方面支持TP-extend-EP、路由序列并行、MoE计算通讯掩盖、分组AllToAll通讯等多种并行模式和并行优化，用户可在配置中更灵活地使用相关并行加速能力。●Dryrun
集群内存仿真与自动负载均衡：MindSpore的Dryrun工具可以根据训练任务模拟出集群中每卡的内存占用情况，从而在不实际占用集群的情况下，为训练的分布式并行策略调优提供快捷反馈。自动负载均衡工具SAPP为DeepSeek V3通过精确建模内存和计算负载，在内存约束条件下，求解最优的流水线并行的各Stage层数与重计算量，分钟级开销内自动获得最优流水线配置。
下一步，昇思MindSpore开源社区将上线版本镜像，为开发者提供开箱即用的模型。未来，昇思开源社区将依托丰富的技术能力，持续优化DeepSeek V3系列模型的性能，加速模型从训练到生产部署端到端的创新效率，为开源开发者进行大模型创新提供了高效易用的基础软件与技术生态，促进千行万业智能化转型升级。
