华为昇腾910C完成训练 突破万亿参数大模型难关

近日，深圳河套学院AI训练平台项目团队联合哈尔滨工业大学(深圳)、深圳市大数据研究院及华为相关团队，协同深智城AI算力平台，基于昇腾910C国产AI算力集群，完成了1.6万亿参数大模型DeepSeek-V4-Pro的全参数后训练。这一实践为全球第三方机构在国产算力平台上完成该级别模型训练积累了重要经验，证明了国产AI芯片能够支撑世界级超大参数模型训练工作。

万亿参数大模型是人工智能领域的主流前沿模型，在逻辑推理、数理计算、代码编写和长文本理解等方面表现突出。这类模型的全参数训练对硬件算力、集群稳定性和算法适配优化有极高的要求。长期以来，全球范围内万亿级大模型训练多采用海外高端算力产品，国内国产算力主要用于模型推理和小幅微调，难以完成全参数深度训练，这是行业发展中普遍面临的技术难题。

如果把训练一个万亿级参数的AI大模型比作解一道超级复杂的数学题，每一张计算卡就像一名解题员。他们不仅要分工明确、日夜不停地连轴转，还不能有人偷懒、出错或掉队。这次训练的DeepSeek-V4-Pro采用的是混合专家模型（MoE）架构，可以想象成一个庞大的“专家团”。平时回答问题只激活少数几位专家，看似高效，但后训练时，“专家们”之间的沟通量却是普通模型的几十倍。再加上动态切换的注意力机制，这对芯片算力的调度和显存资源的管理提出了极其苛刻的要求。简单来说，以前的国产算力更多是让大模型“能用”，即推理部署，而这次的“全参数后训练”则是要让模型学会自我反思和调整，计算量和通信量瞬间翻了好几倍。