摩尔线程开源大模型源码

6月11日，摩尔线程发布MusaCoder代码大模型源码，是行业内第一个基于中国完全自研GPU算力实现从预训练到微调再到应用部署全流程闭合的代码大模型。这标志着我国长久以来存在的“国产GPU只能进行AI推理而不能支持高端模型训练”偏见被打破，填补了国内在AI信创计算力方面的空白。

长期以来，国内AI大模型高端训练对国外GPU有较大需求，在国内只能用于推理而不能用于训练，造成严重算力断层，阻碍AI信创全栈自主可控发展。本次发布的MusaCoder全套训练流程都是在摩尔线程MTT S5000 GPU支持下的夸娥国产智算集群上完成，利用自主研发MUSA架构实现完全自主算力，无任何国外算力参与。

MusaCoder训练总流程

作为面向GPU底层开发优化的大规模代码模型，MusaCoder有9B、27B两种参数量大小，可以自动生成高质量MUSA原生算子代码，服务于国内GPU领域开发者。此外该模型支持常用开发环境，大大减少国内GPU软件开发以及底层算子开发难度，缓解信创环境中软件匮乏、适配困难、开发复杂等问题。

从信创产业角度来看，在MusaCoder开源之后，意味着中国GPU已经能够同时实现“训练+推理”，打破长期以来被国外高性能计算力所垄断的局面。不但有助于政府企业本地部署人工智能应用、工业企业智能化升级以及信创软件研发提供自主算力支持，而且有利于形成软硬件结合的中国人工智能计算力生态系统，使中国信创人工智能产业发展从“能用”到“好用”。