随着科技的飞速发展，人工智能（AI）已成为推动各行各业创新的重要驱动力。摩尔线程，一家致力于构建全球领先的图形计算处理器的公司，近日宣布正式开源其两大AI框架——MT-MegatronLM和MT-TransformerEngine。这两大框架的开源，无疑将打破AI领域的壁垒，引领行业新风向。
MT-MegatronLM，这是一项面向全功能GPU的开源混合并行训练框架。它支持dense模型、多模态模型及MoE（混合专家）模型的高效训练。这项框架的开源，不仅意味着开发者们可以更便捷地利用GPU进行深度学习训练，同时也为各种模型的研发提供了强大的支持。
而MT-TransformerEngine，主要用于Transformer模型的训练与推理优化。通过算子融合、并行加速策略等技术，释放摩尔线程全功能GPU高密度计算的潜力和memory bound算子效率。这一框架的开源，无疑将推动Transformer模型的研究和应用。
这两大框架的技术突破体现在硬件适配与算法创新的深度协同。其中，混合并行训练能够支持dense、多模态及MoE模型的混合并行训练，可灵活应对不同模型架构的复杂运算场景；FP8混合训练策略结合摩尔线程GPU原生支持的FP8混合精度训练策略，能够有效提升训练效率；高性能算子库通过与muDNN与通信库MCCL的深度集成，系统性优化了计算密集型任务与多卡协同的通信开销；同时结合摩尔线程开源Simumax库，可自动进行并行策略搜索，并针对不同模型和加速环境spec最大化并行训练性能。
在实际应用中，这两大框架也取得了显著的效果。例如，在全功能GPU集群上，利用FP8混合精度加速技术，可以在loss几乎无损的情况下MFU达到90%以上，提升了训练效率；摩尔线程已深度集成并开源对DeepSeek并行算法DualPipe的高效支持，成功实现DeepSeek训练流程的完整复现；通过多种Transformer算子融合技术，显著提升了内存带宽利用率，进一步释放了国产GPU的硬件潜力。
摩尔线程官方表示，将持续优化MT-MegatronLM与MT-TransformerEngine框架，并引入一系列新功能。其中包括Dual Pipe/ZeroBubble并行策略，以进一步降低气泡率，提升并行训练效率；多种FP8优化策略，以提高训练的性能和稳定性；异步checkpoint策略，以提高训练过程中的容错能力和效率；优化后的重计算策略，减少计算和显存开销，提高训练速度；以及独创的容错训练算法，增强训练过程中的容错能力。此外，还计划进一步集成摩尔线程的FlashMLA和DeepGemm库，以进一步释放摩尔线程GPU的算力和FP8计算能力，提升计算性能和效率。
总的来说，摩尔线程开源两大AI框架，不仅打破了AI领域的壁垒，也展现了其在AI领域的强大实力和技术创新。我们期待在未来的发展中，摩尔线程能够继续发挥其技术优势，引领行业新风向，为全球的开发者们提供更强大、更便捷的AI工具和服务。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
