DeepSeek开源新突破：DeepGEMM库揭秘，训练推理动力强劲

标题：DeepSeek开源新突破：DeepGEMM库揭秘，训练推理动力强劲

DeepSeek在开源周的第三天宣布开放DeepGEMM代码库，这一举措无疑在深度学习社区中引起了广泛的关注。DeepGEMM是为简洁高效的FP8通用矩阵乘法（GEMMs）而设计，其性能在各种矩阵形状上与专家调优的库相匹配或超越。

DeepGEMM是专为英伟达Hopper架构运算设计的，其设计理念是简洁高效。为了解决FP8张量核心累加不精确的问题，它采用了CUDA核心的两级累加（提升）方法，这一创新性的解决方案使得DeepGEMM在性能上有了显著的提升。

在设计上，DeepGEMM只有一个核心内核函数，代码量约为300行，这充分体现了其简洁高效的设计理念。然而，其性能表现却让人眼前一亮，无论是在普通的GEMM运算还是在专家混合（MoE）分组的GEMM运算中，DeepGEMM都表现出了强大的实力。

DeepSeek团队在H800上使用NVCC 12.8测试了DeepSeek-V3/R1推理中可能使用的所有形状（包括预填充和解码），结果显示DeepGEMM计算性能最高可达1358 TFLOPS，内存宽带最高可达2668 GB/s。这一惊人的性能表现无疑证明了DeepGEMM的强大实力。

相比于基于CUTLASS 3.6的优化实现，DeepGEMM的可提速最高可达2.7倍。这一点足以证明DeepGEMM的优越性。另外，在分组GEMM（MoE模型）中连续性布局、掩码布局下，DeepGEMM的性能提升更是高达1.2倍。这无疑为MoE模型提供了强大的动力支持。

为了更好地推广和使用DeepGEMM，DeepSeek团队还对其环境要求进行了详细介绍。首先，必须支持Hopper架构的GPU，sm_90a。其次，Python 3.8及以上和CUDA 12.3及以上（推荐12.8）也是必需的。另外，PyTorch 2.1及以上和CUTLASS 3.6及以上也是推荐的环境。这些环境要求不仅说明了DeepGEMM的兼容性，也表明了DeepSeek对用户支持的重视。

总的来说，DeepGEMM的开源是一个重大的突破，它为深度学习社区提供了新的动力和支持。它的简洁高效的设计和强大的性能表现使其在各种矩阵形状上的表现都令人印象深刻。DeepSeek团队的努力和贡献值得我们的赞赏和肯定。我们期待着DeepGEMM在未来的应用中能够带来更多的惊喜和突破。

在未来的发展中，我们相信DeepGEMM将会成为深度学习领域的一股重要力量，为训练和推理提供更强大的动力。同时，我们也期待着DeepSeek团队能够带来更多的开源突破，推动深度学习领域的发展。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。