揭秘DeepGEMM：深度学习利器的新篇章
在当今的深度学习领域，高效的矩阵乘法（GEMM）对于模型训练和推理至关重要。近日，DeepSeek“开源周”的进度来到了3/5，推出了一款名为DeepGEMM的全新FP8 GEMM库，旨在为高效且清晰的FP8通用矩阵乘法提供支持。DeepGEMM基于精细化缩放能力，支持普通的GEMM以及MoE分组GEMM，其在Hopper GPU上的性能表现尤为引人瞩目。
DeepGEMM是一款专为高效且清晰的FP8通用矩阵乘法设计的库，具备DeepSeek-V3所提出的精细化缩放能力。它不仅支持普通的GEMM，还支持Mix-of-Experts（MoE）分组GEMM，这为模型训练和推理提供了更大的灵活性。
DeepGEMM的设计简洁，核心内核函数只有大约300行代码，方便学习Hopper FP8矩阵乘法和优化技术。尽管采用轻量设计，DeepGEMM在多种矩阵形状下的性能表现与专家优化的库相当，甚至更好。这充分证明了其高效性和灵活性。
值得注意的是，DeepGEMM不仅支持稠密布局，还支持两种MoE布局。这使得它能够适应不同的应用场景，满足不同的需求。无复杂依赖、代码简洁如教程以及完全采用即时编译技术（Just-In-Time）等特点，使其在大多数矩阵尺寸下超越了专家优化的内核。
DeepGEMM基于CUDA编写，在安装时无需预编译，而是通过轻量级的即时编译（JIT）模块，在运行时动态编译所有内核。这种设计使得DeepGEMM能够充分利用GPU的并行计算能力，提高运行效率。
目前，DeepGEMM仅支持NVIDIA Hopper Tensor核心。为了应对FP8 Tensor核心累加不精确的问题，它使用了CUDA核心的两级累加（提升）方法。这种技术能够有效地解决累加不精确的问题，提高计算精度。
DeepGEMM的出现，无疑为深度学习领域带来了新的机遇和挑战。作为一款深度学习利器，它开启了开源新篇章，为探索深度学习未来提供了新的可能。
DeepGEMM在各种矩阵形状下的性能表现令人瞩目，尤其是在H800上的测试中，使用NVCC 12.8测试了DeepSeek-V3/R1推理中可能用到的各种矩阵形状（包括预填充和解码，但不涉及张量并行）。所有加速指标都是相对于我们内部精心优化的CUTLASS 3.6实现计算的。这表明DeepGEMM具有出色的性能和效率。
尽管DeepGEMM在某些矩阵形状下的表现不尽如人意，但我们相信这只是暂时的。我们欢迎有兴趣的朋友提交优化PR，共同完善这款深度学习利器。通过开源的方式，我们希望能够汇聚更多的力量，共同推动深度学习领域的发展。
总的来说，DeepGEMM的推出是深度学习领域的一次重大突破。它以其高效、灵活、简洁的设计，为深度学习模型训练和推理提供了新的可能。作为一款深度学习利器，DeepGEMM开启了开源新篇章，让我们共同期待它为深度学习未来带来的更多可能性。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
