一个GPU需要多少个光模块?

一个GPU需要多少个光模块?

市场上对于光模块与GPU数量的比例存在不同的版本，各个版本的数字并不一致，主要是因为不同组网架构下所需的光模块数量不一样。实际使用的光模块数量主要取决于以下几个方面。

1、网卡型号

主要包括两种类型的网卡，ConnectX-6（200Gb/s，主要配合A100使用）主要使用的光模块有MMA1T00-HS（200G Infiniband HDR QSFP56 SR4 PAM4 850nm 100m）和ConnectX-7（400Gb/s，主要与H100配套使用）。

2、交换机型号

下一代ConnectX-8 800Gb/s交换机型号主要包括两种类型的交换机，QM9700系列（32端口OSFP（2*400Gb/s），400Gb/s传输速率下共有64个通道，总计51.2 Tb/s吞吐率）和QM8700系列（40端口QSFP56，总共40个200Gb/s通道，总计16Tb/s吞吐率）。

3、单元数量（可扩展单元SU）

单元数量影响交换架构的层次，单元数量较少时仅采用两层架构，单元数量较多时采用三层架构。

H100 SuperPOD：每个单元由32个节点（DGX H100服务器）组成，最多支持4个单元组成集群，采用两层交换架构。

A100 SuperPOD：每个单元包含20个节点（DGX A100服务器），最多支持7个单元组成集群，超过5个单元需要三层交换架构。

小结：

（1）A100+ConnectX6+QM8700三层网络：1:6比例，均采用200G QSFP56光模块

（2）A100+ConnectX6+QM9700二层网络：1:0.75 800G OSFP光模块+1:1 200G QSFP56光模块

（3）H100+ConnectX7+QM9700二层网络：1:1.5 800G OSFP光模块+1:1 400G OSFP光模块

（4）H100+ConnectX8（尚未发布）+QM9700三层网络：1:6比例，均采用800G OSFP收发器

假设2023年H100+A100出货量为30万+90万，将产生315万200G QSP56+30万400G OSFP+78.75万800G OSFP需求，AI市场增量空间为13.8亿美元。

假设2024年H100+A100出货量为150万+150万，将产生75万片200G QSFP56+75万片400G OSFP+675万片800G OSFP需求，AI市场增量空间为49.7亿美元，约等于2021年数字直通光模块市场规模。

下面是针对上述每种场景的详细测量过程。

场景一：A100+ConnectX6+QM8700三层网络。

A100共有8个计算接口，左侧4个，右侧4个（如下图）。目前A100出货主要搭配ConnectX6进行外部通信，接口速率为200Gb/s。

在第一层架构中，每个节点有8个接口，每个节点连接8个叶型交换机，每20个节点组成一个单元（SU），因此第一层共需要8*SU叶子交换机、8*SU*20根线缆，以及2*8*SU*20个200G光模块。

在第二层架构中，由于无阻塞架构，上行速率等于下行速率。第一层总单向传输速率为200G*线缆数量。由于第二层也采用单缆200G传输速率，因此第二层的线缆数量应与第一层相同，需要8*SU*20线缆（Cable）和2*8*SU*20 200G收发器。所需的脊型交换机数量是电缆数量除以叶交换机数量，即（8*SU*20）/（8*SU）脊型交换机。但当叶型交换机的数量不够多时，叶型与脊型之间可以建立两个以上的连接，以节省脊型交换机的数量（只要不超过40个接口的限制）。因此，当单元数分别为1/2/4/5时，所需脊型交换机数量为4/10/20/20，所需光模块数量分别为320/640/1280/1600。脊型交换机数量不会按相同比例增加，但光模块数量会按相同比例增加。

当单元数量达到7时，需要第三层架构，由于是非阻塞架构，因此第三层架构所需的电缆数量与第二层的数量相同。

推荐配置SuperPOD：7台单位进行组网，需要增加第三层架构并增加核心交换机，各种不同数量的单位每层交换机数量、连接电缆数量如图所示。

140台服务器，共140*8=1120个A100，共56+56+28=140台交换机（QM8790），1120+1120+1120=3360根线缆，3360*2=6720个200G QSFP56光模块，之间的映射A100和200G QSFP56光模块为1120/6720=1:6。

场景二：A100+ConnectX6+QM9700二层网络

目前推荐配置中还没有该方案，但未来越来越多的A100可能会选择QM9700组网，这会减少光模块的使用数量，但带来800G OSFP光模块需求。最大的区别在于，第一层连接由8根外部200G电缆转换为QSFP转OSFP接口，有2个和1对4。

第一层：对于7台单元，140台服务器有140*8=1120个接口，总共1120/4=280根1-tow-4线缆对外连接，得到280个800G OSFP和1120个200G OSFP56光口模块要求。总共需要12个QM9700交换机。

第二层：仅800G连接，需要280*2=560个800G OSFP收发器，需要9台QM9700交换机。

因此，140台服务器和1120台A100需要12+9=21台交换机、560+280=840个800G OSFP光模块和1120个200G QSFP56光模块。

A100与800G OSFP光模块的映射为1120:840=1:0.75，A100与200G QSFP56光模块的映射为1:1

场景三：H100+ConnectX7+QM9700二层网络

H100设计的特别之处在于，虽然网卡是8个GPU，带有8个400G网卡，但接口合并为4个800G接口，这将带来大量800G OSFP光模块需求。

在第一层，根据推荐配置，建议在服务器接口连接1个【2*400G】800G OSFP光模块：MMA4Z00-NS(800Gb/s Twin-port OSFP 2x400G SR8 PAM4 850nm 100m DOM Dual MPO-12 MMF）或MMS4X00-NM（800Gb/s双端口OSFP 2x400G PAM4 1310nm 500m DOM双MTP/MPO-12 MMF），通过双端口。），两条光纤电缆(MPO)通过双端口连接并插入两个交换机中的每一个。

那么对于第一层而言，一个单元包含32个服务器，一个服务器连接2*4=8个交换机，SuperPOD包括4个单元，第一层总共需要连接4*8=32个叶子交换机。

因此，建议需要预留一个节点用于管理目的（UFM），由于对光模块的使用影响有限，只按照4台128台服务器简略计算。

第一层共4*128=512个800G OSFP光模块，2*4*128=1024个400G OSFP光模块：MMA4Z00-NS400（400G OSFP SR4 PAM4 850nm 30m on OM3/50m on OM4 MTP/MPO-12)或NVIDIA MMS4X00-NS400(400G OSFP DR4 PAM4 1310nm MTP/MPO-12 500m)。

第二层交换机之间采用800G光模块直连，向下连接一台叶型交换机，单向速率为32*400G。为了保证上下行速率相同，因此上行连接需要16*800G单向速率，需要16台脊型交换机，总共4*8*16*2=1024个800G光模块。

因此，在该架构下，两层总共需要512+1024=1536个800G OSFP光模块和1024个400G OSFP光模块，总共4*32*8=1024个H100。因此，GPU与800G OSFP光模块的映射关系为1024/1536→1:1.5，GPU与400G OSFP光模块的映射关系为1024/1024→1:1。

场景四：H100+ConnectX8（尚未发布）+QM9700三层网络

假设H100升级到800G网卡后，外部接口应该从4个OSFP接口升级到8个OSFP接口。每层之间的连接均采用800G连接，整个网络架构与第一种场景类似，只是将200G光模块更换为800G光模块。因此，该架构中GPU与光模块的比例也是1:6。

综上，将四种场景整理成下表。

假设2023年H100+A100出货量为30万+90万，将产生315万片200G+30万片400G+78.75万片800G OSFP需求。

假设2024年H100+A100出货量为150万+150万，将产生75万片200G+75万片400G+675万片800G OSFP需求。

*A100一半使用200G交换机，一半使用400G交换机。

**H100一半使用400G交换机，一半使用800G交换机。

上述对A100 H100数量的估计仅是假设，并不代表未来的预期。

按照2023年平均价格1美元/GB、2024年0.85美元/GB简单计算，预计AI将为光模块带来13.8/49.7亿美元的AI增量市场空间。

相关推荐：

如何选择光模块?

什么是400G光模块？

800G光模块有哪些分类

光模块/AOC/DAC技术门槛低？

千兆光模块和万兆光模块？它们有什么区别？

CIBIS峰会

由千家网主办的2023年第24届CIBIS筑智能化峰会即将正式拉开帷幕，本届峰会主题为“智慧连接，‘筑’就未来”， 将携手全球知名智能化品牌及业内专家，共同探讨物联网、AI、云计算、大数据、IoT、智慧建筑、智能家居、智慧安防等热点话题与最新技术应用，分享如何利用更知慧、更高效、更安全的智慧连接技术，“筑”就未来美好智慧生活。欢迎建筑智能化行业同仁报名参会，分享交流！

报名方式

成都站（10月24日）：https://www.huodongxing.com/event/6715336669000

西安站（10月26日）：https://www.huodongxing.com/event/3715335961700

长沙站（11月09日）：https://www.huodongxing.com/event/7715337579900

上海站（11月21日）：https://www.huodongxing.com/event/9715337959000

北京站（12月23日）：https://www.huodongxing.com/event/3715338464800

广州站（12月07日）：https://www.huodongxing.com/event/6715338767700

更多2023年CIBIS峰会信息，详见峰会官网：http://summit.qianjia.com/

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。