4月28日消息(九九)今天上午,以“算力网络点亮AI新时代”为主题的中国移动算力网络大会在苏州开幕。在大会主论坛上,中国工程院院士郑纬民指出,人工智能对算力产生爆发式需求,模型研发、模型训练、模型精调、模型推理都需要算力,算力存在于大模型生命周期的每一环。
郑纬民进一步指出,构建基于国产AI卡的万卡大模型训练平台需要考虑到几个问题:
一是半精度运算性能与双精度运算性能的平衡
设计中不仅要考虑半精度运算性能,还要考虑双精度运算能力,双精度与半精度运算性能之比为1:50-100为宜。根据科学计算(AI For Science)和大模型训练的发展趋势,提出了变精度平衡设计的思想,为适应科学计算和更广泛的AI算法和应用提供了保障。
二是网络平衡设计
网络设计不能针对CNN算法,还需考虑极大规模预训练模型对系统的需求。大规模预训练模型需要高带宽低延迟网络。并支持数据并行,模型并行和专家平行模式。
三是体系结构感知的内存平衡设计
一方面访问内存的请求使网络拥塞,降低吞吐量,反映到应用程序上表现为访存性能显著下降;另一方面,多个访问内存的请求可能访问同一存控对应的内存空间,负载不均,存控需要顺序处理访存请求。
四是IO子系统平衡设计
需要支持检查点,增加SSD。另外,系统的本地nvme ssd仅通过本地文件系统访问,限制了其应用范围,需要将每台服务器上的快速本地nvme整合成应用可见的全局分布式文件系统。
“大模型基础设施平衡设计的几点考虑做得好,别人要用1万块卡,我们用9000块卡就可以了。”郑纬民说。
- 蜜度索骥:以跨模态检索技术助力“企宣”向上生长
- 西班牙电信德国公司迈出重要一步:在AWS云平台部署诺基亚5G核心网
- 中国移动高端路由器和交换机新建部分三个标包出炉:华为、中兴、新华三、锐捷中标
- 2023年中央企业品牌建设能力TOP30公布,三大运营商均上榜
- 索尔思光电2023年亏损8262万元 万通发展正在收购进行中
- 硅光技术重大突破!国内首款2Tb/s三维集成硅光芯粒成功出样
- “5G扬帆启新篇 智创领航绘新质” 第七届“绽放杯”5G应用征集大赛正式启动
- 北信源推出信源密信(量子版)
- STM32释放开发创造力 推动云连接智能终端发展
- 千家早报|阿里巴巴杭州全球总部正式启用;苹果最新爆料将通过自研芯片在云端推出AI功能—2024年05月11日
- 何为需求规划的关键所在
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。