震撼!这家公司仅用19天时间就完成百亿级参数大模型全量训练

6月10日上午,北京智源大会现场AI系统分论坛上,天数智芯产品总监宋煜发表了《国产GPU助力大模型的实践》的演讲,讲述这家率先完成通用GPU量产的企业此次的新动作。

天数智芯的天垓、智铠系列通用GPU产品具有高性能、广通用、开发成本低的特点,广泛支持DeepSpeed、Colossal、BM Train等各种大模型框架,基于天垓、智铠加速卡的算力集群方案不仅能够有效支持LLaMa、GPT-2、CPM、GLM等主流AIGC大模型的Pretrain和Finetune,为行业伙伴提供一站式的大模型算力及赋能服务。同时面向大模型推理侧的一体机,性价比超过国内现有市场主流产品。

据悉,仅用时19天时间,天数智芯就成功完成了北京智源人工智能研究院70亿参数大模型全量训练,收敛效果与英伟达A100集群相当。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )