背景描述
当前,以人工智能技术为代表的新质生产力,引导各行业智算需求爆炸式增长。智算中心作为最重要的算力基础设施,是大模型、图像类、自然语言类、预测类等智能应用的“动力引擎”,为各类智能化业务场景提供安全、稳定、高效的算力支撑,满足国家和行业需求,同时可有效带动相关产业增长,助力行业数智化转型和数字中国建设。
技术架构
飞腾积极响应国家和行业对智算中心的迫切需求,联合生态伙伴打造全栈国产化智算中心解决方案,整体系统架构包括智算芯片、智算设备、智算操作系统、智算平台、国产大模型、智能应用等6个部分,如下图所示。
该方案以飞腾新一代高性能CPU飞腾腾云S5000C为算力底座,兼容多款国产AI加速卡,实现通用算力与智能算力的异构融合,以此为基础研发国产AI服务器,设计适合大规模集群部署的智算中心网络拓扑,构建存算一体的智算平台体系架构,支撑大模型训练推理等应用,可为行业应用提供从端到云的智能化算力服务。
智算中心核心单元
1.算力底座
智算中心算力底座基于飞腾新一代服务器芯片飞腾腾云S5000C和国产AI算力卡。其中S5000C计算性能强大,IO吞吐量大,支持DDR5和PCIe5.0,可满足AI计算高带宽、低延迟的技术需求;国产AI算力卡具备自主可控、灵活拓展的特点,在性能上不断追赶并部分超越国际主流产品。
目前,飞腾腾云S5000C已与国产主流AI算力卡完成适配,整套智算中心算力底座具备自主化程度高、体系布局、生态开放、高可扩展、高性价比、平滑迁移等特点。
2.整机
基于飞腾腾云S5000C的智算设备产品多种多样,包含2U/4UAI服务器(2、4、8卡)、OAM服务器、高速交换机、全闪存储服务器、智能网卡等,上述产品可单独或自由组合形成成熟的整体方案,满足智算中心的多样算力需求,对标国际先进算力水平。
3.智算中心PoD单元
在单个机架上集成了AI服务器、存储服务器、管理服务器、交换机等设备,用于深度学习模型的大规模训练和推理。PoD单元可支持32张加速卡协同工作,采用200G低延迟网络和固态存储方案,既可作为独立计算设备实现开箱即用,亦可作为AI服务器集群的基本组成单元,实现大规模集群配置。目前PoD单元已适配多家厂商AI加速卡,打造出从高性能到高性价比的多套配置方案,具备超强算力、超强拓展性、超高易用性、低TCO、可一体化交付的特点。
4.千卡万卡集群
基于PoD单元模式可将AI服务器集群扩展至千卡、万卡规模,形成AI算力弹性资源池,借助智算平台管理软件和高性能网络互联技术,实现算力资源统一纳管、高效调度、智能运维。AI服务器集群支持大规模的数据处理和复杂的计算任务,适用于大模型训练推理场景,性价比高于国际主流集群方案,可为各类智能应用提供强大、可控的智能算力。
以450个POD、1800台4U 8卡服务器、14400张AI加速卡为例
5.大模型适配
基于飞腾AI算力底座适配了LLama系列、智源、云天励飞,智谱华章、通义千问、百川智能等开源大模型,可开展全量训练、微调、推理等技术,满足不同行业场景客户的需求。携手国内加速卡厂商,训练场景上,适配Megatron-LM、deepspeed等流行训练框架;推理场景适配vllm推理框架,通过集群性能整体优化,实现云端大批量、高效率的训练、推理任务。
实际测试结果显示,4机32卡,70B大模型训练达到249tokens/s/p,性能达到x86+国外主流AI产品的93%左右,整机成本为其85%。综合性价比是其109%。通过性能和整机成本的持续优化,性价比会进一步提升。
方案优势
飞腾智算中心方案具有以下6点优势:
1.自主化程度高
智算中心底座全栈均采用国产产品(CPU、整机、AI卡、网卡、交换机等)。
2.体系布局
覆盖芯片、整机、集群、软件、大模型等,打造云、边、端全栈技术体系。
3.生态开放
兼容国内外主流智算产品技术路线,智算生态开放。
4.高可扩展
扩展性强,集群规模可扩展至千卡万卡级别,支持多种AI卡异构混合并行。
5.高性价比
性价比高于国外产品,并可持续优化。
6.平滑迁移
兼容CUDA生态,可轻松实现软件系统迁移,迁移工具丰富、成本低。
典型应用案例
飞腾国产智算中心解决方案特别适用于国家机关和央企各行业,包括:政务、金融、电信、电力、能源、交通、教育等,支持私有化部署及快速灵活扩展,现已在物流、交通、金融服务等央企落地应用。
典型案例1
• 某央企百亿参数级别大模型项目,支持代码撰写、文档自动生成处理等办公场景,支持自动控制及故障预测等系统使用,实现设备智能运控。
• 方案选型:采用飞腾腾云S5000C的国产AI服务器方案替换N厂方案,移植成本低,兼性价比高,实现算力纳管及LLAMA2大模型训练。
典型案例2
• 某央企园区智慧化管理平台项目,基于园区部署的多路高频摄像头采集数据,通过算法实时分析视频流,实现园区作业安全管控和灾害智能识别,提供智能运营决策和智能助理服务,同时开展大模型训练和视觉模型等多种业务。
• 方案选型:采用飞腾CPU+国产AI卡+麒麟操作系统的全国产化方案,近200张训练推理卡,支持33B模型全量训练、增量预训练和微调。
典型案例3
• 某金融企业大模型应用平台项目,提供大模型训练服务,支持金融风控、贷款征信等业务场景。
• 方案选型:采用飞腾智算中心一体化PhyPOD方案,快速搭建PhyPOD节点集群,通过200G网络交换机实现多台4U8卡AI服务器、存储服务器的高速互联,支持金融大模型训练、微调、推理。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
