优刻得为智谱AI构建超千卡推理集群,让全球用户畅享大模型智能生活

时光倒回到2021年的那个夜晚。一位妈妈灵感枯竭,无法继续她的小说创作;一旁的爸爸正忙碌于代码的世界,他想要在工作之余开发一款小游戏,却困于代码调试;而他们的孩子,正眉头紧锁地趴在书桌上,为一道奥数题苦思冥想。

image.png

2024年的今天,AI大模型的出现让这一切发生改变。

在「智谱清言」的助力下,妈妈的小说创作焕发新生,她只需将自己的创意和构思输入给大模型,就可以生成自然生动的故事情节和对话;爸爸用大模型进行代码编程和调试,通过分析代码逻辑,大大减少了开发的繁琐流程,减轻了一大半的⼯作量;大模型也成为了小朋友学习上的得力助手,不仅能进行作业智能批改,还可以提供详实的解题思路,大幅提升了学习效率。

大模型+算力,让全球用户畅享智能化生活

智谱AI致力于打造全球领先的认知智能大模型,其新一代基座大模型GLM-4性能大幅提升,逼近GPT-4,展现了业界领先的多模态大语言模型能力。通过智谱大模型与优刻得算力的强强结合,大模型推理应用稳定、高效运行于云端,并具备大规模实时推理能力,其推理速度更快,并发性更高,而成本则显著降低。这一创新使得智谱大模型能够深入理解用户需求,快速作出响应,让全球用户提前享受智能化生活的便利与高效。

早在2022年起,优刻得就开始为智谱AI提供强大的底层算力支持。优刻得低成本、高附加值的乌兰察布智算中心,提供定制化高电机柜和充沛的GPU算力,能够帮助智谱大模型迅速搭建并扩大训练和推理集群的规模,提升模型研发效率,支持大模型应用快速上线和对外服务。目前,优刻得智算中心算力管理规模共计超过3000P。

image.png

优刻得乌兰察布智算中心

优刻得助力智谱AI构建超千卡规模推理集群

自「智谱清言」正式上线以来,每日吸引数百万用户访问,面临着在文本、图片、视频等多场景下的大规模实时推理需求。为了满足激增的模型计算需求,需持续扩展计算卡数量,构建千卡级别的推理集群,以进一步提升算力资源利用率和推理性能。

优刻得推理服务平台,提供超大规模融合算力,支持计算集群的统一调度和管理。目前,优刻得已成功助力智谱AI构建了超千卡规模的推理集群。同时,在优刻得云互通产品的加持下,平台还具备强大的“混合组网能力”,让大模型得以实现训推一体化。基于全生命周期的算力资源管理,不仅确保了大模型的高效、稳定运行,使其能够应对各类复杂的推理任务,同时也为云上服务的实时响应提供了坚实的技术保障。

匹配全栈算力资源,实现多样化的推理场景覆盖

智谱大模型广泛应用于智能编程、智能写作等领域,为各行业的智能化升级提供强大的技术支持。无论是处理文本、图像还是视频等多模态数据,智谱大模型都能展现出卓越的性能和灵活性。

优刻得推理服务平台匹配全栈算力资源,兼容通用大模型和行业大模型等多样化场景,面向文图生成、代码生成等各类模型提供弹性稳定的推理服务,满足各算力场景对大规模实时推理的需求。其中,「CodeGeeX」就是智谱AI在优刻得弹性灵活的算力部署方案支撑下,所推出的一款基于大模型的智能编程助手,它可以实现代码的生成与补全、自动添加注释、代码翻译,以及智能问答等功能,每天帮助程序员编写2000万行代码,显著提高工作效率。

除了公有云上的模型推理服务,优刻得也支持大模型的私有化部署。优刻得与智谱AI正探索以“大模型一体机”为载体的全新合作方式,联合推出的行业大模型解决方案能够更好地帮助金融、医疗、汽车、制造等行业快速落地大模型业务。当下,优刻得推理服务平台已融合了丰富的行业模型资源,这些行业模型能够针对不同行业需求进行定制,提供了更加精准和高效的推理能力。

大幅降低推理成本,实现成本效益与服务质量的平衡

随着AIGC技术的持续演进,其对GPU算力的依赖愈发明显。大模型企业在追求卓越计算性能的同时,对推理算力的利用效率和成本要求也愈来愈重视。

目前,优刻得引入了先进的GPU资源管理和调度机制,为智谱大模型提供灵活可靠的性能支持。通过智能分配和动态调整集群任务,有效降低了单个节点的负载压力,同时避免算力资源的闲置和过度消耗。这种精细化的资源管理方式下,优刻得助力智谱大模型的算力利用率显著提升,带来经济又高效的大模型推理体验。优刻得的产品在推理成本方面显著优于同类竞争对手,成功实现了成本效益与服务质量的平衡。

同时,智谱AI使用了优刻得自主研发的UPFS并行文件系统,来优化模型推理性能。UPFS支持IB/RoCE网络,提供对数据百微秒级的访问和最高数百GB/s的读写吞吐,进一步提高数据传输和通信的效率。

未来,优刻得将与智谱AI携手并进,以更加灵活可靠的智算底座,推动大模型技术的持续创新与应用。相信通过双方的紧密合作与不懈努力,大模型将在各个领域落地生根、全面融入生产和生活,更多用户、更多家庭都能享受到智能、高效、便捷的人工智能体验。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )