8月21日至23日,由Linux基金会、云原生计算基金会(CNCF)联合主办的全球顶级开源盛会KubeCon+Cloud NativeCon+OpenSourceSummit+AI_dev China 2024, 在中国中国香港隆重举办。
作为全球云原生企业和全球开源生态建设的先锋,华为以开源携手共建智能世界底座,带来多领域开源成果,共探技术与方案,推动原生和AI加速全球智能化。
大会上,华为首席开源联络官任旭东带来“Cloud-Native X AI : 开源加速全球智能化”主题演讲,探讨云原生和AI发展趋势、分享华为应用实践及社区建设等成果。
云原生和AI加速深度融合
人工智能从1956年达特茅斯会议诞生之后,历经三次产业浪潮。任旭东表示,人工智能已经从分析数据、给出建议的产业辅助工具,发展到如今可合成数据、创造结果,逐步走向AGI时代,AI发展重点也逐步从训练走向推理。
任旭东指出,云原生发展经历服务器、云化资源、云原生等不同阶段:
服务器阶段,以硬件设备为中心,业务应用随设备、OS、虚拟化软件进行差异化定制,但虚拟化软件并未从根本上解决基础设施与软件割裂、运维复杂的难题;
云化阶段实现了各类资源如计算、存储、网络的池化,通过统一的虚拟化软件平台,使得应用的通用性增强,但因为虚拟化软件平台差异化较大,应用还是无法以完全标准化的模式构建,应用部署还是以资源为中心,追求资源自动化;
在云原生阶段,企业开始考虑如何将基础设施与业务平台融合,为业务应用提供标准的运行、监控、治理平台,并将业务的通用能力下沉到平台侧,更好地帮助企业实现应用的自动化。
“从2023年开始,AI再次爆发,云原生进入AI算力阶段,CNCF基金会推出了Cloud native AI 工作组,开始给出了云原生AI的参考架构。”任旭东表示,开放正让云原生和AI两大技术方向逐渐走向融合,从Cloud Native for AI和AI for Cloud Native 两个方向双向演进。
华为 Cloud Native for AI 实践
近年来,华为云陆续开源了KubeEdge、Volcano、Karmada等项目,受到业界的广泛关注支持及落地使用。
彭博社的旗舰产品彭博终端,为全球超过350万金融专业人士提供实时市场数据,为投资策略提供数据支持。为进一步提升服务质量,彭博社采用机器学习平台强化终端的数据分析能力,有助实现训练任务的自动化调度、提高执行效率,支持多维度调度策略,确保服务高可用性和连续性等多方面诉求。
“彭博社采用了Karmada来管理多个数据中心的计算资源,并构建了一个统一的作业编排入口,从而隐藏了底层基础设施的复杂性。”任旭东介绍道,这一解决方案带来了提高计算资源的利用率、增强业务敏捷性、对业务精细化管控等显著价值。
Bilibili拥有上亿月活用户,围绕视频业务有搜索推荐、图像处理、视频编解码等多种业务, 针对AI训练任务有较高的效率需求,针对视频编解码任务有着极高的性能需求。
任旭东表示,B站使用了Volcano作为AI/Big Data/编解码任务的调度器进行作业和资源管理,使用Gang、task-topology等丰富的调度策略避免任务死锁,提升AI训练任务效率;通过优化Volcano性能,大幅降低了Job的更新频率,提高了视频编解码任务的吞吐量。
华为AI for Cloud Native 领域实践
华为持续开源创新,与全球云原生社区共同发展。作为中国生态领先的开源AI框架MindSpore,基于MindSpore的LLMOps为云原生带来更多创新。
“随着MindSpore 2.3全新版本的发布,为LLMOps带来了可落地的解决方案,包括由统一的训练和推理提供的在线高性能推理、配备了MindSpore Data, MindChute, MindCompiler以及MindFormer等多种大模型套件的端到端MindSpore流水线,基于Volcano和ms-operator的共同部署能力。”任旭东表示。
同时,作为目前中国领先的开源服务器操作系统,openEuler带来了与AI结合的全新智能方案升级,大模型智能体EulerCopilot为操作系统开发运维带来全新智能体验,而智能操作系统进一步使能云原生的全面创新。
在现场,任旭东宣布openEuler开源社区与CNCF基础设施团队合作、基于openEuler的CNCF CI/CD已经正式上线,将为CNCF开发者带来更多的OS选择及更多算力资源,为CNCF社区带来更加智能的基础设施,并鼓励CNCF社区项目体验。
未来无法预测,但可以被创造
最后,任旭东表示:“一方面,CloudNative For AI ,从训练走向推理,我们坚信云原生是AI的最佳底座,必将加速AI的应用创新。另一方面,AI For CloudNative,AI将从Devops到LLMOPS,使能云原生开发新范式,加速云原生行业落地。”
华为将携手企业和开发者积极投身于AI和云原生领域,双向奔赴,共同应对当前的挑战,构建全球智能化。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )