摘要：10倍级调优效率、分钟级任务恢复!昇思助力千亿模型快稳训练
基于昇腾AI大集群，运营商伙伴基于昇思MindSpore AI框架成功实现了Llama3.1-405B大模型的训练。数据显示，本次模型训练性能与原生方案持平，训练效率及稳定性显著提升，展示了昇腾AI处理器与昇思AI框架软硬结合的强大能力。
本次联合创新，是运营商伙伴联合昇思首次在超大规模集群上，快速打造基于昇思MindSpore版本的开源千亿稠密大模型，且实现适配后模型原生、训练效率提升。
根据公开报道，Llama3.1-405B原生训练耗时持续54天，累计发生419次故障，平均每3小时产生一次，模型训练耗时长、稳定性要求高，如何优化训练性能、提升执行效率，同时提升稳定性，成为加速模型训练、提升模型精度的关键。面向训得快、训得稳等需求，昇思MindSpore提供了大模型开发套件、多维混合分布式并行、断点续训等能力，支持Llama3.1-405B又快又稳训练。
一、10倍级调优效率提升，任务拉起快、分布式配置策略便捷
MindSpore Transformers大模型开发套件支持一键YAML配置多维并行切分策略，使用开发的套件的训练组件，相较业界其他产品更简洁易用，快速在超大集群上拉起千亿稠密模型任务，提升计算的调度效率。
同时，套件封装轻量接口调用分布式并行接口，使用数据并行、模型并行、流水线并行、细粒度多副本并行、序列并行等多种策略混合，配合offset参数调整模型切分策略，实现模型切分的计算与内存负载均衡，解决内存瓶颈问题，最大化昇腾硬件性能释放，结合LazyInline等特性，提升内存复用效率。此外，依托计算通信多流水并行、运行时流水异步调度，算子融合等多种加速优化特性，进一步提升模型性能。
此外，MindSpore的内存复用技术进一步优化了资源使用，降低了重复计算的比例，使得大规模训练更加高效。
模型的调试调优依托MindSpore提供的Dryrun模拟功能，实现单卡仿真集群分布式策略选择。训练时在离线的单卡场景进行模型训练的内存瓶颈分析、并行策略调优，无需占用超大集群，并将单卡模拟的分布式策略直接映射到超大集群应用，在小时级时间尺度上调试出接近极致性能的405B并行策略配置，相对于传统的大集群上直接调优，效率提升10倍以上，同时，降低开发者选择分布式并行策略门槛，节省大量硬件资源及时间成本。
二、20分钟内实现任务恢复：断点续训与编译缓存技术
面对千亿参数模型在超大集群的频繁中断问题，昇思MindSpore通过编译缓存技术，打造确定性CKPT，支持断点续训，以小时级颗粒度进行任务保存，减少中断时训练进度的丢失。断点续训显著缩短了故障情况下任务重新拉起的耗时，断点续训自故障发生至新训练出loss时间跨度缩至20分钟内，大幅减少了长时间任务中断后重新启动的等待时间。
未来，昇思MindSpore将携手更多伙伴，在自主创新的软硬件基础平台上，原生孵化、适配支持更多全球范围的主流模型，加速使能大模型创新，推动AI应用落地。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
