作业帮受邀出任稀土开发者大会架构专场出品人 并畅谈大模型推理技术实践

6月28日至29日，集行业前瞻性与实践性为一体的稀土开发者大会在京成功举办。凭借对前沿科技的持续探索与深入研究，作业帮应邀参会，不仅重点参与了架构专题的建设，还针对行业热点的大模型技术做了重点分享。

作业帮线上业务中心负责人郑长帅受邀出任架构设计和业务稳定性建设出品人，立足行业，郑长帅深入参与了本场会议架构议题的选材与建设，作业帮业务中台技术负责人熊定云与声网、小红书、海达数据库等技术负责人场景化的还原了头部科技企业在架构技术方面的实践经验。

稳定性是系统架构治理的一个重要环节。每个业务都有各自领域的特点和发展阶段，相应地也会遇到稳定性挑战和治理决策的问题。作业帮的架构呈现多元化差异化、跨平台多角色强协同等特点，容量、功能、数据、容错容灾、高频活动的保障便成为了作业帮架构治理的关键任务点。

在架构专场，熊定云从作业帮架构的整体思考出发，围绕作业帮的架构治理方案的设计思路、方法、效果进行了详细阐述，讲解途中穿插实际案例，深入浅出地还原作业帮架构治理的实践之路。在分享最后，熊定云强调，对系统的稳定性要时刻保持敬畏之心，关注业务或系统中产生的新变量，持续迭代认知、坚持必要投入。

此外，作为最早开始教育垂类大模型研发的企业，作业帮AI Infra架构师乔显杰还在大模型部署与推理专题分享了作业帮大模型推理加速的实践经验。前沿科技的探索离不开底层技术的持续开发，随着大模型的发展，参数量和计算量越来越大，这些年GPU的算力也在不断发展，英伟达每次数据中心产品更新的算力都在5-10倍。因此如何充分利用GPU算力是大模型工程的重点。

乔显杰提到，大模型推理优化的重点，是如何充分利用GPU算力资源。因此，避免充分冗余计算、减少非Gemm计算时间、最大化Gemm算力则成为大模型推理优化的关键步骤。乔显杰通过开源框架的选择、量化方式的探索等几个方面详细分享了作业帮大模型的推理实践。

稀土开发者大会是由稀土掘金技术社区主办，本届大会主题为“代码不止，掘金不停”，面向开发者社区的中坚力量，集结近百位国内外技术大咖，旨在帮助开发者拓宽技术视野，传播前沿的技术理念，打造一场业界标杆级的开发者技术盛宴。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。