随着大模型的发展日新月异,其推理和训练的边界问题也引起了广泛讨论。近日,清程极智CEO汤雄超在一场行业活动中明确表示,尽管外界有声音认为OpenAI发布的o1模型模糊了推理和训练的界限,但从技术角度来看,这两个阶段的划分并未发生本质改变。
汤雄超指出,o1模型之所以展现出强大的“推理”能力,实际上是由于其背后巨大的计算量消耗。这种计算量的增加,使得模型能够获得更高质量的回答。然而,这并不意味着推理和训练的边界正在变得模糊,而是推理阶段的计算需求正在增加。
清程极智认为,推理和训练需要差异化的系统设计和实现方式。随着推理计算量的增长,未来不仅在训练阶段,推理阶段也将需要集群规模的算力系统支持,而非目前的小规模单卡或单机算力系统。这预示着行业可能需要不同配置的算力集群,以分别应对训练和推理业务的需求。
清程极智的技术背景基于高性能计算,尤其在超算方面拥有深厚的技术积累。在超大规模国产集群进行大模型训练方面,清程极智有着经典的案例。例如,清程极智的大模型训练系统“八卦炉”能够扩展到10万台服务器的超大规模集群,用于训练百万亿参数量的模型,这一成就在行业内具有里程碑意义。
除了在训练领域的卓越表现,清程极智也始终关注推理的重要性。其推理侧的技术和产品已经服务于多家大模型企业。清程极智的推理引擎软件“chitu”能够支持多种模型、不同芯片、提供多种接口形式,如OpenAI API(文本对话)/HTTP API(文生图),满足不同场景下的推理需求。
随着大模型在各行各业的广泛应用,推理和训练的算力需求都在不断增长。清程极智预测,未来行业将需要更多专业化、定制化的算力解决方案,以适应不断变化的业务需求。这种趋势要求AI Infra厂商不仅要在技术上保持领先,还要在服务上提供更高的灵活性和定制化能力。
综上所述,尽管大模型的推理和训练在计算需求上呈现出一定的融合趋势,但从技术实现和系统设计的角度来看,两者的边界依然清晰。随着技术的不断进步和市场需求的日益增长,我们可以期待,未来AI Infra将为大模型的发展提供更加坚实的支撑。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
