7月21日消息，在Llama 2发布之际，英特尔分享了70亿和130亿参数模型在英特尔AI产品组合上运行的结果，包括Habana Gaudi 2 深度学习加速器、第四代英特尔至强可扩展处理器、至强CPU Max系列和数据中心GPU Max系列等。
在近期发布的MLPerf基准测试中，Gaudi2在大语言模型上展现了出色的训练性能，包括在384个Gaudi2加速器上训练1750亿参数的GPT-3模型所展现的结果。Gaudi2经过验证的高性能使其成为Llama和Llama 2模型训练和推理的高能效解决方案。
下图显示了70亿参数和130亿参数Llama 2模型的推理性能。模型分别在一台Habana Gaudi2设备上运行，batch size=1，输出token长度256，输入token长度不定，使用BF16精度。报告的性能指标为每个token的延迟（不含第一个）。
该测试使用optimum-habana文本生成脚本在Llama模型上运行推理。optimum-habana库能够帮助简化在Gaudi加速器上部署此类模型的流程，仅需极少的代码更改即可实现。
如图所示，对于128至2000输入token，在70亿参数模型上Gaudi2的推理延迟范围为每token 9.0-12.2毫秒，而对于130亿参数模型，范围为每token 15.5-20.4毫秒。
得益于更高的HBM2E带宽，英特尔至强CPU Max系列为以上两个模型提供了更低的延迟。而凭借英特尔AMX加速器，用户可以通过更高的批量尺寸（batch size）来提高吞吐量。
对于70亿和130亿参数的模型，每个第四代至强插槽可提供低于100毫秒的延迟。用户可以分别在两个插槽上同时运行两个并行实例，从而获得更高的吞吐量，并独立地服务客户端。
亦或者，用户可以通过英特尔PyTorch扩展包和DeepSpeed CPU，使用张量并行的方式在两个第四代至强插槽上运行推理，从而进一步降低延迟或支持更大的模型。
英特尔在一个600瓦OAM形态的GPU上评估了Llama 2的70亿参数模型和Llama 2的130亿参数模型推理性能，这个GPU上封装了两个tile，而英特尔只使用其中一个tile来运行推理。
下图显示，对于输入长度为32到2000的token，英特尔数据中心GPU Max系列的一个tile可以为70亿参数模型的推理提供低于20毫秒的单token延迟，130亿参数模型的单token延迟为29.2-33.8毫秒。
因为该GPU上封装了两个tile，用户可以同时并行运行两个独立的实例，每个tile上运行一个，以获得更高的吞吐量并独立地服务客户端。
- 蜜度索骥：以跨模态检索技术助力“企宣”向上生长
- 阿里巴巴拟发行 26.5 亿美元和 170 亿人民币债券
- 腾讯音乐Q3持续稳健增长：总收入70.2亿元，付费用户数1.19亿
- 苹果Q4营收949亿美元同比增6%，在华营收微降
- 三星电子Q3营收79万亿韩元，营业利润受一次性成本影响下滑
- 赛力斯已向华为支付23亿，购买引望10%股权
- 格力电器三季度营收同比降超15%，净利润逆势增长
- 合合信息2024年前三季度业绩稳健：营收增长超21%，净利润增长超11%
- 台积电四季度营收有望再攀高峰，预计超260亿美元刷新纪录
- 韩国三星电子决定退出LED业务，市值蒸发超4600亿元
- 鸿蒙概念龙头大涨超9倍，北交所与新能源板块引领A股强势行情
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
