Epoch AI:硬件占训练前沿AI模型成本的47-67%

近年来,训练前沿人工智能模型的成本急剧增长,但关于这些费用的规模和增长的公开数据有限。

分析显示,自2016年以来,前沿模型最终训练运行的摊销硬件和能源成本以每年2.4倍的速度快速增长。Epoch AI还估算了开发关键前沿模型的成本分解,包括研发人员成本和实验计算成本。大部分开发成本是硬件成本,占47-67%,研发人员成本占29-49%,其余2-6%用于能源消耗。

如果培训成本持续增长的趋势持续下去,到2027年,最大规模的培训将花费超过10亿美元。

关键结果

Epoch AI的主要方法是基于硬件折旧和模型训练期间的能源消耗来计算训练成本。硬件成本包括AI加速芯片、服务器、互联硬件。Epoch AI使用来自开发人员或可信的第三方报告的信息来识别或估计给定模型的硬件类型和数量以及训练运行时间。Epoch AI还估计了在每个模型的最后训练运行期间硬件的能量消耗。

使用该方法,Epoch AI估计了45个前沿模型的训练成本,发现总体增长率为每年2.4倍。

作为一种替代方法,Epoch AI还计算了使用租用硬件在云中训练这些模型的成本。这种方法计算起来非常简单,因为云计算提供商对每芯片小时收取统一的费用,能源和互连成本也计入了价格。

使用这种方法,Epoch AI发现每年的增长率非常相似,为2.6倍,但由此产生的成本估计平均约为硬件和能源平摊方法估计的两倍。

影响

人工智能培训成本的快速增长带来了重大挑战。只有少数大型组织能够跟上这些费用,这可能会限制创新,并将影响力集中在前沿人工智能开发上。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )

赞助商
2024-10-11
Epoch AI:硬件占训练前沿AI模型成本的47-67%
近年来,训练前沿人工智能模型的成本急剧增长,但关于这些费用的规模和增长的公开数据有限。分析显示,自2016年以来,前沿模型最终训练运行的摊销硬件和能源成本以每年2.4倍的速度快速增长。Epoch AI还估算了开发关键前沿模型的成本分解,包括研发人员成本和实验计算成本。大部分开...

长按扫码 阅读全文