中国工程院院士邬贺铨：算力十问

3月13日消息（九九）在今天下午举行的第二届“华彩杯”算力大赛启动会上，中国工程院院士邬贺铨提出“算力十问”：

一问：如何准确衡量算力？邬贺铨指出，现有测算方法难以精准衡量算力。国内企业服务器的出货量并不等于国内市场的使用量，而且进口国外的服务器未统计在内；服务器出货量也不等于上架量，更不等于已经加电使用量。通常服务器集群的算力不等于集群内服务器算力之和；通过问卷调研方法收集的数据也未必能全面反映目前实际使用情况。

二问：超算、通算、智算三类算力是否可以互相调剂？超算和通算可否承担生成式大模型的训练和推理任务？智算适合承担目前超算和通算的任务吗？建设兼具三类节点能力的融合算力中心会有利于三类算力的调度吗？

三问：三类算力有无合理比例？邬贺铨认为，不同地区需求不同，不可能有固定的比例。通常国家与区域创新中心城市对超算有较大需求；机密性和时延敏感性决定了城市政务数据和重要企业关键数据尽量在同城通算；东部地区的AI训练任务重、智算比例高；西部算力枢纽也需要增加智算能力，但一般西部地区以配置通算为主。

四问：何谓合适的算存比？邬贺铨强调，存力与算力需配合，避免因存力短缺造成算力等待而影响处理效率。而存力按位于服务器内外分为内存与外存，对于CPU密集型计算任务，影响算力效率与性能的主要是内存，据分析合理的算存比是GFlops/GB为1；对I/O密集计算任务，需频繁访问外存，如何考虑计入外存力的算存比合理取值，值得商榷。邬贺铨同时指出，存力有HDD机械硬盘和SDD固态硬盘之分，后者可节能70%，但我国SDD仅占24.7%，不及美国一半。

五问：如何根据大模型参数量及训练数据量来设计算力需求？AI模型参数是指深度神经网络各层神经元间连接矩阵的权重和偏置，模型输出值=权重*输入值+偏置。

算力规模（峰值Flops）≈8*训练数据（tokens Byte）*模型参数/训练时间（秒）*算力利用率（0.3~0.55）。

存力规模（Byte）≈10*模型参数*计算精度（Byte）。

理论上可以通过增加训练时长来降低对大模型训练算力的需求，但训练时长的增加意味算力芯片集群出错的次数增加，为应对出错所需存盘开销也增加，计算效率显著下降。据OpenAI的经验，模型大小和数据集大小及用于训练的算力规模三个因素同时放大才有最佳效果，据分析，当不受其他两个因素的制约时，大模型性能与单个因素都有幂律关系。

六问：如何利用边缘与终端的算力？当边缘/终端具有70亿参数以上的推理能力时，边缘/终端可离线进行推理任务，目前手机可支持130亿参数，2024年还会出现支持千亿参数的手机。当边缘/终端仅具有10亿参数的推理能力时，需要与云端协同提供智能能力。邬贺铨提出，单终端算力小，数以亿计的终端算力集合就非常可观，但跨终端的协同计算是否可行值得商榷。

七问：异地算力节点的协同可行吗？邬贺铨认为，将算力集群扩展到跨域，多个异地的算力节点共同承担一个计算任务，实时性的交互要求光传输系统无损和确定性时延，任何丢包和抖动都无法保证计算效率；在异属异构的场景下异地协同计算的实施可操作性更是挑战。他强调，集约化建设大型算力节点比分布异地协同能够显著提升能效和算力效率，东数西算和数据灾备都需要在异地算力枢纽间建立广域连接，但这仅是算力任务的转移而不是异地实时协同计算。

八问：算力的接入需要集中管理与指配吗？不通过国家算力调度平台能够构建全国一体化算力网和算力大市场吗？或者可以由算力节点拥有方和需求方联合建立算力服务联盟，以市场机制来沟通供需。另外，在强调企业为主体发挥市场有效作用的前提下，还需要强化有为政府的角色，通过建立结对子等东西部联动机制强化区域间算力协同。

九问：算网协同做什么和如何做？算力与网络往往属于不同的运营主体，跨运营商的协同调度也有管理难题。而且网络通常并不感知所承载的数据属性。当前，首先要厘清算网协同的标准与方法，发挥IPv6的分段选路、SRV6作为算网协同统一承载协议的作用，通过编程空间实现云网/算网的融通。

十问：如何解除中小企业使用算力的顾虑？邬贺铨建议，政府站台主导建设面向中小企业的云智平台，降低企业利用算力的门槛和对安全的担心。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。