工程院院士高文：没有大算力做大模型就是天方夜谭

7月7日消息，中国工程院院士、鹏城实验室主任高文 6 日在2023世界人工智能大会（WAIC2023）昇腾人工智能产业高峰论坛上演讲时表示，没有大算力做大模型就是天方夜谭，这就和电力是一样的，可以省点电做出什么产品来，别人真正懂行的人听了都不信的，一定要有算力作为基础。

“美国的算力现在指数是排第一，比我们大概多了 30% 的算力，那么也就代表 GDP 也比我们多 30%，什么时候我们的算力超过了美国，咱们的 GDP 就可以超过美国了。”

他表示，从现在开始，算力也是数字经济发展的一个指数，算力够，你的数字经济就能够发展好，不够就发展不好。

以下为高文演讲全文：

各位专家、各位领导，大家下午好！

前面的领导都讲得很好，算力是非常重要的一件事，今天上午陈书记在讲的时候也讲到，上要抓三件大事，人工智能方面其中就有一个是算力建设，算力建设非常重要的一方面，就像电力一样。

从现在开始，算力也是数字经济发展的一个指数，你算力够，你的数字经济就能够发展好，不够就发展不好。所以，特别是智能算力就非常关键。

所以跟大家分享关于鹏城云脑的智算平台，再就是分享一下在这个平台上面做的鹏城脑海大模型。

首先，我们说算力很重要，重要到什么程度呢？

清华大学的一个 2022 年的咨询报告说到了，经过统计计算力指数和 GDP 是正相关的关系，你算力越强你的 GDP 就越强，最右边的图可以看到，美国的算力现在指数是排第一，比我们大概多了 30% 的算力，那么也就代表 GDP 也比我们多 30%，什么时候我们的算力超过了美国，咱们的 GDP 就可以超过美国了。

正是因为算力这么重要，所以发展人工智能和经济没有算力不可能，要有算力要有芯片，芯片做成机器，用这个机器训练这个模型，为了做这件事，我们在 2020 年深圳就做了一台机器，这台 机器叫鹏城云脑 II，这台机器的算力在 2020 年的时候是全世界做人工智能训练最强的一台机器，比当时微软、谷歌的机器都要强，相当于是 4000 块卡的机器，而且这台机器是 4000 块 A100 卡的机器，这台机器是用全光网络把它连起来的，节点和节点之间的延迟非常低。

因为，有了这台机器可以做很多事，包括我们可以做科学研究，可以做产业应用还有关键技术的研发。

这台机器刚刚我说有 4000 块卡，一个是鲲鹏 CPU，一个是昇腾 NPU，都是华为的。

有了这台机器以后，那么这台机器的性能行不行呢？就参加世界 TOP500 的超算的打榜，整个超算整个算力的打榜，同时它也有其他的赛道，我们参加的一 个是 IO500 的赛道，你的输出和输入能力的赛道，我们从 2020 年 10 月份这台机器做出来以后，11 月份就参加打榜，连续 6 次第一，每半年有一次打榜，全节点连续二次第一。

所以，这台机器在做人工智能训练这件事，别人没办法和它比。这台机器的 AI 算力，这个是三年一次的，也参加了打榜，连续三次第一。这台机器不仅硬件强，接口能力和网络非常强，同时上面的软件也是配备得比较完备，包括怎么样做分布式计算，怎么样做命令调优、自研的调度规划等等。这台机器这么大规模的机器以前还是第一次，相当于它的四台机器，其实是四台我们的机器组成这一台了，上面有很多软件的挑战。

可能有的专家也许听到过，有人说全世界能在 1000 块卡上同时选连一个模型的只有几千人，能在 4000 块卡上训练的不超过 100 个人，在 10000 块卡上训练模型的人数更少了，大规模的卡上一起做事，对于软件规划、资源调度挑战非常大。

我们不仅仅是把鹏城云脑 II 用好，我们也承担了国家发改委的任务，用鹏城云脑 II 类似的华为生态的，用在昇腾 AI 集群，不管是 100P 和 900P 的算力结点，我们用网络把资源连起来，可以给大家提供，告诉你这里有资源可以通过网络去用。

同时，我们还把华为生态以外的，按照发改委的要求，希望这是异构的算力网的平台，我们也选择了部分其他厂商的算力，在 2022 年 6 月这个项目验收的时候，已经聚合的智能算力到了 2300P，云脑 II 只是 1000P，这个系统已经聚集了 2300P 的智能算力。

我们有了云脑 II 可以训练大模型了，训练大模型还是很费算力的，但是即使你可以训练大模型，现在的需求根本不够用，我们正在规划做云脑 III。

下面我说说大模型，鹏城正在做一个大模型，这个是 2000 亿参数，也就是 200B 的参数，为什么做这件事呢？

不用再花时间了，因为有 Chat GPT 和类 Chat GPT 大模型在不停地涌现，同时因为现在很多公司都用这个东西做产业应用，去做服务。所以，现在这个模型变得很重要了，但是现在有钱的公司可以砸几个亿做这样的机器，甚至十几个亿和几十个亿，但是大多数的公司做不了。

这个领域需求这么大，怎么办呢？

我们鹏城实验室可以做一个底座，模型训练完开放出去，大家在这个底座说做垂直应用。按照这样的思路，我们首先有鹏城云脑 II 的算力，前一阶段我们积累了很多的数据，这一段时间前几个月我们通过各个渠道，包括购买拿到数据，先下面做清晰，清晰的数据很重，可能我拿到了 100 个数据，清晰完就剩几个了，因为有很多是重复和不规范的，这些东西拿掉就变得很小。虽然拿了很多的数据，但是真正用来做训练的数据只有 1%-5%。有了这个数据我们就可以做大模型底座。

这个大模型底座，我们就是用的生成式预训练模型，就是和 GPT 完全类似的底层的东西，用这个东西训练一个好的模型，希望可以开放出去。

现在这个模型我们想着 2000 亿参数，200B 的参数，这个训出来以后，我们希望把它给到合作伙伴那里，而且提供相应的指令微调和相应的人工增强学习的工具，甚至做一两个垂直领域，做样板作为垂直应用，怎么样用告诉大家，因为华为在这方面很有经验，我们建议谁想做垂直应用，可以到华为得到一些咨询用这个模型做他们的应用。

有了这个东西，我们希望能够快速把这个模型做完可以推向社会，让社会在这个模型上开发中国自己的人工智能大模型应用系统。现在我们正在紧锣密鼓往前推，应该是 8 月底第一次所有的训练就训练完了，9 月份就会把模型开放出去。

现在训练的数据有多大呢？我们说的是喂数据，每天喂 10 个 B，但是最重要喂一个 T 的数据，一个 T 是由几百个 T 清晰来的，现在数据都是中文和代码数据，现在 4000 多块卡的机器每天可以吃掉 10 个 B，100 天就能吃掉 1000 个 B，就是一个 T，我训练 2000 亿参数的模型，需要 4000 块卡训练 100 天。

这就是算力，你如果不够大的话，做一个模型还是很辛苦的，而且我现在才训练了一个 T 的数据，训练两到三个 T 的话，还要加两到三个 100 天，没有大算力做大模型就是天方夜谭，当然有很多人说我可以用限速（音）等等这样那样的，但是实际上这就和电力是一样的，可以省点电做出什么产品来，别人真正懂行的人听了都不信的，一定要有算力作为基础。

我们的算力到现在为止，怎么样把数据做好训练得快，我们有一套体系，有一个开源社区叫启智开源社区，这里面有很多的工程师做飞轮数据工程，可以使你清晰数据做得非常快，有很多自动和半自动的清晰数据，都可以帮助你。

模型训练，4000 块卡吃掉 10 个 B 的数据，整个的损失每天都在降一点，我 们看着特别高兴，每天有数据汇报，一天降了 0.2，我们现在大概在 2 的上下浮动，我们希望最终可以降到 1.8 左右。

这是训练的过程，同时我们要考虑应用的 时候有隐私数据有一些数据应用者，希望到你这个模型应用一下，但是不希望自己的数据被丢掉或者是看到，我们提供了隐私数据保护的模块，我们叫防损包，有了这样一套体系就可以支持应用了。

我们希望鹏城脑海出来了可以快速向社会赋能，可以让大家做数字政府、“一带一路”、智能制造、智慧金融、智慧医疗等等各种各样可能的应用，这里有黄颜色和白颜色，黄颜色是现在已经投进人去做了，你做指令微调和正向学习都需要。后面是放给合作伙伴去做的，而且我们还有一些完整的整个教育计划、人才计划，人才计划就希望这个模型训练放出来，大量培养人才，通过高校和合作伙伴培养，能让中国的大模型应用快速启动。

小结一下，鹏城实验室在鹏城云脑 II 硬件平台和鹏城脑海大模型这两件事都在和华为合作正在往前推进，希望可以对中国人工智能大模型用贡献一点力量，作为一个基石，希望大家多关心、多参与。

谢谢大家。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。