张亚勤：大模型做对了三件事，还需三大改进

6月17日消息（南山）日前举办的人工智能行业盛会“2024北京智源大会”上，零一万物CEO李开复与清华大学智能产业研究院院长、智源学术顾问委员张亚勤进行了一场尖峰对话。

在对话中，李开复强调，大模型是AI有史以来最大的革命，人类能够用更多计算和数据不断让它增加智慧，目前还在推进中，这是令人振奋的事情。当然挑战也非常多，例如当前主要靠算力推动，使得掌握GPU资源的国家处在优势地位；再如因为数据问题，大模型不知道“最近一年发生了什么”。当然，随着人类社会加大研究，李开复对大模型的未来十分乐观。

张亚勤则谈到，大模型做对了三件事，还需三大改进。

做对了哪三件事？一是规模法则（Scaling Law），得益于对海量数据的利用以及算力的显著提升，再加上现在的Diffusion和Transformer架构能够高效地利用算力和数据，使得“飞轮效应”得以正循环。尽管有人质疑Scaling Law在2~3年后是否仍然有效，但至少在未来5年里，它仍将是大模型发展的主要方向。

二是“Token Beist”。在大模型中，“Token”是一个基本元素，无论是文本、语音、图像、视频、自动驾驶，甚至是生物领域的蛋白质和细胞，最终都可以抽象为一个Token。Token之间的训练、学习和生成是核心环节，这与人类大脑中的神经元工作原理相似，无论执行何种任务，其基础机制都是相同的。

三是通用性。通用性不仅体现在文本处理上，还扩展到了多模态领域，甚至可以生成如蛋白质等复杂结构。此外，它在物理世界（如具身智能）和生物世界（如生物智能）中也有着广泛的应用前景。

此外大模型还需要做三大改进。一是效率，人类大脑拥有860亿个神经元，每个神经元又有数千个突触连接，却只需要20瓦的能量，重量还不到三斤；而大模型还依靠大量堆积GPU，需要建立真正的商业模式，大幅度提升效率。

二是大模型没有真正理解物理世界。当前做的再好的大模型，在生成式和对世界真实的表述之间存在矛盾，人类需要探索如何将生成式的概率大模型与现有的“第一性原理”或真实模型、知识图谱相结合。张亚勤认为，未来 5年会有全新的架构替代现在的Transformer和Diffusion模型。

三是欠缺边界。大模型现在不明白“我不知道什么”，需要业界解决这个难题。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。