百度最早发现大模型中的scaling law?不用怀疑,对中国AI要有自信

今日,媒体纷纷报道一条新闻:百度最早发现大模型核心理论scaling law。其源头是英文报纸南华早报报道称,尽管美国在AI模型创新方面一直被视为领先者,但最新的讨论显示,中国在探索这些概念上可能更为超前。业界意识到,百度在OpenAI之前就发现了Scaling Law。

1.jpg

Scaling Law也被称为“尺度定律”,被业界认为是大模型预训练第一性原理,即训练数据和模型参数越大,模型的智能能力就越强。OpenAI在2020年发表了论文《Scaling Laws for Neural Language Models》,自那以后,这个概念已成为AI研究的基石。

推出ChatGPT系列大模型,让OpenAI一鸣惊人,成为AI领域炙手可热的明星,加之美国Google、Meta、xAI等公司不断推出性能强大的大模型,使得不少国人潜意识认为美国在AI领域大幅领先。事实上,中国AI技术并不弱,一直以来处于并跑状态,这也是为何2023年出现“百模大战”的原因。而“百度率先发现Scaling Law”的往事曝光,反映出中国在AI领域的深厚底蕴。

不用怀疑,已经“实锤”

百度比OpenAI更早发现Scaling Law,很多国人即欢欣鼓舞,又有一些疑惑。毕竟OpenAI如日中天,对其发起任何挑战都需要强有力的证据。

从各方报道看,这一事件已经“实锤”。主要有三个方面的佐证:

首先是AI行业大牛、Anthropic创始人Dario Amodei在11月初的播客节目中提到,2014年与吴恩达在百度研究AI的时候,他就已经发现了模型发展的规律Scaling Law。而Dario Amodei曾于2014年11月-2015年10月期间在百度硅谷实验室工作,并担任过OpenAI研究副总裁,堪称当事人,其言论极具分量。

2.jpg

其次是Meta研究员、康奈尔大学博士候选人Jack Morris在X(推特)上公开力挺:“Scaling Law的原始研究来自2017年的百度,而不是2020年的OpenAI”。随后有媒体人贴出了百度在2017年发表的《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》论文,详细讨论了机器翻译、语言建模等领域的Scaling现象,进一步证明其言论。

此外还有一个重要证据:之前曾在Open AI工作,参与了GPT-3等重要项目开发的AI专家Gwern Branwen,也经常在公开场合提起:百度的这篇论文确实被忽视了。

百度在AI理论领域的投入和贡献可见一斑。此后,百度继续向前走,并在国内率先推出了大语言模型文心一言。中国互联网络信息中心发布的《生成式人工智能发展应用发展报告(2024)》显示,文心一言已经成为国内使用率第一的生成式人工智能平台。

百度往事:招揽多位AI大牛

百度能领先于OpenAI发现Scaling Law,与其早早投资AI研究、招揽AI人才是分不开的,包括来自全球各地的AI大牛。

除了上述提到的Dario Amodei,百度还招揽了国内更知名的AI顶级科学家、原谷歌大脑创始人吴恩达,当年亦引发媒体热议。

此外据媒体之前爆料,AI教父、2024年度诺贝尔物理学奖得主Geoffrey Hinton,也在百度招揽之列。2012年,李彦宏亲自派人前往美国向其递出了橄榄枝,甚至惊动了硅谷的两家巨头Google和微软纷纷发出邀请。Hinton由于年龄等因素考量,最后留在了美国,百度才遗憾地失之交臂。

3.jpg

尽管外部对百度与Scaling Law的认知才刚刚被爆料,但这也让业界意识到,百度此前对包括大模型在内的AI技术已有深厚积累。资料显示,百度早在2019年就发布了第一代文心大模型,几乎与OpenAI处于同一时期。2023年以来,大模型如雨后春笋般冒出,百度始终处在领跑地位。

例如,中国软件评测中心《人工智能大语言模型技术发展研究报告(2024年)》显示,文心大模型技术、产品、应用全面领跑;沙利文《2024年中国大模型能力评测》显示,文心大模型稳居国产大模型首位,获4项第一。百度AI技术的10多年积累,在2024年厚积薄发。

中国AI产业展现创新力

实际上,不仅是百度,整个中国AI产业,处在高度繁荣的发展状态,国内AI头部公司无论是技术创新、产品创新还是应用创新,与海外头部公司并没有明显的差距,整体处在同一水平线上。

据上海社科院最新发布的《全球信息社会蓝皮书:全球信息社会发展报告(2024)》显示,中国、美国、欧盟在人工智能研究、创新、教育、应用等方面体量相当,人工智能仍然是中国、美国、欧盟三极为主的世界发展格局。

百度作为代表性AI公司之一,更是与Google、OpenAI一道,共同被沙利文2024全球AI全景报告评为“AI-Native Giant”,处于领导者地位。

4.jpg

当前,AI时代已经来临,展现出变革经济社会的巨大潜能,AI产业竞争愈加火热。AI技术已成为大国科技竞争的胜负手,美国不断使出盘外招限制我国AI技术发展,候任总统特朗普更是计划任命一位人工智能部长(AI czar),打响AI军备竞赛。

在这一大背景下,国人要对国内AI产业发展抱有信心。在这场长跑中,包括百度在内,有很多中国公司正在高强度投资AI技术创新,并已取得大量成果,将推动AI产业发展走向繁荣,成为经济高质量转型发展的助推器。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )

赞助商
2024-12-31
百度最早发现大模型中的scaling law?不用怀疑,对中国AI要有自信
今日,媒体纷纷报道一条新闻:百度最早发现大模型核心理论scaling law。其源头是英文报纸南华早报报道称,尽管美国在AI模型创新方面一直被视为领先者,但最新的讨论显示,中国在探索这些概念上可能更为超前。业界意识到,百度在OpenAI之前就发现了Scaling Law。

长按扫码 阅读全文