谷歌最新AI大语言模型PaLM2数据量扩充5倍

5月17日消息，据报道，谷歌上周发布的最新大语言模型使用的训练数据，几乎是 2022 年的上一代模型的 5 倍。得益于此，该模型在编程、数学和创意写作方面的表现更为优秀。

据新浪科技援引外媒报道，谷歌是在其 I / O 开发者大会上发布最新通用大语言模型 PaLM2 的。内部文件显示，该模型采用了 3.6 万亿个令牌（token）进行训练。令牌指的是单词串，这是训练大语言模型的重要基础，因为这可以教给模型如何预测字符串中可能出现的下一个单词。

之前版本的 PaLM 发布于 2022 年，当时使用的令牌为 7800 亿个。

虽然谷歌很希望展示其人工智能技术的实力，以及嵌入搜索、电子邮件、字处理和电子表格后的效果，但该公司却不愿发布其训练数据的规模和其他细节。微软支持的 OpenAI 也对其最新的 GPT-4 大语言模型的细节信息保密。

这些公司表示，之所以不披露这些信息，是出于商业竞争考虑。谷歌和 OpenAI 都在努力吸引想要用聊天机器人代替传统搜索引擎，从而直接获取答案的用户。

但随着人工智能军备竞赛日趋白热化，相关研究人员也呼吁企业加大透明度。

自从发布 PaLM2 之后，谷歌一直表示新的模型比之前的大语言模型更小，这就意味着该公司的技术效率得以提升，但却可以完成更加复杂的任务。内部文件显示，PaLM2 基于 3400 亿个参数训练 —— 这项指标可以说明该模型的复杂程度。最初的 PaLM 则基于 5400 亿个参数训练。

目前，谷歌尚未对此置评。

谷歌在一篇关于 PaLM2 的博文中表示，该模型使用了一种名为“计算机优化扩张”的新技术。这就让大语言“更高效、整体性能更好，包括加快推理速度、减少参数调用和降低服务成本。”

在宣布 PaLM2 时，谷歌证实了此前的媒体报道，计该模型针对 100 种语言进行训练，可以执行更广泛的任务。它已经被用于 25 项功能和产品，包括该公司的实验性聊天机器人 Bard。按照从小到大的规模划分，该模型共有 4 种，分别是壁虎（Gecko）、水獭（Otter）、野牛（Bison）和独角兽（Unicorn）。

根据公开披露的信息，PaLM2 比现有的任何模型都更加强大。Facebook 在 2 月份宣布的的 LLaMA 大语言模型采用 1.4 万亿个令牌。OpenAI 上一次披露 GPT-3 的训练规模时表示，它当时基于 3000 亿个令牌。OpenAI 今年 3 月发布 GPT-4 时表示，它在许多专业测试中展示出“与人类媲美的表现”。

LaMDA 是谷歌两年前推出的一个对话型大语言模型，在 2 月还与 Bard 一同对外宣传。该模型基于 1.5 万亿个令牌训练。

随着新的人工智能应用快速进入主流，围绕底层技术的争议也越来越激烈。

谷歌高级研究科学家艾尔・迈赫迪・艾尔・麦哈麦迪（El Mahdi El Mhamdi）于、 2 月辞职，主要原因就是人工智能技术缺乏透明度。16日，OpenAI CEO 山姆・阿尔特曼（Sam Altman）出席美国国会针对隐私和技术举行的听证会，他也认为需要设立一套新的制度来应对人工智能的潜在问题。

“对于一种全新的技术，我们需要一套全新的框架。”阿尔特曼说，“当然，像我们这样的公司应当为我们推出的工具承担许多责任。”

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。