5月21日消息，上周，一个名为“im-also-a-good-gpt2-chatbot”的神秘模型突然现身大模型竞技场LMSYS Chatboat Arena，排名直接超过GPT-4-Turbo、Gemini 1 .5 Pro、Claude 3 0pus、Llama-3-70b等各家国际大厂的当家基座模型。随后OpenAI揭开“im-also-a-good-gpt2-chatbot”神秘面纱——正是GPT-4o的测试版本，OpenAI CEO Sam Altman也在Gpt-4o发布后亲自转帖引用 LMSYS arena 盲测擂台的测试结果。
时隔一周，美国时间2024年5月20日刚刷新的 LMSYS Chatboat Arena 盲测结果最新更新的排名中，这次排名飞速上涨的模型是由中国大模型公司零一万物提交的“Yi-Large” 千亿参数闭源大模型。该结果来自至今积累超过 1170万的全球用户真实投票数。
全球榜
此次LMSYS Chatboat Arena共有44款模型参赛，在最新排名中，零一万物的最新千亿参数模型 Yi-Large 总榜排名世界模型第7，中国大模型中第一，已经超过Llama-3-70B、Claude 3 Sonnet；其中文分榜更是与GPT4o 并列世界第一。
中文榜
值得一提的是，排名前6的模型分别归属于海外巨头 OpenAI、Google、Anthropic，零一万物位列全球第四机构，且GPT-4、Gemini 1.5 Pro等模型均为万亿级别超大参数规模的旗舰模型，其他模型也都在大几千亿参数级别。Yi-Large “以小搏大” 以仅仅千亿参数量级紧追其后。
零一万物也由此成为了总榜上唯一一个自家模型进入排名前十的中国大模型企业。在总榜上，GPT系列占了前10的4个，以机构排序，零一万物 01.AI 仅次于 OpenAI, Google, Anthropic之后，以开放金标准正式进击国际顶级大模型企业阵营。
公开资料显示，LMSYS Org （Large Model Systems Organization） 是一个开放的研究组织，由加州大学伯克利分校的学生和教师、加州大学圣地亚哥分校、卡耐基梅隆大学合作创立。由LMSYS Org发布的Chatbot Arena凭借其新颖的“竞技场”形式、测试团队的严谨性，成为目前全球业界公认的基准标杆。
在形式上，Chatbot Arena首先将所有上传评测的“参赛”模型随机两两配对，以匿名模型的形式呈现在用户面前。随后号召真实用户输入自己的提示词，在不知道模型型号名称的前提下，由真实用户对两个模型产品的作答给出评价，用户在结果下方做出投票四选一：A模型较佳、B模型较佳，两者平手，或是两者都不好。提交后，可进行下一轮PK。
通过众筹真实用户来进行线上实时盲测和匿名投票，Chatbot Arena一方面减少偏见的影响，另一方面也最大概率避免基于测试集进行刷榜的可能性，以此增加最终成绩的客观性。在收集真实用户投票数据之后，LMSYS Chatbot Arena还使用Elo评分系统来量化模型的表现，进一步优化评分机制，力求公平反应参与者的实力。
得益于“真实用户盲测投票”这一机制，Chatbot Arena被称为大模型业内最有用户体感的评测。目前，Chatbot Arena已经成为OpenAI、Anthropic、Google、Meta等国际大厂“龙争虎斗”的当红擂台。（宜月）
- 谷歌AI掌门人Jeff Dean揭示AI提速300%秘密：工程师们，准备好迎接1000万倍的未来了吗？
- DeepSeek-R1-Zero训练揭秘：沈向洋等开源大神如何复刻1/30训练步骤，揭示RL训练新篇章
- 小米新机DeepSeek R1强势归来：超小爱助阵，联网搜索引领新潮流
- 京东云DeepSeek一体机升级：单台即可实现满血版V3/R1模型，高效便捷，不容错过！
- AI诗歌挑战：青春诗刊VS无脸投稿，谁将赢得这场AI文学之战？
- 青岛消防新宠：超能机器狗，救援利器破长程续航
- 商汤科技首席科学家王晓刚预测：日日新大模型6.0，颠覆性变革或将一触即发
- 微软 Copilot 惊艳新技能：一键生成AI视频，轻松拥有百万素材库
- 挪威1X公司惊艳家用人形机器人Neo Gamma：触感逼真到洗衣吸尘，革新未来生活！
- 上海发布国内首个算力生态超市，助力AI云计算企业降低成本，开启智能新篇章
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
