4月19日消息,Meta发布了其最新的开源大模型Llama 3 ,引发全网关注。Meta表示,Llama 3模型利用数据和规模将性能提升到新的高度。
此次,Meta发布了Llama 3 80亿和700亿参数两款模型,分别有预训练和指令微调两个版本。
Meta介绍,Llama 3在两个定制24K GPU集群上接受了训练,使用的数据量超过15万亿个token,这个训练数据集是Llama 2使用的数据量的7倍,其中包括了4倍数量的代码。这使得Llama 3成为迄今为止最强大的Llama模型,支持8000个上下文长度,是Llama 2容量的两倍。
比肩GPT4的开源模型
在Meta公布的AI基准测试中,Llama 3 8B、70B模型在语言(MMLU)、知识(GPQA)、编程(HumanEval)、数学(GSM-8K、MATH)等能力上,几乎全面领先于同等规模的其他模型。
Llama 3 8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过Gemma 7B和Mistral 7B Instruct。在Meta公布的AI基准测试中,Llama 3 70B的表现甚至超越了谷歌的Gemini Pro1.5以及Anthropic的Claude 3 Sonnet。
Meta还披露了Llama 3 4000亿参数版本模型的性能,在多语言推理任务、代码能力,可与GPT-4、Claude 3相匹敌。
Llama 3的优良表现被誉为“媲美GPT4的开源模型”!它将改变许多研究工作和草根创业公司的计算方式。
本月刚刚加入亚马逊董会的传奇研究员,AI开源倡导者吴恩达在X上发文表示:Llama 3的发布是自己收到过的最好的生日礼物!
Llama 3上手教程已抢先出炉
亚马逊云科技也在Llama 3发布的第一时间火速官宣,称其客户已可以通过Amazon SageMaker JumpStart使用这两款Llama 3模型,并发布了如何通过SageMaker JumpStart发现和部署Llama 3模型的官方教程博文。
Amazon SageMaker JumpStart是亚马逊云科技专门构建的一个机器学习中心,提供预训练的模型、内置算法和预构建的解决方案,帮助客户快速开始机器学习项目。
Amazon SageMaker JumpStart能够帮助客户从广泛的公开可用基础模型中进行选择,并将基础模型部署到专用的SageMaker实例中,这些实例置于网络隔离的环境,并可以使用SageMaker进行模型训练和部署。
现在亚马逊云科技的用户可以在Amazon SageMaker Studio中通过几次点击或通过SageMaker Python SDK编程方式发现并部署Llama 3模型,还可以利用SageMaker Pipelines、SageMaker Debugger或容器日志等功能,提升模型性能并实施MLOps控制。
教程博文节选:
通过SageMaker Studio UI和SageMaker Python SDK中的SageMaker JumpStart访问基础模型。
从SageMaker JumpStart登录页,用户可以通过浏览以模型提供商命名的不同集线器来轻松发现各种模型,可以在Meta hub中找到Llama 3型号。
用户可以通过在左上角的搜索框中搜索“Meta-Llama-3”来找到Llama 3型号。
点击Meta hub,用户可以在SageMaker JumpStart中发现所有可用的Meta模型。
目前,SageMaker JumpStart 中可用的所有 Llama 3 模型,以及每个模型支持的默认实例类型和最大总token数如下:
单击模型卡打开相应的模型详细信息页面,用户就可以从中轻松部署模型。
接着,当用户选择部署并确认EULA条款时,部署将开始。您可以在单击“部署”按钮后显示的页面上监视部署进度。用户也可以选择“打开笔记本”通过示例笔记本进行部署。
随着Meta Llama 3的加入,亚马逊云科技目前提供的“大模型豪华套餐”已包括:通过Amazon Bedrock提供的来自AI21 Labs, Amazon, Anthropic, Cohere, Meta, Mistral AI和Stability AI的领先大模型,以及通过Amazon SageMaker JumpStart提供的包括Meta Llama 3在内的各种模型。
- 蜜度索骥:以跨模态检索技术助力“企宣”向上生长
- 毫末智行回应裁员:正常组织调整,比例很小
- 谷歌恐难逃分拆命运:即将迎来特朗普大苦主
- 余承东:尊界车长约5.5米 尺寸可能超越马路上99.99%的轿车
- 逾10年潜心自研芯片创新,亚马逊云科技Graviton在新实例中已打下三分天下
- 长城汽车CTO否认“与华为合作”传闻:对自己的智驾技术相当有底气
- 接入混元大模型 腾讯搜狗输入法讲起AI新故事
- 张朝阳谈互联网创新:创新不仅是创造力的体现,更是实践落地后的成功
- 阅文集团:《庆余年》《全职高手》入选“数字文化十大IP”
- 李斌立flag:明年销量翻倍,后年盈利
- 阿里整合国内和海外电商,成立电商事业群,蒋凡出任CEO
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。