酷睿轻薄本也能运行大语言模型,英特尔推动PC生成式AI落地

8月24日消息,18 日上午,英特尔在大湾区举办了一场技术分享会,主题是英特尔在 AIGC(人工智能生成式计算)领域的最新进展。会上,英特尔的技术专家向与会者展示了他们在 AIGC 上的技术方向,并进行了多个应用的演示。

据悉,英特尔为了让 12、13代酷睿平台也能够顺利运行各种大语言模型并提供流畅的使用体验,构建了 BigDL-LLM 库。通过这个库,可以对各种大语言模型进行优化和支持,包括一些开源的、可以在本地运行的大语言模型。

这个库甚至可以在一台搭载 16GB 内存的英特尔轻薄本的机器上运行参数量高达 16B 的大语言模型。此外还支持 LLaMA / LLaMA2、ChatGLM / ChatGLM2 等多个大语言模型。

通过集成了 ChatGLM2、LLaMA2 和 StarCoder 这三个大语言模型的 Demo,英特尔技术专家演示了这些模型在中文和英文应用上的表现。通过优化和量化操作,这些大语言模型在生成回答时能够以非常快的速度生成,并且不影响阅读体验。英特尔已经发布了这套 Demo,任何搭载 12、13代酷睿的电脑都可以直接安装并体验。

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2023-08-24
酷睿轻薄本也能运行大语言模型,英特尔推动PC生成式AI落地
12、13代酷睿可以体验。

长按扫码 阅读全文