2022 年在 AI/ML 领域取得了许多突破性的突破。谷歌、Meta 和微软等大型科技公司在从量子计算到生成人工智能的全新创新中取得了重大进步。
例如,一些最大的突破包括解决国际数学奥林匹克问题的 Meta 的 HyperTreeProofSearch (HTPS);DeepMind 的 Alpha Fold 和 Meta AI 的 ESMFold 用于蛋白质折叠预测;谷歌的DeepNull模拟表型之间协变量效应的关系并改进全基因组关联研究 (GWAS)等等。
接下来,让我们看看对 2023 年的一些预测。
ChatGPT以其出色的对话能力风靡互联网。它是建立在 OpenAI 的GPT-3上的,GPT-3有 1760 亿个参数,依赖于更大的模型尺寸。虽然还有其他 LLM 的参数是 GPT-3 的两倍、三倍甚至十倍,但 DeepMind 或 Meta 的一些模型(也称为小型语言模型(SLM))的参数数量已经超过 GPT- 3 在逻辑推理和预测等多项任务上。
除了减小模型的大小外,预计还会有一个更大的模型,如GPT-4 ,具有大约 100 万亿个参数。由于目前最大的模型是具有 1.6 万亿个参数的 Google Switch Transformer 模型,因此跳跃将是巨大的。
然而,为了获得更大的延迟和可预测性,未来几年可以看到对现有模型进行微调以服务于特定目的。最近,OpenAI 使用达芬奇更新对 GPT-3 进行了微调。
趋势一:生成式 AI 需要可解释的 AI
文本到图像的生成是 2022 年打破排行榜的趋势。DALL-E、Stable Diffusion 和 Midjourney 等模型在想要试验 AI 生成艺术的爱好者中名列前茅。对话很快从文本到图像转移到文本到视频,再到文本到任何东西,并且创建了多个模型,这些模型也可以生成 3D 模型。
随着语言模型的扩展以及传播模型的改进,文本到任何东西的趋势预计会上升得更高。公开可用的数据集使生成式 AI 模型更具可扩展性。
这些数据集引入了有关可解释人工智能的部分,其中训练这些生成模型的每张图像的属性变得至关重要。
趋势二:FastSaaS 竞赛开始
赶上生成人工智能趋势的公司已经开始将其作为云端服务提供。随着 LLM 和 GPT-3 和 DALL-E 等生成模型的公开可用,企业越来越容易将它们作为服务提供,这催生了FastSaaS。
最近,Shutterstock计划将 DALL-E 2 集成到其平台,MicrosoftVS Code添加了 Copilot 作为扩展,TikTok宣布推出应用内文本到图像 AI 生成器,Canva推出了 AI - 在其平台上生成功能。
趋势三:依赖超级计算机
这就是构建超级计算机以依赖于生成任务以及为公司提供服务的趋势。随着这些不断增加的数据集和生成模型,对超级计算机的需求正在上升,并且预计会进一步上升。随着对 FastSaaS 的竞争,对更好和高性能计算的需求是下一件事。
NVIDIA 和微软最近合作创建了Quantum-2,一个云原生超级计算平台。10 月,特斯拉宣布其Dojo超级计算机完全使用特斯拉开发的芯片从零开始构建。很快,它看起来可以为企业客户提供访问权限。此外,Cerebras 还推出了 Andromeda,这是一台拥有 1350 万核心的 AI 超级计算机,可提供超过 1 exaflop 的 AI 计算能力。最近,Jasper 与 Cerebras 合作以实现更好的性能。
趋势四:超越 3nm 芯片
正如摩尔定律所预测的那样,处理能力随着芯片尺寸的减小而增加。因此,超级计算机要运行大型模型,就需要更小的芯片,而且我们已经看到芯片越来越小。
近年来,芯片行业一直在推动小型化,制造商不断寻找使芯片更小、更紧凑的方法。比如M2芯片和A16,苹果分别使用5nm和4nm芯片,预计2023年台积电会开发3nm芯片,这将提高AI/ML算法开发的效率和性能。
趋势五:量子与传统计算的融合
随着NVIDIA、谷歌和微软等公司向云端提供硬件服务,量子计算领域的更多创新势必会发生。这将允许小型科技公司在不需要重型硬件的情况下训练、测试和构建 AI/ML 模型。
未来几年量子计算的兴起绝对应该被开发人员纳入,因为它的使用将在许多其他领域增加,如医疗保健、金融服务等。
在最近的公告中,一台量子计算机连接到欧洲最快的超级计算机,以结合传统计算机和量子计算机以更快地解决问题。同样,Nvidia 也发布了QODA——简称 Quantum-Optimised Device Architecture,这是混合量子经典计算机的首创平台。
IBM最近在其 2022 年年度量子峰会上宣布了他们的量子硬件和软件,概述了使用 433 量子位 (qubit) 处理器进行以量子为中心的超级计算的开创性愿景。在全球人工智能峰会上,IBM宣布明年他们将展示一个 1000 量子比特的系统,这将成为各个领域进一步创新的颠覆者。
------------------------峰会预告近期,由千家网主办的2022年第23届中国国际建筑智能化峰会将正式拉开帷幕,本届峰会主题为“数智赋能,碳索新未来”,届时将携手全球知名建筑智能化品牌及专家,共同分享AI、云计算、大数据、IoT、智慧城市、智能家居、智慧安防等热点话题与最新技术应用,并探讨如何打造“更低碳、更安全、更稳定、更开放”的行业生态,助力“双碳”目标的实现。
欢迎建筑智能化行业同仁报名参会,分享交流!
报名方式
成都站(12月20日):https://www.huodongxing.com/event/5657854318600
西安站(12月22日):https://www.huodongxing.com/event/4638585444400
广州站(2023年1月3日):https://www.huodongxing.com/event/2638587914600
上海站(待定):https://www.huodongxing.com/event/3638582473900
北京站(待定):https://www.huodongxing.com/event/4638577546900
更多2022年峰会信息,详见峰会官网:http://summit.qianjia.com/
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。