大模型一体机是在“卖盒子”吗?

如果要找一个海内外大模型商业化探索的差异点,“一体机”应该榜上有名。

微软、谷歌、OpenAI等,主要通过基于云的AI服务和API接口来实现商业化。当然也有硬件,比如英伟达推出的Jetson,就是面向边缘计算和AI应用的一款设备,可以用来在边缘场景中运行复杂的AI模型,但更多的是作为一个通用的AI计算平台,而不是集成了特定大模型的一体机。

与之相比,“大模型一体机”在中国市场的热度更高。主流AI大模型厂商、ICT服务商及ISV服务商,几乎全部下场了。

AI大模型厂商,如百度的千帆大模型一体机、科大讯飞的星火一体机、智谱AI的智谱GLM昇腾大模型一体机。ICT厂商和ISV服务商也都在积极推出各种场景化一体机,比如新华三面向政企客户的AIGC灵犀一体机,达观数据面向企业市场的“曹植”大模型一体机,商汤科技的金融大模型检索问答一体机,中软国际面向政府市场的JointPilot“四问(问数、问视、问策、问服)”系列大模型一体机等。

大模型一体机,是一个非常有意思的赛道。

有人说,大模型一体机更符合国情,类似于“卖盒子”,也就是软硬结合,将软件带硬件盒子一起卖给客户,这在ToB/ToG市场很好用,因为更符合“拍板领导”的认知范围,不认可软件的价值,只愿意为看得见摸得着的硬资产付费。

大模型一体机,通过将计算硬件和AI大模型及相关支持软件,紧耦合封装在一起,方便客户使用大模型来实现AI应用,可以看作是AI版的“卖盒子”,是一种好的商业模式吗?

一体机里,除了大模型还有什么?

首先有必要搞清楚,大模型一体机究竟在卖什么?市面上的大模型一体机,主要由几个部分构成:

硬件。大模型的训练和推理,需要大量的算力资源,涉及高性能AI硬件。大模型一体机搭载AI硬件,并针对模型进行优化调校。尤其是国产芯片,有数据显示,通过优化,可以将国产芯片性能提升20%-30%,吞吐量提升6-7倍,因此大模型一体机可以提供更高的算效。

2.大模型。满足客户使用大模型、开发AI应用的需求,大模型一体机中内置的大模型也各有特色。这里简单介绍两种,一种是单一大模型的一体机,比如软通动力联合百川智能推出的“软通-百川AI大模型一体机”,就预装了百川大模型。另一种是开源开放的大模型一体机,提供丰富的基座大模型让企业测试、调用,比如百度的千帆大模型一体机,除了内置百度自研的文心大模型,也提供Llama、Baichuan、ChatGLM等十余个主流开源大模型。

3.全栈工具。通用场景的大模型,是无法直接被特定领域、垂直场景来使用的。举个例子,很多行业还没有高质量的语料,一些知识经验还没有被文本化、数据化,导致大模型无法充分学习。所以,想要用好大模型,很多企业还需要有工程师来进行数据治理,建立高质量的行业语料和知识库,做好提示词工程,开发业务友好的插件……从零搭建起全栈AI开发能力,有着不小的工程量。而大模型一体机,针对垂直场景进行过优化微调,集成了易用的平台化工具,可以将原本几个月的开发周期缩短到几天、几小时,实现特定行业专属大模型的快速部署。

4.支持服务。不同于传统软件,大模型需要持续学习,根据人类反馈和数据集及时更新迭代,具有很强的时效性,需要服务商更快、更有针对性地响应。而作为整体解决方案出售的大模型一体机,包含了一定程度的技术支持和服务,可以解决企业长期应用大模型的问题。

不难发现,相比单纯售卖AI服务和API的商业模式,开箱即用的大模型一体机,能够缩短部署周期、深度结合场景、打消落地门槛,是更符合当下产业现状的一种选择,也可以让更多企业更快地用好大模型。

大模型一体机,不等于传统盒子

国内企业纷纷推出大模型一体机时,我所在的一个行业群,有人表示:国内就是软件不值钱,硬件值钱。

提供服务和解决方案的商业模式,优于“卖盒子”,是一个业内流传已久的观念。

尤其是在传统企业软件和云计算领域,“卖盒子”被认为是市场不够成熟的无奈之选,因为以前很多甲方的领导不了解软件技术,觉得硬件更有科技含量。而在销售方式上,卖盒子壁垒不高,拼的不是产品创新,而是客情关系和酒量。商业回报上,卖盒子涉及定制成本、人力维护成本,无法像软件那样通过规模化获得非线性增长,干的都是苦活累活。

既然大模型一体机,也是将大模型及相关软件与硬件集成,作为一个整体产品出售来“卖盒子”。这种商业模式究竟好不好呢?

这里要明确,尽管都是将软硬件集成在一起售卖,但此一时彼一时,大模型一体机并不能等同于传统的“卖盒子”模式。

从市场源头的需求驱动力来看,购买一体机的用户,并非“不懂大模型”。

认为“卖盒子”比“卖软件服务”low,往往是觉得ToB市场的很多客户不懂软件,不明白为什么一张license要卖那么贵,必须封装到盒子里才肯买单。

但今时今日,随着数字化、智能化的深入,各行各业的企业决策者,很少有人不认可大模型的价值,不认可数据工程、知识工程等“软实力”之于AI落地的意义。恰恰相反,大模型一体机的市场崛起,正是因为对应用大模型、开发专属大模型的迫切渴求。

如果说以前“卖盒子”有点买椟还珠的味道,那么现在,一体机中大模型这颗“明珠”在企业市场的认可度,是毋庸置疑的。

除了“软实力”的价值受到认可,大模型一体机的硬件,也更加多元化。

“卖盒子”的另一类诉求是,将硬件作为企业资产的一部分,更好估价,导致了硬件过度堆砌、脱离业务实际需求的情况。显然,大模型一体机市场,也并不是这样的。

我们注意到,大模型一体机的供应商,普遍会提供多种部署方案,既有低成本的轻量级一体机,也有针对大中型客户的定制化高配一体机,相当于中杯、大杯和超大杯。企业完全可以立足于业务场景的实际需求,选择最适合自己的硬件版本,无需重度投入过多的硬件资源。

“不是高配一体机买不起,而是轻量一体机更有性价比”,价值导向、实用导向驱动的大模型一体机,拼的主要是产品力,在供给和销售策略上也更合理、更市场化。

另外值得一提的是,“卖盒子”曾被认为是迎合了中国企业缺乏“安全感”的心理,进行(没有太大必要的)私有化本地部署。那么,支持本地部署、强调数据隔离与安全保障的大模型一体机,有必要吗?

相信了解大模型技术的读者,都会很快做出判断:很有必要。

大模型不同于传统的软件技术,其训练和推理都会涉及大量重要隐私数据,又存在“幻觉”问题,对数据监管和内容安全的担忧并非杞人忧天。

而大模型一体机的本地私有化部署,可以帮助企业实现数据隔离与网络隔离,减少数据传输及存储的风险,确保数据资产的安全性。不打消客观存在的安全顾虑,大模型是很难落地到“最后一公里”的。

所以,大模型一体机并不等于传统的“卖盒子”,而是从复杂产业实际出发的一种选择。

大模型一体机,到底谁在用?

当然,大模型一体机确有其用,并不意味着每一个开发者、每一家企业都适合。

相比大模型一体机少则几万、多则几十万的前期投入成本,通过API调用次数或计算资源计费,一个token只需要几分钱,初始成本更低。那么,这大模型一体机到底是谁在用啊?

有三类群体,应该将大模型一体机的集成方案,作为重点考量:

一是风险敏感型。

包括数据隐私安全风险,以及供应链断链风险。软硬件协同优化的一体机,可以让AI大模型在国产硬件上也有不错的性能表现。对于有信创需求的企事业单位,是更优解。

公开报道显示,基于昇腾AI硬件底座的软通AI训推一体化平台,就受到央国企、科技机构、教育、金融等领域客户的认可。

二是长期运营型。

一位开发者朋友,在调用了GPT4-Turbo之后表示:“太烧钱了!” 他所用的非代码调用场景,一次要花费0.5元,长期用是不可承受的,于是选择了能力更低的GPT-3.5+其他模型的组合拳。

大模型API基于token使用量的计费方式,虽然初始阶段看起来成本更低,但总体拥有成本(TCO)却未必。实践看来,企业应用AI,并不意味着所有任务都要使用云端先进大模型的完整能力。

大模型一体机提供的更丰富的模型选型、本地化部署、优化过的性能保障,可能让企业AI开发应用的全生命周期,打好“组合拳”。

三是非AI原生型。

大模型火爆之后,很多行业和企业才开始关注AI、使用AI,没有积累相关的开发能力和人才,对技术也是一知半解,这时候想要在自身的业务场景中快速上马大模型,可能要面临短期内资源紧缺的溢价情况,被迫在算力市场、人才市场进行竞价,试错成本更高。这时候,通过大模型一体机的小时级一站式交付、即插即用,可以快速试错。

比如一个普惠版的大模型一体机,不需要A100这类高端显卡,就可以帮助企业打造一个专属大模型,开发出小型的知识库应用或AIGC类应用,让业务智能化起来,让大模型不再遥远。

大模型的商业化探索还处于早期,用传统的眼光去看待新兴事物,未尝不是一种刻舟求剑。大模型不一定要捆绑硬件来凸显价值,但一定要结合硬件来充分释放价值。

从这个角度来说,大模型一体机的商业内核,与以往的“卖盒子”有本质的不同,或许能为企业市场带来一种全新的商业机遇。

免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与极客网无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com。

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2024-05-14
大模型一体机是在“卖盒子”吗?
大模型一体机是在“卖盒子”吗?

长按扫码 阅读全文