丨划重点
1. 大型模型的每次训练成本通常在数百万美元以上,是一个非常消耗财力和计算资源的过程。
2. 参数是构成模型本身的要素,类似大脑神经元数量等指标,参数量大小决定了模型的复杂程度,但不意味着参数越大越好。
3. 大模型应用普遍存在计算能力的不足、数据的问题、大模型训练所需的工具链以及缺乏专业团队和经验四个问题。
4. 模型即服务意味着用户只用关注模型本身,而无需关心模型本身底层的各类复杂算法和工程化的过程。
丨概述
ChatGPT爆火7个月,尽管关注度略有下降,但“现象级产品”已经不足以形容这款来自人工智能时代的产品。
在很多人看来,以GPT为代表的大模型,是人类到达通用人工智能(AGI)时代的桥梁,无论是谷歌、微软这样的巨头,还是刚刚成立的初创团队,都希望押宝大模型赛道,拿到通往未来时代的门票,“万模大战”的局面就此诞生。
尽管人们对大模型、人工智能巨大的变革能力存在共识,但是在具体的模型、算法、数据和算力等领域存在不同的观点和看法。
7月5日20:00,《亮见》独家邀请到了腾讯云TI平台产品负责人 侯方,直播解读大模型数据、算力价值、应用场景探索以及平台对大模型创业的赋能理念。
在侯方看来,大模型的训练是一个成本非常高业务,模型的参数量需要跟应用场景匹配,越合适越好,算力则是越大越好,“大型模型的参数量越大,就需要更多的训练过程来填充这些参数,这也意味着成本更高”。
与此同时,侯方也分享了与客户共同推动大模型应用方面的难题,包括 “计算能力的不足、数据的问题、大模型训练所需的工具链以及缺乏专业团队和经验。”,与此同时他也提出了自己对大模型应用的建议,他说,“从目前实际的经验来看,第一个需要解决的问题是确定适用的场景。”
侯方认为会有越来越多的平台加入到赋能的行列当中,推出以模型即服务为代表的行业大模型精选商店,帮助解决客户在模型和算力方面的难题,他也呼吁更多的团队选择这样的形式踏入大模型时代的门槛,以解决企业大模型落地的成本和效率方面的问题。
以下为直播文字精华:
01
参数量越适合越好,算力越大越好
刘兴亮:先科普一下大模型的参数量越大是否意味着越好?
侯方:大型模型看起来非常智能、复杂,实际上我们可以简单地理解它只是一系列矩阵。这些矩阵在数学中表示各种值,通过大量的矩阵运算,完成整个智能的实现。
关于参数规模,自从ChatGPT问世以来,人们迅速开始进行比较。大家惊叹于巨大的参数量,也意识到它产生了大量的智能涌现。
就模型本身而言,并不是说参数越大越好,也不是说参数越小越好,最重要的是要看你要解决什么问题。在不同问题场景下,你可能需要一个更大、更专业、更聚焦的模型,也可能只需要一个很小的模型。
所以,就参数量而言,从我的观点来看,适合的才是最好的。
刘兴亮:大模型参数是过去理解的数据吗?如果用一句话来解释可能是什么?
侯方:简单来说,大型模型通过学习数据并将其转化为其内部的参数,这是相对直观的解释。
数据是指我们用于大型模型学习的语料,也就是我们提供给它的知识,而参数则是构成模型本身的要素,类似于我们大脑中的神经元数量等指标,参数量的大小一定程度上体现的是模型的复杂程度。
需要注意的是,训练大型模型的成本与数据、参数息息相关。模型训练涉及的数据量会影响训练成本,学习100条知识与学习1000万条知识的成本完全不同,因此数据规模对成本产生影响;而模型的参数量越大,就需要更多的训练数据和训练时间,这也意味着成本会更高。
从ChatGPT中可以看出,大型模型的每次训练成本通常在数百万美元以上,所以这是一个非常消耗财力和计算资源的过程。
大模型发展进程图,来源:新智元
刘兴亮:说到大模型,算力是躲不开的话题,到底什么是算力,对于模型来说,它的价值在哪?
侯方:一般来说算力越大越好。
算力多意味着模型训练本身的耗时就会变短,训练模型,大模型的智能涌现过程有一些大力出奇迹的过程,所以如果你拥有更多的算力资源,那就在模型训练本身就有更多尝试的可能性。
算力是指在AI大模型训练中的计算能力,通常指的是GPU卡,也就是用于图形处理的显卡。这些显卡在并行计算方面非常擅长,并且内置了芯片和处理单元。当然,CPU也可能提供一定的算力,因为它是计算单元的一种形式,这就是算力的意义。
02
大模型应用的四个难题
刘兴亮:现如今企业对于大模型的需求体现在哪些方面?
侯方:自从大模型问世以来,我们与客户交流和合作的频次显著增多。大家的想法和创意变得无限多样化,我们也在不断满足各种各样的需求。
在我之前接触的客户中,有几个典型的例子,最常见的一个例子是客服领域应用,以提升智能客服的体验和效率。许多企业都会面临类似的问题,无论是销售部门还是其他后勤支持部门,客服的升级是我们目前接触最多的一类客户需求。
客服领域涉及许多方面,不仅仅是直接生成答案,它还包括准确性的要求,以及完成各种具体的任务,比如预订酒店、预订机票等等。
除了客服领域,我们还接触到了许多生成类的需求,比如写小说、撰写公文、报告、视频脚本和营销文案等等,这个领域的需求非常广泛多样,因为要写的东西种类繁多,这是第二类需求。
第三类需求逐渐偏向专业领域,包括编程、研报撰写、会议纪要等等。
刘兴亮:企业现在在应用大模型方面,遇到的核心难题会是什么?
侯方:由于ChatGPT 的出现,大家一开始都会有比较高的预期,认为大模型能够解决所有的问题。单我们与客户合作时常常遇到以下四个难点:计算能力的不足、数据的问题、大模型训练所需的工具链以及缺乏专业团队和经验。
首先是资源问题,特别是计算能力。许多企业想要进行大规模的模型训练,但他们自身的计算能力有限。例如,我们遇到过一些客户只有两张显卡的机器,但他们想要处理更多复杂的任务。这不是因为他们没有足够的资金,而是在这个领域的积累或储备相对不足,而当前市场环境下比较难找到可用的计算资源,算力供不应求已经成为一个普遍的现象。
第二个问题是数据。许多企业希望训练自己的模型,但却面临数据量不足,或者数据质量不够好的问题,而模型训练非常依赖于数据的质量和数量。此外,数据的清洗、配比和预处理等一系列工程任务也需要大量的工作,数据工程本身也具有一定难度。
第三个问题是大模型训练所需的工具链。大模型训练需要一套完整的工具链,因为这个涉及到对于高性能算力、高性能存储、多机多卡调度能力、加速框架等等。
最后一个问题是缺乏专业团队和经验。大模型的虽然越来越多,但很多企业缺乏将其落地的专业团队和经验,在实际落地的时候,会面临模型选型、数据处理、训练方法选择等问题。
刘兴亮:你会给企业管理者在应用大模型方面提什么建议?
侯方:从目前的经验来看,首要解决的是确定适用的场景。我们在与各个客户的交流中发现,这是我们共同面临的第一个关键问题。
由于大模型技术还比较新颖,没有人能够断言自己的大模型在某个特定场景下就是绝对最佳选择,这需要我们不断摸索和实践。
其次是算力、数据、平台工具的建设,这些都是需要考虑的关键因素。
最后是一个比较普遍的建议,即拥抱大模型。由于大模型对于许多软件和业务设计,包括解决特定场景下问题的方法,都提出了全新的思路和交互方式。
03
人工智能让互联网“又行了”
刘兴亮:有哪些原因和客观条件促成了现在的大模型的创业潮?
侯方:大模型技术的出现是整个技术领域中的一次根本性变革。
过去,我们更加注重算法,而随后逐渐发展到深度学习阶段,这个阶段数据的作用开始凸显,但算法在其中仍然占有相对较高的比重。
随着大模型的出现,会发现只要提供数据和算力,模型就能自主学习很多东西。在这种情况下,算法本身的重要性在逐步降低,从技术的发展路径来看,这是一个非常大的变革和进化。
而从应用的角度来看,过去几年,AI在企业中的落地场景越来越多,应用也越来越广泛,并且融入到人们的生活中,接触度也越来越高。
在以上几个因素的推动下,人们开始坚定地拥抱AI和大模型技术。
刘兴亮:AIGC的价值到底是什么,它给互联网行业带来什么样的变化?
侯方:大模型最大的特点是生成式,通过将大量的数据和知识映射到数学空间中,通过多个维度对这些知识进行解构。一旦知识被解构,它们就可以通过重新组合产生现实中的各种作品,如艺术绘画、文字或其他创作。
大模型的运行依赖于大量的计算过程,这意味着它能够以一种非常结构化的方式学习和创造,利用上千亿个维度进行随机组合,从而产生令人难以置信的作品,这就是为什么有时候它创作的画作或文案让人感到惊讶,而人类自己往往无法想到或写出这样的作品。
因此,AI和大模型技术在内容创作领域,尤其是内容生成方面,将带来许多新的技术,辅助或替代人类的创作过程,使我们能够更加聪明地生成内容,这确实是一种非常有效的状态。
AIGC的上中下游,来源:《AIGC+AI生成内容产业展望报告》量子位智库
刘兴亮: 在算力和数据上,小团队其实不占优势,选择成熟的开源大模型进行训练难道不香吗?
侯方:实际上,现在很多企业都会尝试开源模型,大模型的发展离不开开源社区的贡献。
不过,使用开源模型进行训练存在一些门槛,需要一定的算法知识和行业经验。
从落地的可行性的角度来看,更建议的做法是选择云厂商提供的行业大模型,这些模型通常会针对特定行业进行优化,会更适合解决企业的实际问题。
04
让大模型创业变成“逛超市”?
刘兴亮:我知道腾讯行业大模型不久前也刚刚发布,腾讯云也推出了大模型精选商店,并且提出了模型及服务(MaaS)的概念,应该是在行业较早的提出这种行业大模型的模式,那什么是大模型精选商店,什么是模型即服务?
腾讯云Maas,打造一站式行业大模型精选商店
侯方:先从MAAS开始说起,这个概念其实很有趣,也是一个不断演变的过程。
从最开始的基础设施及服务(Infrastructure and Services,简称IaaS),到后面的 PaaS,再到现在的 MaaS,都是在让云服务本身变成越来越简单,以前使用的服务需要客户业务系统自己开发实现,随着 MaaS 服务的普及,会越来越降低大家使用 AI 服务的门槛。
MaaS在AI和大模型领域里有很多重要的意义,它意味着我们可以将底层的内部工作完全包装起来,用户只需关注一个问题:向模型请求某些东西,模型直接提供对应的服务。
目前行业内有模型领域有大量的可供选择,不完全统计已经超过800个模型。面对如此多的选择,我们需要思考如何选择和应用模型,类似的问题在算法模型方面也存在。因此,腾讯的思路是在TI平台上精选了各个行业的大模型,类似“模型超市”的概念,根据客户场景和行业特性进行精选,以提供最适合的模型。
刘兴亮:模型商店给客户提供的核心价值是什么?
侯方:多个行业的高质量大模型,相应的配套工具,更低成本,更高效地帮助企业应用大模型,这是大模型精选商店的三个核心价值。
刘兴亮:从实际的观察来看,行业大模型是目前AI大模型技术落地的有效路径吗?
侯方:行业大模型是目前来看比较有效的路径之一,在面对一些普遍性的挑战,包括算力、数据时,行业大模型提供了一个较好的解决方案。然而我们很难确定未来五年或十年的发展方向,因为大模型的产业革命才刚刚开始,它将演化成何种状态还不得而知。
刘兴亮:AI大模型商业化落地有哪些方式?
侯方:行业大模型是一个有效的方式,因为在商业化落地中,我们除了解决问题外,还要考虑到ROI,这是商业化中大家都关注的核心问题。
我认为,在商业化落地中,一个关键因素是创造出能够解决客户问题的价值,无论是商业提供方还是商业需求方。只有这样,商业化落地才能持久发展。商业化落地不仅涉及解决客户问题,还涉及人们情感和交流需求等方面。虽然这种场景可能不一定是行业大模型所涉及的,但它确实也是一个非常好的商业化落地场景。
免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与极客网无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。