Gartner&第四范式全球首发AutoML商业落地白皮书

2020年伊始,全球领先的研究和咨询机构Gartner发布了《2020年十大战略性技术趋势:民主化》报告,系统阐述了“AI民主化”在企业智能化转型过程中的意义,以及AutoML对实现AI民主化的关键作用。在该份报告中,第四范式获得了Gartner的认可,被列入了AutoML技术代表性厂商。为此,第四范式联合Gartner发布了全球首个针对AutoML的系列白皮书——《AI for Everyone,AutoML引领AI民主化》以及《AutoML成就指数级增长:感知、认知、决策算法布局提升企业决策水平》。

Gartner&第四范式全球首发AutoML商业落地白皮书

今天,AutoML正在帮助来自各行各业、处于不同技能水平和发展阶段的企业落地AI应用。毫无机器学习经验的医生使用AutoML,提升了新生儿体重预测的准确率;第三方互联网营销平台的科学家使用AutoML,相较专家规则进一步提升了广告推荐点击率;大型企业软件开发人员使用AutoML实现了AI应用的规模化落地,将应用上线周期由6个月缩短至1个月。

《AI for Everyone,AutoML引领AI民主化》报告结合了Gartner对企业AI应用现状的调查报告,针对企业AI应用过程中的两大关键挑战——高技能门槛和低开发效率,深入解析了支撑AI民主化的引领性技术AutoML,并提出实现AutoML落地的正确方式,旨在帮助企业从容面对智能化转型中的机遇和挑战。

AI人才供需严重失衡深层原因是高人才门槛和低开发效率

近年来,成功应用AI所带来的业务价值增长,使得企业对AI应用需求呈现井喷增长趋势。Gartner预测,2022年企业平均部署人工智能和机器学习项目将达到35个。

Gartner&第四范式全球首发AutoML商业落地白皮书

2019-2022年企业AI/ML项目平均部署数量

面对即将到来的AI应用场景爆发,企业是否已经做好充足准备?答案是否定的。在Gartner调查中,56%的受访企业都将“人才不足”作为AI项目落地的首要挑战。

Gartner&第四范式全球首发AutoML商业落地白皮书

阻碍企业应用AI的主要挑战

AI人才不足体现在两个方面,一是数量匮乏。以中国地区为例,教育体系每年培养的AI高级人才数量只有千人级别,远远无法满足每年达百万级的AI场景数增长。二是分布不均,全球AI科学家高度集中在美国硅谷和北京中关村,而绝大多数企业所在地都没有足够的AI科学家。

人才缺失阻碍企业享受AI带来的红利,究其背后原因,是过高的人才门槛和低下的开发效率,导致AI人才无法实现快速培养并有效产出价值

首先是人才门槛过高。传统机器学习模型构建通常由问题定义、数据收集、特征工程、模型训练、模型评估等环节组成。模型构建难度大、技术门槛高,往往需要具备专业知识的科学家完成。培养AI科学家的门槛极高,往往需要8-10年时间,即使是IT专业人员,没有经过长时间的学习和实践积累,也很难掌握模型构建、参数调整等关键技能。

其次是开发效率低下。即使那些投掷重金聘请科学家的企业,也并未收获到所期望的业务价值。这背后的突出问题是,科学家大量时间都消耗在数据、特征及模型选择等重复性工作上。而真正用于定义业务问题、提供创新性解决方案的时间却少之又少。这些工作占用了科学家的宝贵时间,导致其建模效率不足,使其无法发挥出企业所期待的价值,企业AI应用落地进程严重滞后。

AutoML开启企业AI民主化实践让AI发展突破人的瓶颈

AI人才的高技能门槛和低开发效率,让人工智能的发展受制于“人”。AutoML作为支撑AI民主化发展的代表性技术,将赋予企业以低门槛、高效率实现AI规模化开发的能力。

AutoML通过自动化机器学习算法覆盖建模全流程,减少人在数据准备、特征工程、模型训练和模型评估等环节重复性工作,释放AI人才被浪费的宝贵时间,解决AI专业人才短缺和开发效率不足的难题。Gartner预测,到2023年,有40%的公民数据科学家(即企业的IT开发者或业务人员)将使用自动化机器学习来完成业务场景的建模,这将极大程度释放AI带来的价值。

Gartner&第四范式全球首发AutoML商业落地白皮书

AutoML自动化机器学习建模全流程

目前,顶级AutoML建模效果已经与顶尖的数据科学家水平相当。在全球知名的Kaggle机器学习竞赛中,第四范式的AutoML算法在结构化和非结构化等挑战项目中的建模效果战胜了超过98%数据科学参赛选手,意味着每50位全球顶尖数据科学竞赛选手,只有1位能战胜第四范式的AutoML。

AutoML的大规模应用需要以产品化形式输出和投产

顶尖的AutoML算法相当于AI应用构建的“引擎”。而AI应用的开发是一项非常复杂的精细化工程,涉及诸多环节。假如没有一套完整的AI开发工具,各个环节就会变成彼此割裂、互不兼容的“孤岛”,不仅导致科学家在开发过程中疲于奔命,也会让AI规模化变成“泡影”。只有打造基于AutoML算法“引擎”的“自动化工厂”,实现全面产品化,才能真正推动AI产业化落地。

为此,第四范式将AutoML算法进行了产品化封装,打造了一款低门槛、高效率、持续优化的自动化AI生产力平台Sage HyperCycle ML。作为一款成熟的企业级AutoML产品,Sage HyperCycle ML有三方面的优势,首先通过领先AutoML算法加持,降低了使用人员的技能门槛,使得AI应用开发不再局限于科学家,把企业IT开发者及业务人员转变为AI模型开发的生力军;其次是AI建模的全流程自动化,提升落地效率,将AI应用上线周期从以半年为单位缩短至周、天、乃至小时级别;此外,Sage HyperCycle ML的闭环自学习技术支持模型持续动态调优,实现小时、分钟乃至秒级的数据更新和模型迭代,解决了模型上线后模型迭代频率低、人力成本居高不下的问题。

Gartner&第四范式全球首发AutoML商业落地白皮书

极简界面的第四范式Sage HyperCycle ML平台

通过打造该平台,将AutoML算法嵌入到平台产品中,算法的“引擎”作用才可能充分发挥,从而支撑AI的规模化落地。

AI产品和工具的落地需要正确的方法论指导

AutoML的产品化,意味着机器学习项目取得了一半的成功。然而,模型应用上线过程中,错误的认知造成各种各样的问题和挑战。这些问题和挑战影响模型效果,延长建模周期,带来极大的人力和时间消耗,严重影响企业业务价值创造。

只有当AutoML产品被正确的使用,AI项目才能真正落地并创造业务价值。为此,第四范式凝练出AI项目落地的方法论,解决模型构建与模型应用上线之间存在的割裂问题,帮助企业实现AI应用落地。

具体来看,第四范式针对企业落地AI过程中四个方面的误区提出了解决办法。首先,在系统构建方面,企业应当搭建闭环的数据治理架构,明确定义AI的目标、行为和反馈,避免在数据治理过程中消耗大量不必要的精力;第二,在数据准备方面,企业应当基于线上的单一数据来源进行收集和处理,避免多来源数据的形式和逻辑不一致,导致模型效果与实验室效果产生巨大差距乃至反转;第三,在模型构建方面,企业应当利用自动化的机器学习平台实现全流程自动化,让业务人员也能开发AI模型,避免AI落地受制于“人”。第四,在模型上线后,企业应通过自学习技术保持模型效果的持续迭代,避免模型停滞不前,效果随时间推移而衰减。基于正确的方法论,企业利用AI产品实现AI的规模化落地将从理想变为现实。

总结来说,面对AI落地需求井喷和AI人才严重不足的失衡局面,AI民主化是实现AI规模化落地应用、创造更大商业价值的必然路径。而AutoML技术是AI民主化的关键技术支撑。通过将AutoML技术进行产品化嵌套,配合正确的落地方法论,构成一套系统的AutoML落地解决方案和路径,这将使更多的企业和人才有机会享受到AI带来的效率,从而释放巨大的商业价值。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )