大约十年前,维克托·舍恩伯格在《大数据时代》一书中直言:世界的本质是数据,大数据将开启一次重大的时代转型。
十年之后,维克托·舍恩伯格的预言逐渐成真。全球数字经济近年来的蓬勃发展,推动了各行各业的加速转型。如今,数据已然成为最重要的生产要素,无论是产业数字化,还是企业数字化转型,均已离不开数据。
但如何把数据“用起来”始终是众多行业用户所面临的一大挑战。一方面,随着企业数字化转型进入深水期,在逐渐完成上云之后,“用数”自然而然就成为数字化转型的阶段性重点;另一方面,能否“用好数”又直接跟接来的“赋智”紧密相关,直接关系着企业未来数字化转型的成败。
因此,针对“用数”打造相应的策略、方案和产品就成为云服务商在当前的重中之重。在2022 re:Invent全球大会上,亚马逊云科技就正式推出了其端到端数据战略,为广大上云企业的用户带来了清晰的策略与方法论。
正如亚马逊云科技数据与机器学习副总裁 Swami Sivasubramanian博士所言:“端到端数据战略包括三个核心要素:一是面向未来的数据基础设施;二是跨组织的数据链接;三是数据普惠化。最终目标是帮助企业将数据转化为对业务有意义的见解和行动,驱动企业借助数据进行下一波创新。”
端到端数据战略解决了什么
数据爆炸性增长的年代,把数据“用起来”并非易事。
事实上,从最早的大数据平台,到后来的数据中台,再到现在的湖仓一体、数据编织(Data Fabric),与数据相关的各色概念层出不穷,用户们也是应接不暇、手足无措,但离真正把数据“用起来”尚有着不小差距。
究其原因,数据量、数据消费群体和数据驱动场景均已经发生了显著变化。这使得从数据收集、数据治理到数据分析、数据管理,再到数据价值的实现,涉及到了链路极其长且复杂,很少有用户能够完全驾驭。
所以,亚马逊云科技在积累多年与数据相关的产品、技术之后,开始打造端到端的数据战略,从数据全链路的视角帮助用户们把数据“用起来”。
具体来看,亚马逊云科技认为首先需要面向未来的数据基础设施。Swami Sivasubramanian博士介绍,面向未来的数据基础设施应具备四个要素:需要有正确的数据库工具来应对所有类型的工作负载;可以在大规模的情况下进行高性能的运行;不需要我们做非常多的重复工作;以及需要高可靠性和高伸缩性。
显然,相比于其他厂商,云服务商在构建面向未来的数据基础设施无疑是领先的。得益于云端各种大规模场景的不断验证,云服务商们最有条件为数据分析与应用构建起先进的数据基础设施。
其次,,亚马逊云科技认为需要实现安全高效的跨组织数据链接。Swami Sivasubramanian博士介绍:企业可以使用一个合作系统来连接孤立的团队,为重要资源创造快捷安全的访问途径,使用正确数据治理系统,借助高质量的工具和数据来推动未来的增长。
正所谓数据只有充分的流动、共享才能发挥价值。但数据的流动、共享既需要合规,还需要有安全保障,对于数据长链路而言,这是巨大挑战。所以,亚马逊云科技构建安全高效的跨组织数据链接,推动数据有效流动、共享是当前很多用户所渴望的。
最后,亚马逊云科技认为需要工具和教育实现数据普惠化。事实上,数据消费群体持续扩大是大势所趋,但数据消费者的技能也是把数据“用起来”的关键。亚马逊云科技预计到2029年,人工智能劳动力将增加100万个工作岗位,但培育合适的技能和人选来填补这些空缺将是一项重大挑战。
为此,亚马逊云科技正在帮助社区学院和 MSIs 加大教育力度,推出新的亚马逊云科技机器学习大学教育培训计划,提供动手培训课程,为培育新一代劳动力做好准备。
可以看出,在今年2022 re:Invent全球大会上,亚马逊云科技除了发布大量针对数据的产品与功能之外,也开始用端到端的视角推出数据战略,给予用户们更加清晰的数据“用起来”的思路。
让数据服务走向简单化
众所周知,数据服务与价值实现的链路很长,且具有相当的复杂性。因此,端到端的数据战略是大势所趋。但端到端的数据战略并不是简单的将众多数据服务、工具和产品进行拼凑与集成,而是需要深度整合、优化,实现使用体验与效率质的飞跃。
在亚马逊云科技看来,数据服务需要恰当的工具、有效的数据集成、规范数据治理以及深入的业务洞察力。因此,亚马逊云科技的思路是:
一方面是持续打造有竞争力的数据工具与服务,不断完善产品的功能;另一方面,则从使用者的角度出发,让数据服务走向深度集成化、简单化,让端到端的数据服务真正有效果。
“从本次re:Invent发布的特性看未来技术演进的方向,非常明显的一点就是数智融合,也就是如何打造一个端到端的数据服务战略。”亚马逊云科技大中华区产品部总经理陈晓建如是说。
例如,亚马逊云科技在今年2022 re:Invent全球大会上提出了 Amazon OpenSearch Serverless 版本、Amazon Aurora与 Amazon Redshift 的 Zero-ETL(提取、转换和加载)集成、Amazon Redshift 与 Apache Spark 集成、精细的数据管理产品 Amazon DataZone、Amzon Quicksight Q 预测服务等一系列与数据相关的服务。
以Zero-ETL为例,亚马逊云科技推出的Zero-ETL(提取、转换和加载)集成服务极具价值与意义。众所周知,过去的数据治理与应用体系严重依赖ETL。Gartner调研数据显示:分析师80%的时间用于发现和准备数据,知识型员工将50%的时间浪费在寻找数据、发现和纠正错误以及确认不信任的数据来源上,数据科学家花60%的时间清理和组织数据。
当数据规模远胜以往之后,依赖ETL的方式就容易数据的供给侧与使用侧极大的效率问题,因此Zero-ETL成为大势所趋,通过Zero-ETL简化杂ETL链路,实现敏捷数据洞察和高效一致的数据协作。
例如,Amazon Aurora 将首次支持与 Amazon Redshift 的 Zero-ETL(提取、转换和加载)集成,将事务数据与分析功能结合在一起,消除了在 Aurora 和 Redshift 之间构建和管理自定义数据管道的所有工作。用户不必构建和维护复杂的数据管道来执行提取、转换和加载(ETL)操作。
又如,数据爆炸性增长为数据治理带来了前所未有的复杂度。数据治理涉及到不同的团队、应用和权限管理,使得细颗粒度的数据管理成为当前的强需求。因此,亚马逊云科技打造出 Amazon DataZone,用于分类、发现、共享和管理数据的数据管理服务,可以集成 Redshift、Athena 和 QuickSight,以及对第三方数据源提供 API 接口,可实现细粒度数据管理,其中包含由机器学习填充的数据目录,易于使用业务术语进行搜索。
在亚马逊云科技看来,DataZone可以使数据工程师、数据科学家、产品经理、分析师和其他业务用户能够轻松地发现、使用和协作数据。
亚马逊云科技在今年2022 re:Invent全球大会上推出与数据相关的系列服务都极具价值且意义重大。对于逐步完成上云阶段的众多用户而言,这些服务与工具的推出可谓是恰逢其时,能够很好地帮助用户把数据“用起来”,对于数字化转型有着极大的帮助。
从亚马逊云科技看数智未来
一直以来,业界都在积极提倡上云、用数和赋智,寄希望打造三者的价值闭环,从而真正让企业数字化转型步入良性发展的轨道。可以看来,亚马逊云科技近年来针对数据服务、机器学习平台等产品与服务的系列构建,已经率先在业界实践出“云、数、智”的闭环之路。
首先,亚马逊云科技正在把重要的工具与服务做深、做精,从而让产品与服务的累积效应得以显现。例如,亚马逊云科技机器学习平台Amazon SageMaker五年来增加了260项新功能,不断降低机器学习的技术门槛,简化机器学习的前期工作,加速为客户“赋智”。
在本次re:Invent全球大会上,亚马逊云科技还将机器学习的治理功能引入到Amazon SageMaker,通过角色管理器(Role Manager)、 模型卡片(Model Cards),以及模型仪表板(Model Dashboard)等涵盖端到端机器学习流程的管理与治理。
其次,亚马逊云科技正在持续打通数智之间的链路,优化产品与服务,形成产品与服务之间的叠加效应。这从亚马逊云科技推出Amazon Redshift 与 Apache Spark 集成等功能就能反应出。
事实上,随着亚马逊云科技不断优化不同服务之间的集成,将有利于进一步降低数智的门槛,有望为广大用户带来更加出色的服务体验。
最后,亚马逊云科技看中在各大行业之中的闭环实践。在今年re:Invent全球大会上,亚马逊云科技带来了供应链、广告营销、生物医疗、零售等一系列的数智新方案,为用户践行上云、用数和赋智提供了充分保障。
总体来看,“数据”是今年re:Invent全球大会上的绝对主角。随着企业逐步完成上云阶段,在云端的“用数”和“赋智”是所有企业数字化转型接下来的重中之重,这个过程将充满了挑战。无疑,亚马逊云科技带来了它的方法论、战略以及产品服务。面向未来,随着亚马逊云科技端到端数据战略不断在行业中践行,亚马逊云科技有望帮助更多用户在浩瀚的数据海洋中乘风破浪、驭数而行。
免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与极客网无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。