数据智能赋能业务,易鑫“智能数仓”构建企业“核心大脑”

假期刚过,易鑫集团产品部经理王杨一大早就坐在电脑前,开始整理十一期间的运营数据。各条事业线、上百个产品、不同渠道,还有一些重要的测试期产品需要呈现更多细节。这个工作量,以往需要一个数据分析团队花费一整天的时间才能完成,而在易鑫智能数据仓库(以下简称“智能数仓”)的支持下,只要短短30分钟。

“智能数仓”的作用不仅在提升数据分析的效率。作为一家专业的汽车金融交易平台,易鑫集团累计实现的汽车金融交易量已超过200万台,是数十家银行等金融机构的合作伙伴。在平台纷繁忙碌的日常运营中,“智能数仓”的存在犹如“核心大脑”,为多业务体系稳定高效的运行提供了最强有力的科技保障。

从“散装”数据,到自建“智能数仓”

徐飞是易鑫“智能数仓”项目的第一位员工。彼时的易鑫,还没有一个真正意义上的“数据仓库”,众多业务数据被“散装”在几十个互不相通的业务操作系统中,只能通过手工报表导入信息。数据标准不统一,靠“手工”管理的表格极易出现错漏,严重制约了业务的进一步发展。

作为国内首批从事大数据平台建设、应用研发的专业人员,徐飞不仅参与过多家大型互联网企业的数据中心构建,还有一段不短的创业经历,帮助过众多中小型互联网公司构建独立中心数据仓库,这使得他在自建易鑫“智能数仓”的工作中,能给出更精准的设计和前瞻性的战略布局。

“和互联网公司汇集海量用户的行为数据不同,易鑫是以业务数据为主,对数据平台的安全性、稳定性和数据精准度、可用易用性要求更高;同时,公司多业务并行,数据横跨多个系统、链条拉得很长,口径不统一、标准不兼容,第三方商业数据库没法完全满足需求;作为一家平台化发展的企业,系统必须具备支持多项目运行的复杂运算和无限扩容的能力,以满足随着业务增长、未来数据处理量几倍、甚至上百倍增长的要求。”

徐飞说:“综合考察各种商业数据库的方案,也参考了互联网企业经验,我们发现自建数仓是最‘慢’、最‘费力’,但也最‘扎实’的解决方案。”

数据智能赋能业务,易鑫“智能数仓”构建企业“核心大脑”

上图:易鑫“智能数仓”团队在工作中

构建深入业务的“核心大脑”

同一团队的老秦曾参与过新浪等互联网公司的数据仓库建设。在他眼中,易鑫自建“智能数仓”,至少要具备三方面能力:首先,有统一的输入输出标准,能够支持海量多源异构数据的灵活存储和高效计算;其次,能够构建横跨多个业务系统的通用数据标准,实现对跨平台数据的有效组织和贯通;第三,具备加工数据产品和提供数据服务的能力,有支持统计、分析、挖掘等的中台操作模块,可以基于SLA标准对外稳定输出。

为了解决存储和扩容问题,团队用互联网公司标准,搭建了基于Hadoop框架的分布式计算存储平台,辅以领域内先进的Flink/Spark实时计算引擎,建立起包含100多个节点的服务器布局,让系统可以无限扩容的同时,还具有了大批量的离线数据处理及“秒级”计算能力。然后,系统抓取易鑫近百个系统中的源数据,并进行全面“清洗”,再根据业务逻辑将数据按照“业务对象”、“业务周期”、“用户”等不同主题模型化,进行分门别类的存储。“就像把不同工厂生产的衣物鞋帽,按照上衣、下装、鞋袜、配件等打上分类标签,或者按照男人、女人、小孩等适用场景分到不同仓库中,让数据井然有序。”老秦解释说。

“当中最难的,是如何将分属不同系统中的数据,划归到统一的标准口径下。”作为“智能数仓”核心数据工程师的马维直言,来易鑫之前,自己从未如此贴近过业务:“互联网公司的数据,都是IP、浏览等定义清晰的字段。但在易鑫,各个汽车金融业务之间并没有百分百的对应关系,每当业务系统出现一个新字段,都需要重新定义。”

她举例说,比如客户流失率,易鑫风控审核的多级漏斗是一个自行设计的业务流程,很难从历史数据库中找到准确匹配的字段。系统按照自定义的内容提供了客户流失数据,很快被业务部门发现不符合常理。经过“智能数仓”技术团队和业务端反复比对数据源后,最终找到了原因,随后又从源头重新定义数据指标,这才得出了合理结果。“因为没有历史参照,数据指标很难一次性定义得非常准确,我们需要大量的数据做验证。这在小型汽车金融企业是无法办到的。”马维说。

目前,易鑫“智能数仓”每天接收并处理来自近百个业务系统的大约1.5TB数据,并行处理超过1万个计算任务;多种维度的数据,可以通过手机、PC端实时展示,或处理为既定指标和数据包,定期发送到各个业务端,以支持公司各个层面的业务运作,成为名副其实的“核心大脑”。

数据智能赋能业务,易鑫“智能数仓”构建企业“核心大脑”

上图:易鑫“智能数仓”团队在讨论问题

  从数据平台到数据服务中台

福珍是易鑫资产管理部经理,需要以日为单位统计资产质量情况。之前她只能通过手工表格的方式传递信息,现在只需在系统中轻轻一点,“智能数仓”中的BI模块就能按照她设定的规则,随时展现汇总结果。这一切得益于“智能数仓”开发的数据中台服务。

为满足业务部门对数据的使用要求,目前“智能数仓”提供了三种形式的数据服务。通过易鑫的“通天晓”服务端,用户可以看到上百种不同维度、不同口径的数据,满足各个业务部门对定制数据的要求;而在BI平台提供的数据中台,福珍这样的业务人员可根据需要自定义数据规则,设计属于自己的数据报表。此外,“智能数仓”还支持向公司十数个业务系统提供统一标准的数据接口,按照既定规则自动向业务系统派发作业任务。

“我们希望将‘技术’数仓向‘业务’数仓转变。为此,我们正在搭建业务中台,开发各种辅助工具让普通业务人员经过简单技能培训,就能更方便地通过‘智能数仓’进行工作。”徐飞介绍,目前易鑫已开发出多项辅助支持工具,如“数询”,可以让使用者快速查询获取数据;“数语”提供所有数据的精确描述,能够帮助业务人员追索数据源头和流向;“数诊”则能根据自定义规则对字段内容准确性进行评估、诊断、预警等。

更多使用者,意味着更大的风险存在。汽车金融行业的特性,要求系统对消费者个人信息进行严格的保护。为此,易鑫从2018年开始就严格规范系统内对消费者个人信息的使用。在业务端,所有个人信息提取都必须进过授权,进入“智能数仓”系统内的消费者敏感信息都进行了分级、加密和脱敏处理,所有对外输出信息都用加密字段进行传输,最大可能地保护了数据的安全使用和消费者信息不外泄。

在徐飞心中,“智能数仓”不是一种产品而是一种服务,是易鑫在服务200多万客户基础上,锤炼出的一种基于汽车金融场景的智能数据服务。它的高效、稳定运营,可精准展现各个业务的关键环节信息,帮助业务端更快、更高效地服务于消费者。

数据智能赋能业务,易鑫“智能数仓”构建企业“核心大脑”

上图:易鑫“智能数仓”团队部分成员

数据赋能业务,驱动企业成长

数据赋能业务的成果正在展现。借助“智能数仓”提供的数据支持,易鑫的技术部门重新定义了风控标准,将原本“一刀切”的审核标准改为基于一定风险系数配比的综合考量模型。经评估,客户的履约表现明显优于同期行业整体水平;易鑫产品部也在依托资方分析模块的数据,和资方合作伙伴一起探讨新的金融方案,比如向客户提供更有弹性的汽车融资方案,以满足多元化、个性化的消费者需求。

“‘智能数仓’是易鑫智能商业的基础设施。自确定‘Tech+Fin’的发展战略以来,易鑫一直致力于将‘数据提供的知识’应用到经营分析和管理决策中,将汽车金融业务的运营由传统的‘人治’变为由机器和算法管理的新模式。”易鑫CTO贾志峰说:“就我们所调研和了解的范围来看,易鑫‘智能数仓’的业务和服务能力已经能够满足现有汽车金融企业的各项需求,甚至具备相当程度的跨行业数据管理能力。我们也正在和行业头部的金融机构、汽车厂商,和互联网公司开拓新的业务模式,希望提高彼此的运营效率,达到行业共赢。”

沿着“Tech+Fin”的核心发展思路,易鑫正在积极从行业‘先行者’往‘播种者’的角色转换,通过输出技术能力,来提升汽车金融行业整体数据智能化管理水平,将是易鑫的下一个目标。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )