您现在的位置: 天极网 > IT新闻 > 业内快讯

消费金融对实时数仓系统建设的挑战及马上消费金融实践案例解析

Yesky天极新闻 2018-02-13 14:47 我要吐槽

  【天极网IT新闻频道】在大数据和人工智能时代,数据作为资源的一种存在形式,已经成为了非常重要的生产要素,通过对其分析挖掘可以创造出巨大的经济价值。

  数据从产生到应用,需经过接入、清洗、整合和加工,这些工作通常在数据仓库中完成,关于数仓通常有两类说法,1类是大数据仓库与传统数仓,所谓大数据仓库通常是指采用大数据技术构建的数据仓库,随着hadoop的兴起逐渐流行;另1类是离线数仓与实时数仓,离线数仓主要是T+1同步和处理数据,具有1天的数据延迟,而实时数仓则可以做到实时或者近似实时,具有不同的应用场景。

  实时数仓的发展已经具有较长的历史,应用到了各行各业,但是作为最近几年刚兴起的消费金融领域,实时数仓的建设又将面临哪些新的挑战?

  (一)实时性,消费金融,根据中国银监会的定义,需以小额、分散为原则开展业务,以马上消费金融公司为例,人均借贷3000元,业务遍及全国,该小额分散的业务特性决定了必须完全依靠数据在线上完成整个授信放贷过程,如果按照传统银行的方式线下签单、人工审批,则会产生巨额的人工成本,以3000元的人均客单价带来的利润根本无法承受该成本。

  依靠数据实时授信要求实时数仓从数据接入、清洗、整合、加工到查询整个过程需控制在毫秒级完成,因为在整个授信决策过程中除了实时数仓的数据服务外,还有诸多环节,比如:与前端app对接的api系统,留存申请单的申请单系统,机器学习的模型评分,控制决策步骤的工作流系统,做欺诈、信用评估等决策的规则引擎系统等,所以每个环节都需做到极致,时间尽量压缩,只有这样才可能做到一次授信在亚秒级完成,为客户带来较好的用户体验。

  (二)数据质量,离线数仓支持的大多是BI报表等统计类业务,统计类业务对数据质量要求不高,出现少量数据错误并不会引起统计数据的较大波动,从而不影响数据决策,对于数据质量要求高的业务,由于离线数仓中均是离线任务,任务时效性要求不高,当发现数据质量问题后,通常会有一定的时间可以修复解决,最终实现较高的数据质量。对于实时数仓,很多行业或者绝大部分公司对它的定位主要还是OLAP业务,支撑数据的准实时分析,对数据错误不特别敏感,但是在消费金融行业,在第一个

  实时性挑战处有提到,依靠数据做实时授信,授信是消费金融公司赖以生存的最关键因素,授信做的好,表现为通过率提升,增加放款额,逾期率降低,减少坏账成本,一增一减,大幅提升盈利水平,反之,则大幅压缩盈利空间或者出现放款额越多亏损越大的问题,可见,授信对于实时数仓的定位将不再是OLAP的分析场景,而是OLTP的联机交易业务,对数据质量要求极高,尽可能避免或者减少因数据问题影响授信业务。

  (三)数据获得/应用成本,同样围绕消费金融的授信放贷业务,如何降低数据获得与应用成本,快速把数据价值体现到授信过程中,对于消费金融公司非常重要,在用户的授信过程,需要用到外部购买数据,自建数据,各业务系统产生的历史数据和当前数据,这些数据具有数据量大且散落于各系统库表中的特点,需有比较好的查询机制,支持大数据量的多维查询和跨库甚至是跨异构数据库的统一查询能力,避免当有新的授信规则需要数据时还需到各研发条线排期开发数据接口或者传统技术无法满足大数据量的查询时效性问题。

  授信主要分反欺诈与风险定价两个大的阶段,其中尤其是反欺诈阶段,快速迭代反欺诈的规则和模型,将大幅降低违约成本,能否快速迭代,其中最关键的因素之一就是在线下分析/挖掘数据发现新的规则或者训练出更好的模型时,能否在最短的时间内对接上依赖的数据从而完成生产环境部署,这需要有非常好的的数据架构作为基础,这对传统的实时数仓提出了非常大的挑战,实时数仓架构将不再局限在先汇聚数据再查询,是否可以不汇聚任何数据或者部分汇聚部分还存于源库表,在多源异构存储中实现实时数仓业务。

  综上所述,在消费金融行业,对数仓提出了更加高标准的要求,主要体现在实时数仓的时效性、数据质量、数据查得/应用成本三个方面。

  马上消费金融公司作为消费金融持牌机构,其打造的符合消费金融业务特点的实时数仓项目,基于大数据技术实现,比较好的解决了以上挑战,目前已经完成对全公司核心系统的所有数据实时接入,日接入数据超过10亿行,自研分布式统一查询模块,实现亿级数据多表关联查询毫秒级返回且支持异构数据库联查,为实时风控业务提供了非常好的数据架构和数据支撑。

  下面,我们以马上消费金融的实时数仓系统为例,向大家展示消费金融公司基于大数据平台的实时数仓解决方案。

  (一)针对消费金融行业数据处理的实时性要求,马上消费金融从以下几方面提出了解决方案:

  1、元数据的自动管理。在元数据当中维护MySql的schema、Kafka的topic、HBase的tableName、rowkey字段,ElasticSearch的索引列字段等信息。

  2、性能和规模扩展性。借助于分布式消息系统Kafka和列式存储系统HBase以及ElasticSearch集群可动态扩展系统的高可用性。

  3、高指标的SLA。实时数仓系统提供的服务响应在毫秒级别,7×24小时不宕机提供服务。

  4、接口、标准兼容性。提供标准的SQL语句查询,满足NoSql解析为标准SQL的查询。

  5、数据的一致性。实现数据精准实时同步,做到了Exactly Once的语义。

  6、配置化、定制化管理。通过配置化管理实现对多个业务系统数据的接入,避免硬编码,通过定制化SQL对外提供实时的数据查询服务。

  (二)马上消费金融实时数仓系统的演进过程:

  第一阶段的实时数仓系统落地系统架构,如下图:

  在系统的第一阶段,马上消费金融使用阿里开源的canal对mysql的binlog进行实时同步,将数据同步到下游的Kafka。Kafka作为数据的缓冲层,可以为系统本身提供数据拉取源,同时也可满足其他业务部门在Kafka当中的数据订阅需求。

  另外,其通过自主开发的plugin插件进行对Kafka数据的消费,将数据转存到HBase和ElasticSearch当中;自研的统一查询平台,使newSql解析器将标准的SQL查询解析为对ES查询的DSL,同时支持ES作为一级查询引擎,HBase作为二级查询引擎实现查询的多层高可靠查询服务,服务响应平均在几百毫秒以内。

  在第一阶段的系统落地并实践一段时间之后,马上消费金融实时数仓系统的设计团队有了新发现,即Dremio可以更好地解决异构存储的数据源之间的 join 查询,如:Elasticsearch、MySQL、MongoDB、Hbase之间进行 join 等多种业务查询的场景。经过全方位测试,他们进行了该系统第二阶段方案的落地。

  第二阶段的实时数仓系统落地系统架构,如下图:

  升级版的实时数仓系统引入了dremio,这使得系统的响应能力提升了一个数量级,平均查询耗时在几十毫秒以内,多表join查询(2000W~1.3亿数据量)响应时间在几百毫秒以内。进而更好地实现了实时数据仓库对业务系统数据决策的支持,满足了即席查询和包含连接、聚合等操作的复杂查询需求。

  结语:

  随着监管趋严,2018年金融行业将更加回归理性,合规、普惠、服务实体经济将是消费金融公司发展的主旋律。基于小额、大量、短期、高频的业务特点,消费金融公司若想兼顾效率与风控,必须在技术方面寻求解决方案,通过实时数仓系统创建一站式数据中心,自助式对金融数据进行多维度分析和联机查询,为用户的数据安全和业务的快速决策提供重要支撑。马上消费金融是消费金融领域科技应用的探索者与实践者,希望本文分享的该公司实时数据仓库系统落地案例对于同业机构解决同类问题有一定的参考意义。

评论
* 网友发言均非本站立场,本站不在评论栏推荐任何网店、经销商,谨防上当受骗!
今日更新
1晨读:中兴或将接受巨额罚款
晨读 0526

据路透社报道,为了撤销美国商务部的禁令,中兴已经同意了接受巨额罚款。

2泛家居3D数字线上展馆将面世
3D线上展馆

  泛家居行业将迎来骄阳一样的发展未来——全国首家泛家居3D数字线上展…

3积木易搭已进入高速发展期
积木易搭模界

  从二维的世界进入到三维的领域来,而三维的世界离不开三维数据,也就是…

4积木易搭亮相成都国际家具展
积木易搭参展

  今年六月份的成都家具展会展出规模和参展企业将再次创成都家具展历史新…

5新版微信还隐藏了这个彩蛋!
新版微信彩蛋

5月23日,微信推送了6.6.7版本,新增了网页/文章可缩小为浮窗等新…

热门文章
1微信支付宝520红包,滴滴顺风车
大公司晨读

晨读:微信支付宝520红包升级;滴滴顺风车恢复上线;北京地铁二维码乘车…

2大公司晨读:小米正式进军法国
晨读 0523

22日,在巴黎洲际酒店的发布会上,小米宣布正式进军法国市场,线上线下共…

3晨读:中移动4G用户首现负增长
晨读 0522

三大电信运营商相继公布4月运营数据。其中,中国移动的4G用户首次出现负…

4晨读:腾讯家乐福智慧门店开业
晨读 0521

苹果将推出一款售价为199美元的智能音箱,不过它将被冠以Beats的品…

5凤凰卫视和故宫复活清明上河图
清明 上河图

中国十大名画之一《清明上河图》在现代科技和传统瑰宝的完美融合下,成功“…

6哈罗单车打破共享单车行业魔咒
哈罗打破魔咒

2018,共享单车市场或将尘埃落尽, 一场免押金的生死角逐却已悄然开启…

7Max系列被砍?雷军回应:7月见
小米Max

雷军在与微博网友互动时透露,“小米Max 3估计7月份发布,现在还没准…

8北京一卡通可以刷ofo小黄车了
ofo刷一卡通

北京市政交通一卡通与ofo小黄车共同宣布达成战略合作,可以用一卡通刷走…

9大公司晨读:滴滴或下半年上市
晨读 0524

5月23日,据香港经济日报报道,网约车平台“滴滴出行”最快下半年赴港上…

10晨读:三星赔偿苹果5.38亿美元
晨读 0525

苹果控诉三星抄袭iPhone设计的案子得到了新的判决,三星将向苹果赔偿…

每日IT极热