基于分布式技术构建网络金融核心平台的创新与实践
商业新知 07/04

         在“互联网+”时代,银行利率市场化、金融脱媒进程加快,金融监管日趋严 格,使得普惠金融、绿色金融、科技金融成为经济发展的新方向。同时,移动支付、网上支付、电子商务等互联网金融借助云计算、大数据、人工智能等创新信息技术迅猛发展,衍生出了新的金融市场生态环境,改变着社会消费习惯和商业模式,推动银行向数字化转型,促使金融行业向移动化、社交化、多元化转变。

         在新的金融生态格局下,浙江省农村信用社联合社(以下简称“浙江农信”) 作为典型的农村金融机构,在新兴技术和互联网金融的冲击下,面临着巨大的挑战,亟须转型升级。

        一是传统的集中式IT架构弊端逐渐显现,如源代码冲突严重、业务创新慢、 数据库能力达到上限等,因此无法满足浙江农信IT系统提供高效全面的金融产品和服务的需求,也无法实现“金融 +互联网”的发展目标。

        二是跨界竞争日趋激烈,互联网金融凭借便捷、高效、低成本等优势,对银行核心业务领域造成了巨大冲击,影响银行的收入来源、增加吸储难度、分流客户群体等。

        三是业务需求的变化使得银行的客户结构、盈利模式、服务方式等随之发生了变化。生态圈金融、场景金融等新模式带来了业务场景和业务设计的变化。新生代客户广泛使用电子货币和移动支付技术,金融消费习惯的改变使得金融服务更加注重方便、快捷及客户体验。

         四是信息安全问题给银行带来压力。保障客户、银行的信息和资金安全成为金融科技创新中的重中之重。

        为积极应对新技术带来的机遇与挑战,满足互联网金融业务创新发展的需求,浙江农信构建了基于分布式技术的网络金融平台。该平台的建设历时18个月,其涉及范围之广,投入人数之多,实施周期之长,均为浙江农信IT建设的发展史之最。该平台于2017年4月22日正式上线。目前,整个平台运行平稳、高效,能够为客户提供良好的用户体验。

一、网络金融平台应用架构研究与设计

(一)平台应用架构体系:“双轮驱动”模式 

        在互联网大潮下,浙江农信在“十三五”科技信息建设规划中提出了以“金 融+互联网”为目标,以金融为本、科技为器,选择“稳态+敏态”的双轮驱动模式,构建网络金融平台对接互联网,与传统银行核心系统进行有机的衔接和交互(如图1—1所示)。

        在整个规划与应用中,对于柜面核心平台继续保持稳态业务发展,充分发挥 银行线下的核心优势,持续做好传统柜面金融服务。基于传统技术和架构出发, 特别注重业务连续性,满足监管对系统高可靠性和稳定性的要求。对于网络金融 平台 , 坚持敏态业务发展,基于分布式技术打造一个面向互联网的网络金融综合 服务平台,强调外部合作、共享、开放互联,支持金融产品的敏捷开发和创新。

(二)平台业务与功能规划 

        “互联网 +”时代,行业格局已发生显著变化,互联网金融正不断改变着商业 银行的支付模式、融资格局及服务模式。在此背景下,浙江农信对平台的业务和 功能进行了规划(如图  1—2  所示),网络金融平台的主要特点如下。
  

图 1—2 平台业务与功能规划

        第一,构建互联开放平台。秉承互联网开放、合作、互联的精神,通过“开 放平台”战略,实现在服务、产品和数据等方面加强与第三方的合作,实现互联 互通。

        第二,构建“以客户为中心”的服务体验管理平台。以客户体验为核心,实 现客户服务渠道共享、线上线下协同、服务场景和流程创新;全面采集客户行为 等静态和动态数据,通过大数据分析等技术,优化客户体验、控制客户风险、提 升客户价值。
        第三,构建网络金融账户体系。面向互联网客户形态,构建一个脱离存折、 卡片等传统硬件介质,依托手机、可穿戴等便携式移动设备的电子账户、虚拟账 户等的网络金融账户体系。
        第四,构建支付创新平台。结合支付场景提供安全、可靠、便捷的支付服务, 实现线上、线下支付收单一体化管理,全面支持各种支付方式和手段的创新、应用。
        第五,构建服务产品化平台。通过产品工厂实现产品的快速组装、定制和上 线;将银行传统产品、金融同业产品和非金融产品包装、定价和销售,支持跨界 产品和业务模式创新。
        第六,构建数字化运营管理平台。建立以数据支撑的精细化运营管理能力。 通过互联网产品运营,实现吸引新客户、留住老客户、增加客户黏性的目标。
        第七,主动实施架构转型,积极采用云计算等技术。网络金融核心平台采用 成熟度高、开放性强的分布式、虚拟化、云计算等技术,采用规范与标准先行、 自主可控的策略,逐步构建安全可靠的云平台应用体系。

        第八,引入大数据技术,建立大数据服务体系。结合网络金融核心平台的应 用,进一步推进数据标准化和规范化建设,完善数据治理体系。建立大数据服务 体系,构建大数据服务平台和服务接口;通过大数据实现客户数据采集及分析, 实现精准营销,提升客户体验和平台获客能力。加强大数据风险控制,提升运营 管理水平。

(三)平台技术架构规划与设计

         经过对当前主流技术进行充分的研究和梳理,浙江农信确定了网络金融平台 重点考虑的九大技术方向,如服务化、消息、缓存、分库分表、应用平台、自动运维等。上述技术能满足秒杀、业务快速变化与创新等网络金融平台的典型业务 场景需求,以此构建的分布式基础技术平台具有高可用、可伸缩性、安全性、可 移植性、可管理性、高性能、技术成熟度高等特点。网络金融平台技术架构规划 如图 1—3 所示。
(四)平台应用架构的交互与融合方案

         浙江农信网络金融平台基于分布式技术构建,基础业务功能被设计成可灵活 扩展和便捷调用的分布式服务。系统业务分层清晰,相对独立,系统横向扩展能 力和业务创新能力大大提升。

        平台整体功能分为前端用户接入、后台服务处理、关联系统交互三大模块。 整个服务是基于 X86 开放式的基础技术架构,涵盖了分布式服务、消息中心、缓 存中心、流程引擎等。网络金融平台应用架构如图  1—4  所示。

二、网络金融平台的关键技术点设计与应用

        网络金融平台的关键技术点主要包括一大核心保障、四大核心中间件、四大应用组件及四大运维利器。

(一)一大核心保障

         平台使用了高可靠数据库架构体系(见图1—5),即使用了与分布式架构体系融合度更高的MYSQL数据库,并根据需要搭建了一套全新的数据库架构。传统的数据库架构更多的是主从模式,而该数据库独创以Shadow作为主备,当Master节点发生异常时可以做到自动切换。通过自主研发的Qlink软件保证了数据不丢失。架构中也使用了读写分离技术,对外提供读写两个VIP。Master提供写服务、Shadow与Slave提供读服务。支持通过参数设置将延迟过大的Slave踢出读资源池,防止读到的数据过于老旧。该数据库已达到的性能为:并发数在200的情况下,QPS读可以超过20万,写可以达到3万。

图 1—5 高可靠数据库架构体系

(二)四大核心中间件

         目前,平台构建了服务、消息、缓存、数据库四大核心中间件来支撑整个系统。 1. 分布式服务中间件分布式服务中间件(见图 1—6)是基于阿里开源的 DUBBO 衍生而来的。

        DUBBO 被众多公司选作服务框架的基础。为了能满足更多的场景需求,适配了 很多功能,该框架对于其中用不到的功能做了精减:一是修改了原有功能在服务 节点有变更时有可能造成的广播风暴问题及优雅停机的缺陷,扩展了 DUBBO- admin 对多个注册组的支持等功能;二是新增了服务运行监控、服务 TOP 排名、 服务调用链、服务限流、服务降级等功能。通过这些技术上的改造,再配合服务 治理的整个流程,实现了对服务全方位的管理和监控,从而基于 DUBBO 形成 了一套自有的更完善的服务框架。分布式服务中间件已达到的性能为:并发数在 200 的情况下,TPS 可以达到 1.5 万。
图 1—6 分布式服务中间件

2.分布式消息中间件

        分布式消息中间件(见图 1—7)由 ActiveMQ 衍生而来,实现了一整套完善的 消息处理机制。在两个一主一从的集群模式下,并发数在 200 时,TPS达到了 6 万。另外,本身 ActiveMQ 的消息是不可靠的,提供了高可靠的方案,并完善了 异常处理机制、优化了集群部署方案;目前主要应用在技术解耦、流量削峰、消 息通信以及异步处理上。

图 1—7 分布式消息中间件

3.分布式缓存中间件

        为了满足高读写性能场景的业务需求,基于当前主流的两种缓存技术 redis 和 memcache,该平台建设了分布式缓存中间件(见图 1—8)。该中间件提供了多种部 署方式,对于哨兵模式,在 client API 上扩展了 hash 算法,解决了单个 redis 实例 承载能力问题。提供了多种接入方式,方便不同语言应用的快速接入。提供了对 Lua 脚本的支持以及基于 redis 的功能模块,如分布式锁等功能。同时实现了监控 和管理功能,做到故障自动转移、快速缩容和扩容。分布式缓存中间件已达到的 性能为:两个 1 主 1 从,并发数在 200 的情况下,TPS 可以达到 11 万。

4.分布式数据库中间件

        分布式数据库中间件(见图 1—9)可以实现便捷的分布分表,对应用透明。 项目组基于阿里 Cobar 发展而来的 Mycat 作为分布式数据库中间件的核心。在建 设的过程中,修改 Mycat 本身较多的 BUG,并新增数据库连接数的限制,以此来 保护数据库的连接数不被撑爆,进而保护整个应用的稳定运行;增加监控数据库 down 机并重启后,去除不可用连接功能。分布数据中间件已达到的性能为:并发 数在 200 的情况下,单节点 TPS 可以达到 1.7 万。

        通过分布式数据库中间件与前面讲到的高可靠数据库的结合,在数据库层面 可以实现数据不丢失、便捷的分库分表和读写分离等功能,让数据库不在成为瓶 颈,助力轻松应对不断增长的用户和快速发展的业务。当前项目组将网络金融平台垂直划分成电子账户、支付系统、客户系统等多个库,对于其中的大表,如客 户系统再进行分表。
图 1—9 分布式数据库中间件
(三)四大应用组件

       四大核心中间件加上强大的数据库保障机制,构成了整个分布式技术核心。 为便于应用的快速开发,平台还建设了流程引擎、配置中心、序列组件、批量组 件四大应用组件。

1. 流程引擎

      流程引擎(见图 1—10)是用于将多个业务单元组合起来实现一个完整的业务 功能。基于扩展 spring schema 方式自主实现,流程编排完全配置化 , 无任何业务 代码侵入、支持服务动态循环调用,支持并行和异步调用。

图 1—10 流程引擎分层结构图

2.配置中心

        为了实现对整个平台的配置文件、配置项的集中管理、变更的自动推送,在 disconf 的基础上进行了改造和封装,建设了配置中心(见图 1—11),由该组件提供统一的配置管理服务,应用只需要进行简单的配置即可完成配置文件的托管。

3.序列组件

        在复杂的分布式系统中,往往需要对大量的数据和消息进行唯一标识,为 了便于应用快速开发,且达到各系统生成的 ID 不重复的目标,建设了序列组件(见图 1—12),由该组件提供不同场景下 ID 的快速生成该组件可独立部署,通过 DUBBO 方式进行调用,采用双缓存技术极大提升性能。网络金融平台所有子系 统的 ID 号均由该组件生成,比如订单号、业务跟踪号、交易流水号等。已达到的 性能:单机 TPS 可以到 10 万。

4.批量组件

        批量组件(见图 1—13)是用于快速开发批量的功能组件,主要包含调度模块 和执行模块。该组件完全自主开发,提供了强大的自定义线程池,支持取消作业、 超时停止作业等功能,避免了某一批量因异常而一直占用系统资源,开发包支持分库分表。提供平台统一接口,便于关联系统或平台快速接入,提供丰富的可视 化操作界面,降低了批量配置和管理的难度,并能直观地展示批量执行状态。批 量组件已达到的性能为:并发数在 100 的情况下,调度模块的 TPS 为 400 左右。
(四)四大运维利器

         为了支撑整个分布式中间件和应用组件的良好运行,从运维、部署等角度出 发,平台建设了四大运维利器。

1. 管控平台

        管控平台(见图 1—14)是一个综合的管理和监控平台,提供的主要功能有各 组件的管理和监控、服务的全生命周期的管理、多层次的监控及灵活的预警规则。

2.部署平台

        部署平台(见图 1—15)最大化地简化了部署的步骤,人工只需要做一些简单 的配置即可,极大地提升了部署的效率。支持一键打包、一键部署、一键回退; 支持灰度发布与优雅停机(需应用支持);支持多环境、多实例、多配置、多角 色权限等能力;支持与 JENKINS 的集成。

3.日志平台

        当前,日志平台(见图1—16)主要收集了应用的完整业务日志、服务执行日 志、服务 trace 日志,通过收集到的业务日志帮助快速查找问题;通过收集到的服 务执行日志实现前面的服务运行监控和服务 TOP 排名功能;通过收集到的 trace日 志进行分析,实现服务调用链的展示。未来,可以依托日志平台开发更多的功能。

4.应用性能管理平台

        应用性能管理平台(见图 1—17)以真实用户体验管理和代码级应用性能管理 为核心,实现了前端浏览器、网络传输、应用性能、中间件性能、数据库性能的 自动关联及分析,协助用户提早发现、尽快解决应用系统的性能和可用性问题。

        应用性能管理平台由探针、管理服务器及管理控制台三部分构成。其中探针 安装在被监控应用服务器上,负责收集业务系统的性能数据;管理服务器接收来 自探针和前面浏览器的性能数据,并将其存储在性能数据库中;管理控制台实现对应用系统的性能监控、故障诊断、代码级问题定位、告警以及历史性能对比分 析。与日志平台不同的是,这个是无埋点式监控。
图 1—17 应用性能管理平台

三、网络金融核心平台的应用效果

       网络金融核心平台的应用有以下效果。 第一,基于分布式技术构建的网络金融核心平台,促进了 IT 架构的优化及转型升级,使得 IT建设经济成本明显降低,有效降低 TCO。 一是服务器的购置成本及运维成本大幅下降。传统的集中式架构体系,服务器成本高昂,商业数据库及中间件费用较高,传统架构的购置成本总价约需 950万元,而基于分布式架构体系服务器的购置成本仅需 120 万元。 二是机房运行成本及管理成本明显下降。系统方案实施后,服务器设备的减少,节约了中心机房物理空间,设备直接耗电量和制冷耗电量明显减少,中心机 房 UPS 负载明显降低,从 52% 降到 20%,延长了市电中断情况下 UPS 放电时间。 中心机房直接运行成本电费支出降低,其他间接支出如机房改造成本、设备设施 维护维修成本也相应降低,使得建设节能、绿色、低碳中心机房成为可能。

        第二,平台架构庞大,业务覆盖广,应用场景多,承载了 1500 万的用户体量。整个平台划分成 21 个子系统,初步形成了较完善的共享服务体系,到目前为止,各个系统之间交互的服务已经达到 2300多个。 

        第三,平台自上线以来,一直保持平滑、高效、稳健的运行,产品组合与创新能力有了极大的提升,构建了全渠道运营能力和线上线下协同营销能力,产品推出周期比之前缩短了 1/2。根据用户的个性化需求,推出了 200多种产品,如电 子缴税、丽水食品溯源、金苹果手机抢购等,全方位多角度地满足了客户随时随 地的需求,提高了客户体验度和用户黏度。

        第四,平台运用分布式技术,搭建完成后达到了高性能、高可用、可伸缩、 可管理等目标,突破了数据库瓶颈,提高了开发效率。各系统性能均达到甚至超 越预期,比如客户系统 TPS 超过 1.5 万,数据库 QPS 达到 20 万,写可以达到 3 万。

        为了保证项目实施的质量,在平台建设过程中制定了 28 套详细完善的应用标 准和安全规范。这些标准和规范的建立是浙江农信 IT 转型升级的有效推动力。此 外,在项目实施过程中,逐步建立了一支自主可控的 IT 技术研发团队,不断进行 新技术的研究和成果转化。通过分布式技术的合理运用和业务的整合、扩展,为 其他省农信联社在互联网系统建设、学术分析以及信息化进程的推进等方面提供 了很好的借鉴。

(  作者:浙江省农村信用社联合社    金丽丽  )


本文由新知号原创发布,转载请注明来源。
联系方式:system@shangyexinzhi.com
2000+知识点 7000+案例
商业新知助力数字化转型
下载