信息侠一站式数字化转型交流分享平台

解析CIFS| 晋商银行张波：数据中台建设分享

发布时间：2024-10-10阅读次数：755

各位专家大家好！很荣幸与诸位专家交流数据中台，由于每家银行建设周期、建设范围不同，我会基于我行数据中台建设现状给大家解读数据中台。

01数据中台建设背景

数字经济已成为推动我国经济高质量发展的重要引擎，商业银行必须立足新发展阶段，全面加快数字化转型，强化科技引领、创新驱动，以金融科技赋能业务发展，开创高质量发展新局面。在国家政策和市场环境双重影响及推动下，数据中台建设成为众多金融机构推动数字化转型重要突破口。当前多家银行已经将数据中台作为重点战略项目持续探索，并取得阶段性成果。实践证明，数据中台是成功实现数据驱动、规模化数据服务的性价比最高的途径。

同时还需要认识到数据中台建设的核心概念，在此我们从著名期刊杂志、同业交流学习中将中台概念提炼出来，发现其核心理念为复用、共享。要达到此效果，需要将数据建设集中到数据中台，实现提高开发效率、降低开发难度目标。如有些复杂功能经过反复验证后可以集中到中台，由其他系统进行调用，达到复用及共享功能。

02数据中台是什么

大家在与行内、同业或公司交流中了解到中台，但是具体中台系统是什么，每个人都有不同答案。但如果说起核心系统、信贷系统，大家都能将这两个系统具象化。因此我认为数据中台是个逻辑概念，我认为数据中台是基于中台六大能力合理编排组装后的产物。在与多家同业及多家专业从事数据中台建设的厂商进行过交流，现将众多交流成果进行总结，对中台的能力进行定义：

第一是采集与整合能力，整合全行不同数据源至数据中台，为数据应用者提供集成、统一、全面数据视图；
第二是存储和计算能力，通过离线、实时等支持，为业务提供业务赋能；
第三是分析与挖掘能力，基于内外部数据，构建丰富数据生态价值链，持续挖掘数据和业务价值；
第四是数据治理与数据资产化，通过数据标准、数据质量及数据资产化等实现数据治理与数据资产化；
第五是数据服务能力，全面梳理和盘点数据资产，建立统一对外提供服务标准；第六是数据安全与性能，构建安全高性能平台，建立数据安全类系统，辅助行内数据应用。

基于数据中台的能力，我行对数据中台建设进行了探索。通过综合型数据中台，推动业务数据化向数据业务化进阶发展；通过数据中台打通业务条线壁垒，解构数据逻辑，沉淀通用数据能力，最终实现产品创新。因此，我行以监管指导意见和数字化转型规划为指导，明确数据中台定位，以数据仓库与数据湖融合为数据中台底座，发挥各平台数据建设优点；以数据服务平台为统一出口，统一数据对外输出口径，降低数据重复建设成本；建设多个业务数据集市，生成专向领域数据；整合数据资产盘点管理能力、数据治理能力、数据服务能力、数据分析能力，通过数据资产盘点全行数据资产，落实统一数据标准，检测全行数据质量，加强人才培养机制，提升数据服务交付质量，实现对全行零售、公司、普惠等条线应用支撑。

03数据中台架构蓝图

这个图就是数据中台架构蓝图，从下往上看这个图，第一层是数据采集，涉及行内业务类系统数据、补录数据、行内采购外部数据，通过实时或离线方式进行采集；第二层是数据存储与计算，涉及数据湖与数据仓库数据中台底座，将业务系统数据本着能入尽入原则入湖，实现贴源层数据按照系统入湖、数据标准化、历史数据归档存储等功能，保证数据完整性、原始性和可访问性，消除数据孤岛，实现数据集中管理与共享。第三层是数据引擎，含指标管理、标签画像/标签层、数据服务、数据分析查询及人工智能。第四层是业务场景，根据行内不同业务条线及业务诉求提出业务系统，如启明系统、零售统一视图系统、支付风险控制系统，涉及对公条线、零售条线及运营条线。在第三层到第四层中间为数据服务平台，数据服务平台在我行是数据湖与数据仓库唯一出口，相当于对于数据湖与数据仓库的数据请求都须通过数据服务平台对外提供相关数据服务，同时在数据服务平台做数据请求记录，以免数据请求无从查找。

04数据仓库架构

从技术维度解读我行数据仓库架构，重点解读我行数据仓库贴源层、模型层、汇总层、集市层及应用层。

贴源层分为了两个数据库存储各个源系统数据，目的是控制数据不同访问权限，因为从数据安全维度来说，我行对人力系统、协同系统、外部数据等系统访问权限进行了严格管控，其中部分数据涉及到个人隐私及行内敏感数据，所以对部分数据权限管理较严格。

模型层，我行根据模型十大主题理论设计，采用自下而上与自上而下相结合的方式来建设模型层，目的在于充分调研源系统的同时考虑下游系统使用，提高人员对源系统的理解，加强人才队伍培养，而不是单纯按照数据使用建设模型。

汇总层，是根据业务主题域进行宽表设计，涉及存款、贷款、票据、总账、信用卡等维度，目前支撑我行下游系统绩效、管会等等系统。

集市层，建设多领域业务集市，让数据更加贴近业务，根据行内条线管理，我们规划建设了零售、对公、风险、运营、审计、财务等业务集市，以及报表、监管2个综合应用集市。各个集市根据各业务条线特点进行设计，按照行内统一开发规范，专向整理了各条线业务数据，集市层也是按照基础层、模型层及应用层建设理念进行建设，对集市层公共使用的指标有效下沉到模型、汇总层，减少集市层重复加工公用的指标，提高各集市应用分析能力。

应用层，数据服务平台具有数据请求登记机制，作为对外提供数据服务统一出口，实现了对行内各使用数据系统提供统一的数据服务。

05数据湖仓架构

因为我行原有大数据平台版本已经落后，今年我行把原有大数据平台进行了更换，新采购了数据湖软件，我们预计通过技术逐步演进过程来实现湖仓一体。

我行数据仓库采用MPP数据库，新采购数据湖软件后，逐步实现湖仓一体架构。构建数据中台时，依托了湖仓一体架构作为其基础底座。该架构的选择旨在高效整合并管理海量数据资源，有效打通数据仓库和数据湖，让数据和计算在湖仓之间自由流动，提升数据流转效率，促进数据协同共享，从而构建一个完整的大数据技术生态体系。湖仓一体不仅让数据有序、高效、高质、安全在湖仓间流转，降低运维成本，更助力实现数据的深度融合，为数据中台的建设提供重要的基础支撑。

06数据服务平台

数据中台是个逻辑概念，包含众多功能模块，数据湖仓作为数据中台最核心功能模块，而数据如何对外提供服务成为了下一个需要关注问题。如何将数据有规划地对外提供服务，进而就提出了数据服务平台，作为数据湖与数据仓库统一出口。2021年我行上线了新核心，而在新核心上线之前，各系统数据库之间相互访问有部分用DBLink进行数据访问，导致新核心建设时期梳理系统现状关系较为复杂，如果说使用湖仓数据的系统直连数据湖与数据仓库功能肯定能实现，但随着时间推移，必然会出来原核心系统现象，很难梳理清楚哪个系统连着哪个系统，在部分系统维护或者应急演练时如数据库暂停或重启无法预知其影响范围，所以我们在做数据规划时，我们目标就是让数据服务平台作为湖仓数据请求统一出口，只要有系统需要调用湖仓数据，就需要在数据服务平台进行登记与记录。

07最新技术领域

在数据工作中大家常听的就是大数据、云计算、物联网、区块链、人工智能等，好多文档都有相关专业术语。将这些专业名词进行理解，了解具体怎么用或者将这些怎么用的更深入，我认为有些技术金融行业可能暂时还涉及不深入。但如何运用这些技术到银行数据化转型中，如何推进金融与科技相结合，为业务发展提供帮助，是银行同业都需要进行探讨的问题。

感谢大家聆听，以上这些是我分享内容，欢迎大家来共同探讨。

上一条：解析CMIS|津药达仁堂集团股份有限公司叶辉达仁堂 X AI: 现代中药引领者的数智跃迁

下一条：解析CIFS| 唐山银行邸广川：全生命周期数据治理