案例名称
符合中小银行质量提升的数据治理方案
(相关资料图)
案例简介
在数字化转型的驱动和数据治理“严监管”的推动下,为解决金融机构数据治理体系不健全、数据质量低下等问题,利用数据治理成熟度评估模型进行问题分析定位,重点围绕数据规划、组织机制、标准建设以及数据类平台建设等方面进行数据质量提升。通过应用实践,总结归纳形成全生命周期的数据治理体系,从平台、标准、管理、质量四大方面应用技术手段有效提升金融数据质量和统计报送质量,且对其他中小银行具有一定的参考性和可复用性。
创新技术/模式应用
1.1应用工具做好规划,建立金融数据管理提升路径
1.1.1数据治理成熟度评估模型
图1 数据治理框架
1.2机制和管理先行,为质量提升提供制度保障
1.2.1组织架构和制度建设
图2 数据治理组织架构
1.2.2标准建设
标准建设主要包括技术标准、指标标准和指标口径建设。
·词根:使用金融行业常用英文缩写,保证技术和业务也能通过字段名理解字段含义。
图3 数据平台词根
·数据字典:包括码值、字段长度等各类技术说明,保证数据开发人员使用数据的来源一致性。
图4 数据字典
·模型规范:建设9大主题模型,将数据进行有效归类,实现数据开发人员的快速入手。
图5 主题模型分类
·开发规范:形成统一开发,保证技术平台和底层代码的一致性,降低维护成本和学习成本。
·指标标准:形成行业规范标准,标注规范来源,实现与监管要求一致。
图6 指标标准
·指标口径:实现技术口径和业务口径的统一管理,降低业务和技术的门槛。
图7 指标口径
1.3夯实系统功能,实现数据全面管控提升报送质量
1.3.1数据平台建设
数据平台包括数据开发平台、数据基础平台、数据模型三部分。
·数据开发平台
根据词根和数据开发规范等建立统一的可视化、组件化、流程化的数据开发平台,实现代码线上化管理模式。
图8 数据开发模板
·基础平台建设
数据平台采用Hadoop作为底层基础,搭配hdfs、yarn等基础组件实现数据存储、计算等功能,为海量数据的存储和计算提供了高性能的平台基础。
图9 数据平台基础架构
·数据平台模型
数据平台模型保证了数据开发、数据存储、数据计算的统一,形成了标准化的流程模型。
图10 数据模型架构
1.3.2数据治理平台建设
数据治理平台涵盖元数据采集、数据标准管理、数据血缘管理到数据质量监控等数据全生命周期的管理。
图11 数据治理平台
1.3.3指标平台建设
指标管理平台实现指标线上流程化管理、指标的统一存储和共享、血缘关系追踪。
图12 指标平台
1.3.4统一报送平台建设
统一报送平台支持业务数据的统一补录核对和复杂的信息检索,实现各类监管报送的统一登录、统一整合、统一指标、统一展现、统一管理,进行监管报送集中管理。
项目效果评估
通过实践经验,形成了数据平台、数据治理平台、统一报送平台的建设方案,并将开发规范纳入数据治理标准体系建设,应用大数据和人工智能技术实现数据全流程管控,归纳总结形成数据治理体系方案。
1、数据质量的提升和金融统计质量的提升
一、根据数据治理成熟度评估模型应用方法以及调查问卷信息,通过组织、机制、流程和平台建设,确保数据治理流程在系统中有序的开展,有规划性地提升开发质量。
二、通过数据治理平台质量监控实现源头数据的提升,实现客户信息和交易的质量提升,确保证件号码与各类信息区域的一致性,地址与区域的统一管理等,使质量提升有了抓手。
三、提升源头数据质量、建立各类交叉、勾稽校验规则,为金融统计在行业分类、涉农、科目产品分类等方面的质量提升提供了技术和数据的保证,实现了金融统计工作的提质增效。
四、全面梳理各报表口径,将“口口相传”的统计口径梳理成对应的技术语言,落地到指标;建立全面、完整的指标体系,实现数据的共用共享。
2、金融数据治理方案可复用性
鄞州银行的现状与大部分中小银行所处的阶段基本一致,从数据管理到平台建设的方案符合中小银行的数据治理诉求,可复制推广到其他金融机构,从而提升数据质量。整体数据治理方案主要包括制度、标准和平台建设、涵盖数据治理的全流程管控,尽可能的通过技术手段去发现数据质量问题,从而降低人员的人力投入。
3、可视化展示实现业务数据的理解
传统银行的分析系统,存在“烟囱式”架构,独立的登录界面和用户管理,导致数据和分析成果无法共享。同时业务人员过度依赖技术人员实现分析需求,导致效率太低,相似需求不断重复,数据的利用率也不够。通过建设数据平台和统一报送平台,将基础数据和汇总数据进行了全面的整合,实现数据的共用共享,业务人员可通过一个平台实现可拖拉拽的功能,从汇总指标到数据明细进行自主的数据分析和挖掘,一方面可以更快地核对数据,另一方面,可以更加高效地为经营管理提供数据支撑。
项目牵头人
许晓杰 科技部副总/大数据管理部总经理
项目团队成员
邵杰、郑嘎、童月飞、王彭林、黄炎