一、项目概况
内蒙古农信在与地市信用社完成合并后,面临日益增长的业务数据存储与管理挑战。当前,历史裸数据总量已接近50TB,传统数据管理模式在处理效率、架构扩展等方面逐渐显现出局限性。为支撑未来业务持续拓展,提升数据整合能力、分析能力以及服务响应速度,满足深度数据分析和大数据应用的发展需求,亟需引入高性能的MPP数据库解决方案。
为此,内蒙古农信采用国产GBase 8a MPP Cluster数据库构建大数据平台,实现了对海量业务数据的高效存储与处理。目前该平台已完成扩容,形成双中心架构,数据库集群进入稳定运行阶段,并具备进一步节点扩展的能力。
平台共部署20个数据库节点,数据采用三副本机制,主要支撑包括历史查询系统、人行监管报送系统、报表系统及CRM系统在内的核心业务系统,承担全行每日增量批量数据处理任务。自2021年起,银行提出大数据平台需支持双中心运行模式,确保备份中心可实现实时灾备功能。
二、技术实现方案
内蒙古农信的大数据平台基于南大通用GBase 8a MPP Cluster数据库搭建,整体系统由20台PC服务器组成数据仓库集群。通过数据文件方式完成每日增量数据的加载,接入的数据源来自管理会计、监管报送、报表系统、CRM等多个关键业务系统。
当前集群所管理的裸数据规模已达50TB,在此体量下仍能实现高效的批量数据加载、加工处理与快速查询响应,充分保障了各类业务场景下的性能要求。
系统已成功实现和林与金桥两个数据中心的双中心部署,主备中心之间支持自动化的数据同步与实时复制,全面满足灾备恢复和高可用性需求。
内蒙古农信大数据平台系统架构图
三、项目成效与价值体现
-
显著提升日常批量数据处理效率
相较于原有平台在相同数据量下的处理周期较长的问题,新数据库集群可在数小时内完成原本耗时更长的数据汇总任务,大幅缩短作业窗口,有效支撑各业务系统的时效性需求。
-
降低硬件投入成本,优化存储资源利用
得益于高效的数据压缩技术,该数据仓库集群在同等容量下可存储更多业务数据,相比传统数据库模式显著减少了对物理存储设备的需求,从而节省了硬件采购开支。
-
实现同城双活灾备架构,增强系统韧性
通过部署同城双活灾备集群,平台全面支持双数据中心协同运行。GBase 8a数据库的双活机制可在遭遇突发情况(如停电、火灾、水浸等)时,确保数据完整性与业务连续性,避免因外部不可抗力导致的服务中断和数据损失。


雷达卡


京公网安备 11010802022788号







