楼主: daazx
7912 8

【Hadoop与金融】银行业的Hadoop平台及其优势 [推广有奖]

  • 0关注
  • 53粉丝

VIP

教授

2%

还不是VIP/贵宾

-

TA的文库  其他...

Hadoop与大数据

威望
0
论坛币
50036 个
通用积分
7.1159
学术水平
176 点
热心指数
197 点
信用等级
114 点
经验
11003 点
帖子
446
精华
3
在线时间
1069 小时
注册时间
2007-10-19
最后登录
2021-6-1
毕业学校
深圳大学

楼主
daazx 在职认证  发表于 2014-9-22 18:55:06 |只看作者 |坛友微信交流群|倒序 |AI写论文
相似文件 换一批

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
目前,银行企业的业务基本逻辑架构由外围系统、前置业务系统和核心业务系统组成,如下图所示。


wKioL1M_3WLQgnNjAABcG2RycCU216.jpg




  • 外围系统:负责直接与客户进行交互,提供业务服务,所有与银行业务相关的系统,均可以归为外围系统。
  • 前置业务系统:业务交易数据的跳转,它负责接收来自外围系统的交易数据,然后根据交易码的不同,转送不同的核心系统进行处理,同时把从核心系统返回的处理结果返回到外围系统。
  • 核心业务系统:负责处理所有交易业务的具体实现。


这是原来的系统架构。银行企业使用Hadoop 平台技术的基本思路是:保持原来系统架构不变;在核心系统层,增加Hadoop 平台系统,实现核心系统的历史数据存储备份;对外提供数据查询功能;还可以根据数据存储特点,提供数据挖掘处理功能。

增加Hadoop 平台系统后,银行业务基本逻辑架构如下图所示:

222.jpg


  • 外围系统:不发生不化。
  • 前置业务系统:根据不同的业务代码,将外围系统的某些查询业务转送到Hadoop 平台系统中进行处理,然后将处理结果返回到外围系统。
  • 核心业务系统:定时备份需要的核心数据到Hadoop 平台系统中,以实现某些查询业务需求。
  • Hadoop 平台系统:根据业务需求,利用从核心系统导入的历史数据,对业务交易进行处理,并将处理结果,通过前置业务系统,返回到外围系统,也可以将处理结果返回到核心系统的数据仓库,以供某些报表功能展示需要。



将上述架构方案引进金融银行业中,将充分利用以下优势。


  • 充分利用Hadoop 平台技术的存储优势。Hadoop 平台可以提供PB 级的数据存储,可以把银行业务产生的所有业务数据都存储到Hadoop 平台系统中,实现海量数据存储。
  • 充分利用Hadoop 平台技术海量数据快速搜索功能。百万亿条记录,毫秒级搜索结果,可以为用户实时提供任何交易时间的交易数据,提高了客户的满意度,实现了以客户为中心,提高了银行的竞争力。
  • 充分利用了Hadoop 平台技术的数据挖掘功能。可以根据业务需求,编写数据挖掘算法,利用交易数据,快速定位企业非法洗钱的交易记录,为监管帮忙,提供了有力的技术支撑。
  • 利用Hadoop 平台系统,承担了核心系统某些消耗性交易(例如:账号历史数据打印查询功能的交易),让核心系统更好地处理实时交易业务,充分发挥传统数据库的优势,做到优势互补,从而保证金融银行业IT信息系统的持续健康发展。


来源:51CTO
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:Hadoop Had 银行业 数据挖掘功能 数据挖掘算法 银行业 技术 历史

已有 2 人评分经验 论坛币 学术水平 热心指数 收起 理由
crystal8832 + 12 + 1 + 1 精彩帖子
aongao + 20 + 10 + 2 + 2 鼓励积极发帖讨论

总评分: 经验 + 20  论坛币 + 22  学术水平 + 3  热心指数 + 3   查看全部评分

沙发
daazx 在职认证  发表于 2014-9-22 19:03:18 |只看作者 |坛友微信交流群
那么上面提到的Hadoop系统,内部是怎样的?

Hadoop 平台系统为了满足金融领域服务需求,系统内部架构采用MVC 的模式进行设计:
  • 首先,系统上层,通过接口模块和展示模块,从外部系统获取资源,然后将处理后的结果通过展示模块进行展示。
  • 系统中间处理层,会针对不同的业务需求提供不同的业务处理功能模块,对数据进行加工处理和数据算法挖掘,以便生成满足需求的各种数据。
  • 系统底层,利用Hadoop 平台系统,进行数据大规模存储,提供HBase 数据库,进行非结构化的数据存储。

333.jpg


每个功能模块的具体说明如下:

  • 源数据模块:

主要功能是为系统提供加工处理的源数据。在金融银行业中,这些源数据是他们的核心业务数据。

  • 接口模块

主要功能是针对不同的数据源和数据格式,提供对应的数据导入处理方法。

  • 功能应用模块

主要功能是根据业务处理需要和系统运行需要提供对应的功能处理模块,功能应用模块中包含数据挖掘算法、业务处理流程等。

  • 数据模块

主要功能是提供HBase 数据库,对非结构化数据进行统一存放管理,提供HDFS 文件系统,提供数据多副本备份存储管理。

  • 展示模块

对处理后的结果进行Web 页面展示,同时还要根据原有系统的需求,提供不同的数据展示处理方式。


金融银行业对数据存储安全要求非常高,因此系统必须设计异地容灾备份存储。应将Hadoop 平台系统软件在不同的机房集群中进行部署,系统采用主备集群的模式进行部署,通常采用的物理部署结构如下图所示。


444.jpg


已有 1 人评分热心指数 收起 理由
aongao + 3 精彩帖子

总评分: 热心指数 + 3   查看全部评分

使用道具

藤椅
单神傲银 发表于 2014-9-27 09:07:50 |只看作者 |坛友微信交流群
感谢分享                                                                        
                                       
                                                     
                                                     
                                             
                                                                 
                                                                                 
已有 2 人评分论坛币 热心指数 收起 理由
aongao + 3 精彩帖子
daazx + 10 精彩帖子

总评分: 论坛币 + 10  热心指数 + 3   查看全部评分

使用道具

板凳
adolph_jh 发表于 2014-12-13 23:52:19 |只看作者 |坛友微信交流群
谢谢分享,收藏了
已有 2 人评分论坛币 热心指数 收起 理由
aongao + 3 精彩帖子
daazx + 10 精彩帖子

总评分: 论坛币 + 10  热心指数 + 3   查看全部评分

使用道具

报纸
MARTHA47 发表于 2016-1-6 16:42:49 |只看作者 |坛友微信交流群
嗯,看一下,谢谢分享
已有 1 人评分论坛币 收起 理由
daazx + 5 精彩帖子

总评分: 论坛币 + 5   查看全部评分

使用道具

地板
bjbluefish 发表于 2016-1-15 16:55:11 |只看作者 |坛友微信交流群
谢谢分享
已有 1 人评分论坛币 收起 理由
daazx + 5 精彩帖子

总评分: 论坛币 + 5   查看全部评分

使用道具

7
cometwx 发表于 2016-1-18 16:06:26 |只看作者 |坛友微信交流群
感谢分享
已有 1 人评分论坛币 收起 理由
daazx + 5 精彩帖子

总评分: 论坛币 + 5   查看全部评分

使用道具

8
答拜 发表于 2016-2-5 17:03:31 |只看作者 |坛友微信交流群
挺好,感谢分享

使用道具

9
wangjie1995389 在职认证  发表于 2016-2-17 10:44:59 |只看作者 |坛友微信交流群
不错,谢谢分享

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-30 19:30