发帖
雷达卡
【51CTO原创稿件】2014年将是大数据的回归之年。之前让人感觉无所不能的大数据，将真正面对实施阶段的考验。今天，51CTO将与张子良共同探讨传统行业大数据中的金融大数据。
张子良，曾就职于中国人民银行研发中心，同方股份，新科电子。十年一线软件研发、项目管理经历，长期从事金融行业需求分析、架构设计和项目管理工作。主要业务领域金融支付、云计算、大数据和数据挖掘，金融大数据行业专家。
金融大数据的四步走
金融大数据，目前有四个阶段。第一阶段是基于数据存储；第二阶段是分布式计算；第三阶段是大数据挖掘与分析；第四阶段是数据服务。对于商业银行，包括工商、建设、农业、交通和中行这国有五大行来说，都处于第一阶段。其中，建行处于平台选型阶段。农业银行已经完成数据存储方面的工作，但还未上线。而张子良负责的光大银行项目，在2013年10月上线，是国内第一家真正意义上将金融大数据应用到银行核心业务系统的案例。
银行的大数据处理
银行等金融机构，对大数据的处理需求有其特殊性。第一个就是结构化数据存储，第二个是数据挖掘。下面我们将逐一为您解开。
结构化数据存储，商业银行有实时查询数据库，用来处理历史金融数据。受限于传统ROE（Oracel、DB2、Sybase等）数据库的单表数据量瓶颈。银行数据超过一定上限就会影响查询效率。解决瓶颈的方法只能通过提高成本，大量购买高性能硬件和应用软件来解决。虽然银行IT部门预算丰富，但也还是需要平衡性能与成本的关系。
另一方面，银行需要在现有的数据上进行增值挖掘。如果依靠传统DR（Data Research数据研究），对成本的影响巨大。采用大数据技术、采用分布式集成框架、采用开源框架，一方面满足了成本依赖，另外一方面运算性能方面有所提升。
在业务数据模型方面，商业银行分为两个层面。第一个层面就是面向业务层面，需要选择哪些参数来构成预算的数据模型。这是业务层面上面，这一部分是与以前的模型一致。
另外一部分就是针对数据模型还有什么样的计算方式，需要哪些数据的输入，这方面发生了变化。因为你传统离岸模式是单机的，运算性能始终都是它无法突破的东西。所以说它对数据处理的时候，往往是基于销量数据的，基于出让数据做小批量的数据尝试，然后得出一些规律性的东西，然后再反向推导到其它数据，这是传统的模式。在这个环境里面有了一种突破，可以去用全量数据，构建数据模型的参考体系，这个数据量更大。另外一块性能更高一些，比单机模式要快。
金融大数据安全性
数据安全其实是一个相对的改变。因为在这里面大数据技术与数据安全性能整个要求本身没有直接的关系。怎么说呢？如果不采用大数据技术，安全性是不是一样面临同样的问题呢？对于传统模式，无论你采用什么样的技术，同样面临数据安全性的问题。
所以在这个里面包括各个环节，像存储的安全，传输的安全，展现的安全。这种模式，传统的银行采用的模式里面，不包括物理网站的隔离，包括访问权限的控制，包括软加密这些都是在传统的模式里面适用的。大数据技术，与银行数据安全性没有直接的关系，只不过区别是什么呢？
大数据技术是一个新的技术体系，银行原来需要单机处理的东西，现在需要在多个节点去参与进来，这样带来一个什么样的挑战呢？就是必须保证集群是能够被特定的用户去访问，而且特殊的节点不能够被假冒。如果这个节点正在自动化处理，如果黑客冒充某个节点，要保证不会导致数据的泄露。这种情况下其实是大数据在安全方面特殊的要求点，必须做到物理网站的隔离。只有授权节点能够参与到集群的工作中，这就是访问的安全。
节点数据的传输，这一块目前来讲银行的解决办法还是基于物理网隔离和用户的授权。这里面还是有瓶颈的，节点与节点之间，数据在共享的时候，速度还是瓶颈。这种加密需要去改造现有的大数据框架，目前来讲还没有看到国内银行有解决这个问题的。
总结
金融大数据，目前还处于一个逐步实施的阶段。商业银行中的金融大数据，既包括传统的BI结合，也包括对大数据环境底下数据分析挖掘。相信在2014年，金融大数据在历史数据存储和历史数据仓库存储这两个领域，会有更多落地实施的案例出现。大数据回归之年，就在2014。
本文转自：51CTO
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
