2013年,大数据一词开始高频出现,
2014年,各行各业都在为大数据而发烧,
2015年,空框的概念终要转变成技术的实现,
大数据分析师之论
如果说云计算还有些忽悠概念之嫌,而以hadoop为基础的大数据则显得更为脚踏实地一些。在互联网思维、互联网经济、移动互联、电子商务等新兴产业纷纷走上历史舞台的大背景下,越来越多的数据使得单纯扩展服务器硬盘容量、提升磁盘阵列性能等传统的存储数据的方式越来越不适应企业的实际需求,以hadoop架构为代表的分布式计算平台也必然成为时代的新宠,大数据时代来临了,大数据分析行业也应运而生。而在有些人还没有回过神来时,有些人已经进入了这个行业,这些走在前面的人,终将成为时代的精英,作为正在逐渐觉醒的我们,更需要去深思我们将面临的行业,以及我们特别感兴趣的大数据分析师这一职业。
一、大数据分析师不是JAVA程序员
hadoop架构基于java程序设计,因此大批的IT人士在大数据时代找到了自己的职业锚,而且最快带地进入了这个行业,成为了最先的大数据分析师。但IT人士的宿命就在于他们太IT了,他们热衷于计算更快、处理更高效的程序设计,而忽略了大数据分析的本意,为企业带来商业价值,因此他们只能是大数据分析工程师,而正真的大数据分析师应当了解和熟悉hadoop技术架构和算法设计,但不必成为一个优秀的JAVA程序员,就象我们只需要知道面包的生产过程,了解某些生产的细节,就能成为一名合格的营养师,而更多的细节性的规程则是一名优秀的面包师份内之事。
二、大数据分析师区别于普通的数据分析师
普通的数据分析师具有一定的数理统计基础,熟悉业务逻辑,能熟练地操作传统的数据分析软件,能使数据成为企业的智慧。他们通常遇到的都是一些结构化、体量小的小数据。而大数据分析师更专注数据获取的架构设计、数据分析模型的选择、指标的选取,他们具有数据分析师的理论素养和业务能力,面对大数据,他们有一整套分布式的数据获取、整理、处理和分析的方案,而且这个方案最终的目标是为数据分析服务,他们具有大数据分析的利器,如mahout、rhadoop等软件,他们做的更多的工作是如何将非结构化和结构化的大数据过滤成结构化的小数据,从而使更多的普通数据分析师有用武之地。
三、hadoop大数据分析师培训之路
让学员掌握hadoop架构的理论知识,熟练架设和配置3台、30台、300台以及3000台计算机的分布式的集群平台,将企业的数据动态地、可扩展的存储起来; 了解hdfs、mapreduce、yarn等重要组件的理论;掌握rhadoop、mahout等大数据分析工具的使用; 探索大数据分析时的假设检验过程; 使学员真正地站在大数据分析的时代前列,这是人大经济论坛hadoop大数据分析师培训的最终目标。站在时代的前沿,在不断地探索和追求中,我们与我们的学员终将不负这时代的希冀,真正地引领和实践中国大数据分析务实之路。
人大经济论坛
hadoop大数据分析师培训团队
2015年1月30日