楼主: littlelianglian
28761 254

[Hadoop] CDA大数据分析 学习心得   [推广有奖]

贵宾

学术权威

72%

还不是VIP/贵宾

-

威望
3
论坛币
497776 个
通用积分
9293.7569
学术水平
355 点
热心指数
303 点
信用等级
328 点
经验
105005 点
帖子
3169
精华
16
在线时间
3268 小时
注册时间
2013-9-4
最后登录
2023-12-23

一级伯乐勋章 初级学术勋章 初级信用勋章

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币

CDA大数据分析培训第二期结束了,第三期也在开始筹备,针对第二期,有非常热心的学员,公益为我们写了一份学习心得,没有任何改动,百分百学员原创。

人大经济论坛CDA大数据分析师培训学习心得



      CDA 大数据分析师的课程让我对“大数据”这个概念有了更为具体的认识。以往对于“大数据”,我的认知还是仅仅停留在概念层面上。而上完课后,尤其是了解如何搭建Hadoop平台以及其生态环境之后,“大数据”这个概念终于落地了。


      Hadoop的核心框架是Hdfs和MapReduce。Hdfs是分布式文件系统,其主要作用是存储及读取数据。而MapReduce实际上是Hadoop工作的核心思想。任何想要在Hadoop集群上完成的算法都必须基于MapReduce的思想实现。因此,我认为想要学习Hadoop,其核心在于充分理解MapReduce。而同时,MapReduce的理解也是理解大数据分析思想的关键,即如何将庞大的数据分解成可以进行操作的小数据集。


     人大经济论坛Hadoop大数据分析师课程大致可分为如下几个部分(阐述并不是按照时间顺序,而是按照个人对于这个课程的理解)。第一部分是原理及背景的讲解:个人认为,这一部分其实是重点,因为涉及到了大数据分析的核心,也包括了Hadoop的运行原理。例如1.0版本与2.0版本的差异,其核心在于2.0版本增加了独立的资源管理器Yarn,这极大的提升了Hadoop处理海量数据时的效率;第二部分是搭建平台:从最初的单机模式,至伪分布模式,到最终的集群模式。这部分内容中核心的部分是如何写好配置文件,在这里课程中也会涉及到核心参数的介绍,这对于理解Hadoop平台及今后自己如何配置Hadoop集群模式都是十分有用的;第三部分是Mahout的介绍: Mahout是建立在Hadoop平台上的软件,其中集成了许多很有用的算法。这些算法往往不是十分前沿的,但在处理海量数据时往往可以显现出强大的作用。课程中对于Mahout的讲解也是十分仔细的,因为它是目前最为常用且方便的分析海量数据的软件;第四部分是Java培训: 由于Hadoop是由Java编写的,因此对于自己想编写MapReduce的学员,这部分内容其实是十分关键的。因为我认为想真正成为一个大数据分析师,仅仅会用Mahout上现成的算法是远远不够的。修改已有的算法甚至是构造新算法都是一个想真正进入这一行业的从业人员所必需的。课程中也会涉及到怎样在源文件中修改MapReduce程序,从而实现自带的算法所不具有的功能。从这一点上也体现了课程的深度;第五部分是对Hadoop整体生态环境的介绍,介绍并在Hadoop平台上搭载了如Hive, HBase等等常用的应用。对于其优劣势也有较为详细的介绍,例如Hive可以利用HQL语句进行数据库操作,便于那些熟悉SQL语句的DB管理人员操作。而HBase是一种面向列的数据库,使得查询及插入数据更高效。相较于Hive,HBASE显然更适用与海量数据的管理。这些对于Hadoop整体生态环境的介绍体现了课程一定的广度。


       总体来讲,人大经济论坛hadoop大数据分析师培训课程,无论是课程内容的深度和广度,还是课程的教学质量,都是完美的,学完本人受益匪浅,通过最短的时间使自己快速进入到大数据分析的领域中。八天的培训中,最让我感动的是培训老师的认真负责的态度。课程中每一步骤都由老师一对一,手把手指点,耐心程度让人点赞。这样的教学方式保证能让每个学员都能跟上进度,有些入门级的同学当然问得更多些,老师也能一一解答,相信他们的收获比我更多。


CDA大数据分析培训:https://bbs.pinggu.org/thread-3935508-1-1.html



人大经济论坛CDA大数据分析师第二期课程学员


二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:大数据分析 学习心得 数据分析 CDA 大数据 大数据培训 hadoop培训 大数据分析 mahout MapReduce

已有 5 人评分经验 威望 论坛币 学术水平 热心指数 信用等级 收起 理由
daazx + 20 精彩帖子
文化劳工 + 100 精彩帖子
reduce_fat + 100 精彩帖子
niuniuyiwan + 60 + 5 + 5 + 5 精彩帖子
admin + 1 精彩帖子

总评分: 经验 + 260  威望 + 1  论坛币 + 20  学术水平 + 5  热心指数 + 5  信用等级 + 5   查看全部评分

本帖被以下文库推荐




CDA数据分析交流群 217748971
沙发
pzh_hzp 发表于 2015-7-20 11:55:56 |只看作者 |坛友微信交流群

回帖奖励 +2

big data

使用道具

藤椅
donkey 发表于 2015-7-20 11:58:02 |只看作者 |坛友微信交流群

回帖奖励 +2

data big

使用道具

板凳
政治珂代表 发表于 2015-7-20 12:50:19 |只看作者 |坛友微信交流群

回帖奖励 +2

感谢楼主分享

使用道具

报纸
xujingjun 发表于 2015-7-20 13:17:02 |只看作者 |坛友微信交流群

回帖奖励 +2

使用道具

回帖奖励 +2

非常感谢,持续关注

使用道具

7
青菜木 发表于 2015-7-20 14:20:17 |只看作者 |坛友微信交流群

回帖奖励 +2

大数据培训? hadoop

使用道具

8
nndbc 发表于 2015-7-20 15:04:43 |只看作者 |坛友微信交流群

回帖奖励 +2

使用道具

9
tt_abc 发表于 2015-7-20 15:05:09 |只看作者 |坛友微信交流群

回帖奖励 +2

使用道具

10
wangxin520xi 发表于 2015-7-20 15:05:22 |只看作者 |坛友微信交流群

回帖奖励 +2

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-26 21:59