请选择 进入手机版 | 继续访问电脑版
楼主: aongao
35323 366

Hadoop之我见【回帖奖励论坛币】   [推广有奖]

  • 5关注
  • 31粉丝

VIP

教授

52%

还不是VIP/贵宾

-

TA的文库  其他...

新能源&可持續發展

農業&经济

威望
1
论坛币
33743 个
通用积分
5631.2235
学术水平
153 点
热心指数
194 点
信用等级
114 点
经验
89328 点
帖子
626
精华
2
在线时间
1101 小时
注册时间
2014-1-20
最后登录
2022-4-13

aongao 发表于 2014-6-15 16:55:21 |显示全部楼层 |坛友微信交流群
相似文件 换一批

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币

最近在学习Hadoop,很想把自己的一些学习遇到的问题以及解决方案分享出来,也碍于最近一堆忙不完的事,就把这事给搁了很久。那下面我就先来简单说下我为什么要学习Hadoop以及我学习Hadoop的一些感受吧。


  大家都知道,最近几年互联网的云计算、大数据、Hadoop等等这些都很炒的很火。我是一名学生,学校也赶上时髦了,也开了相关的数据挖掘、云计算等的课程。我是去年开始接触云计算方面的东西,了解了一些关于大数据处理、Hadoop的一些发展概况。总的体会就是,随着互联网的飞速发展,各行各业的数据也在急剧膨胀,未来一定是大数据的时代。因此,围绕这大数据存储、大数据处理等的发展前景也变得更加光明。

  然后,我选择学习Hadoop也是因为它在大数据存储、数据处理方面比较强大。其次,Hadoop技术已经在互联网领域得以广泛的应用,同时也得到研究界的普遍关注。国内外很多的互联网公司都在用Hadoop做一些数据处理分析什么的。

  学习Hadoop主要还是看好它的发展前景,我个人还是很看好这个分布式计算平台未来的前景的。目前很多大公司也在都在使用Hadoop,比如国内的阿里巴巴、百度、腾讯、国外的Yahoo、亚马逊、Facebook等都在使用Hadoop。事实证明这个分布式平台很有潜力的,虽然目前还是存在各种各样的不足和缺陷,但是有那么多人在为之付出,总是能够不断改进的。下面是Hadoop目前的一些应用情况:

Apache Nutch是Hadoop的源头,该项目始于2002年,是Apache Lucene 的子项目之一。至2004年,Google在OSDI上公开发表了题为“MapReduce: Simplified Data Processing on Large Clusters”的论文,受到启发的Doug Cutting等人开始实现MapReduce计算框架并与NDFS(Nutch Distributed File System)结合支持Nutch的主要算法。至2006年逐渐成为一套完整而独立的软件,起名为Hadoop。2008年初,Hadoop成为 Apache的顶级项目,应用到除Yahoo!以外的很多互联网公司。


Hadoop主要提供了一套名为HDFS的分布式文件系统以及支持Map-Reduce的计算框架。此外,还提供构建在HDFS 和Map/Reduce之上的可扩展的数据仓库Hive,结构化数据库HBase,数据流高层语言Pig,高性能分布式协同服务ZooKeeper,以及 面向大规模分布式系统的数据收集软件Chukwa等。


如Yahoo!使用4000个节点的机群运行Hadoop,支持广告系统和 Web搜索的究;Facebook使用1000节点的机群运行Hadoop,存储日志数据,支持其上的数据分析和机器学习;百度用Hadoop处理每周 200TB的数据,进行搜索日志分析和网页数据挖掘工作;中移动研究院基于Hadoop开发了“大云”(BigCloud)系统,不但用于相关数据分析, 还对外提供服务;淘宝的Hadoop系统用于存储并处理电子商务的交易相关数据。国内的高校和科研院所基于Hadoop在数据存储、资源管理、作业调度、 性能优化、系统高可用性和安全性方面进行研究,相关研究成果多以开源形式贡献给Hadoop社区。


在国内最早运用Hadoop技术的是互联网公司,因为Hadoop是开源软件,当时国内尚无针对Hadoop的交流平台,Hadoop in China志愿者社区正是在这样的形势下自然形成的。Hadoop in China大会是这个志愿者社区的窗口,其前身是Hadoop技术沙龙。第一次举办沙龙是在2008年11月23日,目的是为了让更多的Hadoop技术 爱好者能够互相认识,并能够在一起交流学术和技术心得。会议邀请了Yahoo!、Facebook、百度等互联网企业的资深技术人员到场讲解了 Hadoop技术的原理、应用和很多内部技术细节。经过两年多的努力,Hadoop in China大会已逐渐成为集技术研讨、交流和成果展示为一身的综合性技术交流平台,Hadoop in China 志愿者社区已成为国内推广Hadoop技术的重要力量之一。

原文链接:http://it.chinabyte.com/83/11520583.shtml

这是我写的第一篇关于Hadoop的博文,在学习Hadoop的过程中遇到了很多的困难,在Hadoop搭建环境、实战开发过程中也出现过很多的问题。因此,以后我也会陆续的把自己之前学习Hadoop的过程中所遇到的问题以及解决方案的分享出来和大家一起研究学习。我相信积累是成长的必须过程。以后有空就多就经常去学习,思考,总结。万事开头难,不过今天算是迈出了第一步,千里之行始于足下,加油吧!

转自:博客园

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:Hadoop 回帖奖励 论坛币 Had distributed 大数据 云计算 互联网 Hadoop

已有 1 人评分学术水平 热心指数 信用等级 收起 理由
轩轩 + 3 + 3 + 3 精彩帖子

总评分: 学术水平 + 3  热心指数 + 3  信用等级 + 3   查看全部评分

6688dhj 发表于 2014-6-15 17:00:08 |显示全部楼层 |坛友微信交流群

回帖奖励 +3

一起加油!
已有 1 人评分经验 收起 理由
aongao + 10 鼓励积极发帖讨论

总评分: 经验 + 10   查看全部评分

使用道具

sunyongfirst 发表于 2014-6-15 17:00:20 |显示全部楼层 |坛友微信交流群

回帖奖励 +3

看看。。。

使用道具

vinkchen 发表于 2014-6-15 17:01:16 |显示全部楼层 |坛友微信交流群

回帖奖励 +3

很好的想法
已有 1 人评分热心指数 收起 理由
aongao + 3 精彩帖子

总评分: 热心指数 + 3   查看全部评分

使用道具

scucook103 发表于 2014-6-15 17:10:14 |显示全部楼层 |坛友微信交流群

回帖奖励 +3

Just have a look
已有 1 人评分热心指数 收起 理由
aongao + 3 精彩帖子

总评分: 热心指数 + 3   查看全部评分

使用道具

sunyongfifth 发表于 2014-6-15 17:16:24 |显示全部楼层 |坛友微信交流群

回帖奖励 +3

了解一下。
已有 1 人评分热心指数 收起 理由
aongao + 2 精彩帖子

总评分: 热心指数 + 2   查看全部评分

使用道具

罗江华 发表于 2014-6-15 17:46:28 来自手机 |显示全部楼层 |坛友微信交流群

回帖奖励 +3

aongao 发表于 2014-6-15 16:55
最近在学习Hadoop,很想把自己的一些学习遇到的问题以及解决方案分享出来,也碍于最近一堆忙不完的事,就把 ...
you down a great job
已有 1 人评分热心指数 收起 理由
aongao + 3 精彩帖子

总评分: 热心指数 + 3   查看全部评分

使用道具

ilifei 在职认证  发表于 2014-6-15 18:39:27 |显示全部楼层 |坛友微信交流群

回帖奖励 +3

顶顶顶顶顶顶顶顶顶顶顶顶

使用道具

695868058 发表于 2014-6-15 20:13:31 来自手机 |显示全部楼层 |坛友微信交流群

回帖奖励 +3

好文章!但是看不懂~不过数据分析还是挺有意思的
已有 1 人评分热心指数 收起 理由
aongao + 2 精彩帖子

总评分: 热心指数 + 2   查看全部评分

使用道具

fengw417 发表于 2014-6-15 20:26:17 |显示全部楼层 |坛友微信交流群

回帖奖励 +3

未来的趋势!
已有 1 人评分经验 收起 理由
aongao + 10 我很赞同

总评分: 经验 + 10   查看全部评分

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-3-29 04:41