楼主: lnh2017
2841 2

[Hadoop] hadoop原理介绍 [推广有奖]

  • 0关注
  • 1粉丝

禁止发言

本科生

85%

还不是VIP/贵宾

-

威望
0
论坛币
15 个
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
1153 点
帖子
59
精华
0
在线时间
12 小时
注册时间
2018-1-15
最后登录
2018-6-19

lnh2017 发表于 2018-5-11 16:31:22 |显示全部楼层

Hadoop主要是分布式计算和存储的框架,其工作过程主要依赖于HDFS分布式存储系统和Mapreduce分布式计算框架,以下是其工作过程:

阶段 1

用户/应用程序可以通过指定以下项目来向Hadoop(hadoop作业客户端)提交作业以获取所需的进程:

分布式文件系统中输入和输出文件的位置。

java类以jar文件的形式包含map和reduce函数的实现。

通过设置作业的不同参数来配置作业。

阶段 2

Hadoop作业客户端然后将作业(jar /可执行文件等)和配置提交给JobTracker,JobTracker然后承担将软件/配置分发给从属的责任,Hadoop作业客户端然后将作业(jar /可执行文件等)和配置提交给JobTracker,JobTracker然后承担将软件/配置分发给从属的责任,

阶段 3

不同节点上的TaskTracker根据MapReduce实现执行任务,reduce函数的输出存储在文件系统上的输出文件中。



stata SPSS
孤独红狐 发表于 2018-5-17 08:02:04 |显示全部楼层
谢谢分享
回复

使用道具 举报

wangyong8935 发表于 2018-10-5 07:42:43 |显示全部楼层
关注
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 我要注册

GMT+8, 2018-10-16 03:57