搜索
人大经济论坛 附件下载

附件下载

所在主题:
文件名:  Hadoop大数据开发案例教程与项目实战.part2.rar
资料下载链接地址: https://bbs.pinggu.org/a-2506950.html
附件大小:
60.04 MB   举报本内容

【电子书下载】《Hadoop大数据开发案例教程与项目实战》高清PDF下载



作者: 西普教育研究院 / 时允田 / 林雪纲
出版年: 2017-5-1



内容简介
本书是一本Hadoop学习入门参考书,全书共11章,分为基础篇和提高篇两部分。基础篇包括第1~6章,具体包括Hadoop概述、Hadoop基础环境配置、分布式存储HDFS、计算系统MapReduce、计算模型Yarn、数据云盘。提高篇包括第7~11章,具体包括协调系统Zookeeper、Hadoop数据库Hbase、Hadoop数据仓库Hive、Hadoop数据采集Flume、OTA离线数据分析平台。全书内容结构合理,知识点全面,讲解详细,重点难点突出。

本书适合作为院校计算机及相关专业大数据课程的教材,也可供学习者自学参考。

作者
时允田,IT教育培训高级讲师,现任西普教育教研部经理。先后就职清华同方、SK、森纵艾德、八维教育和西普教育等机构,担任中北大学、南京大学、大连理工软件学院等多所高校外聘企业讲师。拥有十余年的IT从业和教育培训经验,精通Java、Android、HTML5、大数据等技术。

林雪纲,博士,CCF理事,现任北京西普阳光教育科技股份有限公司常务副总裁。十余年信息安全及教育培训行业经验,具有丰富的信息安全和数据领域大型项目咨询、管理及教学培训经验。精通网络安全、安全架构及技术管理、大数据分析,领导参与多个安全平台研发、数字城市解决方案、移动互联网平台开发项目。

目录
基础篇
第1章Hadoop概述1
1.1Hadoop简介1
1.2Hadoop相关项目2
1.3Hadoop来源3
1.4Hadoop的发展史4
1.5Hadoop特点5
1.6Hadoop体系架构6
1.6.1HDFS体系结构7
1.6.2MapReduce体系结构7
本章小结8
习题8
第2章Hadoop基础环境配置9
2.1准备Linux环境9
2.1.1安装VMware12虚拟机9
2.1.2部署CentOS 64位操作系统11
2.2Linux配置16
2.2.1什么是Linux16
2.2.2Linux发行版16
2.2.3配置网络16
2.2.4Linux终端17
2.3Hadoop环境搭建21
2.3.1JDK安装和测试21
2.3.2Hadoop安装和配置25
2.3.3SSH免密码配置31
本章小结33
习题34
第3章分布式存储HDFS35
3.1HDFS概念35
3.1.1HDFS简介35
3.1.2HDFS设计思路和理念35
3.2HDFS体系结构36
3.3HDFS文件存储机制36
3.4HDFS Shell介绍39
3.4.1命令格式39
3.4.2HDFS用户命令40
3.4.3HDFS管理员命令40
3.5Hadoop项目创建47
3.6RPC通信原理53
3.6.1什么是Hadoop的RPC53
3.6.2RPC采用的模式53
3.7分布式文件系统操作类59
本章小结69
习题69
第4章计算系统MapReduce70
4.1MapReduce概念70
4.1.1MapReduce简介70
4.1.2MapReduce 数据类型与格式71
4.1.3数据类型Writable接口71
4.1.4Hadoop序列化机制72
4.2MapReduce架构72
4.2.1数据分片72
4.2.2MapReduce执行过程73
4.2.3Mapper执行过程73
4.2.4Reducer执行过程74
4.2.5Shuffle过程75
4.3第一个MapReduce案例75
4.4MapReduce接口类79
4.4.1MapReduce输入的处理类79
4.4.2MapReduce输出的处理类80
本章小结87
习题87
第5章计算模型Yarn88
5.1Yarn概述88
5.1.1Yarn简介88
5.1.2Yarn的组成89
5.2Yarn的执行过程89
5.3新旧MapReduce的对比90
本章小结101
习题101
第6章数据云盘102
6.1项目概述102
6.2功能需求102
6.3软件开发需求102
6.4效果展示103
6.5系统开发104
本章小结125
习题125
提高篇
第7章协调系统Zookeeper126
7.1Zookeeper概述126
7.1.1Zookeeper简介126
7.1.2Zookeeper数据模型127
7.1.3Zookeeper特征127
7.1.4Zookeeper工作原理128
7.2Zookeeper术语129
7.2.1节点129
7.2.2角色129
7.2.3顺序号129
7.2.4观察129
7.2.5Leader选举129
7.3事件130
7.4Zookeeper Shell操作130
7.4.1Zookeeper服务命令130
7.4.2Zookeeper客户端命令134
7.5Zookeeper API操作137
本章小结156
习题156
第8章Hadoop数据库Hbase157
8.1Hbase概述157
8.1.1Hbase简介157
8.1.2Hbase优势和特点158
8.1.3Hbase专业术语158
8.2Hbase架构158
8.2.1角色159
8.2.2Hbase物理存储和逻辑视图160
8.3Hbase Shell操作163
8.4Hbase API操作168
8.5Hbase 过滤器182
8.5.1过滤器的含义182
8.5.2过滤器的比较操作符182
8.5.3过滤器的比较器183
本章小结193
习题193
第9章Hadoop数据仓库Hive194
9.1Hive概述194
9.1.1Hive简介194
9.1.2Hive数据类型194
9.1.3Hive Metastore195
9.1.4Hive存储和压缩195
9.1.5Hive与传统数据库对比195
9.2Hive的系统架构196
9.3Hive的数据模型200
9.3.1内部表200
9.3.2外部表200
9.3.3分区表201
9.3.4桶表201
9.4Hive Shell操作201
9.5Hive API操作208
9.6Hive内置函数和UDF215
9.6.1内置函数215
9.6.2UDF函数215
本章小结222
习题222
第10章Hadoop数据采集Flume223
10.1Flume概述223
10.1.1Flume简介223
10.1.2Flume核心概念223
10.1.3Flume 系统要求224
10.2Flume架构224
10.3Flume常见操作命令225
10.4Flume环境搭建226
10.4.1设置一个Agent226
10.4.2启动Agent226
本章小结231
习题231
第11章OTA离线数据分析平台232
11.1项目概述232
11.2功能需求233
11.3软件开发关键技术233
11.4效果展示233
11.5平台搭建与测试233
11.5.1配置ssh免密码登录233
11.5.2配置JDK234
11.5.3配置Hadoop236
11.5.4配置Hive242
11.6数据收集247
11.6.1解压Flume247
11.6.2修改配置文件248
11.6.3启动Flume248
11.6.4校验数据248
11.7数据分析249
11.7.1数据清洗249
11.7.2ETL编程256
11.7.3业务分析261
11.7.4配置Sqoop264
11.7.5从HDFS导出数据至MySQL267
11.8数据展示268
11.8.1搭建Web开发环境268
11.8.2添加代码272
11.8.3项目结构282
11.8.4启动Tomcat283
11.8.5访问Web页面283
本章小结283
习题284



觉得可以就回复一下吧,让更多的人看见优秀的资料!!




    熟悉论坛请点击新手指南
下载说明
1、论坛支持迅雷和网际快车等p2p多线程软件下载,请在上面选择下载通道单击右健下载即可。
2、论坛会定期自动批量更新下载地址,所以请不要浪费时间盗链论坛资源,盗链地址会很快失效。
3、本站为非盈利性质的学术交流网站,鼓励和保护原创作品,拒绝未经版权人许可的上传行为。本站如接到版权人发出的合格侵权通知,将积极的采取必要措施;同时,本站也将在技术手段和能力范围内,履行版权保护的注意义务。
(如有侵权,欢迎举报)
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

GMT+8, 2025-12-29 04:26