| 所在主题: | |
| 文件名: Hadoop大数据开发案例教程与项目实战.part2.rar | |
| 资料下载链接地址: https://bbs.pinggu.org/a-2506950.html | |
| 附件大小: | |
|
【电子书下载】《Hadoop大数据开发案例教程与项目实战》高清PDF下载 作者: 西普教育研究院 / 时允田 / 林雪纲 出版年: 2017-5-1
内容简介 本书是一本Hadoop学习入门参考书,全书共11章,分为基础篇和提高篇两部分。基础篇包括第1~6章,具体包括Hadoop概述、Hadoop基础环境配置、分布式存储HDFS、计算系统MapReduce、计算模型Yarn、数据云盘。提高篇包括第7~11章,具体包括协调系统Zookeeper、Hadoop数据库Hbase、Hadoop数据仓库Hive、Hadoop数据采集Flume、OTA离线数据分析平台。全书内容结构合理,知识点全面,讲解详细,重点难点突出。 本书适合作为院校计算机及相关专业大数据课程的教材,也可供学习者自学参考。 作者 时允田,IT教育培训高级讲师,现任西普教育教研部经理。先后就职清华同方、SK、森纵艾德、八维教育和西普教育等机构,担任中北大学、南京大学、大连理工软件学院等多所高校外聘企业讲师。拥有十余年的IT从业和教育培训经验,精通Java、Android、HTML5、大数据等技术。 林雪纲,博士,CCF理事,现任北京西普阳光教育科技股份有限公司常务副总裁。十余年信息安全及教育培训行业经验,具有丰富的信息安全和数据领域大型项目咨询、管理及教学培训经验。精通网络安全、安全架构及技术管理、大数据分析,领导参与多个安全平台研发、数字城市解决方案、移动互联网平台开发项目。 目录 基础篇 第1章Hadoop概述1 1.1Hadoop简介1 1.2Hadoop相关项目2 1.3Hadoop来源3 1.4Hadoop的发展史4 1.5Hadoop特点5 1.6Hadoop体系架构6 1.6.1HDFS体系结构7 1.6.2MapReduce体系结构7 本章小结8 习题8 第2章Hadoop基础环境配置9 2.1准备Linux环境9 2.1.1安装VMware12虚拟机9 2.1.2部署CentOS 64位操作系统11 2.2Linux配置16 2.2.1什么是Linux16 2.2.2Linux发行版16 2.2.3配置网络16 2.2.4Linux终端17 2.3Hadoop环境搭建21 2.3.1JDK安装和测试21 2.3.2Hadoop安装和配置25 2.3.3SSH免密码配置31 本章小结33 习题34 第3章分布式存储HDFS35 3.1HDFS概念35 3.1.1HDFS简介35 3.1.2HDFS设计思路和理念35 3.2HDFS体系结构36 3.3HDFS文件存储机制36 3.4HDFS Shell介绍39 3.4.1命令格式39 3.4.2HDFS用户命令40 3.4.3HDFS管理员命令40 3.5Hadoop项目创建47 3.6RPC通信原理53 3.6.1什么是Hadoop的RPC53 3.6.2RPC采用的模式53 3.7分布式文件系统操作类59 本章小结69 习题69 第4章计算系统MapReduce70 4.1MapReduce概念70 4.1.1MapReduce简介70 4.1.2MapReduce 数据类型与格式71 4.1.3数据类型Writable接口71 4.1.4Hadoop序列化机制72 4.2MapReduce架构72 4.2.1数据分片72 4.2.2MapReduce执行过程73 4.2.3Mapper执行过程73 4.2.4Reducer执行过程74 4.2.5Shuffle过程75 4.3第一个MapReduce案例75 4.4MapReduce接口类79 4.4.1MapReduce输入的处理类79 4.4.2MapReduce输出的处理类80 本章小结87 习题87 第5章计算模型Yarn88 5.1Yarn概述88 5.1.1Yarn简介88 5.1.2Yarn的组成89 5.2Yarn的执行过程89 5.3新旧MapReduce的对比90 本章小结101 习题101 第6章数据云盘102 6.1项目概述102 6.2功能需求102 6.3软件开发需求102 6.4效果展示103 6.5系统开发104 本章小结125 习题125 提高篇 第7章协调系统Zookeeper126 7.1Zookeeper概述126 7.1.1Zookeeper简介126 7.1.2Zookeeper数据模型127 7.1.3Zookeeper特征127 7.1.4Zookeeper工作原理128 7.2Zookeeper术语129 7.2.1节点129 7.2.2角色129 7.2.3顺序号129 7.2.4观察129 7.2.5Leader选举129 7.3事件130 7.4Zookeeper Shell操作130 7.4.1Zookeeper服务命令130 7.4.2Zookeeper客户端命令134 7.5Zookeeper API操作137 本章小结156 习题156 第8章Hadoop数据库Hbase157 8.1Hbase概述157 8.1.1Hbase简介157 8.1.2Hbase优势和特点158 8.1.3Hbase专业术语158 8.2Hbase架构158 8.2.1角色159 8.2.2Hbase物理存储和逻辑视图160 8.3Hbase Shell操作163 8.4Hbase API操作168 8.5Hbase 过滤器182 8.5.1过滤器的含义182 8.5.2过滤器的比较操作符182 8.5.3过滤器的比较器183 本章小结193 习题193 第9章Hadoop数据仓库Hive194 9.1Hive概述194 9.1.1Hive简介194 9.1.2Hive数据类型194 9.1.3Hive Metastore195 9.1.4Hive存储和压缩195 9.1.5Hive与传统数据库对比195 9.2Hive的系统架构196 9.3Hive的数据模型200 9.3.1内部表200 9.3.2外部表200 9.3.3分区表201 9.3.4桶表201 9.4Hive Shell操作201 9.5Hive API操作208 9.6Hive内置函数和UDF215 9.6.1内置函数215 9.6.2UDF函数215 本章小结222 习题222 第10章Hadoop数据采集Flume223 10.1Flume概述223 10.1.1Flume简介223 10.1.2Flume核心概念223 10.1.3Flume 系统要求224 10.2Flume架构224 10.3Flume常见操作命令225 10.4Flume环境搭建226 10.4.1设置一个Agent226 10.4.2启动Agent226 本章小结231 习题231 第11章OTA离线数据分析平台232 11.1项目概述232 11.2功能需求233 11.3软件开发关键技术233 11.4效果展示233 11.5平台搭建与测试233 11.5.1配置ssh免密码登录233 11.5.2配置JDK234 11.5.3配置Hadoop236 11.5.4配置Hive242 11.6数据收集247 11.6.1解压Flume247 11.6.2修改配置文件248 11.6.3启动Flume248 11.6.4校验数据248 11.7数据分析249 11.7.1数据清洗249 11.7.2ETL编程256 11.7.3业务分析261 11.7.4配置Sqoop264 11.7.5从HDFS导出数据至MySQL267 11.8数据展示268 11.8.1搭建Web开发环境268 11.8.2添加代码272 11.8.3项目结构282 11.8.4启动Tomcat283 11.8.5访问Web页面283 本章小结283 习题284 觉得可以就回复一下吧,让更多的人看见优秀的资料!!
|
|
熟悉论坛请点击新手指南
|
|
| 下载说明 | |
|
1、论坛支持迅雷和网际快车等p2p多线程软件下载,请在上面选择下载通道单击右健下载即可。 2、论坛会定期自动批量更新下载地址,所以请不要浪费时间盗链论坛资源,盗链地址会很快失效。 3、本站为非盈利性质的学术交流网站,鼓励和保护原创作品,拒绝未经版权人许可的上传行为。本站如接到版权人发出的合格侵权通知,将积极的采取必要措施;同时,本站也将在技术手段和能力范围内,履行版权保护的注意义务。 (如有侵权,欢迎举报) |
|
京ICP备16021002号-2 京B2-20170662号
京公网安备 11010802022788号
论坛法律顾问:王进律师
知识产权保护声明
免责及隐私声明