出《Hadoop实战手册》这本书的目的就是为了帮助新人快速进入大数据行业,市面上有很多类似的书籍都是重理论少实践,特别缺少一线企业实践经验的传授,而这个教程会让您少走弯路、快速入门和实践,让您在最短时间内达到一个一线企业大数据工程师的能力标准,因为我会把很多过气、过时,以及很多用不上的知识淘汰掉,让大家学到的就是最实用的,带领大家以最直接的方式掌握大数据使用方法。
Hadoop 大数据实战手册
目录
Hadoop 入门与实践 ....................................................................................................... 1
第一章 前言 ........................................................................................................ 3
第二章 hadoop 简介 ............................................................................................... 3
1. Hadoop 版本衍化历史 ....................................................................................... 3
2. Hadoop 生态圈 .................................................................................................. 4
第三章 安装hadoop 环境........................................................................................ 6
第四章 HDFS 文件系统......................................................................................... 14
1. HDFS 特点: .................................................................................................... 14
2. 不适用于 HDFS 的场景:................................................................................. 15
3. HDFS 体系架构 ................................................................................................ 16
4. HDFS 数据块复制 ............................................................................................ 17
5. HDFS 读取和写入流程 ..................................................................................... 17
6. 操作 HDFS 的基本命令 .................................................................................... 19
第五章 Mapreduce 计算框架 ............................................................................... 21
1. MapReduce 编程模型 ...................................................................................... 22
2. MapReduce 执行流程 ...................................................................................... 24
3. MapReduce 数据本地化(Data-Local) ........................................................... 27
4. MapReduce 工作原理 ...................................................................................... 28
5. MapReduce 错误处理机制 ............................................................................... 31
第六章 Zookeeper ................................................................................................ 33
1. Zookeeper 数据模型 ........................................................................................ 33
2. Zookeeper 访问控制 ........................................................................................ 36
3. Zookeeper 应用场景 ........................................................................................ 37
第七章 HBase ........................................................................................................ 38
1. Hbase 简介 ...................................................................................................... 38
2. Hbase 数据模型 ............................................................................................... 40
3. Hbase 架构及基本组件 .................................................................................... 42
4. Hbase 容错与恢复 ........................................................................................... 44
5. Hbase 基础操作 ............................................................................................... 45
第八章 Hive ........................................................................................................... 49
1. Hive 基础原理 ................................................................................................. 49
2. Hive 基础操作 ................................................................................................. 53
第九章 流式计算解决方案-Storm ........................................................................... 60
1. Storm 特点 ...................................................................................................... 61
2. Storm 与 Hadoop 区别 ..................................................................................... 62
3. Storm 基本概念 ............................................................................................... 64
4. Storm 系统架构 ............................................................................................... 70
5. Storm 容错机制 ............................................................................................... 72
6. 一个简单的 Storm 实现 ................................................................................... 73
7. Storm 常用配置 ............................................................................................... 74
第十章 数据挖掘——推荐系统 ............................................................................... 75
1. 数据挖掘和机器学习概念 ............................................................................... 76
2. 一个机器学习应用方向——推荐领域.............................................................. 76
3. 推荐算法——基于内容的推荐方法 ................................................................. 77
4. 推荐算法——基于协同过滤的推荐方法 .......................................................... 81