发帖
雷达卡
一、选择题（共10题，每题1分，总计10分）
二、填空题（共20空，每空1分，总计20分）
三、简答题（共6题，总计30分）
1. 请简要描述 Spark 的架构及其各个组件的功能。
Spark 是一个基于内存计算的大数据处理框架，其核心架构包括 Driver、Executor、Cluster Manager 和 DAG Scheduler 等模块。Driver 负责解析用户程序并生成执行计划；Executor 在工作节点上运行任务，并管理本地数据缓存；Cluster Manager 负责资源的分配与调度，支持如 Standalone、YARN 或 Mesos 等多种模式；DAG Scheduler 将作业拆分为多个阶段，按依赖关系调度任务执行。
2. 执行 jps 命令后，在 Hadoop 集群中通常能看到哪五个关键进程？
在典型的 Hadoop 全分布模式下，通过 jps 命令可以观察到以下五个主要进程：
- NameNode：负责管理文件系统的命名空间和元数据。
- DataNode：存储实际的数据块并定期向 NameNode 汇报状态。
- SecondaryNameNode：辅助 NameNode 定期合并 fsimage 和 edits 日志，减轻主节点压力。
- ResourceManager：YARN 中的资源调度器，统筹集群资源分配。
- NodeManager：单个节点上的资源管理者，负责容器的启动与监控。
3. 描述 Storm 的系统架构组成及各部分作用。
Storm 是一个分布式实时计算系统，其架构主要包括 Nimbus、Supervisor、ZooKeeper、Worker 和 Task 等组件。
- Nimbus：相当于 Hadoop 中的 JobTracker，负责代码分发、任务分配和故障恢复。
- Supervisor：运行在工作节点上，负责启动和停止 Worker 进程。
- ZooKeeper：用于协调整个集群的状态信息，实现高可用。
- Worker：执行具体拓扑的一部分，每个 Worker 运行一个或多个 Executor。
- Executor：线程单元，运行具体的 Task，即数据处理逻辑。
4. 简述 Hadoop 全分布模式的安装配置流程。
安装 Hadoop 全分布环境的主要步骤如下：
（1）准备多台服务器，设置静态 IP 并完成主机名映射（/etc/hosts）。
（2）配置 SSH 免密登录，确保主节点能无密码访问所有从节点。
（3）安装 JDK 并配置 JAVA_HOME 环境变量。
（4）下载 Hadoop 安装包并解压，修改 core-site.xml、hdfs-site.xml、yarn-site.xml 和 mapred-site.xml 四个核心配置文件。
（5）将配置好的 Hadoop 目录复制到所有节点。
（6）在主节点上格式化 NameNode。
（7）启动 HDFS 和 YARN 服务，使用 jps 验证各进程是否正常运行。
5. Storm 与 Hadoop 之间的区别与联系有哪些？
区别：
- Hadoop 主要面向批处理，适用于离线数据分析，采用磁盘存储和 MapReduce 计算模型。
- Storm 是流式处理框架，支持实时数据处理，数据以 tuple 流的形式持续流动。
- Hadoop 的处理延迟较高，而 Storm 可实现毫秒级响应。
联系：
- 两者均为分布式系统，具备良好的可扩展性和容错能力。
- 可结合使用，例如用 Storm 实时清洗数据后写入 HDFS，再由 Hadoop 进行后续批量分析。
6. 学习本课程之后，你掌握了哪些知识和技能？
通过本课程的学习，掌握了大数据生态系统中的核心技术原理与实践操作，包括但不限于：
- Hadoop 的 HDFS 架构与 YARN 资源管理机制；
- 使用 MapReduce 编程模型进行数据统计分析；
- Spark 内存计算框架的基本使用与应用开发；
- Storm 实时流处理系统的拓扑构建与部署方法；
- HBase 表结构设计与常用 Shell 操作命令；
- HDFS 常用命令行工具的操作与维护技巧。
同时提升了对分布式系统协同工作的理解能力，增强了动手实践和问题排查的能力。
四、论述题（共2题，每题10分，总计20分）
1. 绘制 Hadoop 系统架构图，并说明各组件功能。
Hadoop 架构主要由 HDFS 和 YARN 两大部分构成：
- HDFS 层面：
○ NameNode：管理文件系统树及所有文件/目录的元信息，记录数据块位置。
○ DataNode：负责真实数据的存储，根据指令执行数据块的读写与删除。
○ Client：客户端发起文件读写请求，与 NameNode 获取元数据，直接与 DataNode 交互传输数据。
- YARN 层面：
○ ResourceManager：全局资源调度者，管理所有节点的资源并分配给应用程序。
○ NodeManager：运行在每个节点上，汇报资源使用情况并启动容器（Container）。
○ ApplicationMaster：每个应用实例的控制器，向 RM 申请资源并协调任务执行。
2. 解释什么是 MapReduce，并以 “i love china, i love shanxi” 为例说明其工作流程。
MapReduce 是一种编程模型，用于大规模数据集的并行处理，包含 Map 和 Reduce 两个阶段。
示例输入：
文本内容为：“i love china, i love shanxi”
工作流程如下：
（1）Input Split：将输入文本切分为片段，交由不同的 Map 任务处理。
（2）Map 阶段：
→ 输入键值对为 (行偏移量, 文本行)
→ 经过分词和清洗后输出：
(i, 1), (love, 1), (china, 1), (i, 1), (love, 1), (shanxi, 1)
（3）Shuffle 与 Sort：
→ 框架自动对 Key 进行分区、排序和分组，形成：
(china, [1]), (i, [1,1]), (love, [1,1]), (shanxi, [1])
（4）Reduce 阶段：
→ 对每个 Key 的 Value 列表求和：
(china, 1), (i, 2), (love, 2), (shanxi, 1)
（5）Output：最终结果写入 HDFS，完成词频统计任务。
五、编程题（共2题，每题10分，总计20分）
1. HBase 相关操作
（1）创建一张名为 'class' 的表，包含列族 info 和 score。
命令示例：
create 'class', 'info', 'score'
（2）查看所创建的表，使用 scan 命令浏览表内容。
命令：
scan 'class'
（3）插入题目指定的两行数据，共需执行 7 条 put 语句。
示例命令：
put 'class', 'row1', 'info:name', 'Alice'
put 'class', 'row1', 'info:age', '20'
put 'class', 'row1', 'score:math', '85'
put 'class', 'row1', 'score:english', '78'
put 'class', 'row2', 'info:name', 'Bob'
put 'class', 'row2', 'info:age', '21'
put 'class', 'row2', 'score:math', '90'
（4）列出当前 HBase 中所有的表。
命令：
list
（5）删除名为 class 的表。
先 disable 再 drop：
disable 'class'
drop 'class'
2. HDFS 常用命令操作
① 格式化 NameNode 的命令：
hdfs namenode -format
② 启动 NameNode 和 ResourceManager 的命令：
sbin/hadoop-daemon.sh start namenode
sbin/yarn-daemon.sh start resourcemanager
③ 启动 DataNode 和 NodeManager 的命令：
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
④ 删除 HDFS 上已存在的 /data 目录：
hdfs dfs -rm -r /data
⑤ 关闭整个 Hadoop 集群：
使用 stop-all.sh 脚本，或分别停止各项服务：
sbin/stop-dfs.sh 和 sbin/stop-yarn.sh
京公网安备 11010802022788号
