关于本站
人大经济论坛-经管之家：分享大学、考研、论文、会计、留学、数据、经济学、金融学、管理学、统计学、博弈论、统计年鉴、行业分析包括等相关资源。
经管之家是国内活跃的在线教育咨询平台!
经管之家新媒体交易平台
提供"微信号、微博、抖音、快手、头条、小红书、百家号、企鹅号、UC号、一点资讯"等虚拟账号交易，真正实现买卖双方的共赢。【请点击这里访问】
TOP热门关键词
Hadoop提供了一个稳定的共享存储和分析系统。存储由HDFS实现，分析由MapReduce实现。MapReduce很适合处理那些需要分析整个数据集的问题，以批处理的方式，尤其是AdHoc（自主或及时）分析。MapReduce适合数据被一次写 ...
坛友互助群 |
扫码加入各岗位、行业、专业交流群 |
Hadoop提供了一个稳定的共享存储和分析系统。存储由HDFS实现，分析由MapReduce实现。
MapReduce很适合处理那些需要分析整个数据集的问题，以批处理的方式，尤其是Ad Hoc（自主或及时）分析。MapReduce适合数据被一次写入和多次读取的应用，对于非结构化或半结构化数据非常有效，它被设计为在处理时间内解释数据。即MapReduce输入的键和值并不是数据固有的属性，是由分析数据的人来选择的。Web服务器日志是记录集的一个很好的非规范化例子，也是MapReduce非常适合用于分析各种日志文件的原因。
MapReduce是一种线性的可伸缩的编程模型。程序员编写两个函数——map函数和Reduce函数，每一个都定义一个键/值对集映射到另一个。这些函数无视数据的大小或者他们正在使用的集群的特性，这样他们就可以原封不动地应用到小规模数据集或者大的数据集上。
MapReduce尝试在计算节点本地存储数据，这种“数据本地化”功能，成为MapReduce的核心功能并且也是它拥有良好性能的原因之一。
在一个大规模分布式计算平台上协调进程是一个很大的挑战。而MapReduce是一个无共享的架构，这意味着各个任务之间彼此并不依赖。
Core：一系列分布式文件系统和通用I/O的组件和接口（序列号、java RPC和持久化数据结构）
Avro：一种提供高效、跨语言RPC的数据序列系统，持久化数据存储。
MapReduce：分布式数据处理模式和执行环境，运行于大型商用机集群。
HDFS：分布式文件系统，运行于大型商用机集群。
Pig：一种数据流语言和运行环境，用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
Hbase：一个分布式的、列存储数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询。
ZooKeeper：一个分布式的、高可用性的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。
Hive：分布式数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言用以查询数据。
Chukwa：分布式数据收集和分析系统。Chukwa运行HDFS中存储数据的收集器，它使用MapReduce来生成报告。
MapReduce的工作过程分为两个阶段：map阶段和reduce阶段。每个阶段都有键/值对作为输入和输出，并且它们的类型可由程序员选择。程序员还具体定义了两个函数：map函数和reduce函数。map函数的输出先由MapReduce框架处理，然后再被发送到reduce函数。这一处理过程根据键来对键/值对进行排序和分组。
Hadoop能对大量数据处理与分析，是门实用性较强的软件。
扫码或添加微信号：坛友素质互助
「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP
您可能感兴趣的文章
人气文章
1.凡人大经济论坛-经管之家转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责；
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性，不作出任何保证或承若；
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性，不作出任何保证或承若；
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
