关于本站
人大经济论坛-经管之家：分享大学、考研、论文、会计、留学、数据、经济学、金融学、管理学、统计学、博弈论、统计年鉴、行业分析包括等相关资源。
经管之家是国内活跃的在线教育咨询平台!
获取电子版《CDA一级教材》
完整电子版已上线CDA网校，累计已有10万+在读~ 教材严格按考试大纲编写，适合CDA考生备考，也适合业务及数据分析岗位的从业者提升自我。
TOP热门关键词
扫码加入统计交流群 |
案例之四：Facebook更新Hadoop的状态
虽然一些公司和机构对其庞大的Hadoop系统秘而不宣，但是就已知存在的系统而言，Facebook的数据仓库Hadoop集群已成为世界上已知规模最大的Hadoop存储集群。
http://2f.zol-img.com.cn/product/130_500x2000/659/ceG0gjFbXdlAE.jpg
下面是关于这个单一HDFS集群的一些详细信息：
单一HDFS集群中存储容量达21 PB
2000个机器
每个机器12 TB（有几个机器是每个24TB）
1200个机器每个有8个处理器核心，800个机器每个有16个核心
每个机器有32 GB内存
每个机器有15个映射/化简（map-reduce）任务
已配置存储容量总共超过21PB，大于之前大名鼎鼎的雅虎集群（14PB）。在Hadoop的早期，Facebook就与另外几个互联网巨擘，充分利用这种框架来管理其不断发展的业务。
由于每月活跃用户超过4亿个，页面浏览量超过5000亿人次，每个月共享的内容多达250亿则，对于自称能够处理大数据问题的任何技术而言，Facebook是再合适不过的应用环境。
Facebook的工程师与雅虎的Hadoop工程小组密切合作，把Hadoop推向更高的可扩展性和性能。Facebook有许多Hadoop集群，其中最大的一个集群用于数据仓库。下面一些统计数字描述了Facebook的数据仓库Hadoop集群的几个特点：
每天增加12 TB的压缩数据
每天扫描800 TB的压缩数据
每天处理25000个映射/化简作业
HDFS里面有6500万个文件
30000个客户机同时访问HDFS NameNde
Facebook的软件工程师、开源倡导者Jnathan Gray演示了Facebook如何一直使用更庞大Hadoop平台架构的一部分：HBase，支持生产环境下的在线应用程序和离线应用程序。
虽然上述幻灯片有点深奥，又针对特定环境，但是大致描述了HBase适合的那种复杂数据环境；而更重要的是，描述了这个环境需要怎样的一些重大调整和专门知识才加以管理。HBase仅仅是Facebk管理海量数据、为用户提供异常智能化服务的方法之一。
来源：中关村在线
不看不知道六个超大规模Hadoop部署案例【一】
不看不知道 六个超大规模Hadoop部署案例【二】
不看不知道 六个超大规模Hadoop部署案例【三】
不看不知道 六个超大规模Hadoop部署案例【四】
不看不知道 六个超大规模Hadoop部署案例【五】
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP
您可能感兴趣的文章
人气文章
本文标题：不看不知道 六个超大规模Hadoop部署案例【四】
本文链接网址：https://bbs.pinggu.org/jg/ruanjianpeixun_hadoop_3101529_1.html
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性，不作出任何保证或承若；
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
