不看不知道 六个超大规模Hadoop部署案例【四】

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

Facebook更新Hadoop的状态

　　案例之四：Facebook更新Hadoop的状态

　　虽然一些公司和机构对其庞大的Hadoop系统秘而不宣，但是就已知存在的系统而言，Facebook的数据仓库Hadoop集群已成为世界上已知规模最大的Hadoop存储集群。

　　下面是关于这个单一HDFS集群的一些详细信息：

　　单一HDFS集群中存储容量达21 PB

　　2000个机器

　　每个机器12 TB（有几个机器是每个24TB）

　　1200个机器每个有8个处理器核心，800个机器每个有16个核心

　　每个机器有32 GB内存

　　每个机器有15个映射/化简（map-reduce）任务

　　已配置存储容量总共超过21PB，大于之前大名鼎鼎的雅虎集群（14PB）。在Hadoop的早期，Facebook就与另外几个互联网巨擘，充分利用这种框架来管理其不断发展的业务。

　　由于每月活跃用户超过4亿个，页面浏览量超过5000亿人次，每个月共享的内容多达250亿则，对于自称能够处理大数据问题的任何技术而言，Facebook是再合适不过的应用环境。

　　Facebook的工程师与雅虎的Hadoop工程小组密切合作，把Hadoop推向更高的可扩展性和性能。Facebook有许多Hadoop集群，其中最大的一个集群用于数据仓库。下面一些统计数字描述了Facebook的数据仓库Hadoop集群的几个特点：

　　每天增加12 TB的压缩数据

　　每天扫描800 TB的压缩数据

　　每天处理25000个映射/化简作业

　　HDFS里面有6500万个文件

　　30000个客户机同时访问HDFS NameNde

　　Facebook的软件工程师、开源倡导者Jnathan Gray演示了Facebook如何一直使用更庞大Hadoop平台架构的一部分：HBase，支持生产环境下的在线应用程序和离线应用程序。

　　虽然上述幻灯片有点深奥，又针对特定环境，但是大致描述了HBase适合的那种复杂数据环境；而更重要的是，描述了这个环境需要怎样的一些重大调整和专门知识才加以管理。HBase仅仅是Facebk管理海量数据、为用户提供异常智能化服务的方法之一。

来源：中关村在线
不看不知道六个超大规模Hadoop部署案例【一】

不看不知道 六个超大规模Hadoop部署案例【二】

不看不知道 六个超大规模Hadoop部署案例【三】

不看不知道 六个超大规模Hadoop部署案例【四】

不看不知道 六个超大规模Hadoop部署案例【五】

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Hadoop 超大规模 不知道 Had 大规模 规模