【CDA就业班独家发布】CDA数据分析师学习之路（29）

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

       CDA数据分析师学习之路出系列了，每篇都有数据分析、大数据相关文章和视频，各大名师主讲，每周一、二、四、五更新！CDA数据分析师学习之路已经更新到CDA数据分析师学习之路（29）了，欢迎观看学习！
       另外欢迎各位坛友投稿数据分析相关视频和文章，一经选用将赠送100论坛币和现金奖励、并有机会获赠一套数据分析相关视频（SAS、SPSS、Java、统计理论等等）！（PS：相关文章和视频得原创！联系方式见下方，欢迎投稿！）

CDA数据分析师学习之路（29）

附赠《Python通过hive来处理json数据》干货视频

Hadoop资源调度器的比较

       Hadoop资源调度器，也就是YarnResourceManager的调度器有FIFO、Fair Scheduler和Capacity Scheduler，在共享环境下进行多用户多队列／分组管理的就是后两者，这样就保障一个企业内各个部门共享一个Hadoop集群。

       如何在两者之间选择呢？Fair Scheduler是Facebook开发的，Capacity Scheduler是Yahoo开发的，背景都比较硬，共同点很多，比如每个队列可以配置资源量，也可限制每个用户和每个队列的并发运行作业数量；每个用户的作业有优先级，前者按照优先级分配资源，优先级越高分配的资源越多，而后者先按照优先级，优先级相同的再按照作业提交时间先来先服务进行调度。同时，两者都支持延迟调度和资源抢占。

       对两者的比较应该侧重不同点的比较，首先比较它们的设计目的，Capacity Scheduler多用户的情况下，强调最大化集群的吞吐和利用率；而Fair Scheduler在此情况下，强调在用户间公平的分配资源。这样的设计明显表现在队列排序算法上的不同，前者按照队列的资源使用量最小的优先，然后考虑FIFO和内存限制因素；而后者根据公平排序算法排序，公平是通过作业缺额体现的，调度器每次选择缺额最大的job。同时，两者都通过树状结构组织队列，前者父子队列存在资源参数限制，子队列基于父队列计算资源，而后者父子队列没有参数继承关系。

感谢宋广磊老师提供视频资料！

附赠《Python通过hive来处理json数据》干货视频

【CDA数据分析师学习之路】Python通过hive来处理json数据

感谢宋广磊老师提供视频资料！

***************************************************************************
投稿流程：投稿前请加我QQ联系我，或者直接将文章或视频发送到我的邮箱，但一定要备注好您的姓名、电话、邮箱，以方便我联系您们赠送现金和视频教程的事宜！欢迎投稿！

投稿联系方式：

小段老师QQ：2881989713
邮箱：duanliangbin@pinggu.org
***************************************************************************

相关链接：

CDA数据分析师就业班第四期4月10号开课啦！https://bbs.pinggu.org/thread-4160404-1-1.html

CDA大数据分析师就业班第二期4月17号开课啦！https://bbs.pinggu.org/thread-4160397-1-1.html

上一篇：

CDA数据分析师学习之路（28）https://bbs.pinggu.org/thread-4492918-1-1.html

下一篇：

CDA数据分析师学习之路（30）https://bbs.pinggu.org/thread-4498458-1-1.html

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：CDA数据分析师学习之路 CDA数据分析师 CDA数据分析 CDA就业班 数据分析师 CDA数据分析师 CDA 数据分析 大数据 就业

欢迎积极投稿，论坛币、现金、整套数据分析视频教程等你来拿哦！

最近几章不适合新手。。。