20190228【充实计划】第994期

昨日阅读1小时，累计阅读91小时

充实每一天 发表于 2019-2-28 06:42
该主题为【学道会】活动，点击了解详情

【加入充实计划】【了解充实计划】

20190228昨天看书1小时，累计看书144小时。

昨日阅读2小时，累计阅读727小时

昨日阅读3小时，累计阅读1412小时。

充实每一天 发表于 2019-2-28 06:42
该主题为【学道会】活动，点击了解详情

【加入充实计划】【了解充实计划】

昨日阅读0.5小时，累计阅读1小时

充实每一天 发表于 2019-2-28 06:42
该主题为【学道会】活动，点击了解详情

【加入充实计划】【了解充实计划】

昨日阅读0.5小时，累计阅读2小时

昨天阅读1小时，总计阅读625小时

昨日阅读3小时，总计88.5 小时


分布式协调于资源管理篇
ch8. 分布式协调服务ZooKeeper

Leader选举
负载均衡
数据模型：非常类似于一个分布式文件系统，提供发布/订阅机制

1）层级命名空间
2）Watcher
3）Session

基本架构：读路径、写路径、作为数据中心的桥梁、消息总线
ZooKeeper API、Apache Curator（Netflix公司开源的一个ZooKeeper客户端）

应用案例：Leader选举、分布式队列、负载均衡

ch9. 资源管理与调度系统YARN

MapReduce升级改造的产物
YARN：一个通用的资源管理系统，目标是将短作业和长服务混合部署到一个集群中，并为之提供统一的资源管理和调度功能
（其他的同类产品：Google Borg、Omega； Twitter的Mesos；腾讯的Torca）
动机：1）提高集群资源利用率；2）服务自动化部署
设计思想：

将JobTracker的两个主要功能，即资源管理和作业控制，分拆成俩独立的进程。

资源管理与具体应用程序无关，负责整个集群的资源管理（内存、CPU、磁盘等）
作业控制进程则是直接与应用程序相关的模块，且每个作业控制进程只负责管理一个作业。

YARN基本架构：master/slave架构；ResourceManager为master、NodeManager为Slave、ApplicationMaster、Container等几个组件组成。
YARN高可用（HA）：提供恢复机制

YARN资源调度器：Hadoop YARN最核心的组件之一。层级队列管理机制、多租户资源调度器、Capacity/Fair Scheduler、基于节点标签调度、资源抢占模型
YARN资源隔离：

当前很多资源隔离技术，如硬件虚拟化、虚拟机、Cgroups、Linux Container等

充实每一天 发表于 2019-2-28 06:42
该主题为【学道会】活动，点击了解详情

【加入充实计划】【了解充实计划】

昨日阅读2小时，累积阅读326小时。<br>
单词复习<br>
detective <br>
occupy <br>
ceremony <br>
diagnose<br>
denote <br>
chink
CCAE“美国当代英语词汇研究”（Corpus of Contemporary American English）是这个世纪里最大的美国语言学研究项目，地位相当于影响深远的英国的BNC-British National Corpus。我们目前使用的大多数英语词频表都是从BNC来的，换据话说都是英国英语的词频，而且是1980年代以前的词频。美国 CCAE至今还没结束，目前收集了4亿词汇的文献资料<br>

昨日阅读1小时，累计阅读294小时。