20190225【充实计划】第991期

昨天阅读2小时，总共阅读728小时

昨日阅读3小时，累积阅读278小时。

昨天阅读1小时，总计1003小时

昨天阅读2小时，中国移动845小时

昨天阅读2小时，本月累计阅读3小时。

昨日阅读0.5小时， 累计阅读36.5小时。

昨日阅读2小时，累计阅读653小时

昨日阅读3小时，总计80小时


ch4. 分布式消息队列Kafka：构建数据流水线过程中常用的另外一类组件，即消息队列

设计动机：解决潜在问题（1）数据生产者和消费者耦合度过高；（2）生产者和消费者数据处理速率不对等；（3）大量并发的网络连接对后端消费者不够友好。

理解Kafka的重要地位：1）消息中间件；2）消息队列（缓存生产者产生的数据，使得消费者可以重复消费历史数据。3）发布订阅系统；4）消息总线
Kafka可以被看作一个消息队列，但与ZeroMQ、RabbitMQ等不同，它不遵循AMQP（Advanced Message Queuing Protocol），而是在Big Data场景下设计的，具有自己的特色和优势。

（可以比较与Flume的区别）
Kafka特点：高性能、良好扩展性、数据持久性

设计架构：一个分布式消息队列，将数据分区保存，并将每个分区保存成多份以提高数据可靠性。

Producer、Broker、Consumer、ZooKeeper等有机组成。

Kafka关键技术：可控的可靠性级别（3种应答方式）；数据多副本；高效持久化机制、数据传输优化（批处理与Zero-copy技术）、可控的消息传递语义。
（程序设计示例）

典型应用场景：消息队列；流式计算框架的数据源、分布式日志收集系统中的Source或Sink、Lambda Architecture中的Source

昨日阅读3小时，累计阅读838小时。

昨日阅读1小时，累积阅读52小时