20190206【充实计划】第974期

昨日阅读2小时，累计阅读752小时。

今日阅读一小时，stumble on happiness, 75%-end,后半部分是注释，总的来说这是一本不错的认知心理学书籍，分析了人类对happiness的种种谬误，并在最后给出了一种decision making的解决方案。缺点是这本书作者用了太多的形容词，词汇量不足对阅读连续性产生了很大问题，将来也许会再读一遍。从明天开始打算阅读新的一本认知心理学图书：Nudge: Improving Decisions About Health, Wealth, and Happiness。

累积阅读时间19小时。

昨日阅读时间1小时，总阅读时间397小时

昨天阅读1小时，累计阅读1150小时。

昨天阅读1小时，总共阅读6小时

昨天阅读3小时，总共阅读395小时

昨日拜年2小时，阅读4小时，总计20.5小时

ch6. HDFS和Common概论
ch7. MapReduce概论      
（见网站介绍）
ch8. NoSQL技术介绍（见NoSQL中文网站）---键值对存储、列存储、面向文档存储、图形存储、XML数据存储

    NoSQL的技术基础：CAP（Consistency一致性、Availability可用性、分区容错性Partition Tolerance）
    大数据的分区与放置策略（范围分区、列表分区、哈希分区）（顺序放置策略、随机放置策略）
    容错是建立在冗余的基础上的（硬件、软件、信息、时间冗余）

    NoSQL的种类：Redis、Bigtable/Hbase、CouchDB/MongoDB（数据以文档形式存储，没有固定格式）、Neo4j（以图形形式存储数据及数据间关系）

ch9. Spark概论
开源的通用分布式并行计算框架，解决Hadoop的不足与局限（1抽象层次低，需要手工编写代码来完成，用户难以上手使用；2只提供Map和Reduce两个操作，表达力欠缺；3处理逻辑隐藏在代码细节中，没有整体逻辑；4中间结果也放在HDFS文件系统中，中间结果不可见，不可分享；5ReduceTask需要等待所有MapTask完成后才能开始；6.延时长，响应时间无保证，只适合批量数据处理不适合交互式和实时数据处理；7对于图处理和迭代式数据处理能力比较差。

        Spark使用内存代替传统HDFS存储中间结果，数据抽取运算模型更快

        Spark大数据处理架构机器生态系统分为三层：底层的Cluster Manager（负责集群资源管理）和Data Manager（负责集群数据管理）；中间层的Spark Runtime，即Spark内核，包括其最基本的最核心的功能和基本分布式算子；最上层为4个专门用于处理特定场景的Spark高层模块Spark SQL、MLlib、GraphX和Spark Streaming，这四个模块基于Spark RDD进行了专门的封装和定制，可以无缝结合、互相配合。

        RDD（Resilient Distributed Datasets）即弹性分布式数据集（一个提供了许多操作接口的数据集合）

        应用Spark的成功案例：腾讯、Yahoo、淘宝、优酷土豆

ch10. 云计算与大数据

    私有云、公有云、混合云
    云计算是大数据的基础
    核心技术：虚拟化技术
    仿真：CloudSIm、GreenCloud、MDCSim（商业软件）

ch11. 大数据解决方案及相关案例（比较粗糙）：Intel大数据相关案例（中移动广东公司）、百度大数据+平台（预测、百度迁徙、旅游信息统计与预测、百度指数）、腾讯大数据（广点通）

    The  End

读后感想：如本书题目所示，确实是大数据技术概论，将虚幻的大数据概念引入到具体实际中。但诸多细节没有细细阐述。入门还不大够，还有点雾里看花。

昨日阅读2小时，累计阅读135小时。完成背单词90个。
Indispensable, if you say that someone or something is indispensable, you mean that they are absolutely essential and other people or things cannot function without them.
For example, An intelligent computer will be an indispensable diagnostic tool for doctors.

昨天阅读1小时，累计阅读99小时。

充实每一天 发表于 2019-2-6 07:04
【加入充实计划】【了解充实计划】
|新充实挑战|    |每日计划清单|
| 【充实积累】| |【充实挑战项目】| ...

昨天阅读1小时，累计阅读156小时。