20190218【充实计划】第985期

今日阅读一小时，Nudge: Improving Decisions About Health, Wealth, and Happiness，27%->30%,累积阅读时间31小时。

20190218昨日阅读2小时，累计阅读86小时

充实每一天 发表于 2019-2-18 05:45
【加入充实计划】【了解充实计划】
|新充实挑战|    |每日计划清单|
| 【充实积累】| |【充实挑战项目】| ...

昨日阅读1小时，累计26小时

昨日阅读1小时，累计阅读522小时

昨日阅读0.5小时，累积阅读264小时

昨日阅读3小时，总计62.5小时

《大数据技术体系详解-原理、架构与实践》-董西成著-机械Press-2018.4

    5.数据分析层

        为方便用户解决大数据问题而提供的各种数据分析工具。
        Hive/Pig/SparkSQL：在计算引擎之上构建的支持SQL或脚本语言的分析系统。（降低了用户的分析门槛）
        Hive是基于MapReduce/Tez实现的SQL引擎，Pig是基于Mapreduce/Tez实现的工作流引擎，SparkSQL是基于Spark实现的SQL引擎

        Mahout/MLib：在计算引擎之上的机器学习库，实现了常用的机器学习和数据挖掘算法。Mahout最初是基于MapReduce实现的，现在逐步移植到Spark上。MLib是基于Spark实现的。

        Apache Beam/Cascading：基于各类计算框架而封装的高级API，方便用户构建复杂的数据流水线。
        Beam统一了批处理、流式处理两类计算框架，提供更高级别的API，以便编写与具体计算引擎无关得逻辑代码。
        Cascading内置查询计划优化器，能自动优化用户实现的数据流。采用了面向Tuple的数据模型。

C. 大数据架构：Lambda Architecture

    LA，最早为Twitter工程师Nathan  Marz提出的，一种大数据软件设计架构，目的是指导用户充分利用批处理和流式计算技术各自的优点实现一个复杂的大数据处理系统。
    （在延迟、吞吐量、容错之间找到平衡点）
    其主要思想是：将数据处理流程分解为三层（批处理层、流式处理层、服务层）

    批处理层：利用分布式批处理计算，以批为单位处理数据，并产生一个经预计算产生的只读数据View。

        （仅支持追加操作的大数据集）可以一次性处理大量数据，引入复杂的计算逻辑（如机器学习中的模型迭代计算、历史库的匹配等），优点是吞吐率高，缺点是数据处理延迟高，从数据产生到最终被处理完成，整个过程用时较长，通常分钟或小时级别。

    流式处理层：为降低延时到毫秒或秒级引入。缺点：无法进行复杂的逻辑计算，结果往往是近似解。

    服务层：整合两层的计算结果而引入（智能保证上两层最终的一致性）对外提供了统一的访问接口以方便用户使用。

Openai

https://mp.weixin.qq.com/s/kuCoZ4D3nUnxQWIOSbgl6w

垄断、隐私和安全，Facebook 聊天平台整合计划

https://mp.weixin.qq.com/s/UHavt0d-qh9FqPnjeLS0fw

今天学习和阅读约5小时，累计阅读约1760小时。
学习和投资心得：
投资之不易：股票投资看起来很简单，只要点点手机做出买卖交易操作就能获利，看似是件门槛很低的事。但其实要持续做出正确的盈利交易操作，背后需要一大堆极其复杂的知识、模型和相关资源进行支撑才行，也需要付出很多的时间和汗水，实则门槛不低。有点像打羽毛球，表面看只要把球成功打到对方半场且对方接不到球就能得分了，其实要成功持续做到这一点，需要背后进行无数专业的挥拍、步法、意识、合作训练和对应的身体训练才能做到。现在在往现代投资组合理论，金融行为学，未来学习的方向：资产配置的艺术，这个目前看这本书有难度！思考快与慢，这个再反反复复的读与理解中，非常同意普通人就不要学习选股了，好像还有芒格还是谁说过，一般人就选几个业绩平平稳稳的大白马，大蓝筹，长期投资一直拿着就好，或者就是指数基金，我就怎么做了，把几个大蓝筹拿个三五年，现在都后悔当时怎么不多买一点[笑][笑]，然后就是定投指数基金，etf 基金！对于投资真的感兴趣的人，应该学的建议如下：1）会计：搞懂最基本的会计原理，学会看公司财务报表。可以以CPA的指定教科书为基础开始学习。2）最基本的金融理论：金钱的时间概念，市场有效假说，现代投资组合理论，行为金融学。有空可以先去看一些相关的书籍，在本人的专栏”伍治坚证据主义“中，曾经推荐过一系列投资书籍。3）最基本的股票估值方法：绝对估值方法（DCF/DDM），相对估值方法（EV/EBITDA, PE, PB等）。明白股票估值背后的基本逻辑。

昨日阅读时间1小时，总阅读时间409小时