20190216【充实计划】第984期

昨天阅读1小时，累计阅读206小时。

昨天阅读3小时，累计阅读26小时。

昨天阅读2小时，总共阅读822小时

充实每一天 发表于 2019-2-16 05:53
【加入充实计划】【了解充实计划】
|新充实挑战|    |每日计划清单|
| 【充实积累】| |【充实挑战项目】| ...

昨天阅读1小时，累计阅读161小时。

今天学习和阅读约5小时，累计阅读约1750小时。
学习和投资心得：
波动vs常识：大卫斯文森的《不落俗套的投资》，核心观念是资产配置+动态平衡构建的投资的不败战术。然而，必须得说那一套投资框架的基础建立在一个由机构投资者主导的成熟市场上，由此，产生的逻辑后果是，一旦有金子马上就被捡了，市场上缺乏显而易见的超额收益机会。所以，斯文森的一个重要结论是：择时和选股从长期看几乎意义不大。但，从中国市场的事实观察看，择时和选股的意义很大，天差地别，事实不胜枚举。A股的波动率的起伏相当剧烈（远超宏观和基本面波动），在股指波动的背后，公司的估值波动也被相应的剧烈放大，整体市场的估值判断，并不需要高深复杂的金融计算，都是简单的基于常识能判断的。只要重视常识的力量就有很大的获利空间。然而A股多年来的剧烈的牛熊转换的背后，恰恰显示出简单的估值常识被无视和忽略了，08年、12-13年都是常识一望可知的股指和估值底部，基于常识的“抄底”就可以在此后获得丰厚的超额收益，然而“抄底”的有多少呢？历次底部的成交量已经给出了明确的结果。硬币的另一面是，15年中小创公司的估值随便被放大到100倍以上毫无违和感的不断创新高；17年一些大市值医药股的估值高到70倍（医药再好，价格确实好贵），整体上，这是一个“低买高卖”的常识反复被大面积漠视的市场。迄今为止，股票市场的大幅波动性是一种内生性特征，配置和交易的策略需要建立在这个事实上。所以，面对19年的市场，我个人的选择是简单的尊重常识，在整体市场估值处于历史底部的区域，重仓股票等待价值回归。配置vs趋势为什么不等见底之后趋势好转之后再全仓，原因在于，底部的区域可以被感知，但具体的位置则是无法精确度量的，准确的底部只能被事后确认。站在眼前，上证2449是不是就是底部，不一定，但在我看来，当前股指处于底部区域是非常大概率的，几大指标指数的估值均处于历史低位，主观上觉得很多算是“优秀公司”或者具备“优秀基因”的公司，估值也都是历史新低；巴菲特指数（股票市值/GDP）创了多年的新低，金融市场的两大基石的对比看，股票市值/债券市值，也是创历史新低的。

今天读了3小时，累计627小时

昨天阅读1小时，累计阅读398小时

昨日阅读3小时，总计56.5小时

《大数据技术体系详解-原理、架构与实践》-董西成著-机械Press-2018.4

接上次的技术架构A

计算引擎层：MapReduce（一个批处理计算框架，采用分而治之思想，对大规模数据集的操作，分解成Map和Reduce两个阶段，即任务的分解与结果汇总，具有高吞吐率、良好容错、扩展性、易于编程等特点，广泛应用于构建索引、数据挖掘、机器学习等应用中）----->Dremel（一个分布式OLAP，引入列式存储、树状架构，能秒级处理PB级数据，一定程度上弥补了MapReduce系统在交互式查询方面的不足）------>Pregel（分布式图计算框架，专门解决网页链接分析、社交数据挖掘等设计的大规模分布式图计算问题，采用了BSP模型，即Bulk Synchronous Parallel Computing Model，也即“计算->通信->同步”模型，通过消息传递机制，实现高效的迭代计算）------>Precolator（一个基于BigTable构建的大数据集增量更新系统，弥补MapReduce无法逐个处理小规模更新的问题）---->MillWheel（是一个分布式流式实时处理框架，具有低延迟、自动处理乱序、数据严格一次投递exactly-once-delivery等优点）

数据分析层：FlumeJava（一个建立在MapReduce上的Java编程库，非常适合构建复杂的数据流水线。内置优化器）---->Tenzing（建立在MapReduce之上的SQL查询执行引擎，能将SQL语句转化为MapReduce程序，并提交到集群中分布式并行执行）

B. Hadoop和Spark开源大数据技术栈
1. 数据收集层

主要由关系型与非关系型数据收集组件，分布式消息队列构成。
Sqoop/Canal：

关系型数据收集和导入工具，是连接关系型数据库和Hadoop（HDFS）的桥梁。前者全量导入，后者增量导入

Flume：

非关系数据收集工具（主要是流式日志数据，可近实时收集，经过过滤，聚集后加载到HDFS等存储系统）

Kafka：

分布式消息队列，一般作为数据总线使用，它允许多个数据消费者订阅并获取感兴趣的数据。相比其他消息队列，它采用了分布式容错设计，更适合大数据应用场景。

2.数据存储层

主要由分布式文件系统（面向文件的存储）和分布式数据库（面向行、列的存储）组成
HDFS

Hadoop分布式文件系统，Google GFS的开源实现，具有良好的扩展性与容错性等优点，尤其是出色的存储机制设计，使得它非常适合构建在廉价机器上，大大降低了大数据存储成本。开源社区已开发了各种类型的数据存储格式，包括SSTable（Sorted String Table），文本文件、二进制key/Value格式Sequence File、列式存储格式Parquet、ORC和Carbondata等

HBase

构建在HDFS之上的分布式数据库，Google BigTable的开源实现，允许用户存储结构化与半结构化的数据，支持行列无限扩展以及数据随机查找与删除。

Kudu

分布式列式存储数据库，允许用户存储结构化数据，支持行无限扩展以及数据随机查找与更新。

昨日阅读0.5小时，累计阅读364.5小时

昨天阅读3小时，累计阅读113小时