20190226【充实计划】第992期

ship out     运出，坐船离故国

inhibit  [in'hibit]  = prevent somebody from doing something.

impose on    实施影响，欺骗


assiduity     

[mass noun]constant or close attention to what one is doing 勤奋，刻苦；孜孜不倦，专注

[ˌæsɪˈdu:ɪti:, -ˈdju:-]
一丝不苟的作风；（对另一人的）不断关照；殷勤
（I vanquished her coldness with my assiduity我对她关心照顾从而消除了她的冷淡）

昨天閱讀1小時，累計閱讀350小時。
昨天继续学习了经济学中市场设计与拍卖理论的思维，2006年在美国，7万名病患在等待肾脏，但是只进行了不到1.1萬次的移植手術，有5000人去世或者由於病情加重而無法接受移植。美國經濟學家阿爾文·羅思（Alvin Roth）利用經濟學原理找到了一個增加可用於移植的器官的方法，而且不是通過買賣的方式。羅思設計了一個系統，允許在沒有金錢交易的前提下實現有利的腎臟交換。首先要做的是，建立一個腎臟捐贈人和需求腎臟的病人的數據庫。利用這個數據庫來尋找匹配的腎臟，並進行交換。通過高等數學和計算機程序，羅思可以算出病人和捐贈者之間複雜的交換序列，通過這個序列可以為更多的病人找到匹配的腎臟。利用羅思的方法，新英格蘭腎臟交換計劃建起了起來，這個計劃串起了美國新英格蘭地區14家腎臟移植中心，使上千名病患在沒有做更多其他努力的情況下就得到了自己需要的腎臟，腎臟交換計劃展現出經濟學可以對人類生活產生的巨大影響，這是經濟學新領域：“市場設計”（market design）的範例。另一個非常著名的市場設計的例子就是在20世紀90年代至21世紀初，各個ZF都僱傭經濟學家幫助他們向企業銷售使用電台波段的執照，用以建立移動電話網絡，而ZF決定進行拍賣這些波段。拍賣制度已經應用了幾個世紀，今天的拍賣與之前的不同之處在於，許多拍賣都是由經濟學家所設計，使用了一個新的重要的經濟領域理論：“拍賣理論”（auction theory） 。經過設計的拍賣機制是想要解決這當中的戰略和信息問題，以確保估值最高的出價人能夠中拍，而出售人的利益也可以最大化。20世紀60年代，加拿大經濟學家威廉·維克瑞（William Vickrey）設計了一種拍賣，在這個拍賣中出價人受到了充分的保持誠實的激勵，維克瑞建議進行“次優價格”（second-price）的拍賣，這樣報價最高的出價人勝出，但是只需要按照第二高的報價來支付。維克瑞拍賣的不足是出售者只能拿到第二高的錢，而不是最高的報價。哪種拍賣方式是最好的？這要看具體情況。其中一個因素是出價人對風險的態度。如果你不喜歡冒風險失去要目標對象，你會傾向報出你真實的價格。理論上來說，可以有許多不同種類的拍賣，但是在真實世界裡，經濟學家們只能根據情況調整自己的設計。從傳統上來說，有關經濟學的爭論往往是關於宏觀的問題，例如為什麼一些國家的經濟比另外一些國家發展快那麼多，羅思將經濟學轉向了微觀但依然重要的問題，今天的許多經濟學家認為自己更像設計橋樑和大壩的工程師。就像工程師有吊車和測量儀，經濟學家使用自己的工具箱，例如聰明的理論模型和先進的數學方法來解決特定的問題。

昨日阅读3小时，总计82.5 小时


数据存储篇
ch5. 数据序列化与文件存储格式

数据序列化方案：序列化框架Thrift（同时具有序列化和RPC功能，几乎支持所有编程语言）
序列化框架Protobuf（谷歌开源的序列化框架）
序列化框架Avro（Hadoop生态中的产品）

三者可以对比一下（从性能、解析速度和序列化后数据大小；非功能方面）

文件存储格式剖析（行、列存储）

行存储以文本格式Text File、Key/value二进制存储格式Sequence File（分压缩和非压缩）为典型代表；列式存储以ORC、Parquet、Carbon Data三种文件格式为代表

ORC（Optimized Row Columnar）：自描述的列式存储格式（Apache Hive 0.11 edition引入）重点关注提高数据处理系统效率和降低数据存储空间，支持复杂数据类型、ACID及内置索引支持，非常适合海量数据的存储。
Parquet是twitter开源的，灵感来源于Google Dremel的列式存储格式；使用record shredding and assembly algorithm来分解和组装复杂的嵌套数据类型。辅助以高效压缩和编码技术，降低存储空间，提高IO效率的目的。

CarbonData文件：华为开源的融合数据存储方案，相较前面两种方式的优点：1）独特的数据组织方式；2）多层次索引；3）全局字典编码；4）支持数据的更新和删除。

ch6. 分布式文件系统

HDFS
主要目的是解决如下问题：1）因故障导致丢失数据；2）文件通常较大；3）一次写入多次读取（尤其对一部分文件通过追加方式产生的，且一旦产生就不会再随机修改，只是读取）对OLAP场景、应用程序流式产生的数据、历史归档数据等。

一般分布式FS分文件级别、块级别
HDFS是块级别的。主从架构（NameNode、DataNode）

昨天阅读2小时，累计阅读145小时

昨日阅读1小时，累积阅读540小时 ，继续了解Deep Learning的一些概念！
Understands the fundamental ML concepts well. This means they have a firm grasp of when to use supervised vs. unsupervised learning, classification vs. regression, and why a model’s performance may not be good (overfitting/underfitting, biased dataset, wrong architecture, etc.). This is the number one thing that people will look for in a good machine learning candidate. They don’t need to know all the ML theory, but having a solid understanding of the core concepts is incredibly important on the job.
要理解机器学习的基础概念， 如监督学习和非监督学习， 分类和回归， 为什么一个模型某些情况下表现不好（过拟合/欠拟合，数据有偏差，结构性错误）

昨日读0.5小时  累计 179小时  

昨日阅读1小时，累计阅读812小时
1. 10分钟正念修炼-O
2. 12点前睡觉-X
3. 走路6000步-O

昨天阅读1小时，累计阅读29小时

今日阅读一小时，Nudge: Improving Decisions About Health, Wealth, and Happiness，44%->46%,累积阅读时间38小时。

本书阅读接近一半，前三分之一写的比较精彩，其中一个类似人类传统形成心理实验给我留下深刻印象。后半部感觉有些拖沓，深入的全部是美国社会生活中的具体问题，可远观难以亵玩，坚持看完吧。

昨日阅读3小时，累积阅读128小时