发帖
雷达卡
人大经济论坛经管爱问微信好号“jgasker”好文共享与推荐，实时答疑服务，欢迎关注！
我在六年前加入到 LinkedIn公司，那是一个令人兴奋的时刻：我们刚开始面临单一庞大的集中式数据库的限制问题，需要过渡到一套专门的分布式系统。这是一个令人兴奋的经历：我们构建、部署和运行分布式图数据库、分布式搜索后端、Hadoop以及第一代和第二代键值数据存储，而且这套系统一直运行至今。
这个过程中，我学到的最有益的事情是我们所构建这套系统的许多组件其核心都包含了一个很简单的概念：日志。日志有时会叫成预先写入日志、提交日志或者事务日志，几乎和计算机本身形影不离，是许多分布式数据系统和实时应用架构的核心。
不懂得日志，你就不可能真正理解数据库、 NoSQL存储、键值存储、数据复制、 paxos、 Hadoop、版本控制，甚至几乎任何一个软件系统；然而大多数软件工程师对日志并不熟悉。我有意于改变这个现状。
本文我将带你浏览有关日志需要了解的一切，包括日志是什么，如何在数据集成、实时处理和系统构建中使用日志。
日志可能是一种最简单的不能再简单的存储抽象，只能追加、按照时间完全有序的记录序列。日志看起来的样子：
在日志的末尾添加记录，读取日志记录则从左到右。每一条记录都指定了一个唯一的顺序的日志记录编号。
日志记录的次序定义了『时间』概念，因为位于左边的日志记录表示比右边的要早。日志记录编号可以看作是这条日志记录的『时间戳』。把次序直接看成是时间概念，刚开始你会觉得有点怪异，但是这样的做法有个便利的性质：解耦了 时间 和 任一特定的物理时钟。引入分布式系统后，这会成为一个必不可少的性质。
【译注】 分布式系统的时间、次序、时钟是个最基础根本的问题，详见被引用最多的 Leslie Lamport的论文 Time Clocks and the Ordering of Events in a Distributed System（ 中文翻译），现在先 不要 去看，除非读完本文后你还是有很兴趣要探个明白！
日志记录的内容和格式是什么对于本文讨论并不重要。另外，不可能一直给日志添加记录，因为总会耗尽存储空间。稍后我们会再回来讨论这个问题。
所以，日志和文件或数据表并没有什么大的不同。文件是一系列字节，表是由一系列记录组成，而日志实际上只是一种按照时间顺序存储记录的数据表或文件。
讨论到现在，你可能奇怪为什么要讨论这么简单的概念？只能追加的有序的日志记录究竟又是怎样与数据系统生产关系的？答案是日志有其特定的目标：它记录了什么时间发生了什么事情。而对分布式数据系统，在许多方面，这是要解决的问题的真正核心。
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
