发帖
雷达卡
大规模数据处理10：lambda架构
Lambda架构使开发人员能够构建大规模分布式数据处理系统，它具有很好的灵活性和可扩展性，也对硬件故障和人为失误有很好的容错性。
Lambad架构总共由三层系统组成：批处理层Batch Layer，速度处理层Speed Layer，以及用于响应查询的服务层Serving Layer。
批处理层存储管理主数据集（不可变的数据集）和预先批处理计算好的视图。
批处理层使用可处理大量数据的分布式处理系统预先计算结果。它通过处理所有的已有历史数据来实现数据的准确性，这意味着它是基于完整的数据集来重新计算的，能够修复任何错误，然后更新现有的数据视图，输出通常存储在只读数据库中，更新则完全取代现有的预先计算好的视图。
速度处理层会实时处理新来的大数据，速度层通过提供最新数据的实时视图来最小化延迟，速度层所生成的数据视图可能不如批处理层最终生成的视图那样准确或完整，但他们几乎在收到数据后立即可用，而当同样的数据在批处理层处理完成后，在速度层的数据就可以被替代掉了。
所有在批处理层和速度层处理完的结果都输出存储在服务层中，服务层通过返回预先计算的数据视图或从速度层处理构建好数据视图来响应查询
京公网安备 11010802022788号
