基于Spark-Streaming的实时计算服务平台

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

基于Spark-Streaming的
实时计算服务平台
   廖晓辉@京东
Agenda
技术要点
运行和监控
Logging
示例展示
典型问题
性能调优实践
实时计算服务是？
目的：
– 将通用的功能或可公用的资源平台化服务化，让用户专注实时业务处理
  逻辑的开发，用SQL或SDK，要简单高效。
相关的计算环境：
– 便捷的数据导入/流式数据接入
– 稳定可靠的流数据
– 多租户资源隔离，处理能力弹性扩容(吞吐量及响应时间)，容错机制(考
  虑恢复成本和运行时成本)，数据的严格有序到达和无序，及消费的有序
  无序……
– 结果数据获取
Why Spark-Streaming?
用Spark Stack解决Batch以及Streaming处理问题，不需维护多套
Framework。
YARN integration
长期演进考虑
项目背景
京东云 数据开放服务—云海
实时计算需求
– 提供实时交易、实时流量等指标
– 有等价的T+1离线计算指标
    需将T+1离线计算的指标转化为实时指标
    ...

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：streaming Stream Spark 服务平台 Ming