spark讲义

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

spark动机：
复杂的批量数据处理（batch data processing），通常的时间跨度在数十分钟到数小时之间。
基于历史数据的交互式查询（interactive query），通常的时间跨度在数十秒到数分钟之间。
基于实时数据流的数据处理（streaming data processing），通常的时间跨度在数百毫秒到数秒之间。
spark优点：
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。
Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引.
Spark的适用面比较广泛且比较通用。

子目录        功能       
Assembly           组装spark项目的地方               
ec2                  提交spark集群到Amazon EC2       
external             与一些外部系统的依赖       
extra             包含了spark默认不构建的组件       
repl             Spark shell功能模块       
tools             工具包       

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：批量数据处理 实时数据流 时间跨度 数据处理 迭代计算

too expensive.

物超所值