大数据处理的两种方式，数据两种处理方式

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

大数据的处理方式有两种：基于内存的流式处理和基于硬盘的存储处理。
　　流式处理就好象是在经过的数据面前建一道水闸。数据流过这里，经过闸门的时候，就进行筛选过滤，分析出有价值的内容，然后丢弃，以后也不再使用。
　　存储处理则是建一个储水池。数据先放进入储水池存起来，需要的时候，再进到储水池里，在里面筛选分析，找到那些有价值的内容。这个过程中，因为水还在储水池里，没放掉，所以可以供下次继续使用。
　　存储模式的数据处理是可以重复的，用完再用，反复使用。但是因为硬盘本身的机械特性问题，导致它处理速度慢，速率不高。不过现在也还是有一些针对硬盘的优化措施。
　　流式处理因为数据的处理过程在内存里进行，内存的处理性能是硬盘的数个量级，所以它的处理速率比存储模式高很多。但是也因为数据驻留在内存里，内存的特性是掉电即失的，只能一次性使用。所以流式处理通常是用完即弃，象卫生巾。
　　大数据产品里，Spark是流式处理，Laxcus、Hadoop是存储处理。
来源：www.BkJia.Com

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：数据处理 大数据 Hadoop Spark SPAR 数据流 机械 价值 水闸 闸门