面向流数据的DPFP-Stream算法的设计与实现

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

摘要：从海量数据中发现频繁模式一直是数据挖掘研究的热点，在零售市场数据分析、网络监控、网络使用挖掘和股票市场的预测等领域中也有着广泛的应用。尽管在过去的十年里，很多学者提出了许多基于静态数据集的频繁模式挖掘算法，而由于流数据持续、无限、有序而高速产生的特性，在流数据中隐藏的数据知识很可能随着时间的推移而产生变化，因而基于流数据的频繁模式挖掘应不同于以往基于静态数据集的频繁模式挖掘算法。为了更好地分析在线流数据，基于不同的时间粒度从流数据中抽取频繁模式并且监控频繁模式的变化，基于高效的FP-tree结构，借助倾斜时间窗口和MapReduce的思想，提出了针对数据流的频繁模式挖掘算法DPFP-stream。并将该算法在Storm平台上实现，算法数据源采用Kafka，并将中间结果存入内存数据库Redis中。通过大量的实验表明，该算法从高速的数据流中发现频繁模式的效率很高且性能稳定。在海量数据实时计算中，采用该算法，不仅能应对高速的数据流，而且能监控不同时间粒度的频繁模式的变化过程。

原文链接:http://www.cqvip.com/QK/97969X/201707/672628632.html

送人玫瑰，手留余香~如您已下载到该资源，可在回帖当中上传与大家共享，欢迎来CDA社区交流学习。（仅供学术交流用。）

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Stream Stre AM算法 eam DPF DPFP-stream MapReduce STORM Redis