分布式重复数据删除系统中路由方法的研究

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

分布式重复数据删除系统中路由方法的研究
随着数据中心的数据呈指数级增长,为了保障系统的高吞吐率、高重删率和负载平衡,分布式重复数据删除存储系统面临巨大挑战。分布式重复数据删除存储系统主要通过改进路由方法和改善指纹查找的效率来优化系统性能。
现有的分布式重复数据删除存储系统,主要采用无状态和有状态的路由方法。其中无状态路由方法,由于不考虑节点已存储数据的历史信息,整体重删率低、存储失衡;而有状态的路由方法,需要将备份数据流的全部指纹在每个节点上查询,系统吞吐率较低。
针对以上问题,本文设计并实现了一种结合指纹抽样和减少数据碎片(Fingerprint Sampling and Fragmentation Reduction,FSFR)的路由方法,该方法与已有的路由方法相比,保证了系统的重删率和负载平衡,提高了恢复吞吐率。该方法具体为:首先在客户端对数据进行预处理,将分块数据合并生成超块(Super-Chunk),提取抽样指纹序列;其次在节点服务器端,采用布隆过滤器对指纹进行查找,考虑重删率和存储利用率,初步筛选出部分节点服务器;然后客户端发送超块全部指纹给筛选出的部分节点进行碎片查找;最 ...

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：分布式 重复数 Reduction Sampling eduction