发帖
雷达卡
如何利用数据分级提高存储的准确率
【大数据时代】
众所周知，当数据量达到一定的级别之后，通过提高设备性能或者增加设备，效果往往不会很明显。这就好像鱼塘大了、鱼多了，要捞一条鱼容易。但是要抓一条特定的、有标记的鱼，就困难多了。但是如果我们将一个大的鱼塘分成一个个小鱼塘，然后在不同的鱼塘中放养不同的鱼。即将鲤鱼、鲫鱼、草鱼等等放养在各自的鱼塘中。此时想抓什么鱼就在什么鱼塘抓就行了。
数据分级存储其实跟这个鱼塘放养的道理类似。一方面存储设备的性能有优劣之分，如磁带的性能就比不上硬盘的性能。另一方面，用户数据使用的频率也是不同的。如订单等信息可能需要经常用到，而视频监控信息可能一年都不会访问一次。在这种情况下，如果能够将用户经常需要用到的数据放到硬盘上，而将使用频率低的数据放到性能欠佳的磁带设备上。那么就可以提高数据查询的命中率，从而提高数据查询与处理的效率。
一、利用离线存储来提高设备的使用寿命。
如上图所示，存储在磁带设备上的数据一般可能很少用到。如企业需要对数据库等应用软件的数据进行备份。此时可以将数据备份到磁带设备上。根据惯例，一般一天24个小时这个磁带设备可能就只需要半个小时。在这种情况下，如果磁带设备仍然一天24个小时运行着，那么是相当浪费的。不仅会浪费电源，而且还会影响磁带设备的使用寿命。
而如果在分级存储中采用离线存储的话，那么就可以解决这个问题。离线存储简单的说，就是平时磁带设备是处于休眠状态。当需要用到的时候，可以将磁带设备唤醒。然后往磁带设备上读取或者写入数据。等到操作完成之后，磁带系统就会自动再转为休闲状态。设计的好的话，可以将磁带设备的运行时间控制在最短时间之内，如一个小时之内。从而可以提高设备的使用寿命。
通常情况下，离线存储主要是用在对在线存储的数据进行备份，以防范可能发生的数据灾难。为此在分级存储中，也将离线存储叫做备份级别的存储。这里需要注意的是，离线存储介质上的数据在读写时是按顺序进行的。当需要数据读取时，需要将带子卷到头，然后再进行定位。当需要对已写入的数据进行修改时，所有的数据都需要全部进行改写。所以离线海量存储的效率是比较低的。但是其最大的优点就是可以以比较低的成本实现海量存储。
为此离线存储并不适合所有的情况。通常情况下，离线存储主要用来存储那些不经常使用的数据，如数据备份等等。而且一般在分级存储中结合使用离线存储，用来提高设备的使用效率。
二、考虑如何有效的对数据进行分级?
为什么有时候采用数据分级存储策略能够提高比较好的效果，而有时候效果又不明显呢?笔者认为，这其中有一个很重要的原因是数据分级策略的指标不合适。也就是说，将什么鱼放养在哪个鱼塘中，是由存储系统根据一定规则来决定的。如果这个规则设置不当，如只根据鱼的大小来决定，那么同一个鱼塘中就可能会有各种各样的鱼。此时就不利于数据的查询与管理。可见，这个分级的规则相当的关键。
笔者建议，在使用数据分级存储产品的时候，最好能够选择那些基于多指标的数据分级策略。也就是说，根据基于数据的生命周期、上次访问的时间、大小、访问频率等等多个参数对数据的价值进行分级。具体的来说，在数据分级时需要考虑到如下内容。
一是最好在数据创建的时候就能够确定数据的级别。因为如果数据一创建就能够预测其访问特性而进行适当的分级，就能够减少不必要的数据转移而带来的麻烦。这也就是说，在日常管理中我们可以对于一些数据进行手工的分级，而不需要让系统来进行分级。如根据以前的经验，可以预测用户对于近1个月的邮件数据需要经常访问。那么就可以指定，对于最近一个月的数据指定为级别高的数据。而其他时间的邮件数据则根据一定的规则让系统自动进行判断。手工指定与系统自动判断结合，往往可以起到不错的效果。
二是根据数据的静态特征和动态特征来进行分级也能够起到不错的效果。如可以通过以下方式来判断文件是静态的还是动态的。一是根据文件系统的静态特征(如文件大小的分布)，二是根据文件系统的宏观访问规律(如大小文件的访问次数分布)，三是根据根据文件之间的访问关联特征(如同一作业中的一个文件被访问，则可能会带动其他文件也被访问)，四是文件个性的访问模式(如是否具有访问的局限性)。在实际工作中，可以根据这些特征对文件进行手工的归类。也可以在选购的时候，判断系统中是否有对应的分级策略。
三、如何有效降低迁移过程中的冲突?
分级存储另一个特点，就是会根据数据的访问级别，在不同设备之间进行数据的迁移。如刚开始一些数据是存储在硬盘或者磁盘阵列中的。后来分级存储系统发现其已经有近半年没有被访问了，此时就会将数据从硬盘或者磁盘阵列中迁移到磁带中。这种迁移也叫做降级迁移(将数据从性能高的设备中迁移到性能低的设备中)。相反，当用户在一段时间内突然频繁访问存放在磁带中的数据，此时分级存储系统就会将数据从磁带中迁移到硬盘或者磁盘阵列中，这就叫做升级迁移(数据有慢速存储设备和低一级存储设备往快速存储设备或者高一级存储设备迁移)。
这里需要注意，在迁移的过程中可能会发生冲突。根据笔者的经验，一般来说在降级迁移中设备的输入输出冲突并不是很严重。但是在升级迁移中，则必须要考虑数据迁移带来的I/Q冲突。因为根据测试发现，数据迁移发生的时候，基本上是对应设备I/Q最密集的时候。为此在分级系统设计的时候，必须要考虑到，如何才能够最大程度的降低数据迁移过程中的I/Q冲突，降低对其他用户数居访问的不利影响。现在常用的一种手段是尽量保证只在磁带与磁盘阵列之间进行数据的升级迁移。因为相对来说，可以通过增加硬盘的数量来增加数据输入输出的吞吐量，从而降低I/Q冲突。而减少在磁带与单块硬盘之间的数据迁移操作。根据笔者的测试发现，及时性能最高的硬盘，在发生数据升级迁移的过程中，不可避免的会遇到I/O冲突的情况。
在数据迁移的过程中，除了要考虑数据冲突之外，还需要注意数据的一致性。根据现在的技术，最常用的手段是通过读写锁来确保数据的一致性。系统的迁移进程会为当前的数据块申请读写锁，以保证迁移进程与写操作进程之间的数据一致性。通常情况下，则也是选择分级存储产品中必须要考虑一个指标。
以上提到的这三个内容，不仅仅是大家在部署的时候需要注意的问题，而且在选购产品的时候，也可以以这些标准来进行评估。
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
