大数据分析的流程浅析
之一:大数据采集过程分析
数据采集,就是使用某种技术或手段,将数据收集起来并存储在某种设备上,这种设备可以是磁盘或磁带。区别于普通的数据
分析,大数据分析
的数据采集
在数据收集和存储
技术上都是不同的。具体情况如下:
1。大数据收集过程
在收集阶段,大数据
分析在时空两个方面都有显著的不同。在时间维度上,为了获取更多的数据,大数据收集的时间频度大一些,有时也叫数据采集的深度。在空间维度上,为了获取更准确的数据,数据采集点设置得会更密一些。
以收集一个面积为
100平方米的葡萄园的平均温度为例.小数据时代,由于成本的原因,葡萄园主只能在葡萄园的中央设置一个温度计用来计算温度,而且每一小时观测一次
,这样一天就只有
24个数据。而在大数据时代,
在空间维度上,可以设置
100个温度计,即每个
1平方米一个温度计;
在时间维度上,每隔
1分钟就观测一次,这
样一天就有
144000
个数据,是原来的
6000
倍。有了大量的数据,我们就可以更准确地知道葡萄园的平均温度,如果加上时间刻度的话,还可以得出一个时间序列的曲线,结果看起来使人很神往.
2。大数据的存储技术
通 ...


雷达卡


京公网安备 11010802022788号







