大数据与传统的数据分析或商业智能之间的区别?
这几年对大数据的炒作,铺天盖地的概念,让很多人都被大数据的概念吓到了。以为大数据是很高端和很神秘的东西,其实这是一个白马非马的问题,大数据仍然是数据,只不过是“大”一点的数据。
大数据和传统的数据分析或者商务智能的区别我们可以从以下四个方面来理解:
第一,数据本身,比以前更大、更多、更低、更快
也就是我们常说的大数据的4V特性,上面很多答案都提到了,我在这再啰嗦两句,
1.更大:数据量更大了,以前可能是TB级数据,现在是PB级甚至于ZB级;
2.更多:数据类型更多,以前主要是结构化数据,现在还有大量的文本、语音、图片、视频等非结构的数据;
3.更低:数据的价值密度很低,这也是上面两个“更”带来的副作用;
4.更快:白热化的商业竞争对数据分析和处理的速度提出了更快的要求。
第二,业务上,重构组织决策模型,从拍脑袋到数据驱动决策
数据仓库、商业智能等利用数据进行决策的概念早在上世纪80年代就有了,此前,很多组织没接触过这个概念或者不重视数据决策,但随着大数据的炒作,让很多组织越来越重视利用数据来决策或分析问题,甚至于有“数据是核心生产资料“,“将带来第四次工业革命“,“未来是DT时代“等等理念的提出。
第三,技术上,重构数据存储和计算模式。从单机计算到分布式计算
大数据的海量对技术提出了更高的要求,以前单机很难处理海量、庞杂的数据,且需要高端的服务器和存储,成本非常高,而当前大数据可以使用几百几千台普通的PC组成的集群存储和计算数据(如Hadoop、Spark),计算性能非常高,为大数据的广泛应用奠定了技术基础。
第四:思维上,重构数据分析模式
大数据的应用思维的变化在《大数据时代》这本书写得很清楚,思维的变化主要体现在:
1.不是随机样本,而是全量数据
以前,数据分析采用的数据,由于技术的局限,经常采取随机抽样的方法,以小见大。但随机抽样可能带来“以偏概全”的问题,而大数据时代,因为分布式计算的出现,有了分析全量数据的能力,大数据的简单算法比小数据的复杂算法更有效。全量大数据更能还原客观事实。
2.不是精确性,而是繁杂性
适当的放宽精确性,掌握事物的大体发展方向。
3.不是因果,而是相关性
通过数据先知道“是什么”,再分析“为什么“
思维方面的以上3个观点,个人认为不是绝对的,需要考虑成本和效率两个因素,具体情况具体分析。