什么是大数据,大数据有哪些特征?
1.大数据是具备3V特征(Volume 大体量、Variety复杂多样、Velocity 高速时效)的数据源。大众很容易理解 Volume,互联网公司、运营商和金融机构的数据量动辄以TB计,却往往会忽视 Variety 和 Velocity。
Variety 是指大数据来源丰富、形态多样,常见的大数据就包括电商用户数据、文本数据、社交网络数据、车载信息服务数据、时间和位置数据、RFID数据、智能电网数据、设备传感器数据等等。
Velocity 是指大数据一边高速海量生成,同时数据的分析和应用也实时完成,比如,网络广告程序化购买、互联网金融实时授信,都涉及到实时处理海量数据的技术。
2. 大数据也是一个相对的概念,目前的“小数据”,曾经也是“大数据”。比如ERP、CRM里导出的数据,现在用excel就能轻松驾驭,但在几十年前,放在当时的技术条件下,这样的数据又何尝不是大体量、多样、高速的 "大数据"。目前的“大数据”,随着技术发展,未来也会成为能够轻松驾驭的“小数据”。
3. 大数据通常都是机器自动生成的,例如物联网中传感器自动生成环境数据。而传统数据的生成往往涉及人工因素,例如零售交易、电话呼叫等等。
4. 大数据往往不是 “结构化” 的,因此难以驾驭。收集传统数据源的交易系统通常会以整洁的、预先规范好的模板方式来生成数据,以确保数据容易被加载和使用。而大数据源在最开始通常不会被严格地定义,而是去收集所有可能使用到的信息。
常见的财务报表就是典型的 “结构化” 数据,表头明确了数据的类别、科目,整洁规范。
网络日志则是“半结构化”数据的代表,看起来乱七八糟,完全谈不上整洁规范,但其中每一条信息却都有特定用处。
而文本,诸如博客文章、论坛评论则是 “非结构化” 数据,必须耗费大量精力进行转化和清洗,才能进行分析和利用。
5. 很多数据可能就是垃圾,并不蕴含大量价值。事实上,大部分数据甚至毫无价值。一篇网页日志中会含有非常重要的数据,但其中也包含了很多根本没有价值的数据。对其进行提炼,从而保留有价值的部分是非常必要的。