大数据来了，你怎么看

     最近看了《爆发：大数据时代预见未来的新思维》，《大数据：正在到来的数据革命》，还有现在的新闻大家都在提大数据这个概念，与现在正在发展的数据挖掘有什么本质区别吗？大数据提到的数据整合，非结构化数据的使用，数据挖掘不是一直在做吗？那大数据到底意味着什么？欢迎大家参与讨论，有启发性的观点会得到奖励哈

现在的确这个词成为了热门词汇，我所在的金融行业更是如此，无论是信用卡、贷款、风险控制都可以从大数据的角度挖掘出更多的东西，比以往更精准更有捷径了；第一次听此词是奥巴马连任获胜靠知识发现和数据挖掘，就知道另一个新兴产业或者说新兴专业要诞生了；这说明了时代的进步，有更多的学子将投身到其中，但作为已经在社会上立足多年的我们来说，学习是最基本的，指望以其为专业比较不实际了，只能顺应潮流发展不被淘汰而已。

下面是本论坛上的有关讨论，共大家参考


1 大数据现状:人才缺口巨大 薪酬持续增长
https://bbs.pinggu.org/forum.php? ... 3011&from^^uid=398795

2.大数据时代，分析师如何产生影响力？
https://bbs.pinggu.org/forum.php? ... 4061&from^^uid=398795

3.大数据时代，分析师如何产生影响力？
https://bbs.pinggu.org/forum.php? ... 4061&from^^uid=398795

4.大数据：正在到来的数据革命
https://bbs.pinggu.org/forum.php? ... 1493&from^^uid=398795

5.商业巨头是怎么玩转大数据的？
https://bbs.pinggu.org/forum.php? ... 9948&from^^uid=398795

6.美报:大数据时代降临 相关专长人士将面临更多机会
https://bbs.pinggu.org/forum.php? ... 0036&from^^uid=398795

7.ZT:什么是大数据？
https://bbs.pinggu.org/forum.php? ... 8465&from^^uid=398795

8.大数据时代的机遇与挑战
https://bbs.pinggu.org/forum.php? ... 4099&from^^uid=398795

9.数据挖掘新潮流：“大数据”时代
https://bbs.pinggu.org/forum.php? ... 2567&from^^uid=398795

10.Hadoop掀起大数据革命 三巨头齐发力
https://bbs.pinggu.org/forum.php? ... 3199&from^^uid=398795

420948492 发表于 2012-11-21 15:29
下面是本论坛上的有关讨论，共大家参考

好全面，收了，多谢

数据还是要好好学习的，在信息时代对于决策还是很重要的。

对大数据还是管中窥豹啊，保持新鲜感，保持学习！

大数据是数据的4V特性（Volume，Variety，Value，Velocity）的高度概括，而数据挖掘泛指对数据的处理运用；前者是一个名词词语，后者是一个词组，也是一个产业代名词；但两者我觉得在方法运用上是没有太大差别的，而大数据时代的来临必然会推动数据挖掘产业的发展，也会给社会的各个领域带来全新的变革，这是我的理解。

2012大数据的一些特点

大“大数据”时代来临

原文：http://tech.qq.com/a/20120309/000332.htm
未来的十年将是一个“大数据”引领的智慧科技的时代。随着社交网络的逐渐成熟，移动带宽迅速提升，云计算、物联网应用更加丰富。更多的传感设备、移动终端接入到网络，由此产生的数据及增长速度将比历史上的任何时期都要多，都要快。“大数据”时代的脚步悄然而至。
请试想一下：当40亿部手机、10亿部电脑，随时随地都在向分布在全球各地的服务器发送数据；当你开着车对着“语音助手”说：“我要在附近找一家最罗曼蒂克的餐厅。”之后，短短一两秒就能得到您满意的答案时。其背后向您提供服务所涉及到的定位、资料检索、存取、数据交换等一系列动作是何等的复杂。而这一系列动作正是由“大数据”所支撑，正如IBM总结的那样：“大量化(Volume)、多样化(Variety)和快速化(Velocity)”就是“大数据”的显著特征。大量、多样、快速给现在的IT业提出了巨大挑战。当今的网络环境、存储以及搜索架构越来越不适应这种新的变化。而大数据的到来将促使这些领域产生新的变革。为了让业界对大数据的价值和应用有更好的认识，将于4月17、18日在北京国家会议中心举行第四届CCS云计算高峰论坛暨展览将汇集业内知名的领导企业和政企IT主管，多角度、深入探讨大中国大数据产业。以下三点为本次大会讨论部分重点点：
问题一：网络架构不适应“大数据”时代
传统的网络架构已经不能满足现代网络应用需求。传统的网络结构设计是以客户端向服务器发出请求，由服务器应答返回结果给客户的垂直结构。而在大数据时代，这种垂直结构的服务请求将变得越来越少，取而代之的是水平结构的横向请求服务。“大数据”时代，大量的数据都存储在分布广泛、不同地域、各种类型的服务器中。当用户发出一个搜索或查询请求时，最多的运算是服务器之间的信息交换，最后将结果返回给用户。新一代网络架构要适应Web2.0时代的水平服务应用。
问题二：数据中心将面临巨大压力
“大数据”时代对数据中心的访问量是前所未有的。更多的网络设备将同时访问数据中心，这包括智能手机、平板电脑、台式机、笔记本、甚至正在马路上行驶的汽车。此时，数据中心面临的压力将是难以想象的。正如铁道部去年年底推出的在线订票系统，采用的系统不可谓是当今最先进的系统，但当有几亿人同时访问的时候，网站所有服务都陷入了瘫痪。这是所有工程人员难以预料的。“大”到一定程度的时候，任何事情都可能发生。随着全球经济一体化的深入，未来数据中心要面临的不仅是一个中国地区的访问量，而是全球几十亿的访问量。还是那句话：“用户你伤不起。”
问题三：数据仓库架构不适应高速反应的要求
当今数据库里的内容不仅仅是多，而且结构已发生了极大改变，不是以二维表的规范结构存储。大量的数据是非结构化的办公文档、文本、图片、XML、HTML、各类报表、图片和音频/视频等。并且在企业的所有数据中是大量且增长迅速的。企业80%的数据是非结构化或半结构化的，结构化数据仅有20%。并且全球结构化数据增长速度约为32%，而非结构化数据增速高达63%。预计今年非结构化数据占有比例将达到互联网整个数据量的75%以上。面临如此大量的非机构化数据，其移动和修改将耗费大量的人力物力，读取效率也将越来越低。当然这包括了物理存储和逻辑存储软、硬件两个层面。
当然“大数据”时代对IT业各方面的影响都将巨大且意义深远。此次会展不仅从大数据角度剖析对产业界的挑战与机遇，更有分会场《云计算基础架构》、《云应用服务》、《云计算 数据中心》等息息相关的领域，将为现场的专业观众带来全方位的产业观察和案例分享。
同期同地还将举行CENCE中国企业网络通信大会暨展览，包括UC/协作、呼叫中心、多媒体融合通信指挥调度/运营商增值业务及平台等专场的精彩内容。历经十二届的洗礼，CENCE中国企业网络通信大会暨展览已发展成为中国企业网络通信领域的标杆展会。预计会展将吸引约3千名来自运营商、政府部门、金融、电力、能源、医疗、教育、交通、物流、教育、制造业以及上市公司，科研院所中的信息部门主要负责人和企业IT主管以及专家学者等具有行业代表性的相关企事业单位人员参与此次盛会

大数据对ZF的大影响
来源：机房360 作者：GOCN编辑 更新时间：2012-11-26 10:14:53
摘要：　　海量数据的浪潮正呼啸而来，被推向大数据前线的，远不止是商业为目的的众多企业，同时也有公共服务为目的的ZF机构。与前者类似，ZF在履行其职责——管理社会的过程中，正面临着越来越大的挑战，但在另一个角度上看，如果合理应对和运用这些数据，也必将为社会管理带来巨大的好处。

海量数据的浪潮正呼啸而来，被推向大数据前线的，远不止是商业为目的的众多企业，同时也有公共服务为目的的ZF机构。与前者类似，ZF在履行其职责——管理社会的过程中，正面临着越来越大的挑战，但在另一个角度上看，如果合理应对和运用这些数据，也必将为社会管理带来巨大的好处。
　　2011年全球产生的数据量达 1.8ZB，并且预计将每年翻番。这种现象是企业和ZF必须面对的，也是无法回避的。
　　随着互联网的发展以及多种来源的信息汇集至ZF机构，ZF部门需要继续设法管理大量的数据。ZF部门可以从传感器、卫星、社交媒体、移动通讯、电子邮件、无线射频识别设备和企业应用程序持续不断地接收数据。因此，ZF领导人面临的挑战是，捕集、摄取、分析、存储和分配数据，保障数据安全，并将其转化为有意义、有价值的信息。
　　数据量的急剧膨胀使信息过载成为一项根本挑战。在数据量急速膨胀的过程中，新信息要么是未曾发现的信息，要么是未曾有过的信息。产生的问题是，如何有效地捕捉新的真知灼见。对大数据进行恰当地管理、建模、分享和转化，为从中提取新的深刻见解，并以过去根本不可能的方式做出决策，提供了机遇。简言之，ZF领导面临的任务和工作挑战日益加剧，可利用的数据激增，并且过时落伍的信息管理能力完全限制了其应对能力，于是ZF领导陷于进退两难之地。他们面临的问题包括：如何收集、管理和利用所有的新数据?如何保护和控制数据?如何提高组织间的信息共享，以获得更加综合且相互联系的情报?如何通过更好地了解数据的出处，并回溯至经过验证的可信数据源，从而提高数据的可信度?有哪些先进的可视化技术、工具和格式可用于表达信息，从而实现快速分析，并提出新的深刻见解?为抓住机遇，如何缩小人力资本的缺口?
　　大数据的特征
　　大数据是指大量、高速、复杂、变化不定的数据，需要用先进的方法和技术实现信息的收集、存储、分配、管理和分析。
　　体量大、类型多和速度快是大数据的显著特征。目前，15%的信息是结构化信息，便于存储在关系型数据库中。电子邮件、视频、呼叫中心对话和社交媒体等非结构化信息占85%，这对于运用常规的业务情报工具来提取有意义的信息造成了挑战。传感器、平板电脑和移动电话等产生信息的设备继续成倍增加。随着全世界的联系更加紧密，社交网络也在加速发展。这些共享信息的选择意味着公众、ZF和企业间互动方式的根本转变。
　　从大数据的特征来看，数据源增加、传感器的分辨率提高，使得大数据的体量大。数据源增加、数据通讯的吞吐量提高、数据生成设备的计算能力提高，使得大数据的速度快。移动设备、社交媒体、视频、聊天、基因组学研究和各种传感器使得大数据的类型多以数据为基础的决策要可追溯，要有理有据，这使得大数据还应具备准确性的特征。
　　大数据的这些特征将决定ZF在大数据业务和整个大数据生态系统中收集、分析、管理、存储及分配数据的方式。
　　大数据的价值
　　驾驭大数据，在整个ZF和全球经济中创造价值，其影响是广泛而深远的。
　　ZF善政的许多重要原则与大数据有相通之处。从根本上说，大数据能够通过改进ZF机构和整个ZF的决策，使ZF机构更加英明地提高ZF工作效率，为利益相关者服务。利用各种渠道的各种数据，快速获得关键、准确的深刻见解，将显著改进ZF的各项关键政策和工作。
　　此外，驾驭大数据还将为私营部门创造新的市场和商业机遇，使企业能够完善市场情报，从而为客户创造更多价值。它还能够帮助小企业减少商业上的不确定性。
　　大数据的应用
　　虽然大数据带来的挑战让人望而生畏，但不是不可克服，并且其机遇令人无法抗拒。为处理ZF事务，并体现利益相关者的要求，管理和利用大数据有许多潜在应用和方法。大数据的各种应用需要以服务对象为中心，需要具备以创新的方式重用和利用数据的能力。
　　医疗。对于医疗服务的提供方和支付方来说，在减少医疗成本的同时不断提高医疗质量和效率仍然是一个难以实现的目标，而这也是改善民生的重大机遇。2010年，全美医疗支出占国内生产总值的17.9%，比2000年增长13.8%。而且，某些慢性疾病如糖尿病的患病率正在增加，正在消耗更多的医疗资源。对这些疾病和其他相关健康服务的管理将深刻地影响国家的福祉。在这方面大数据可以发挥作用。为在广大人群中取得最有效的医疗效果，更多地使用电子健康记录(电子健康档案)，并与新的分析工具相结合，将提供挖掘信息的机会。研究人员可以利用信息寻找有效的统计趋势，并依据真实的医疗服务质量开展医疗评估。
　　交通。通过完善信息和自动驾驶功能，大数据有可能在许多方面彻底改变交通的面貌。开车的人多，交通堵塞就多，其后果是浪费能源，造成全球气候变暖，耗费时间和金钱。手持设备、车辆和道路上的分布式传感器则可以提供实时交通信息。这些信息，再加上更好的自动驾驶功能，可以使驾驶更安全，交通堵塞更少。智能汽车日益互联的新型交通生态系统有可能彻底改变道路使用方式。
　　教育。大数据可以对美国教育及其在全球经济中的竞争力产生深远影响。例如，通过深入地跟踪和分析学生的在线学习活动精细至每个鼠标点击动作，研究人员能够确定学生的学习方式和提高学习的方法。这种分析可以针对成千上万的学生进行，而不是孤立的小型研究。课程和教学方法，无论是在线的，还是传统的，都可以根据大规模分析所收集到的信息进行修订。
　　征税。由于迅速发现异常的能力日益增加，ZF税务部门可以缩小“税收缺口”，即纳税人应付税款与其自愿缴税额之间的差额，并且对于那些试图进行不当纳税申报的人，会深刻地改变他们的行为方式。大多数税务机构实行“自愿缴税与追讨欠税并举”的模式。在这种模式下，它们接受纳税人的纳税申报单并办理退税，并对一部分纳税申报单进行抽查，以找出有意或无意欠税的情况。大数据则能够提高欺诈检测的水平，在纳税申报之初就揭露违规情况，减少问题退税的发放。
　　总之，ZF机构不应把大数据看作是应对信息分析挑战的信息技术解决方案，而应该把它作为一项战略资产，可用来取得更好的工作成果，可在战略规划、业务架构和人力资本方面作出部署。
　　责任编辑：GOCN