楼主: 燃胖奥
726 0

开始崭新的大数据时代 [推广有奖]

  • 0关注
  • 0粉丝

学前班

90%

还不是VIP/贵宾

-

威望
0
论坛币
0 个
通用积分
0
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
30 点
帖子
3
精华
0
在线时间
0 小时
注册时间
2018-11-27
最后登录
2018-11-27

楼主
燃胖奥 发表于 2018-11-27 23:02:23 来自手机 |只看作者 |坛友微信交流群|倒序 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
开始崭新的大数据时代
目      录
目录
摘要

*1作者简介
*2大数据时代
*3什么是大数据?
*4大数据带给我们的机遇与挑战
*5大数据的发展趋势
大数据时代的思想变革
01.更多,不是随机样本,而是全体数据
   .让数据“发声”
   .小数据时代的随机采样,最少的数据获得最多的信息
   .全数据模式,样本=总体
02.更杂:不是精确性,而是混杂性
   .允许不精确
   .大数据的简单算法比小数据的复杂算法更有效
   .纷繁的数据越多越好
   .混杂性,不是竭力避免,而是标准途径
   .新的数据库设计的诞生
03.更好:不是因果关系,而是相关关系
   .关联物,预测的关键
   .“是什么”,而不是“为什么”
   .改变,从操作方式开始
   .大数据,改变人类探索世界的方法
大数据时代的商业变革
04数据化:一切皆可“量化”
   .数据,从最不可能的地方提取出来
   .数据化,不是数字化
   .量化一切,数据化的核心
   .当文字变成数据
   .当方位变成是数据
   .当沟通变成数据
   .世间万物的数据化
05价值:“取之不尽用之不竭”的数据创新
   .数据创新1:数据的再利用
   .数据创新2:重组数据
   .数据创新3:可扩展数据
   .数据创新4:数据的折旧值
   .数据创新5:数据废气
   .数据创新6:开放数据
   .给数据估值
06 角色定位:数据、技术与思维的三足鼎立
07风险:让数据主宰一切的隐忧
08掌控:责任与自由并举的信息管理
  
结语 正在发展的未来
   

摘要
随着网络信息化时代的日益普遍,移动互联,社交网络,电子商务大大拓展了互联网的疆界和应用领域,我们正处在一个数据爆炸性增长的“大数据”时代,大数据在社会经济,政治,文化,人们生活等方面产生深远的影响,大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。
关键字:思量变革 管理变革 商业变革

作者介绍
作者维克托·迈尔·舍恩伯格(Viktor Mayer-Schonberger)1966出生于奥地利萨尔茨堡州滨湖采尔。维克托·迈尔·舍恩伯格是十余年潜心研究数据科学的技术权威,是最早洞见大数据时代发展趋势的数据科学家之一,也是最受人尊敬的权威发言人之一。他担任耶鲁大学,芝加哥大学,弗吉尼亚大学,圣地亚哥大学,维也纳大学的客座教授。他被誉为“大数据商业应用第一人”。早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究
大数据时代
维克托·迈尔·舍恩伯格在书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活,工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。他最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”而不需要知道“为什么”。这就是颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。
本书认为大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。书中展示了谷歌、徽软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们最具价值的应用案例。
引言
引言中,作者介绍了大数据时代通过对大规模数据的有效分析所能达到的惊人效果。大数据所引起的变革是方方面面的,能够涉足公共卫生,商业领域,传统思维,大数据开启了重大的时代转型,为世界的行业变革写下浓重的一笔。
在文中,作者开头便列举了大数据被运用于公共卫生领域而且效果显著的例子。
2009年出现的甲型H1N1流感传播迅速,美国同所有国家一样,非常需要医生在发现病情之后迅速统计,但这是很难的,因为患者从生病到去医院,以及信息的统计上报都有一定的滞后,经常是通告新流感病毒时已经有一到两周的延迟了。在这方面谷歌公司所运通的大数据分析派上了用场,因为谷歌公司保存着大量的数据检测词条。大数据所呈现的力量是前所未有的.
什么是大数据
大学学习统计学说实话我是迷茫的,从前从未接触过统计学从未接触过大数据。我通过百度查找了一些统计学的信息,结合统计学导论课和《大数据时代》这本书书,我有了新的了解,认识,我认为在全球大数据时代的到来以后大数据和统计学就变成了密不可分的两个名词。那就说说我了解到的大数据。大数据是指那些超过传统数据库系统处理能力的数据。他的数据规模和转输速度要求很高,或者其结构不适合原本的数据系统。为了获取大数据中的价值,我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息,在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲,大数据的价值体现在两个方面:分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息,定制出高度个性化的用户体验,并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合,谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。

大数据带来的机遇与挑战
3.1机遇大数据给我们带来了机遇和挑战,我们是否能从中受益则需要看我们怎么对待这些机遇和挑战。大数据的机遇是明显的,各种大平台的数据采集与公开,MapReduce等数据分析平台的开放,以及各领域数据挖掘服务的提供,使我们获得数据变得更加容易。而这些丰富的数据更是带来了众多的创新机会,任何领域的数据都可能对这个领域造成巨大的影响。3.2挑战当然大数据也给我们带来了很多挑战。一、数据共享与数据私有的矛盾。大数据的价值是稀疏的,而大量的数据往往被大公司垄断,因此对于一般人来说,数据的共享变得十分重要,而其中一个解决方法就是建立一个共享的数据中心。二、数据洪流与技术滞后的矛盾。首先是数据存储能力与处理不匹配,对此我们可以采用对数据流进行实时处理、就近原则存储和处理原始数据、购买数据存储和分析服务等方法进行解决。再者,是分析手段与性能需求不匹配,主要原因是因为传统数据仓库不再使用于大数据分析,对于此我们可以采用大规模并发、Map-Reduce分布式计算、NoSQL管理并发存取等方法进行处理。三是社会需求与人才匮乏的矛盾。对此,培养优秀大数据人才已是当务之急。四、开放数据与保护隐私的矛盾。其中包含用户隐私成为牺牲品、有可能危害国家安全等问题,我们的解决思路就是发展隐私保护数据挖掘方法和完善立法。
大数据未来发展趋势我认为大数据将是未来的石油,而移动互联网将成为主要上网方式,移动大数据也将蓬勃发展。在此做出几点预测:1移动大数据分析将逐步成为云计算和物联网的研究聚焦点。2移动互联网UGC和MGC数据的深度融合将催生新的产业。3专注于局部领域的数据分析服务将成为近期产业创新主流。4Map-Reduce将仍保持活力,分布式流数据分析方法将成为机器学习理论研究和应用研究热点。5数据共享是大势所趋,但需要特别重视国家信息安全,开放数据需要立法支持,信息安全需要自主技术保障


2 大数据时代的思维变革
IBM资深大数据专家杰夫乔纳斯(Jeff Jonas)曾经提出过要让数据所化,其实是变革固有的数据思维。这部分主要阐述了大数据时代更好融入其中所需要变革的三种思维:
不是随机样本,而是全体数据
不是精确性,而是混杂性
不是因果关系,二是相关关系

3大数据时代的商业变革
商业是一切变革的驱动力,谈到变革不可能不提及其在商业领域的步伐。一切皆可量化
量化其实就是数据化。新的信息化时代的发展需要大量数据的测量、记录及预测。目前,信息技术的发展还主要在“T”上。现在,是时候把目光转向“I”了。马修·方丹·莫里(Matthew Fontaine Maury)本来是一名美国海军军官,1839年受伤后进了办公室,是图表和仪器厂的负责人。作为一名年轻的航海家,莫里曾经对船只在水上绕弯儿不走直线而感到十分不解。当他向船长们问及这个问题时,他们回答说,走熟悉的路线比冒险走一条不熟悉而且可能危险的路线要好得多。从航行经验上来看,他知道这并不完全正确。但他从老船员身上学到了潮汐、风和洋流的知识,而这些都是海军中那些陈旧的、有的甚至用了上百年的图表所没有的。
他清点了库房里的气压计、指南针、六分仪和天文钟。他发现,库房里存放着许多航海书籍、地图和图表……刚开始的时候,他觉得这些都是垃圾,但当他拍掉被海水浸泡过的书籍上的灰尘,凝视着里面的内容时,莫里突然变得非常激动。
于是莫里带领20个人,或者可以看成是那时候的计算机,对这些数据进行了分析整理,正当时非常繁杂的工作。
为了提高精确度,莫里需要更多的数据。因此他创建了一个标准的表格来记录航海数据,并且要求美国所有的海军舰艇在海上使用,返船后再提交表格。上传也拼命地想得到他的表格。
他所创建的图表帮助商人节省了一大笔钱。因为航海路程减少了三分之一左右。
这是可以说是大数据的最早实践之一,也开启了大数据在经济领域的运行之路。
4 大数据时代的管理变革
大数据带来便利的同时,也需要一个健康、合理、有序的管理环境。
让数据主宰一切的忧患
如今的时代暴露在无数的“第三只眼”下。
亚马逊监视着我们的购物习惯,谷歌监视着我们的网页搜索习惯,而微博似乎什么都知道,不仅监听到了我们心中的“TA”,还有我们的社交关系网。
作者还列举了历史上信息监控的恐怖。
1989年,柏林墙倒塌,之前的近40年间,民主德国国家安全局“Stasi”雇佣了十万左右的全职间谍,时刻在街上开车监视着成千上万民众的一举一动。他们拆看信件、偷窥银行账户信息、在民众家中安装窃听器并且窃听电话他们还会让情人、夫妇、父母和孩子相互监视,导致人与人之间丧失了最基本的信任。结果,详细记录普通人最私密生活信息的文件至少包括了3900万张索引卡片和铺开足有113公里长的文档。
这里作者笔锋一转:
如果说在互联网时代我们的隐私受到了威胁,那么大数据时代是否会加深这种威胁呢?这就是大数据的不利影响吗?答案是肯定的。
责任与自由并举的信息管理
大数据推动社会的发展,社会开始向一个未知领域变迁。处于大数据时代的我们,可能需要加快时代适应的步伐,这也是责任与自由并举的源头所在。
这里,作者提出了他自己的见解。
在大数据时代,我们需要设立一个不一样的隐私保护模式,这个模式应该更着重于数据使用者为其行为承担责任,而不是将重心放在收集数据之初取得个人同意上。
再比如,在谈到关于“个人动因”与“预测分析”的关系上,作者也有独到的观点。
在大数据时代,关于公正的概念需要重新定义已维护个人动因的想法:人们选择自我行为的自由意志。简单地说,就是个人可以并应该为他们的行为而非意向负责。
5 正在发生的未来
最后,作者提出了自己的看法,也是其未来的愿景。改变生活方式的大数据应用显示了其强有的力量,但它却不是一个冰冷的世界,人类自身也依然无法被替代和超越。
大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而最好的方法和答案还在不就的未来。

总结
现在,当数据的积累量足够大的时候到来时,量变引起了质变。“大数据”通过对海量数据有针对性的分析,赋予了互联网“智商”,这使得互联网的作用,从简单的数据交流和信息传递,上升到基于海量数据的分析,一句话“他开始思考了”。简言之,大数据就是将碎片化的海量数据在一定的时间内完成筛选、分析,并整理成为有用的资讯,帮助用户完成决策。借助大数据企业的决策者可以迅速感知市场需求变化,从而促使他们作出对企业更有利的决策,使得这些企业拥有更强的创新力和竞争力。这是继云计算、物联网之后IT产业又一次颠覆性的技术变革,对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。后工业社会时代,随着新兴技术的发展与互联网底层技术的革新,数据正在呈指数级增长,所有数据的产生形式,都是数字化。如何收集、管理和分析海量数据对于企业从事的一切商业活动都显得尤为重要。
大数据时代是信息化社会发展必然趋势,我们只有紧紧跟随时代发展的潮流,在技术上、制度上、价值观念上做出迅速调整并牢牢跟进,才能在接下来新一轮的竞争中摆脱受制于人的弱势境地,才能把握发展的方向。在如此快速的到来的大数据革命时代,我们还有很多知识需要学习,许多思维需要转变,许多技术需要研究。职业规划中,也需充分考虑到大数据对于自身职业的未来发展所带来的机遇和挑战。当我们掌握大量数据,需要考虑有多少数字化的数据,又有哪些可以通过大数据的分析处理而带来有价值的用途?在大数据时代制胜的良药也许是创新的点子,也许可以利用外部的数据,通过多维化、多层面的分析给我们日后创业带来价值。借力,顺势,合作共赢。把自己的心门打开,像海绵般吸取积极、正能量的东西。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝


您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-27 06:57