楼主: wangxiyue123
1692 1

[Hadoop] 大数据:现在进行时 [推广有奖]

  • 0关注
  • 3粉丝

等待验证会员

博士生

63%

还不是VIP/贵宾

-

威望
0
论坛币
798 个
通用积分
0
学术水平
0 点
热心指数
3 点
信用等级
0 点
经验
2450 点
帖子
162
精华
0
在线时间
26 小时
注册时间
2015-9-22
最后登录
2015-10-22

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
大数据:现在进行时


一提到大数据,很多文章及专著都会援引谷歌的“流感趋势”预测系统的案例。2008年起,谷歌就在监控跟流感相关的搜索项,这一项目由数据驱动,最终成为一项效率上远超美国官方卫生部门及医疗行业监控效能的公共卫生预警系统。2009年,谷歌依托此系统,在官方公布报告之前准确预测出猪流感病毒蔓延的情况。包括谷歌在内,全球多家搜索主流企业而今大量使用类似的数据监测与预测技术,为公共管理、商业甚至军事目的服务。


然而,2012-2013年的流感高发期,谷歌的预测系统,准确性却发生了下滑,预测数据称11%的美国人将在高峰期患上流感,实际情况却只有6%。这样的误判并非个例。2014年3月,4名定量社会学家在《科学》杂志上发表文章指出,截至2013年9月,谷歌的流感趋势系统一直过高地估计流感病例数量。


谷歌的流感趋势系统经常被看做是大数据方法获得胜利的证据。误判的存在,却也说明,依托于对实时数据及其相关性的算法进行识别分析,很可能遗漏语境,产生高估或低估。流感趋势系统曾被证明其预测准确,赢得公共卫生部门及医疗行业的信任,如果这种信任延续,公共卫生部门显然会根据大数据预测调拨应急物资,通知企业生产疫苗,并适时启动应急预案——这种情况下,要是出现误判,不仅会造成资源浪费,还可能因资源错配使得疫病传播等紧急情况变得更为突出。


金融行业更早引入数据挖掘分析的理念和工具,甚至因此形成对数据分析及预测的盲目崇拜。2008年美国金融危机及之后引发的欧债危机表明,数据分析不能仅仅依托于相关性分析。金融行业、商业领域,战略与政策制定既需要积极借助数据挖掘分析来提高精准度,同样也需要融合反映因果关系的理论、假设、观念。而这本身正是大数据时代需要进一步深化提升的重要目标。


美国《纽约时报》长期撰稿人、普利策奖获奖团队成员史蒂夫·洛尔所著的《大数据主义》(胡小锐、朱胜超译,中信出版社),向读者展现了一幅仍在野蛮生长、不断优化完善的大数据进化图景。很多人可能因为大数据已经体现的分析威力和应用效益,而忽略大数据的发展与应用,迄今为止仍处于起步阶段。大数据的未来应用前景、理论上应当实现的作用,目前还没有得到比较完美的积极呈现,包括数据科学家在内的各界学者、企业家、公司人、消费者,都还在路上。


《大数据主义》这本书不同于之前以大数据为主题的许多商业畅销书,书作者为了说明大数据的演进特点,选取了大数据主义思想的典型代表、雅虎的前数据工程师杰夫·哈梅巴赫,以及数据时代最为成功的标杆企业之一的IBM公司,分别以这样一个数据科学家和数据企业为样本,深入介绍了大数据时代是如何随着数据理念、技术和方法的不断发展而前进。书作者并不讳言在大数据时代的各阶段,数据理念、技术和方法都存在相应的局限性甚至缺陷,包括在起步阶段早期对相关性、可测量性的过度推崇,但强调数据科学具有很强的开放性,将积极融合其他学科领域的成果,增强对于医药、能源、农药等行业运作情况的把握。


大数据主义的基本内核,是要求猜测和基于经验的推理,服从于基于数据分析的科学判断。这并不是说经验与直觉就毫无意义,事实上,“好的直觉其实就是大量数据的综合,只不过这些数据难以量化为数字罢了”。大数据时代的演进,通过计量与数据水平的提升,人类的直觉与经验不仅有望更为清晰的具象化,转化为数据,而且还能反过来为科学、艺术、医学及其他方面的拥有丰富经验、良好直觉的天才进一步提高自己的判断能力服务。


借助大数据,更多企业和公共部门将原本杂乱无章的信息,梳理得井然有序,为构建人类行为模型提供助力,依据各方面翔实准确的数据,算法可以精确量化人的性格特征,精准预测人的行为不再只是空想。这也因此引发伦理争议,人们担忧受到更多操纵,会因为隐私的更多外泄遭遇更多风险。大数据时代的隐私风险争论、伦理争议,迄今仍在持续,既有强调保障隐私权而要求更严厉限制数据使用的一方,而另一方则提出隐私权观念和权利方式已不合时宜。



为培养顺应时代发展的新型大数据分析人才,

人大经济论坛特邀业界名师开设CDA数据分析师培训课程

详情点击链接了解:

CDA大数据分析培训:http://cda.pinggu.org/bigdata.html


CDA大数据分析就业班:http://cda.pinggu.org/bigdata-jy.html



二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:大数据 CDA数据分析师 bigdata 数据分析师培训 CDA数据分析 谷歌 猪流感 美国 文章 技术

已有 1 人评分论坛币 收起 理由
daazx + 10 精彩帖子

总评分: 论坛币 + 10   查看全部评分

沙发
lucknana 学生认证  发表于 2015-10-16 08:49:47 |只看作者 |坛友微信交流群
对于大数据的研究与应用的确还有很多的路要走,单希望这是一天正确的路吧!

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-27 21:25