请选择 进入手机版 | 继续访问电脑版
楼主: wangwang.
1805 0

大数据的冲击相关论文 [推广有奖]

  • 0关注
  • 0粉丝

学前班

90%

还不是VIP/贵宾

-

威望
0
论坛币
10 个
通用积分
0
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
30 点
帖子
3
精华
0
在线时间
0 小时
注册时间
2018-11-26
最后登录
2020-6-16

wangwang. 发表于 2018-11-26 19:45:07 来自手机 |显示全部楼层 |坛友微信交流群

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
2.1作者简介<br>
城田真琴,野村综合研究所高端IT创新部高级研究员、IT分析师,日本政府“智能云计算研究会”智囊团成员。负责高精尖技术趋势调研、供应商战略分析、国内外企业IT运用调查,专业领域为云计算、商务分析、M2M、IoT等。著有畅销书《云计算的冲击》、《你不可不知的云计算常识与非常识》、《IT大趋势全球信息技术导航图2012年版》。 <br>
周自恒,IT、编程爱好者,技术宅,初中时曾在NOI(国家信息学奥赛)天津赛区获一等奖,大学毕业后曾任IT咨询顾问,精通英语和日语,译著有《30天自制操作系统》、《大数据的冲击》、《Android应用开发入门》。  <br>
2.2本书简介<br>
本书是日本最畅销的大数据商业应用指南。书中结合野村综合研究独家披露的调查数据,网罗了美国、日本标杆企业与政府的应用案例,就大数据的商业模式隐私保护、法律框架、人才培养、经营战略等话题展开讨论,是一本无需具备技术背景也能够无障碍阅读的综述类著作。<br>
本书适合商业人士以及与大数据相关的IT从业者阅读。<br>
     3.1第一章  什么是大数据<br>
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。<br>
所谓大数据,狭义上可以定义为难以用现有的一般技术难以管理的大量数据的集合,而现有的一般技术难以管理,就是指用目前在企业数据库占据主流地位的关系型数据库无法进行管理的,具有复杂结构的数据,或者可以说是指由于数据量的增大,导致对数据的查询响应时起初允许范围的庞大数据, 大数据难以管理的原因,可以用3V来描述,即Volume(容量)、Variety(多样性)、Velocity(产生频率、更新频率)。从广义上来说,大数据可以定义为包括因具备3V特征而难以进行管理的数据,对这些数据进行存储、处理、分析的技术,以及能够通过分析这些数据获得实用意义和观点的人才和组织的综合性概念。<br>
对大量的数据进行分析,并从中获得有用的观点,这种做法在一部分研究机构和大企业中,过去就已经存在了。现在的大数据和过去相比,主要有三点区别。第一,随着社交媒体和传感器网等的发展,在我们身边正产生大量且多样的数据。第二,随着硬件和软件技术的发展,数据的存储、处理成本大幅下降。第三,随着云计算的兴起,大数据的存储、处理环境已经没有必要自行搭建。<br>
通过分析顾客与公司之间的交互数据,可以得到相关交易数据产生的背景信息。目前,网上交互数据的采集、分析正先行一步,但今后,对线下的以及O2O交互数据的分析将变得愈发重要。  <br>
大数据包括结构化、半结构化和非结构化数据,非结构化数据越来越成为数据的主要部分,大数据四个特性:<br>
海量性:企业面临着数据量的大规模增长。例如,IDC最近的报告预测称,到2020年,全球数据量将扩大50倍。目前,大数据的规模尚是一个不断变化的指标,单一数据集的规模范围从几十TB到数PB不等。简而言之,存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外,各种意想不到的来源都能产生数据。<br>
多样性:一个普遍观点认为,人们使用互联网搜索是形成数据多样性的主要原因,这一看法部分正确。然而,数据多样性的增加主要是由于新型多结构数据,以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中,部分传感器安装在火车、汽车和飞机上,每个传感器都增加了数据的多样性。<br>
高速性:高速描述的是数据被创建和移动的速度。在高速网络时代,通过基于实现软件性能优化的高速电脑处理器和服务器,创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据,还必须知道如何快速处理、分析并返回给用户,以满足他们的实时需求。根据IMS Research关于数据创建速度的调查,据预测,到2020年全球将拥有220亿部互联网连接设备。<br>
易变性:大数据具有多层结构,这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据,大数据存在不规则和模糊不清的特性,造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式,能够被标准的商务智能软件识别。目前,企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。<br>
2.大数据三个特征<br>
除了有四个特性之外,大数据时代的数据还呈现出其他三个特征。<br>
第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。<br>
第二个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。<br>
第三个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
3.2第二章 支撑大数据的技术<br>
对于目前的大数据潮流,在技术层面上提供支撑的,是开源分布式处理框架Hadoop。一些大厂商的数据仓库产品也正在加强与Hadoop之间的联动。<br>
Hadoop在对海量非结构化数据的批处理上能够发挥巨大的作用,但同时我们不能忘记它还是一种处于发展阶段的技术。为了弥补开源版Hadoop的弱点,以Cloudera为中心,再加上MapR、hortonworks等公司一起,推出了多个Hadoop发行版。<br>
Hadoop和NoDQL数据库,是在现在关系型数据库和SQL等数据处理技术很难有效处理非结构化数据这一背景下,由Google、Amazon、Facebook等企业因自身迫切的需求而开发的。因此,一般企业不必非要推翻和替换现有的技术,在销售数据和客户数据等结构化数据的存储和处理上,只要使用传统的关系型数据库和数据仓库就可以了。<br>
由于Hadoop和NpSQL数据库是开源的,因此和商用软件相比,其软件授权费用十分低廉,但另一方面,想招募到精通这些技术的人才却可能需要付出很高的成本。<br>
对不断流入的大量数据进行实时处理的流数据处理技术,一直以来都在以金融行业为中心的领悟中得到应用。最近,和NoSQL数据库一样,一些互联网企业迫于自身需求,而独自开发这种技术的例子越来越多。<br>
要从大数据中高效地发现有用的信息,机器学习、数据挖掘、语义检索、统计分析等技术是非常重要的。
   3.3以大数据为武器的企业 <br>
一个好的企业应该未雨绸缪,从现在开始就应该着手准备,为企业的后期的数据收集和分析做好准备,企业可以从下面五个方面着手,这样当面临铺天盖地的大数据的时候,以确保企业能够快速发展,具体为下面五点。<br>
(一)、以企业的数据为目标<br>
几乎每个组织都可能有源源不断的数据需要收集,无论是社交网络还是车间传感器设备,而且每个组织都有大量的数据需要处理,IT人员需要了解自己企业运营过程中都产生了什么数据,以自己的数据为基准,确定数据的范围。<br>
(二)、以业务需求为准则<br>
虽然每个企业都会产生大量数据,而且互不相同、多种多样的,这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的,找到最能反映企业业务情况的数据。<br>
(三)、重新评估企业基础设施<br>
大数据需要在服务器和存储设施中进行收集,并且大多数的企业信息管理体系结构将会发生重要大变化,IT经理则需要准备扩大他们的系统,以解决数据的不断扩大,IT经理要了解公司现有IT设施的情况,以组建处理大数据的设施为导向,避免一些不必要的设备的购买。<br>
(四)、重视大数据技术<br>
大数据是最近几年才兴起的词语,而并不是所有的IT人员对大数据都非常了解,例如如今的Hadoop,MapReduce,NoSQL等技术都是近年刚兴起的技术,企业IT人员要多关注这方面的技术和工具,以确保将来能够面对大数据的时候做出正确的决定。<br>
   3.4大数据运用<br>
  大数据的作用模式,可分为个别优化·批处理型、个别优化·实时性、整体优化·批处理型和整体优化·实时性这4肿类型。<br>
大数据的运用级别,可分为对过去现状的把握、发现模式、预测和优化。不过,根据服务的不同,其最终目标并不一定都是优化。<br>
大数据运用的真正价值,是将具有3V特征的数据整合到日常业务中去。尤其是对过去没有运用过的数据,或者是过去无法获得的新型数据的运用,能够带来巨大的商机。<br>
3.5大数据时代的隐私问题<br>
对Web上的用户个人信息、行为记录等进行收集,在未经用户许可的情况下将数据转让给广告商等第三方,这样的经营者层出不穷,因此美国和欧盟都都围绕着Web上行为记录的收集展开了激烈的讨论。<br>
在美国,对于Web上的行为跟踪,有人建议采取Do Not Track手段,即让用户可以通过浏览器的设置拒绝所有跟踪行为。这一建议在很长一段时间内一直遭到在线广告商等方面的反对,一度举步维艰。但在2012年2月23日,借助美国奥巴马政府颁布消费者隐私权法案的机会,这个建议终于得到了业界的认同。<br>
在日本,在参考个人信息保护法的同时,还需要参考如“电子通信业务中关于个人信息保护的指导当真”、“国土交通省所辖领域中关于个人信息保护的指导方针”等各业务领域的指导方针。<br>
日本政府方面,以经济产业省、总务省为中心,在充分保护隐私和个人信息的同时,为有效运用行为记录、浏览记等个人相关信息开展个性化服务,正积极研究相关方针政策。从大数据和隐私的角度所开展的讨论,目前几乎都是以Web上个人信息、行为记录为对象的。<br>
要在业务中对大数据进行运用,就不可避免地会遇到隐私问题。哪怕只有些许不慎,也有可能会大幅伤害企业的信誉,某些情况下企业甚至不得不退出服务市场。虽然也不必矫枉过正,但是不为用户考虑的服务很难得到用户的支持,这一点必须要记牢。<br>
涉及个人信息以及个人相关信息的经营者,需要在确定使用目的的基础上事先征得用户同意,并在使用目的发生变化时,以易懂的形式进行告知,这种对透明度的确保今后应该会越来受到重视。大数据在个人隐私的方面,大量数据经常含有一些详细的潜在的能够展示有关我们的信息,逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出,我们不应该简单地服从法律方面的隐私保护问题,这些远远不够的,公司都应该遵从谷歌不作恶的原则,甚至更应该做出更积极的努力<br>
  3.6开放数据时代的到来与数据市场的兴起<br>
大数据时代的到来已经毋庸置疑。在这种情况下,数据成为一种无形的资源,但很少有人知道如何将这种资产“变现”。对于一个普通的企业而言,企业不仅拥有宝贵的客户数据,同样也拥有供应商数据以及内部财务、设计、制造、管理等数据,而在过去的数十年间,许多中国企业都已经一步步完成信息化应用,各种信息化工具正在将企业的运营数据化。但少有企业真正从纷繁复杂的数据中获取更多有价值的信息,数据成为一种资产,这在很长一段时间内其实只是停留在了表面每个人都知道互联网改变了企业经营、政府运作以及人们生活的方式。但是一种新的、不那么明显的技术趋势却有着同样巨大的变革能力,那就是“大数据”。所谓数据市场,就是将人口统计、环境、金融、零售、天气、体育等数据集中到一起,使其能够进行交易的机制,换句话说,就是数据的一站式商店。大数据与互联网截然不同,虽然互联网使数据的收集和共享方便了很多。大数据的意义并不仅仅是通信:其本质是我们可以从大量的信息中学习到从较少量的信息中无法获取的东西。将改变人类思考方式。<br>
3.7为大数据的时代做好准备<br>
虽然大数据目前在国内还处于初级阶段,但是商业价值已经显现出来。<br>
未来,数据可能成为最大的交易商品。但数据量大并不能算是大数据,大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。因此,大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。在他看来,未来大数据将会如基础设施一样,有数据提供方、管理者、监管者,数据的交叉复用将大数据变成一大产业。<br>
大数据的发展会催生许多新兴新职业,会产生数据分析师、数据科学家、数据工程师,有非常丰富的数据经验的人才会成为稀缺人才。随着大数据的发展,数据共享联盟将逐渐壮大成为产业的核心一环。随着大数据的共享越来越大,隐私问题也随之而来,比如说每天手机产生的通话、位置等等。但这给带来了便利的同时也给带来了个人隐私的问题。数据资源化,大数据在国家和企业和社会层面成为重要的战略资源,成为新的战略制高点和抢购的新焦点。<br>
随着社会的不断发展,大数据对IT技术架构的挑战,大数据的生态环境问题,大数据的应用及产业链将日益突出。能够凭借数据分析的结果和得到信息准确地做出决策和行动的组织结构和企业文化,是企业在大数据运用方面的最后一个课题。<br>
四、结尾<br>
大数据时代的到来,让我们的生活更安全,更方便,但与此同时,我们的隐私不再是隐私,数据的收集变得无所不包、无孔不入。世界已经向大数据时代迈进了一小步,一个崭新的时代正向我们走来。让我们用知识武装大脑,做好准备,迎接新时代的到来!迎接大数据的冲击!<br>
五、参考文献,百度百科五个中心支撑大数据体系<br>
         为大数据时代做好准备
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝


您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-3-29 05:56