楼主: lichao531
219 0

大数据的冲突(我们与大数据) [分享]

  • 0关注
  • 0粉丝

小学生

57%

还不是VIP/贵宾

-

威望
0
论坛币
0 个
通用积分
0
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
50 点
帖子
6
精华
0
在线时间
0 小时
注册时间
2018-11-27
最后登录
2018-11-27

lichao531 发表于 2018-11-27 19:41:20 来自手机 |显示全部楼层
前  言<br>
Google、Amazon都是称霸互联网界的网站。那么它们的成功是具备怎样的因素呢?可能因为它们的商业方式十分创新,也可能因为它们的创业者非常优异。但是,《大数据的冲突》想要强调的,是“数据分析”这个词。虽然在乍看之下会觉得这个词并不复杂,但列举的这两个企业,它们每天接收到的数据是非常庞大的,而这正是本书的主题——“大数据”。充分的运用大数据,并由此获得巨额收益,在这类企业中,Google可以称得上是第一个获得成功的企业。使用Google各种服务的用户,以及他们的各种数据,都是被分析的对象。在Google的搜索框中,只需要输入几个关键字,就会显示出一些搜索关键字的建议。例如只输入“有”,会出来“有条不紊”、“有限元分析”、“有氧运动”等联想词,这都是经过分析用户的搜索历史记录而得出的。“购买了此商品的顾客还购买了这些商品”。这是经常用淘宝的用户家喻户晓的一行关键字。而创造出这个系统的并不是淘宝,而是Amazon。Amazon通过分析客户的购买记录、浏览历史记录,对照行为模式相似的其他用户,推荐最适合的商品给客户。这种数据分析产生了巨大的作用,从而推动了Amazon成长为超大型企业。事实上,现在普及大数据储存和处理技术,大多都是从Google、Amazon、这样的互联网、社交企业中延伸的。综上,Google、Amazon适时发现了一般企业并不重视的那些数据,开发出低成本存储和处理这些数据的技术,提取有价值的信息,最终获得成功。目前,跟随着Google和Amazon的脚步,有越来越多的企业开始积极进行大数据的分析,并在各个行业中都愈发显著。<br>
作者及书目背景简介<br>
城田真琴<br>
城田真琴是野村综合研究所高端IT创新部高级研究员、IT分析师,日本政府“智能云计算研究会”智囊团成员。负责高精尖技术趋势调研、供应商战略分析、国内外企业IT运用调查,专业领域为云计算、商务分析、M2M、IoT等。著有畅销书《云计算的冲击》、《你不可不知的云计算常识与非常识》、 《IT大趋势 全球信息技术导航图 2012年版》。<br>
书目背景简介<br>
在这样一个信息爆炸的时代,我们不能不承认,大数据已经不再是一个虚无缥缈的概念,而是与每个人的生活息息相关,且触手可及。大数据火了,它催生出无数新的服务和商业模式,也让一些传统行业找到了新的机会。而数据运用和隐私保护之间到底该如何权衡,也成了一个令各方势力争论不休的话题。大数据到底是什么?它为我们带来了什么?我们又该怎样去运用它?——这本书的目的,正是帮助大家思考上面这三个问题,迎接大数据所带来的机遇和挑战。<br>
内容简介<br>
●第一章对大数据作出了明确的定义,并讲解现在大数据为什么会如此受关注。狭义上可以将大数据定义为:难以用现有的一般技术去管理的大量数据集合。大数据难以管理的原因可以用3V来描述,即Volume (容量)、Variety (多样性)、Velocity (产生频率、更新频率)。现在的大数据和过去相比的区别是:随着社交的发展,我们身边产生出多种多样的数据;随着科学技术的发展,数据存储和处理的成本大幅下降;随着云计算的兴起,大数据的存储和处理环境已不用自行搭建。<br>
●第二章讲解了支撑大数据储存、处理、分析的技术,以及其中主要领军者的动向。Hadoop是一个能够对大量数据进行分布式处理的软件框架。假设它计算元素和存储会失败,也能维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop以并行的方式工作,通过并行处理加快处理速度。因为成本低,使任何人都可以使用。对不断流入的大量数据(流数据)进行实时处理的流数据处理技术,一直以来都在金融行业中得到应用。<br>
●第三章介绍了一些欧美企业对大数据的运用事例。<br>
对提供互联网服务的企业来说,服务是胜利的关键是留住客户。为此,他们提升自己的网站和服务。由于用户的基数庞大,用户的退出率能够减少哪怕几个百分点,也会对营业额带来巨大的影响。从Centrica的事例中可以看出,通过为各家各户安装智能电表所收集的数据,掌握客户的能源消耗模式,并对将来的消费趋势作出预测,这对于电力不足的日本来说,有很大的参考价值。此外,这对消费者来说也有很大便捷。但也有人指出,会带来隐私方面的问题。然而,只要消费者能享受足够多的好处,大多数情况下对这样的问题还是能够容忍的。还有一点值得我们学习的就是Catalina Marketing ,它是介于厂商、超市连锁和消费者之间的中间人。虽然超市连锁也可以直接向消费者发放优惠券,但收集到的数据是有限的。Catalina Marketing 可以利用其中间人的优势,从多个超市连锁来收集和分析消费者的数据,从而获得更多消费者。<br>
●第四章介绍了一些通过运用大数据带来大幅业绩增长的日本企业<br>
小松:在日本运用大数据的先驱者Recruit:通过对Hadoop的充分运用,成功实现对数据分析的观念革新GREE:快速成长的原动力在于数据驱动型工作方式麦当劳:在现实世界中实现一对一营销例如:像麦当劳这样准备实施一对一营销的企业,首先需要收集顾客的行为记录和购买记录数据。为了避免收集的遗漏,从而掌握顾客所有的购买行为,目前来看,对手机的运用是一一个有效的手段。<br>
●第五章介绍了笔者所总结的企业用户运用大数据的机会和模式。<br>
大数据的运用模式可分为:个别优化(批处理型、实时型)、整体优化(批处理型、实时型)。而运用大数据真正价值,是将具有3V特征的数据整合到日常业务中。<br>
●第六章介绍了大数据的商业应用中无法避免的隐私问题<br>
在一些Web.上,将用户的个人信息、行为记录等隐私问题进行采集,然后不经过用户许可,私自将这些数据转让给广告商等第三方,暴露用户隐私,这样的经营者层出不穷。在美国,人们对于Web上的行为跟踪,有人建议采用'Do Not Track'手段,但在很长一段时间内,商户都非常抵制,这个方法始终都无法实施。2012年2月23日,美国奥巴马政府颁布"Consumer Privacy Bill of Rights”( 消费者隐私权法案),这个建议终于得到了业界的认同。和美国不同,欧盟要求采用“如果没有得到用户明确的同意,则不得处理个人数据”,这种主动许可的方式,也遭到了在线广告商等商家的强烈反对。在日本,人们在充分保护隐私和个人信息的同时,为了能有效运用行为记录,测览记录等个人相关信息开展个性化服务,也在积极研究相关方针政策。要在业务中对大数据进行运用,就一定会不可避免地会遇到隐私问题。哪怕只有些许不慎,触及到了用户的隐私,也有可能会大幅伤害企业的信誉,严重的话,某些情况下企业甚至不得不退出所在的市场。虽然不用特别的收敛自己的商业手段,但是,不为用户考虑的服务必定是很难得到用户的支持,这一点商家必须要牢牢记住。<br>
●第七章介绍了将位于封闭世界中的数据开放出来以促进创新的“Open Data”运动,以及数据交易市场“Data Marketplace”。将数据公开并连接起来,以对社会产生巨大价值为目的进行共享的主张,被称为LOD (Linked Open Data)。为了促进健全的数据流通,民间企业开设了数据一站式购物平台"Data Marketplace"。分析未来的发展趋势,虽然它们的交汇很困难,但它们也有可能进行融合。<br>
●第八章介绍了伴随着大数据时代的到来,企业在今后需要做出的准备<br>
在大数据运用框架的基础上,企业除了了解自己公司内部的数据之外,对除自己之外的外部数据的关注也非常重要。伴随着大数据时代的到来,企业要提前有能够灵活应用的办法。所以,企业需要放宽视野。例如使用和购买外部数据,出售内部数据等,来做好应对。因此,能够凭借数据分析的结果,得到信息并准确地做出决策和行动、组织结构和企业文化,是企业在大数据运用方面的最后一个课题。<br>
1.什么是数据?<br>
数据(Data)也就是数值,是我们通过观察、实验以及计算得到的结果。数据分为很多种,其中最简单的就是数字了。数据也可以是由文字、图像、声音等组成的。数据的作用是,可以用于科学研究、设计、查证等方面。<br>
2.什么是大数据?<br>
大数据(Big Data)又称为巨量资料,指的是需要新的处理模式才能具有更强的决策力、洞察力和流程优化能力的,并且具有海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中提出,指不用随机分析法(抽样调查)的捷径,而是采用所有的数据进行分析处理。大数据有4V特点,即Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。<br>
3.大数据由什么产生?<br>
当今社会的数据量大,数据的复杂程度高,数据处理的任务要求等超出了传统数据存储与计算能力,这种现象被称之为“大数据(现象)”。可见,在计算机科学与技术中是从存储和计算能力视角而理解“大数据”——大数据不仅仅是“数据存量”的问题,也还涉及到了“数据增量”、复杂度和处理要求(如实时分析等)有关。<br>
4.大数据挑战和机遇并存<br>
大数据在未来几年的发展,将会慢慢进化,会从前几年的预期膨胀阶段和炒作阶段转入理性发展阶段、落地应用阶段。大数据在未来几年将逐渐步入理性发展期,并且逐渐深入人心。未来的大数据发展依然存在诸多挑战,也有很多的机遇,但是前景依然非常乐观。<br>
5.大数据的发展趋势<br>
大数据的发展呈现八大趋势:<br>
趋势一:数据资源化,将成为最有价值的资产<br>
随着大数据的不断发展,它的价值也得到了很大的体现。大数据在公司和社会的层面都会是很重要的资源,在将来,大数据很可能会成为新的制高点,会成为所有人抢夺的对象。它很有可能成为一种新的类别,就像货币或者是黄金那样。谷歌和亚马逊等这些企业正在运用大数据获得企业上的成功,并且金融和电信企业也正在用大数据。我们都应该相信大数据将不断的成为社会和企业的资产竞争的武器。<br>
趋势二:大数据在更多的传统行业的企业管理落地<br>
如果一种新的技术在少数的行业上能够得到好的发展,那么这对其他行业就有非常强烈的警示作用。<br>
目前,大数据在一些大型的企业已经得到了好了应用。其他行业对于大数据,尤其是电信和金融企业也开始使用大数据。大数据可以帮助公司很好地理解和满足客户的需要。更好的对企业运营和营销提供帮助。所以企业管理要相信大数据会对他们有着明显的促进,更多拥抱大数据的企业都是为智慧管理。<br>
趋势三:大数据和传统商业智能融合,行业定制化解决方案将涌现<br>
传统的商业智能并没有那么发达,但是大数据如果可以跟传统的商业融合的话,行业的定制化解决方案将会大批的涌现。但是,传统的商业里面领导者只将大数据认为是一个新增的数据源。大数据的用户还是能够希望可以得到一种整体的解决方案,也就是不仅能收集,处理,分析企业内部的业务数据,还可以引入互联网的网上功能。比如说网络的浏览,微博。微信等非结构化数据。除这些以外,如果能够结合移动设备的位置信息,这样企业就可以形成一个更加全面完善的发展平台。因为无论是大数据还是智能的商业目的都是为了分析客户的服务。将数据全面的整合,更有利于发现新的商机,这就是大数据的商业智能。由于各种行业的差异性,所以我们很难研发出一套适用于各个行业的系统。所以,如果在一些规模比较大的行业。大数据将会提供更加具体智能的方案为客户服务。因此我们要知道更多的大数据智能的解决方案将会在电信,金融等行业出现。<br>
趋势四:数据将越来越开放,数据共享联盟将出现<br>
对于大数据来说,越关联越有价值,越开放也更有价值。这个时候数据共享联盟即将就会出现。尤其是对于公共事业的互联网企业数据开放越来越多。我们看到国外的一些国家政府和政府的公共事业上都为数据作出了不懈的努力。当然,国内的一些城市和部门也在逐渐开展数据的开放工作。对于不同的行业,熟悉的共享也非常的有价值。例如,一个医院想要获得更多的病情情况或者是药物信息,就需要全国的医疗手段或者是全世界的医疗信息共享,这样就可以通过平台进行分析,并且获得更大的价值。我们相信数据都会成为一种共享的趋势,在不同的领域出现。<br>
趋势五:大数据安全越来越受重视,大数据安全市场将愈发重要<br>
现在社会越来越发展,数据的价值也就越来越大,大数据的安全隐患也就出现了问题。所以它的安全稳定也被重视。我们身处数字网络的生活,这也就使得犯罪分子更容易获取别人的信息,与之有关的骗术和犯罪手段层出不穷。因此在这个大数据的时代,无论是对于数据本身保护还是对于这些数据演变成的一些信息的安全,对一些对数据分析有高要求的企业至关重要。<br>
大数据安全跟大数据业务相互对应,与传统的安全相比,大数据安全的最大区别是,厂商在思考安全问题的时候,先要进行业务分析,并且找到针对数据业务潜在的威胁,然后做出应对的解决方案。故此,市场需要更专业的企业针对不同的安全隐患提供更专业的服务。<br>
趋势六:大数据促进智慧城市发展,为智慧城市的引擎<br>
社会越来越发达,我们用到的大数据也会越来越先进。大数据在智慧城市中发挥着或者至关重要的作用。因为人口聚集给各个城市带来了医疗,交通,建筑等各个方面的压力,这些城市就需要更合理的进行,自然的布局和调控管理,因此智慧城市就是城市治理转型的最好解决方法。什么是智慧城市呢?智慧城市就是通过物体与物体,物体与人类,人类与人类的互相沟通能力、全面感知能力和信息利用能力,通过物联网和移动互联网、等新一代信息技术,全面实现城市的高效管理、产业的可持续发展,和便捷的民生服务。智慧城市与之前的数字城市概念相比,最大的区别就是对数据进行了更智慧的处理,它的核心就是引入大数据处理技术。智慧城市的各种应用都是以大数据为基础的应用领域。<br>
趋势七:大数据将催生一批新的工作岗位和相应的专业<br>
一个新的行业出现,必将催生出一批新的工作岗位和对应的专业,因此大数据的出现,也将催生出一批新的工作岗位和对应专业。例如大数据分析师、算法工程师、管理数据的专家、以及对应的大学教师等等。如果具有了丰富的经验可以分析数据的人才将会成为稀缺的资源,这种工作模式将会呈现爆炸式的增长。因为市场有着强烈的需求,所以高校也逐步开展了更大数据相关的专业,用来培养相对应的专业人才。一些企业也会与高校紧密的合作,协助高校一起培养出大数据的人才,实现共赢。通过面向行业研究型的合作,以及系统化的真是建设和高价值的人才培养,建设符合中国特色的教学方案以及人才需求,为社会未来建设方向做准备。<br>
趋势八:大数据在多方位改善我们的生活<br>
大数据不仅用于政府和企业,在我们的生活中也有应用。大数据对我们生活有好处,比如说在健康上,我们可以用智能的手环监测我们的睡眠,这种手环可以提醒我们什么时候睡觉,告诉我们昨天睡了多长时间,这样你就会了解我们的睡眠质量。我们在开车出行的时候经常会用到GPS导航出行,它可以告诉我们附近的路况以及堵车程度,还有哪些地方是事故多发地,并且可以实时告诉我们调节的方案。在家中大数据也为我们提供了便捷,比如说一些冰箱可以为我们提供菜谱,在做饭的时候,有些抽油烟机也可以为我们提供做菜的方案。<br>
6.大数据对人类社会的影响<br>
随着互联网社会的发展,大数据时代也随之到来,许多行业有了一个崭新的发展模式,企业在进入数据时代的时候,它们的运营模式也应该做出相应的改变,应该从开始的粗放式运营过渡到精细化运营模式。不管是以前的厂家还是现在的厂家,在运营模式上都比较单一,但是这种单一的运营模式已经无法适应市场的变化了,如果不能及时根据市场需求和用户的变化做出调整,将导致厂家难以吸引新客户,也留不住老客户,所以必须在互联网大数据时代改变自己的运营方式才可能抓住客户。企业运营走向精细化亦是必然的趋势。精细化运营的好处是可以精确定位目标人群和个体特征,分析他们的各自特征和习惯,然后再针对他们的特征和习惯做出相应的应对方案。但是想要打破传统的运营模式,在移动互联网大数据时代做精细化运营,一定离不开大数据的帮助。所以想要做好精细化运营,需要借助大数据的驱动,才可能提升运营的效率和效果。基于大数据的分析能力,可以让企业运营做到精细化的监控和对用户做细分,方便企业根据不同用户的需求进行具有针对性的一对一个性化服务,让企业的营销内容更加精准和有效。大数据对精细化运营可以帮助企业对用户各种数据进行分析,帮助厂家更好的解决用户的异常信息方便对目标用户进行细分,所谓的细分就是摒弃过去一对多的运营模式,通过技术分析出企业用户具体属性和用户行为画像,大数据可以让企业有效的激活用户,对用户生命周期进行管理和挖掘,让企业对不同生命周期的用户进行标签化的管理,让企业及时把相关运营信息推送给不同生命周期的用户。企业在面临白热化的市场竞争时,可以将“大数据”作为发展的利器,借助科技的力量完成一种转型。<br>
7.大数据带给我的认识<br>
1.精准的广告投放<br>
在我们看各种app的时候都会有各种的广告出现,而且这些广告有可能都是按照你的喜好所设定的。比如说我们逛淘宝的时候都会有“猜你喜欢”或者是“您可能想要浏览以下商品”。这些精准的广告投放给我们带来了不少便捷。<br>
2.更加智能的语音助手<br>
现在的语音助手越来越智能,已经有了可以和成为对话的小机器人。 在一些手机上也有了可以和人对话的功能。例如:iPhone手机中的siri ,最强大脑中的小机器人。这些都是更加智能的语音助手。<br>
3.医疗保健<br>
现在,大数据医疗技术已经越来越兴起,让患血栓的病人得到治疗已经不再成为问题,有一种微技术是把这根针管用微技术伸入病人的血管里,另一侧用电脑直接探测病人的身体状况,另外,这跟针管还可以走到病人身体的各个角落,帮助病人清除身体的杂物,包括凝固在血管里的硬块,从而治好病人的血栓。<br>
4.大数据与交通<br>
社会的发展与变革,使我们的生活越来越便捷。比如有了火车、飞机等交通工具。但是随着交通工具的发展越来越繁荣,我们的道路安全也就下降了不少。但是现在马路上的监控摄像头也很普及,肇事者也难逃法网。大数据给交通也带来了很大的帮助。它可以分析出哪个时间段哪里路况拥挤,哪里是危险多发地,极大的保障了人们的安全。

您需要登录后才可以回帖 登录 | 我要注册

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2019-12-8 16:59