发帖
雷达卡
目 录<br>
目 录 2<br>
摘 要 1<br>
前 言 2<br>
第一章 什么是大数据 3<br>
1.1 The data duluge 3<br>
1.2 用3V描述大数据的特征 3<br>
1.3 广义的大数据 4<br>
1.4 为什么现在谈大数据 5<br>
1.5 对大数据的分析 6<br>
第二章 大数据的发展趋势 6<br>
2.1大数据的发展 6<br>
2.2 “大数据”的发展趋势 7<br>
第三章 大数据的影响 9<br>
3.1 社会发展的影响 9<br>
3.2 如何应对大数据带来的冲击 10<br>
结 论 31<br>
参考文献 32<br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br>
摘 要<br>
在经历了专业导论课的学习之后，我对统计学也有了一定的认识。在学习中，有很多感想，也有很多收获。虽然课程有些枯燥，但无疑的是，通过这门学科让我真正认识了统计学这门实用的工具，在我未来的人生中，也必将会运用这个工具，陪伴我前行。我也将对以后的学习进行规划。
关键字：统计 规划 认知 大数据<br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br>
前 言<br>
在了解这门课程之前我一直认为它和会计专业基本是相通的，虽然在很多方面统计和会计在数学上的运用都有相似的方面。然而来到这里学习之后才发现二者并不是属于一个院系，一个属于理院一个属于经管，而且二者相比之下前者的使用更贴合实际，我们在学习中必须紧密联系到它与现实之间的关系，经过统计后，我们还必须要理解它所提供的数据经过分析之后得出的结论以及它所代表的实际意义，进而制定新的计划，这才是统计的过程及目的。<br>
统计学这门专业是对某一现象或事件通过调查、收集、分析和预测提出改进或解决的办法，而在如今这个到处都是大数据的时代，统计这门专业的应用更是必不可少的。<br>
如今各个企业通过分析每天产生的大量数据，对商品的库存和定价做出极致的优化，这样的努力对于企业业绩的提升可以说是功不可没，这是不争的事实。而对于分析的数据如今早已成了网站点击流数据和社交数据及传感器数据这些非结构化数据，而非传统意义上的销售额、库存量等数值数据。如今的大数据被喻为“Data is the new oil”。<br>
作者简介<br>
城田真琴是野村综合研究所高端IT创新部高级研究员、IT分析师，日本政府“智能云计算研究会”智囊团成员。负责高精尖技术趋势调研、供应商战略分析、国内外企业IT运用调查，专业领域为云计算、商务分析、M2M、IoT等。<br>
书籍背景<br>
书中结合野村综合研究独家披露的调查数据，网罗了美国、日本标杆企业与政府的应用案例，就大数据的商业模式隐私保护、法律框架、人才培养、经营战略等话题展开讨论，是一本无需具备技术背景也能够无障碍阅读的综述类著作。<br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br>
第一章 什么是大数据<br>
1.1 The data deluge<br>
在2012年的IT行业中大数据一词备受关注，当时这一词语大红大火了两三年的时间之后便销声匿迹了，但这个词是继“云”之后不断被提及的一词语。<br>
和大多数流行词一样，大数据一词的出现也来源于欧美国家，但对于这一词的起源还有一些模糊，但在一些以欧美的大数据为主题的报告中经常引用2010年2月出版的《经济学家》杂志中一篇名为“The data deluge”的文章，虽不曾直接提到“大数据”这一词汇，但其本身所代表的含义确是相同的。<br>
“所谓大数据，就是用现有的一般技术难以管理的大量数据的集合”<br>
1.2 大数据的特征<br>
“大数据”这一词本身就给我们一种多且杂的感觉，而城田真琴所著《大数据的冲击》一书中提到用3V来表示大数据即：Volune（容量）、Variety（多样性）、Velocity（速度）。该书中列举了美国大型折扣店Family Dollar Stores通过监控摄像对顾客在店内的行为进行分析，进而对店内的布局进行一些改变，使销售额提高了20%。美国移动运营商T-Mobile同样通过对这些数据进行分析并改变销售模式，。这些成功的案例都表明了大数据对这个时代带来的巨大影响。<br>
而另一位学者IBM提出了大数据5V的特征即：Volume（大量）、Velocity（高速）、Variety（多样）、Volue（低价值密度）、Veracity（真实性）。的确，我们对大数据的研究不尽要保证速度还要进行必要的筛选进而用最少的人力、物力、财力来完成最精细、最准确的数据分析。将资源合理利用到最大化的同时还要确保最终结果的准确性，必须合理并严谨的完成每一个数据的分析情况。
1.3 广义的大数据<br>
“所谓大数据，是一个综合性概念，它包括了因具备3V特征而难以进行管理的数据。对这些数据进行存储、处理、分析的技术，以及能够通过分析这些数据获得实用意义和观点的人才和组织”
1.4 为什么现在谈大数据
大数据的民主化——它不再产生于特定领域中，而是生活中的点点滴滴都会成为大数据的一份子。<br>
硬件性价比的提高及软件技术的进步——计算机性价比在不断提高，而磁盘的价格却在不断下降，大规模的数据都可通过Hadoop进行分布式处理，以致如今大大小小的企业都可以对大数据进行充分分析及利用。<br>
云计算的普及——许多新型的IT创业公司可通过利用Amazon的云计算环境对大数据进行处理，从而产生处新型的服务。<br>
1.5 对大数据的分析<br>
Dresner曾提出，应将过去100%依赖信息系统部门来完成的销售分析、客户分析等业务，通过让作为数据库使用者的管理人员以及一般商务人员等最终用户来亲自参与，从而实现决策的迅速化以及生产效率的提高。<br>
即BI主要分析从过去到现在所发生的事件、原因及预测今后的发展状况。这正是大数据给我们带来的便捷，让我们在最短的时间内得到最大最优的信息。<br>
Hadoop是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。<br>
同样NoSQL数据库在关系型数据库引擎的索引、流媒体和高访问量的网站服务等方面的效率都要比其他数据库强大。<br>
第二章大数据的发展趋势<br>
2.1 大数据的发展<br>
“数据”一词由十八世纪末才开始被了解并重视，而在当时也仅仅是美国统计学家赫尔曼·霍尔瑞为统计1890年人口普查数据时发明了一台电动器来读取卡片上的洞数，由此开始在全球范围内开始了大数据处理的新纪元。<br>
1943年，英国一家IT利用“巨人”电子计算机最终破译德国部队阵地信息，帮助盟军成功抵达诺曼底。<br>
1997年，美国宇航局研究员迈克尔·考克斯和大卫·埃尔斯沃斯首次使用“大数据”这一术语来描述20世纪90年代的挑战：超级计算机生成大量的信息——在考克斯和埃尔斯沃斯按案例中,模拟飞机周围的气流——是不能被处理和可视化的。数据集通常之大,超出了主存储器、本地磁盘，甚至远程磁盘的承载能力。”他们称之为“大数据问题”，这是第一次“大数据”一词出现在公众面前。<br>
2002年，美国组建了一个用于筛选通信、犯罪、教育、金融、医疗和旅行等记录来识别可疑人的大数据库。<br>
2004年，9/11委员会呼吁反恐机构应统一组建“一个基于网络的信息共享系统”，以便处理应接不暇的数据。<br>
2007-2008年，随着社交网络的增多，技术博客和专业人士的不断涌现，使“大数据”这一概念被更多机构开始重视并投入研究。<br>
2009年，印度政府建立身份识别管理局将12亿人的指纹、照片和虹膜进行扫描并录入到世界最大的生物识别数据库中。美国总统巴拉克·奥巴马推出data.gov网站作为政府开放数据计划的部分举措。为应对金融危机，联合国秘书长潘基文创建警报系统，利用各大社交网站数据分析预测从螺旋价格到疾病爆发之类的问题。<br>
2011年，扫描2亿年的页面信息只需要几秒钟，而IBM的沃森计算机系统在《危险边缘》中打败两名人类挑战者，纽约时报称那一刻为一个“大数据计算的胜利”<br>
从2012年开始，“大数据”变成为各国竞争的一个依据，由“大数据”的发展来看重大的时代变革都少不了“大数据”的身影，因而“大数据”将是如今甚至今后最热门的词汇之一。<br>
2.2 “大数据”的发展趋势<br>
早些年许多大型互联网企业便了解了“大数据”对社会的影响力，便在人们开始真正注意到它之前提前掌握了对“大数据”的运用。如以Amazon为代表的电子商务企业。Amazon通过对消费者的大量购买记录及点击量数据进行分析后为顾客推荐更合适的商品，而在以往只有经验丰富并熟悉顾客的店员才能做到这一点。同样，Facebook也通过分析注册人的信息及时推送可能认识的人，让顾客不至于感到无聊而注销账户。Google通过利用在常人眼中的“数据垃圾”——搜索历史记录，不断提供有价值的服务，如此的搜索引擎在很大程度上方便了人们。<br>
而这些并不是“大数据”的全部，“大数据”更多有益于人类的许多部分还正在发掘中。如：①数据处理引擎专业化：为降低成本提高能效，大数据系统将摆脱传统通用体系趋向专业化架构技术。②数据处理平台多样化：克隆了Google的GFS和MapReduce的Apache Hadoop逐渐被各互联网企业广泛接纳，还有一些如Spark、Presto、Flume、Kafka等的出现扩大了数据技术的生态环境，促使生态环境向良性化和完整化发展。③数据计算实时化：将PB级数据的处理时间缩短到秒级的实时计算受到更多人的关注。<br>
第三章大数据的影响<br>
3.1 社会发展的影响<br>
⑴社会变革的力量<br>
大数据时代的国家竞争是控制权的竞争，未来十年，我国将在民生和生态两方面进行观察并改进。通过大数据看我们在人与人的关系上做得是否比以前更有意义;看我们在社会与自然、人与自然的关系上做得是否比以前更有意义。<br>
⑵经济变革的力量<br>
大数据激发内需的剧增，引发产业的巨变。生产者具有自身的价值，而消费者则是价值的意义所在。大数据可以帮助我们从消费者这里分析意义所在，从而帮助生产者实现更多的价值。<br>
建设更高水平的智慧城乡。以前的城市化建设，物质资源高度集中、高能耗、高物耗、高污染。大数据时代使城镇建设走上以数据流动的方式配置资源的新型发展道路。智慧城乡强调以数据流来配置资金流和物流，引领城乡一体化建设发展。<br>
各行各业数据业务转型升级。大数据带来的另一个变革性的影响就是将数据业务变成各行各业的主营业务，从而改变行业的业态。<br>
⑶组织变革的力量<br>
大数据的特点在于意义主导价值，它将引起组织结构的改变和发展革新。<br>
⑷重构互联网<br>
云计算和大数据已经带来了像IT生产力、计算范式、开发方式这样偏架构和技术的变革，它们最大的价值在于让社会得以革新与升级，促使互联网进行重构。<br>
⑸大数据影响社会信息化的进程<br>
信息的核心就是数据，利用信息技术把有效的数据挖掘出来，实现全面的融合和流通，促进产业结构的升级，推进创新驱动。<br>
3.2 如何应对大数据带来的冲击<br>
大数据时代的到来，对于行内人来说，是一个非常大的机遇。世界正从IT时代转向DT时代，而大数据就是DT时代的代表。首先生产和交换过程开始转变。传统的生产方式将会被全新的生产方式所取代。交换方式也是一样的会有全新的交换方式取代传统的交换方式。其次就是人们不在追求因为所以的关系，而是开始寻求相互之间的关系。再次就是，处理方式发生翻天覆地的变化，以前数据少，人们追求数据的准确性。而现在，大数据时代的来临，数据太多，无法进行精确处理，人们开始从精确性转向了混杂性。进而导致人们开始忽略事物的本质，只注重事情的发展结果。
在大数据时代下, 传统的高维度表达、结构描述和群体行为分析方法已经不能精确表达大数据在异构性、交互性、时效性、突发性等方面的特点, 传统的“假设-模型-检验”的统计方法受到了质疑, 而且从“数据”到“数据”的统计模式还没有真正建立, 急切需要一个新的理论体系来指引, 从而建立新的分析模型.去除数据噪声、筛选有价值的数据、整合不同类型的数据、快速对数据做出分析并得出分析结果等一系列问题都有待于研究.<br>
一是政府机构、行业组织和大型企业要建立专门的数据治理机构来统筹数据治理的工作，例如数据治理委员会、大数据管理局等，数据治理的重点在于数据定义的一致性和数据的质量。在大数据时代，不同系统之间的数据要进行整合，因此要有统一的元数据定义，这不仅是中国而且是全世界当下都在面临的挑战。各个领域和行业的数据标准制定得好，将会起到事半功倍的效果。就单个企业而言，要认识到，未来的竞争是知识生产率而不是劳动生产率的竞争，数据分析产生的价值可能比较碎片化，分布在商业流程的各个环节，数据挖掘的投资回报也有不确定性，但企业领导必须有眼光，把数据治理的工作尽快统筹起来，为增强企业在大数据时代的竞争力做好准备。此外，数据治理机构的首长应该由组织的高层领导担任，否则标准无法推进到全局，也改善不了整个行业或组织的情况。
二是开放数据。数据增值的关键在于整合，但自由整合的前提是数据的开放。开放数据是指将原始的数据及其相关元数据以可以下载的电子格式放在互联网上，让其他方自由使用。开放数据和公开数据是两个不同的概念，公开是信息层面的，是一条一条的；开放是数据库层面的，是一片一片的。开放也不一定代表免费，企业的数据，可以以收费的形式开放。开放也是有层次的，可以对某个群体、某个组织，也可以对整个社会开放。在大数据的时代，开放数据的意义，不仅仅是满足公民的知情权，更在于让大数据时代最重要的生产资料数据自由地流动起来，以催生创新，推动知识经济和网络经济的发展，促进中国的经济增长由粗放型向精细型转型升级。<br>
三是鼓励、扶持基于数据的创新和创业。政策扶持的传统方法，可能是以政府为主导建立大数据产业园，对新兴企业提供办公场所等便利条件或者现金支持，这固然有效，但更有效的方式是调动全社会的力量。<br><br>
结 论<br>
目前我国统计学的发展严重滞后于我国统计实践的需求，完善我国统计学体系这一重任必将落在我们这一代人身上，因而学好统计这一专业不仅是为了我们自身的前途，更是为了祖国今后的发展。<br><br><br><br><br>
1<br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br><br>
参考文献<br>
城田真琴《大数据的冲击》<br>
百度百科大数据<br>
中公教育http://m.offcn.com/it/2017/0911/11208.html<br>
涂子沛 信息技术管理专家 中关村在线转载2013-01-07 09:20:50
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
