大数据分析：大数据小数据，有用的就是好数据

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

大数据分析：

    大数据小数据，有用的就是好数据

大数据到底有多大?

在 2001 年，道格 · 莱尼(Doug Laney)写下了一篇具有开创性意义的文章。在这篇文章中，莱尼描绘了一直困扰着他的客户的一个数据问题。莱尼的客户受困于体量(Volume)过于庞大的数据，这些数据正在以爆发式的速度(Velocity)增长，同时数据所呈现的形式也非常多样化(Variety)。莱尼的体量、速度和多样化理论得到了广泛认可，并被称为「大数据的三重奏」。

遗憾的是，许多人并没有抓住莱尼的重点。他在文章中所描述的是大数据所蕴含的问题，而不是优势。

想要收集大数据其实并不容易，而且收集和使用的成本往往非常高昂。与此同时，在一般情况下大数据和具体商业问题的关联度其实并不明显，遑论大数据往往不能满足品质标准的要求。况且在面对大数据时，管理数据所投入的资源并不能在分析、二次研究以及执行等环节中使用。由此看来，大数据对于许多人而言其实并不是一个祝福。相反，大数据有可能会严重摊薄企业在数据分析环节所需要的资源。

数据2

大数据思维

和其他问题相比，某些问题往往会显得更加重要，而某些问题则往往会显得更为复杂。但即便是在解决那些非常重要或复杂问题的时候，我们也不一定需要体量庞大的数据。

我最喜欢的例子之一是载人航天计划，你只需要考虑想要活着将人送到太空所需要的所有信息和计算，就不难理解这是一个多么复杂的问题。载人航天任务所涉及的数据包括：

宇航员的身体状况和医学信息

地理测量学(航天器的位置)和重力场

气象学，云层量和辐射平衡

大气物理学

磁场强度

宇宙射线和辐射捕获量

电磁辐射(紫外线、X 射线和伽玛射线

这份清单只是所需清单中的一小部分，但它所包含的信息量已经非常庞大。甚至连笔者本人也不清楚这些信息到底意味着什么，他只是从一份老旧的 NASA 文件中找到这份清单。(有谁知道行星际介质的测量方法吗?)

载人航天计划所需要的数据到底有多少?与之匹配的计算能力又该有多少?这两个问题的答案你能猜出来吗?

笔者曾有幸和「水星计划」(Mercury Project，美国第一个载人航天计划)的编程人员露西 · 西蒙 · 拉科夫(Lucy Simon Rakov)进行会谈，她向我描述了项目所使用的电脑。据拉科夫描述，尽管项目中的电脑性能非常强大，但内存却只有 300 千字节。你没有看错，不是「艾字节」，不是「拍字节」，也不是「兆字节」，而是「千字节」!

换而言之，只要你足够聪明，你就可以凭借内存极小的设备将航空器送上太空，要知道 300 千字节的内存甚至连存储一张大一点的图片也不够。由此看来，小小的空间其实也大有所为!

尽管如此，大数据有时会变得相当宝贵，与其价值相比，处理中的烦恼和成本甚至也变得不值一提。

大数据有什么好处?

大数据可以针对用户提供定制化的细节数据，有了这些数据，你可以作出更加明智的决策。实际上，有了大数据的帮助，你在顷刻间即可完成上千项决策。

如果说你可以一个接着一个地观察用户，你会更了解他们的习惯、喜好和需求。你会更了解如何和他们相处。只要数据的准确度和质量得当，大数据可以让你以定制化的方式与用户保持亲近，就像对待朋友一样。

你可以通过分析数据中的细节为用户提供个性化服务，客户可以从你身上获得类似于亚马逊(Amazon)或者 Netflix 的针对性服务。更加显著的例子是在线婚恋网站的配对服务。

我需要大数据吗?

除非你已经可以在工作中善用日常更小级别的数据，否则大数据对你而言还言之过早。更重要的是，不论面对的是大数据还是小数据，最重要的是你可以善用数据，并将其转化成自己的强力武器。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：大数据分析 数据分析 大数据 小数据 Mercury 大数据分析 大数据小数据 有用的就是好数据

如今互联网的兴起和快速发展，使得大多数互联网公司和大型企业集团都开始依靠大数据的客观规律和分析来为自己的公司的未来规划和分布，可见数据分析和数据挖掘行业在整个职业市场的热度是持续上涨的。很多人从本科统计学或计算机相关专业出来后从事着数据分析或数据挖掘的相关工作。但时代是发展的，也是推陈出新的。现在日益兴起的新型的数据挖掘技术和软件让老一代的职工有点无所适从。因此，紧跟时代步伐，进行数据挖掘培训师必不可少的，而且越早进入数据挖掘培训，就能越早地在个人职业生涯抢占先机。接受数据挖掘培训，让你的个人数据职业生涯重新焕发生机吧！Logistic回归是商业建模的常用重要数据挖掘方法，本讲要讲清楚Logistic回归的建模原理、与多元线性模型的区别、R语言实现过程及回归诊断注意事项、预测方法和结果解释，让学员彻底地掌握Logistic回归解决问题的R语言方法。
主要案例：
■案例1：利用Logistic回归帮助商业银行完成对客户提前还贷款情况的预测； 　■案例2：利用Logistic回归帮助医生对病人选择最佳治疗方案； 　■案例3：利用Logistic回归帮助厂家分析顾客做出购买决策的重要因素；■案例4：利用Logistic回归帮助寿险公司进行目标客户精准电话营销； 　■案例5：利用Logistic回归帮助商业银行完成对客户的信用评分； 　■案例6：利用Logistic回归帮助公司分析客户流失的原因并做好预测。

第三讲：关联规则和R语言实现
关联规则（著名的“啤酒和尿布”）是数据挖掘的基础和核心技术之一，本讲将着重围绕经典的Apriori算法和eclat算法，阐明关联规则的支持、置信和提升程度与控制，使用R语言快速完成关联规则分析。
主要案例：

■案例1：使用R语言关联规则方法帮助各个超市实现商品的最佳捆绑销售方案（即“购物篮”分析）； 　■案例2：泰坦尼克号乘客幸存的关联规则分析； 　■案例3：提高个人收入的关联分析。

数据价值是由业务目标所决定的，当你的数据分析团队，知道什么因素影响你的业务成功？什么会提高收入和节约成本？那么你就能从小的数据中获取价值，只有当一个企业在小数据中获得有价值的信息后，我们才能去处理好大数据并且从中获取更高的价值。

大数据寻求的是海量数据，海量到什么份上？就是全样本。全样本和抽样显然是不同的。过去的研究，由于操作性的关系，很难做到全样本，需要去抽样。抽样的科学做法是“随机”——不过这一点听着容易，做起来相当困难。真正的随机抽样需要花很多钱（利用社交网络关系，通过一个用户做问卷再发动这个用户找更多的人来做问卷，一点都不随机），而且一个无法绕过的弊端在于：如果你使用调查问卷的方法，你很难排除回答者的语言回答一定就是ta心中真正的想法或者实际上的真正行为。
只要有足够多的数据可以处理———不管是你的iPhone上的数据、杂货店购物状况、在线约会网站个人简介或者是整个国家的匿名健康记录，利用对这些原始数据进行解码的计算能力，人们可以获得数不胜数的有价值的见解。甚至连奥巴马ZF也已经赶上了这股潮流，并在5月9日向企业家、研究人员和公众“破天荒”发布了大量“以前难以获取或难以管理的数据”。

"传统采集数据的过程一般是有限的、有意识的、结构化的进行数据采集，例如问卷调研的形式。你能采集到的数据一定是你能设想到的情况。数据的结构化较好。一般的数据库Mysql甚至Excel就能满足数据处理过程。
而互联网时代里，大数据的采集过程基本是无限的、无意识的、非结构化的数据采集。各种纷繁复杂的行为数据以行为日志的形式上传到服务器。专属的例如Hadoop、Mapreduce等工具就不赘述。"

大数据的鼓吹者希望人们相信，在一行行的代码和庞大数据库的背后存在着有关人类行为模式的客观、普遍的洞察，不管是消费者的支出规律、犯罪或恐怖主义行动、健康习惯，还是雇员的生产效率。但是许多大数据的传道者不愿正视其不足。数字无法自己说话，而数据集——不管它们具有什么样的规模——仍然是人类设计的产物。