数据分析师告诉你：如何更好地驾驭大数据？

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

数据分析师告诉你：如何更好地驾驭大数据？

到2018年全球大数据方面的开支将达1140亿美元，是5年前的3倍；到2020年全球大数据规模将达44ZB（泽字节），是2013年的10倍。下一波大数据浪潮即将来袭，但是并没有多少组织为此做好准备。如果应对措施不当，你可能就不是弄潮的那个，而是被浪尖打翻的那个。如何为驾驭大数据做好准备呢？请看Crewspark CEO Cameron Sim的文章。

1140亿美元。这是2018年全球组织在大数据方面的开销，仅仅5年的时间就增长了300%以上。但是这些投入有多少是值得的呢？

过去10年，我们目睹了大数据管理新方法的广泛应用，如MapReduce、供大规模存储使用的非模式化数据库，以及用于存储和处理的Hadoop、Storm和Spark等。但是大数据的使用不仅仅是特定平台或范例的部署而已：理想情况下这意味着公司对数据的建构和组织要如何进行彻底的重新设计。

但据调查发现，目前还没有多少组织为新的数据平台和能力做好基本准备。只有35%的组织拥有了“健壮的数据捕捉、管理、验证及保存流程”，更有67%“缺乏衡量定义明确的大数据行动成功的标准。”那些大数据解决方案基本都是被动集成进来的。

但时间可不等人，根据2014年IDC的报告，到2020年，全球的数据总量将达44ZB，整整是2013年的10倍。面对着下一波的数据大爆发，那些未做好准备的公司将可能就会有背负运营和技术双重债务的风险，并因数据落后而被淘汰出局。

具体而言，这些风险体现在以下几个方面：

企业丧失透明度

业界将面临大规模的技能短缺问题——很少有IT专业人士有经验管理大规模的大数据平台。根据麦肯锡的分析，到2018年，美国将出现150万名有能力做出基于数据决策的经理。为了缩短这一鸿沟，麦肯锡估计企业将需要把数据和分析预算的50%投入到一线经理的培训上面。但是还没有多少公司意识到这一点。

随着数据需求的扩大，如果对信息管理缺乏深刻理解，对数据扩展性缺乏最佳实践，那么在管理数据驱动的系统时就会遭遇到重大挑战。而糟糕的运营透明度会导致企业很难识别出数据何时不准确和无意义，甚至连关键报表和指标是否正确运行都不知道。理清这些错综复杂并对数据提出正确的问题将成为IT人员的必备技能。否则就会缺乏对企业运营的可视性，无法有效做出知情决策并削弱企业的竞争优势。

人工成本飙升

据估计2014年时数据科学家50-80%的工作时间花在了数据集清理和处理上。近期公司往往倾向把数据准备工作的自动化外包给离岸或近岸的数据专家。对CloudFactory、MobileWorks及Samasource这类微工作平台的需求已经爆发，据估计，到2018年这类业务的规模将达到50亿美元。

但是外包无法规模满足需求。鉴于未来的数据量将达到44ZB，数据的这种快速增长会需要成千上万具备长期可行的解决方案的离岸或近岸外包团队。而任何可持续的解决方案都离不开显著的自动化。

通信障碍

现在企业间的交互依靠的是经过组织的数据，但与未来20年发生的事情相比，这种组织数据的过程将会显得苍白无力。未来将会出现新的企业数据网络标准以及相应的算法和元数据。未能参与到这一全球数据市场的公司将无法利用市面上销售的这些数据产品。

全球各个领域都在发生这种朝着大规模商业数据共享的演变。比方说，在要求第三方验证其研究的压力之下，像葛兰素史克这样的药企最近都拟定了更广泛共享实验数据的计划。奥巴马总统已经要求技术公司共享潜在黑客威胁的数据。Forrester最近的一项研究预测，数据服务将成为2015年的主流产品。按照这种节奏，10年后大数据的有效使用不仅会成为市场致胜的关键，而且还是参与市场的先决条件。

这些风险就像一个个大数据的定时炸弹，对你构成严峻挑战。不过如果你采取下面的三个步骤，危险也许就可以解除。

1、不要走一步看一步

为了确保未来的分析能力，企业必须现在就开始投资一个能够快速有效管理新数据集的平台。应该考虑业务未来在数据摄入与联合方面如何运作，如何从传统的系统过渡到端到端的自动化的数据与分析。

其核心是这个平台要能够有目的地、小心地、透明地扩充，而不是光收集数据，但对这些数据使用却没有明确的目的，或者在数据的解析上不做投入。

2、再痛也要重建旧数据应用架构

许多公司过度依赖维护开销很高的旧系统，导致升级或作出战略变革的优先性被贬低。甚至一些大公司也是如此，比方说三星的SmartHub TV是跑在云上面的，但是因为顾忌迁移成本，其所有的金融交易仍在本地处理。

其结果就是在许多组织里面数据形成了一个个以部门为单位的烟囱。某些数据，比方说社交媒体方面的信息，甚至还保存在公司以外，这又增加了一层复杂性。要想大数据创新，企业必须以提高跨部门运营透明度为焦点对旧的数据应用进行翻新。

3、模块化、多颗粒度的数据管理

要把裸数据和洞察数据塑造成模块化、组织得当、具备各种颗粒度的实体，这一步做得越深入，越能够有效的利用商业洞察，同时还能在永远变化的大数据形势中保持敏捷的反应力。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：数据分析师告诉你 数据分析师 数据分析 分析师 大数据 数据分析师告诉你：如何更好地驾驭大数据？ 数据分析师 大数据

过去10年，我们目睹了大数据管理新方法的广泛应用，如MapReduce、供大规模存储使用的非模式化数据库，以及用于存储和处理的Hadoop、Storm和Spark等。但是大数据的使用不仅仅是特定平台或范例的部署而已：理想情况下这意味着公司对数据的建构和组织要如何进行彻底的重新设计。

随着数据需求的扩大，如果对信息管理缺乏深刻理解，对数据扩展性缺乏最佳实践，那么在管理数据驱动的系统时就会遭遇到重大挑战。
万物皆数据的时刻到来时，商业发展的更多新机会将会出现，数据将会帮助我们更好地做出判断，比如，什么时候最适合吃饭、什么时候身体疲惫适合睡觉和什么时候记忆力最好等，这些都能通过数据来进行预判。甚至于，当记录了人的足够数据之后，数据就可能告诉我们此时此刻应该做些什么及最佳的策略。也许在那时，决定人是否聪明的指标，已经不是 IQ，而是是否拥有足够优质的数据。

大数据分析属于应用领域，因为更贴近市场需求，见效更快，受到资本的欢迎，一大批创业公司涌现出来。tableau、KarmaSphere、 Datameer、metamarkets等公司是其中佼佼者，他们的大数据分析工具已经能够整合Hadoop、NOSQL数据库，并在此基础上实现分类、聚类、推荐等算法，动态分析和展现数据分析结果。

为社交媒体、广告公司、企业客户、电子商务等行业客户提供数据分析，帮助这些行业提升数据分析的水平，如DataSift、RelateIQ、RocketFuel等创业公司。

随着大数据技术的进一步发展，Hadoop 2.0、流计算、内存计算、移动数据分析、大数据存储、大数据云等创业企业也逐步壮大起来，大数据创业投资的市场仍将欣欣向荣。


我看到很多数据从业者在网络上聚集、交流。虽然目前全国范围数据圈子并不大，目前的需求量也比较小，大多数据人都只能在一二线城市寻觅工作机会。但我也感觉到越来越多的数据分析、数据挖掘的群体在不断壮大，招聘网站相关岗位也越来越多，招聘要求也越来越靠谱，说明数据工作逐渐在成为一个为大众所接受和熟知的职业，相信几年以后，数据分析师会像HR、会计、程序员一样成为企业普遍需要的职位。


从事数据分析工作的人必须了解你使用的数据是怎么处理出来的，要了解数据库的结构和基本原理，同时如果条件充足的话，你还能有足够的能力从数据库里提取你需要的数据（比如使用SQL进行查询），这种提取数据分析原材料的能力是每个数据从业者必备的。此外，如果要想走的更远，还要能掌握一些编程能力，从而借住一些专业的数据分析工具，帮助你完成工作。

现在企业间的交互依靠的是经过组织的数据，但与未来20年发生的事情相比，这种组织数据的过程将会显得苍白无力。未来将会出现新的企业数据网络标准以及相应的算法和元数据。

为了确保未来的分析能力，企业必须现在就开始投资一个能够快速有效管理新数据集的平台。应该考虑业务未来在数据摄入与联合方面如何运作，如何从传统的系统过渡到端到端的自动化的数据与分析。

某些数据，比方说社交媒体方面的信息，甚至还保存在公司以外，这又增加了一层复杂性。要想大数据创新，企业必须以提高跨部门运营透明度为焦点对旧的数据应用进行翻新。

大数据预测与传统的基于抽样的预测不同之处在于，其基于海量历史数据和实时动态数据，发现数据与结果之间的规律，并假设此规律会延续，捕捉到变量之后进行预测。一个领域本身便有相对稳定的规律，大数据预测才有机会得到应用。

现在，随着社交媒体的兴起，零售企业有必要也有可能从微博、博客、论坛等社交媒体上了解与企业和经营相关的信息。以前，企业的IT架构不具备处理海量社交媒体数据的能力，但是现在，实时、快速地处理大量的非结构化数据已经成了一种常态。

一个合格的数据分析从业者，需要对自己的分析和结果负责，不能下结论的情况下，不要妄下定论，更不能有意扭曲事实。同时还要不断充实数据分析方面的知识技能，尽量避免出现无意识的错误。