数据分析师告诉你：数据准备在大数据分析中地位有多重要

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

数据分析师告诉你：数据准备在大数据分析中地位有多重要

从大数据分析一面世时，各大企业都争先恐后进行大数据的收集和分析，进而给自己的决策带来借鉴和宝贵意见。但大数据分析的发展，大数据收集远远不能满足，也无法更为精准精确地为大数据分析提供更好的数据来源。于是，数据准备作为一名兴起的无名背后英雄，开始在大数据分析中占据重要地位。下面就好好让数据分析师告诉你：数据准备在大数据分析中地位有多重要！

随着企业花越来越多的时间来分析数据，清理和准备数据的解决方案将会变得更有价值。现在大数据是热门话题，你在任何地方与任何人交谈很难不提到大数据。事实上，大数据的术语有点被过度使用，它对不同的人意味着不同的东西，但所有这些定义都有一个共同点，那就是数据!

上面我们说大数据依赖于数据，这似乎很明显，但大数据分析的成功需要的不仅仅是原始数据，还需要好的高质量数据。所以，更准确的说法应该是，大数据的成功需要准备好的数据。对于分析，有句古老的格言，“进来是垃圾，出去也是垃圾”，这意味着如果你把大量参差不齐的数据放到分析解决方案，你将会得到不好的结果。

数据的清理和准备历来都是漫长的艰巨的耗时的过程。当笔者还在Yankee Group公司时，他们迁移CRM系统，在迁移工作之前，该公司花了一年时间来清理现有系统中的记录数据，以确保不会迁移不好的数据。虽然他们做了这么多工作，仍然有很多不良信息被迁移过去。

最近，笔者看到一家被称为Paxata的公司，该公司提供的解决方案可以进行所谓的“自助服务自适应数据准备”。在分析或运营报告工作之前，该技术可以整合、清理和形成数据。市面上很多现有的商业智能产品声称可以简化分析过程，但事实是，大多数数据科学家和数据分析师花费大量时间来为分析准备数据。鉴于此，笔者认为，大多数企业宁愿聘请高薪人才找出数据的含义(+微信关注网络世界)，而不是清理数据。

Paxata提供数据整个生命周期的准备，包括探索、清理、更换、形成和发布数据以进行分析。该产品还允许不同的数据团队共享相同的数据集，让不同的团队可以同时编辑和访问多个设备的信息。该产品还是一个管理解决方案，它会追踪项目内的每个步骤，并有完全的重放功能来审查已经完成的更改。

Paxata的用户可以提高对大型数据集的分析生产率，同时最小化数据蔓延的危险。该产品既可作为云服务—确保数据准备的灵活性，也可以作为内部部署的解决方案，它可以整合到Hadoop以更快获取价值。

正如上文所述，大数据现在是一个热门话题，但企业和IT领导者需要明白，分析糟糕的数据意味着糟糕的分析结果，可能会造成错误的商业决策。正因为如此，笔者希望看到数据准备技术会开始像大数据一样热门。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：数据分析师告诉你 数据分析师 大数据分析 数据分析 告诉你 数据分析师 数据准备 大数据分析 大数据

随着企业花越来越多的时间来分析数据，清理和准备数据的解决方案将会变得更有价值。现在大数据是热门话题，你在任何地方与任何人交谈很难不提到大数据。

大多数数据科学家和数据分析师花费大量时间来为分析准备数据。鉴于此，我认为，大多数企业宁愿聘请高薪人才找出数据的含义(+微信关注网络世界)，而不是清理数据。

大数据现在是一个热门话题，但企业和IT领导者需要明白，分析糟糕的数据意味着糟糕的分析结果，可能会造成错误的商业决策。正因为如此，笔者希望看到数据准备技术会开始像大数据一样热门。

大数据分析的成功需要的不仅仅是原始数据，还需要好的高质量数据。所以，更准确的说法应该是，大数据的成功需要准备好的数据。

大数据分析的作用是——进来的是垃圾，输出的是精华。
所谓的大数据，大约就是说现在有座正在形成的巨型矿山，快去抢占成为煤老板吧，下一个盖茨兴许将在这里诞生。

接下来好好说。如果说硬要说相似度的话，那么重合度的确是有很高。因为大数据干的事情其实就是数据挖掘做的事情。


数据挖掘之前叫 KDD(Knowledge Discovery and Data Mining, 或者也可以是 Knowledge Discovery in Database)，这样说就很好解释了。数据挖掘就是从海量的数据中发现隐含的知识和规律。那么说，这个东西是啥时候提出来的?上个世纪。大数据啥时候提出来的?也就这几年的事情吧。所以说，大数据很大程度上是数据挖掘的一个好听的名字。


其实也不能一概否定“大数据”，至少通过媒体的热炒，让很多人知道了“数据”的重要性。只是很多人都不知道怎么做大数据，因为这个东西本来就是虚的嘛。如果想了解大数据，那么踏踏实实的做法是学习一下“数据挖掘”和“机器学习”相关的知识。


数据挖掘基于数据库理论，机器学习，人工智能，现代统计学的迅速发展的交叉学科，在很多领域中都有应用。涉及到很多的算法，源于机器学习的神经网络，决策树，也有基于统计学习理论的支持向量机，分类回归树，和关联分析的诸多算法。数据挖掘的定义是从海量数据中找到有意义的模式或知识。

大数据是最近两年提出来，也是媒体忽悠的一个概念。有三个重要的特征：数据量大，结构复杂，数据更新速度很快。由于Web技术的发展，web用户产生的数据自动保存、传感器也在不断收集数据，以及移动互联网的发展，数据自动收集、存储的速度在加快，全世界的数据量在不断膨胀，数据的存储和计算超出了单个计算机(小型机和大型机)的能力，这给数据挖掘技术的实施提出了挑战(一般而言，数据挖掘的实施基于一台小型机或大型机，也可以进行并行计算)。Google提出了分布式存储文件系统，发展出后来的云存储和云计算的概念。

大数据分析的作用是——进来的是垃圾，输出的是精华，需要专业的技术分析和慧眼识别

是的，好的大数据利用前提是有高质量的大数据。

数据分析和挖掘部门位于科技部门，优点是直接可以了解所有数据，利用最新的大数据计算分析技术来进行数据分析和建模，数据视野好。面对全局数据建立数据采集和分析系统，系统复用程度高，降低重复投资，效率高。但是团队人员商业敏感度低，过度关注技术和架构，重视技术的领先和处理效率，数据商业敏感度低，不重视数据商业化场景，对业务理解程度不够，支持力度不如前者。

数据分析师将杂乱的数据进行整理后，将数据以不同的形式展现给产品经理、运营人员、营销人员、财务人员、业务人员等。提出基于数据的结果和分析建议，完成数据从原始到商业化应用到关键一步，数据分析师的数据敏感度、商业敏感度、分析角度、表达方式对于商业决策很重要。