发帖
雷达卡
数据分析的概念
数据分析是指通过某种方法和技巧对准备好的数据进行探索、分析，从中发现因果关系、内部联系和业务规律等分析结果，为特定的研究或商业目的提供参考。
数据分析的过程
1、明确分析的目的和内容
数据分析师应该在进行数据分析之前，对自己所要分析的数据和项目进行详细的了解，或对该项目和数据所涉及的行业有较为深入的了解，起码要做到了解该行业的大致框架。只有对数据分析的目的有深刻的理解，才能整理出完整的分析框架和分析思路，因为不同的数据分析目的所选择的的数据分析方法是不同的。这点很关键
2、数据收集
在公司进行商务数据分析时，获取和收集所要分析的数据是一个重要的基础。在公司中数据分析师所要分析的数据基本都来源于数据库，也就是直接到数据库中获取数据，该办法需要使用到数据库工具——SQL语言。所以数据分析师必须要学会掌握SQL语言，但是我们不需完全掌握数据库的各类知识，只需要重点掌握查询、修改、删除、插入、存储过程等知识，尤其是SQL的查询语法，必须要掌握。
3、数据预处理
这是数据分析中最为繁重的工作，占到总工作量的30%-50%，而且常常需要反复去取数据、清洗数据，将业务逻辑转化为可被分析的量化的数据。数据预处理主要包括四部分：数据审查、数据清理、数据转换、数据验证。
4、数据分析
进行真真的数据分析一般需要两方面的知识和能力。一、要熟悉常用的数据分析方法，最基本的是要了解掌握诸如方差、回归、因子、聚类、分类、时间序列等数据分析方法的原理、适用范围、优缺点和结果的解释。二、要熟悉“1+1”中数据分析工具，现在公司最常用的是以“Excel+SQL”的组合做数据分析。然而Excel不是专业的数据分析软件，所以我们有必要掌握诸如SPSS、SAS、R等专业的数据分析工具。现在我在自学SPSS，SPSS有两套软件，即SPSS Statistics和SPSS Modeler，两者最直观的区别是前者处理数据量有限，后者处理数据可以是海量的，也即大数据。而且从功能上前者主要是统计分析，是以统计学的理论为主的，侧重在统计分析功能的应用。而后者不仅包括统计分析的功能，也包括机器学习和人工智能的部分，它侧重于挖掘潜在的知识，为业务作指导。
5、数据展现
即用图和表的方式可视化地将数据分析的结果展现出来。
6、撰写数据分析报告
通过分析报告，可以把数据分析的目的、过程、结果及解决方案完整呈现出来，以为达成商业参考的目的。在写报告时，我们必须要有明确的结论、建议和解决方案，不是仅仅分析了事，还要对分析出来的问题提出相应的解决策略。
数据分析方法简介
数据分析根据使用的工具和理论难度的不同分为四个层级：
一、单纯的数据加工方法
即用最简单的描述性统计分析方法来进行数据分析，一般用SQL+Excel即可完成。具体包括集中趋势分析、离中趋势分析和数据分布分析三大部分。
集中趋势分析主要靠平均数、中位数、众数、分位数来分析。
离中趋势分析主要靠全距（极差）、四分位距、方差、标准差、离散系数来分析。
数据分布分析主要以正态分布为标准进行衡量，并且通过偏态和峰度来辅以说明。
二、数理统计分析方法
这一方法的理论基础是概率论和微积分，需要使用SPSS Statistics、SAS EG等分析工具实现。该方法从数据的分布出发，进行数据的抽样推断和假设检验，由此引出方差分析、回归分析、因子分析、假设检验等基于数理统计的数据分析方法。
三、数据挖掘的数据分析方法
这一方法的理论基础是高等数学，其基本原理比较简单，是根据前期数据得出规则，然后根据规则进行预测和分析 ，需要使用SPSS Modeler、Python、SAS EM等分析工具。这一方法主要研究聚类分析、分类分析（决策树、人工神经网络、贝叶斯分类方法、支持向量机、随机森林）、关联规则、回归分析等问题。
四、大数据的数据分析方法
这一方法的理论基础就是数据挖掘，基于大数据的数据分析简单地说就是分析工具不一样的数据挖掘分析方法。因为大数据的数据量有海量、快速、多样化、有价值四个方面的特征，其海量特性使得无法在一台机器上进行分析，所以需要多台机器进行分布式计算。这一方法需要使用Hadoop、Mahout、Spark、Storm等大数据分析工具。
Ps:这是我第一次写博客，以后我要坚持写下去，记录我的学习点滴，也是促进我不断努力奋进！！！fighting
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
