数据分析与方法

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

数据分析与方法

数据分析方法汇总及概述

一、描述统计：

1、概念：描述统计是指运用制表和分类，图形以及计算概括性数据来描述数据的集中趋势、离散程度、偏度、峰度。

2、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率\回归法、决策树法。

3、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-S检验、P-P图、Q-Q图、W检验、动差法。

二、假设检验：

一）参数检验：

1、概念：在已知总体分布的条件下（一般要求总体服从正态分布）对一些主要的参数（如均值、百分数、方差、相关系数等）进行的检验。

        2、U检验：使用条件：当样本含量n较大时，样本值符合正态分布。

3、T检验：使用条件：当样本含量n较小时，样本值符合正态分布。

     分类：1）单样本t检验：推断该样本来自的总体均数μ与已知的某一总体均数μ0（常为理论值或标准值）有无差别。2）配对样本t检验：当总体均数未知时，且两个样本是配对的，同对中的两者在可能会影响处理效果的各种条件方面极为相似。3）两独立样本t检验：无法找到在各方面极为相似的的两样本作配对时使用。

二）非参数检验：

1、概念：不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一般性假设（如总体分布的位置是否相同，总体分布是否正态）进行检验。

2、使用情况：1）顺序类型的数据资料，这类数据的分布形态一般是未知的。2）虽然是连续数据，但总体分布形态未知或者非正态。3）总体分布虽然正态，数据也是连续类型，但样本容量极小，如10以下。

3、主要方法：卡方检验、秩和检验、二项检验、游程检验、K-S检验。

三、信度分析：

1、概念：检查测量的可信度，例如调查问卷的真实性。

2、分类：1）外在信度：不同时间测量时，量表的一致性程度。常用方法：重测信度。

2）内在信度：每个量表是否测量到单一的概念，同时组成两表的内在体项一致性如何。常用方法：分半信度。

四、列联表分析：

1、意义：用于分析离散变量或定型变量之间是否存在相关。

2、方法：对于二维表，可进行卡方检验，对于三维表，可作mentel-hanszel分层分析。

3、其他：列联表分析还包括配对计数资料的卡方检验，行列均为顺序变量的相关检验。

五、相关分析：

1、概念：研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。

2、单相关：两个因素之间的相关关系，只涉及一个自变量和一个因变量。

3、复相关：三个或三个以上因素的相关关系，涉及两个或两个以上的因变量和自变量。

4、偏相关：在某一现象与多种现象相关的场合，当假定其他变量不变时，其中两个变量之间的相关关系。

六、方差分析：

1、使用条件：是相互独立的随机样本，来自正态分布总体，方差相等。

2、单因素方差分析：一项实验只有一个影响因素，或者存在多个影响因素时，只分析一个因素与响应变量的关系。

3、多因素有交互方差分析：一项实验有多个影响因素，分析多个影响因素与响应变量的关系，同时考虑多个影响因素之间的关系。

4、多因素无交互方差分析：分析多个影响因素与响应变量的关系，但是影响因素之间没有影响关系或忽略影响关系。

5、协方差分析：传统的方差分析存在明显的弊端，无法控制分析中存在的某些随机因素，使之影响了分析结果的准确度。协方差分析主要是在排除了协变量的影响后在对修正后的主效应进行方差分析，是将线性回归与方差分析结合起来的一种分析方法。

七、回归分析：

一）一元线性回归：只有一个自变量X与因变量Y有关，X与Y都必须是连续型变量，因变量Y或其残差必须服从正态分布。

二）多元线性回归：

1、使用条件：分析多个自变量与因变量Y的关系，X与Y都必须是连续型变量，因变量Y或其残差必须服从正态分布。

2、变量筛选方式：选择最优回归方程的变量筛选法包括全模型法、逐步回归法、向前引入法和向后剔除法。

3、模型诊断方法：1）残差检验：观测值与估计值的差值要服从正态分布。2）强影响点判断：寻找方式一般分为标准误差法、Mahalanobis距离法。3）共线性诊断：诊断方式包括容忍度、方差扩大因子法、特征根判定法、条件指针CI、方差比例。处理方法包括增加样本容量或选取另外的回归如主成分回归、岭回归等。

三）logistic回归：

1、使用条件：线性回归模型要求因变量是连续的正态分布变量，且自变量和因变量呈线性关系，而logistic回归模型对因变量的分布没有要求，一般用于因变量是离散时的情况。

2、分类：有条件与非条件之分，区别在于参数的估计是否用到了条件概率。

    四）其他回归方法：非线性回归、有序回归、probit回归、加权回归等。

八、聚类分析：

一）概念：样本个体或指标变量按其具有的特性进行分类，寻找合理的度量事物相似性的统计量。

二）性质分类：

1、Q型聚类分析：对样本进行分类处理，又称样本聚类分析。使用距离系数作为统计量衡量相似度，如欧式距离、极端距离、绝对距离等。

2、R型聚类分析：对指标进行分类处理，又称指标聚类分析。使用相似系数作为统计量衡量相似度，如相关系数，列联系数等。

三）方法分类：

1、系统聚类法：适用于小样本的样本聚类或指标聚类，一般用系统聚类法来聚类指标，又称分层聚类。

2、逐步聚类法：适用于大样本的样本聚类。

3、其他聚类法：两步聚类、K均值聚类等。

九、判别分析：

一）概念：根据已掌握的一批分类明确的样品建立判别函数，使产生错判的事例最少，进而对给定的一个新样品，判断他来自哪个总体。

二）与聚类分析区别：

1、聚类分析可以对样本进行分类，也可以对指标进行分类；而判别分析只能对样本进行分类。

2、聚类分析事先不知道事物的类别，也不知道分几类；而判别分析必须事先知道事物的类别，也知道分几类。

3、聚类分析不需要分类的历史资料，而直接对样本进行分类；而判别分析需要分类历史资料去建立判别函数，然后才能对样本进行分类。

三）方法分类：

1、fisher判别分析法：以距离为判别准则来分类，即样本与那个类的距离最短就分到哪一类。适用于两类判别。

2、bayes判别分析法：以概率为判别准则来分类，即样本属于哪一类的概率最大就分到哪一类。适用于多类判别。

3、bayes判别分析法比fisher判别分析法更加完善和先进，它不仅能解决多类别分析，而且分析时考虑了数据的分布状态，所以一般较多使用。

十、主成份分析：

将彼此相关的一组指标变量转化为彼此独立的一组新的指标变量，并用其中较少的几个新指标变量就能综合反应原多个指标变量中所包含的主要信息。

十一、       因子分析：

一）概念：一种旨在寻找隐蔽在多变量数据中，无法直接观察到却影响或支配可测变量的潜在因子、并估计潜在因子对可测变量的影响程度以及潜在因子之间的相关性的一种多元统计分析方法。

二）与主成份分析比较：

1、相同：都能够起到清理多个原始变量内在结构关系的作用。

2、不同：主成份分析重在综合原始变量的信息，而因子分析重在解释原始变量之间的关系，是比主成份分析更深入的一种多元统计方法。

三）用途：

1、减少分析变量个数

2、通过对变量间相关关系探测，将原始变量进行分类。

十二、       时间序列分析：

1、概念：动态数据处理的统计方法，研究随机数据序列所遵从的统计规律，以用于解决实际问题；时间序列通常由4种要素组成：趋势、季节变动、循环变动和不规则波动。

2、主要方法：移动平均滤波和指数平滑法、ARIAM模型、SARIAM模型、ARIMAX模型、向量自回归模型、ARCH族模型。

十三、       生存分析：

一）概念：用来研究生存时间的分布规律以及生存时间和相关因素之间关系的一种统计分析方法。

二）包含内容：

1、描述生存过程：即研究生存时间的分布规律。

2、比较生存过程：即研究两组或多组生存时间的分布规律，并进行比较。

3、分析危险因素：即研究危险因素对生存过程的影响。

4、建立数学模型：即将生存时间与相关危险因素的依存关系用一个数学式表示出。

三）方法：

1、统计描述：包括求生存时间的分位数、中数生存期、平均数、生存函数的估计、判断生存时间的图示法，不对所分析的数据作出任何统计推断结论。

2、非参数检验：检验分组变量各水平所对应的生存曲线是否一致，对生存时间的分布没有要求，并且检验危险因素对生存时间的影响。

3、半参数模型回归分析：在特定的假设之下，建立生存时间随多个危险因素变化的回归方程，这种方法的代表是cox比例风险回归分析法。

4、参数模型回归分析：已知生存时间服从特定的参数模型，拟合相应的参数模型，更准确地分析确定变量之间的变化规律。

十四、       典型相关分析：

1、  概念：相关分析一般分析两个变量之间的关系，而典型相关分析是分析两组变量（如3个学习能力指标与5个在校成绩表现指标）之间相关性的一种统计分析方法。

2、  思路：典型相关分析的基本思想和主成分分析的基本思想相似，他将一组变量与另一组变量之间单变量的多重线性相关性研究转化为对少数几对综合变量之间的简单线性相关性的研究，并且这少数几对变量所包含的线性相关性的信息几乎覆盖了原变量组所包含的全部相应信息。

十五、       ROC分析：

1、  概念：ROC曲线是根据一系列不同的二分类方式（分界值或决定阙），以真阳性率（灵敏度）为坐标，假阳性率（1-特异度）为横坐标绘制的曲线。

2、  用途：1）能很容易地查出任意界限值时的对疾病的识别能力。2）选择最佳的诊断界限值，roc曲线越靠近左上角，实验的准确性就越高。3）两种或两种以上不同诊断实验对疾病识别能力的比较，一般用ROC曲线下面积反应诊断系统的准确性。

十六、       其他分析方法：

多重响应分析、距离分析、项目分析、对应分析、决策树分析、神经网络、系统方程、蒙特卡洛模拟等。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：数据分析与方法 数据分析 Logistic回归模型 Mahalanobis logistic回归 数据分析与方法

还蛮齐全的