发帖
雷达卡
Prism可以在列统计分析中检验正态性。它也可以在非线性回归分析中，检验非线性回归残差的正态性。
如何操作：正态性检验
- 分析Column数据
- 创建一个列数据表，使每个数据集位于单独的Y列中。
- 点击分析，在列分析列表中找到并选择正态性检验。
- Prism提供四种正态性检验选项。从中选择一种或多种选项。您也可以选择检验对数正态性，并比较正态分布和对数正态分布。
- 分析非线性回归残差的正态性
残差是数据点到最佳拟合曲线的距离。线性回归和非线性回归的假设之一是残差服从高斯分布。您可以使用Prism对此进行检验。在设置非线性回归时，转到诊断选项卡，并选择一种(或多种)正态性检验。
- 分析线性回归残差的正态性
Prism的线性回归分析不提供检验残差正态性的选项。但这个限制很容易解决。运行非线性回归，选择直线模型，您将获得与线性回归相同的结果，并且有机会选择正态性检验。这只是使用非线性回归分析来拟合直线的众多原因之一。
选择正态性检验
Prism提供四种正态性检验。为什么会有不止一种方法来检验正态性？答案与所有正态性检验的目标有关：评估数值是否来自正态分布。分布偏离正态性的方式有无数种，因此需要多种不同类型的正态性检验是合理的。每种不同的正态性检验在数据中寻找不同的特征，因此每种都会给出不同的结果。
- D'Agostino-Pearson：通过形状评估正态性
D'Agostino-Pearson正态性检验首先计算偏度和峰度，以量化分布在不对称性和形状方面偏离高斯分布的程度。然后，它计算这些值中的每一个与高斯分布期望值的差异程度，并根据这些差异的总和计算出一个单一的P值。它是一种通用且强大的正态性检验，通常被推荐使用。然而，需要注意的是，这一推荐存在例外情况。具体来说，当分布的偏度和峰度非常接近正态分布，但确确实实是非正态分布时，该检验将无法识别出该分布是非正态的。下面的分布就是一个例子。
该分布的偏度为0，峰度为3.0(超额峰度为0)：与正态分布具有完全相同的值。因此，D'Agostino-Pearson检验将无法识别出该分布是非正态的(尽管它显然是非正态的)。请注意，D'Agostino开发了多种正态性检验。Prism使用的是“omnibus K2”检验。
- Shapiro-Wilk：通过标准差评估正态性
在正态性检验方面，Shapiro-Wilk正态性检验是另一个受欢迎的选择。与D'Agostino-Pearson检验不同，Shapiro-Wilk检验不使用分布的形状来确定其是否为正态分布。相反，它将数据的实际标准差(SD)与根据数据的QQ图斜率计算出的SD进行比较，并计算它们的比值。如果数据是从高斯分布中采样的，这两个值将很相似，因此比值将接近1.0，而如果比值与1相差很大，则表明是非正态分布。如果每个值都是唯一的，Shapiro-Wilk检验效果非常好，但当有多个值相同时，效果就不那么好了。有几种方法可以计算Shapiro-Wilk检验。Prism使用的是Royston的方法。Prism只能在样本量小于5000时计算Shapiro-Wilk检验。
- Anderson-Darling和Kolmogorov-Smirnov：通过累计分布评估正态性
Anderson-Darling检验和Kolmogorov-Smirnov检验都使用累计分布来确定数据是否采样自正态分布。两种检验都将实际的累积分布与正态分布理想的累积分布进行比较。然而，这两种检验在进行比较的方式上有所不同。
Anderson-Darling检验通过将数据集的累积分布与高斯分布的理想累积分布进行比较来计算P值。它考虑了累积分布曲线所有部分的差异。
与Anderson-Darling检验不同，Kolmogorov-Smirnov检验根据单一数值计算P值：即数据累积分布与累积高斯分布之间的最大差异。这不是一种非常敏感的评估正态性的方法，我们现在同意这种说法：“Kolmogorov-Smirnov检验只是一种历史遗留产物。绝不应该使用它。”Kolmogorov-Smirnov检验是早期版本的Prism提供的唯一检验。我们仍然提供此检验(为了保持一致性)，但不再推荐它。既然我们不再推荐它，为什么它仍然被包含在内？最初，该检验是Prism提供的唯一正态性检验。我们现在包含它仅仅是为了与使用旧版本软件生成的文件和结果保持一致。我们不推荐使用Kolmogorov-Smirnov检验。
- 关于Kolmogorov-Smirnov检验命名的说明
最初发表的Kolmogorov-Smirnov方法假设您知道总体的均值和标准差(可能来自先前的工作)。在分析数据时，您很少知道总体的均值和SD。您只知道样本的均值和SD。因此，为了计算P值，Prism使用了Lilliefors方法的Dallal和Wilkinson近似法。这有时被称为“Lilliefors’s test”。由于该方法仅在小于P值时准确，对于较大的P值，Prism直接报告“P＞0.10”。如果您遇到任何差异，您应该知道我们多年前在Prism 4.01和4.0b修复了此检验的一个bug。
- 那么我该怎么做？
您应该使用哪种(些)检验？一个可能的答案是根本不使用。正态性检验的有用性远不如许多科学家认为的那么大。另一个答案是运行所有这些检验，并通过查看所有结果来得出结论。如果您必须选择一种正态性检验，我们建议使用D'Agostino-Pearson检验，但这是一个非常“软”的建议(非硬性建议)。如上所示，在某些情况下，该检验根本无法将分布识别为非正态(当它显然不是正态分布时)。
对数正态性检验
Prism可以使用四种不同的对数正态性检验，来检验您的数据分布是否符合对数正态分布。其操作非常简单：它首先计算所有数值的对数，然后对这些对数值进行正态性检验。
如果任何数值为零或负数，该分布绝不可能为对数正态分布，因此Prism将不会执行对数正态性检验。
比较正态分布和对数正态分布
Prism使用似然检验比较正态分布和对数正态分布，并计算数据从这两种分布中采样的相对似然度。注意事项：
- 对数正态分布仅包含正数。在对数正态分布中，负值和零是不可能存在的。如果有任何值为零或负数，Prism将不进行对数正态性检验。
- Prism仅拟合这两种分布，并给出每种分布更可能是数据采样来源的百分比几率。当然，数据可能采样自无限种其他分布。Prism只询问正态分布或对数正态分布哪一个更有可能。如果两者都不太可能，它不会察觉！
- 对数正态分布在生物学中很常见，所以您可能会认为询问数据更可能是采样自正态(高斯)分布还是对数正态分布会很常见。事实上，这种比较很少进行。Prism(截至2017年)在简化此检验方面似乎是独一无二的。
- 有关数学细节，请参阅Burnham和Anderson的《模型选择和多模型推断：一种实用的信息论方法(第2版)》第6.7.2节。基本上，Prism实用最大似然法拟合正态或对数正态分布，然后比较两个似然值。他们指出，这等同于比较两个拟合的AIC(赤池信息量准则)。
- 不要完全依赖似然比较的结果。还要查看正态性和对数正态性的检验结果。
- 不要忘记查看数据分布的图表。使用频数分布分析绘制频数分布直方图。在查看统计结果之前，使用先查看数据。此外，正态性检验分析可以生成两个QQ图，一个假设为正态分布，另一个假设为对数正态分布。在适当假设下制作的QQ图应近似呈直线。
QQ图
当您对Column数据或残差运行正态性检验时，Prism可以绘制QQ图。这类图表的坐标轴有多种标记方式。Prism将实际的Y值绘制在水平轴(X轴)上，将预测的Y值(假设采样自高斯分布)绘制在Y轴上。如果数据采样自高斯(正态)分布，您会期望数据点沿着一条与恒等线(Prism会显示该线)重合的直线分布。
示例QQ图：
结果解读：正态性检验
- 正态性检验回答什么问题？
所有正态性检验都会报告一个P值。要理解任何P值，您需要知道原假设。在这种情况下，原假设是所有数值均采样自服从高斯分布的总体。
P值回答了以下问题：
问：如果该原假设成立，随机数据样本偏离高斯理想分布的程度与这些数据一样大的概率是多少？
答：Prism还使用传统的0.05截至值来回答数据是否通过正态性检验的问题。如果P值大于0.05，答案为“是”。如果P值小于或等于0.05，答案为“否”。
- 如果正态性检验的P值较高，我该得出什么结论？
您只能说数据与高斯分布并不矛盾。正态性检验无法证明数据是采样自高斯分布。正态性检验所能做的仅仅是证明偏离高斯理想分布的程度不超过您预期仅由偶然性导致的程度。对于大型数据集，这令人放心。对于较小的数据集，正态性检验没有足够的检验效能检测出与高斯理想分布的适度偏差。
- 如果正态性检验的P值较低，我该得出什么结论？
原假设是数据采样自高斯分布。如果P值足够小，您拒绝该原假设，从而接受备择假设，即数据并非采样自高斯总体。该分布可能接近高斯分布(在大型数据集的情况下)，也可能与之相差甚远。正态性检验不会告诉您任何关于备择分布的信息。
如果您的P值足够小，以至于可以宣布偏离高斯理想分布的情况具有“统计学显著性”，那么您有四个选择：
- 数据可能来自另一种可识别的分布。如果是这样，你或许能够转换您的数值以创建高斯分布。例如，如果数据来自对数正态分布，将所有数值转换为其对数。
- 一个或几个离群值的存在可能导致正态性检验未通过。运行离群值检验。考虑排除离群值。
- 如果偏离正态性的程度很小，您可以选择不采取任何行动。统计检验对于轻微违反高斯假设的情况往往相当稳健。
- 切换到不假设高斯分布的非参数检验。但是，决定使用(或不使用)非参数检验是一个重大决定。它不应基于单一的正态性检验，也不应被自动化。
问答：正态性检验
- 为什么使用“正态性”这个词？
因为高斯分布也被称为正态分布。
- 哪种正态性检验最好？
Prism提供四种正态性检验(作为列统计分析的一部分提供)：
我们推荐使用D'Agostino-Pearson omnibus检验。如果每个值都是唯一的，Shapiro-Wilk检验也非常有效，但当存在相同值时效果不佳。该检验的原理对非数学专业人士来说难以理解。基于这些原因，尽管Shapiro-Wilk检验在大多数情况下效果很好，我们更倾向于D'Agostino-Pearson检验。
包含带有Dallal-Wilkinson-Lilliefor校正P值的Kolmogorov-Smirnov检验，是为了与旧版本的Prism兼容，但不推荐使用。
- 为什么不同的正态性检验会给出不同的结果？
这三种检验都在询问分布偏离高斯理想状态的程度。由于这些检验使用不同的方法量化偏离高斯的程度，它们给出不同的结果并不令人惊讶。根本问题在于，这些检验并没有询问两种已定义的分布(例如，高斯分布与指数分布)中哪一种更好地拟合数据。相反，它们比较的是高斯分布与非高斯分布。这是一个相当模糊的比较。由于不同的检验处理该问题的方法不同，因此它们给出的结果也不同。
- 计算正态性检验需要多少个数值？
Kolmogorov-Smirnov检验需要5个或更多数值。
Shapiro-Wilk检验需要3个或更多数值。
D'Agostino检验需要8个或更多数值，Anderson-Darling检验也是如此。
- 正态性检验回答了什么问题？
所有正态性检验都会报告一个P值。要理解任何P值，您需要知道原假设。在这种情况下，原假设是所有数值均采样自高斯分布。P值回答了以下问题：
如果该原假设成立，随机数据样本偏离高斯理想分布的程度与这些数据一样大的概率是多少？
- Prism在判断数据集是否通过正态性检验时使用的截至值是多少？
您可以在分析对话框中设置阈值。默认使用传统的0.05截至值。如果P＜0.05，数据未通过正态性检验。当然，这个截至值完全是随意的。
- 所以它能告诉我数据集是否是高斯分布吗？
不能。总体具有的分布可能是高斯分布，也可能不是。样本数据不存在是否为高斯分布的说法。该术语只能适用于采样数据所来源的整个数值总体。
- 有没有数据集是真正采样自理想高斯分布的？
大概没有。在几乎所有情况下，我们可以确定数据并非采样自理想的高斯分布。这是因为理想的高斯分布包含一些极低的负数和一些极高的正数。这些值仅占高斯总体中所有数值的极小部分，但它们是该分布的一部分。在收集数据时，可能的值会收到限制。压力、浓度、重量、酶活性和许多其他变量不可能有负值，因此不可能采样自完美的高斯分布。其他变量可以是负数，但有物理或生理限制，不允许出现超大的值(或具有极低的负值)。
- 但是t检验、方差分析和回归不都假设高斯分布吗？
是的，但大量模拟表明，即使总体仅近似于高斯分布，这些检验也能很好地工作。
- 那么，正态性检验能判断数据是否足够接近高斯分布，从而可以使用这些检验吗？
并非如此。很难定义“足够接近”是什么意思，而且正态性检验的设计初衷并未考虑这一点。
- 正态性检验的全部意义不就是为了决定何时使用非参数检验吗？
不是。决定是使用参数检验还是非参数检验是一个艰难的决定，不应基于正态性检验来自动化做出。
- 我应该如何解读正态性检验报告的K2、KS或W值？
每种正态性检验都会报告一个用于计算P值的中间值。不幸的是，没有明显的方法来解读K2(由D'Agostino检验计算)、KS(由Kolmogorov-Smirnov检验计算)或W(由Shapiro-Wilk检验计算)。据我所知，没有直接的方法可以使用这些值来判断偏离正态性的程度是否严重到足以放弃参数检验。Prism报告这些值仅仅是为了让您可以将结果与教科书和其他程序进行比较。
- 正态性检验有多大用处？
在大多数情况下，用处不大。对于小样本，正态性检验没有足够的检验效能来检测非高斯分布。对于大样本，数据是否为非高斯分布关系不大，因为t检验和ANOVA对违反此标准的情况相当稳健。您真正需要的是一种检验，它能告诉您偏离高斯理想分布的程度是否严重到足以使用假设高斯分布的统计方法失效。但正态性检验做不到这一点。
- 当数据集同时通过正态性检验和对数正态性检验时，意味着什么？
这很常见。变异系数(CV)较小的正态分布(比如小于0.3)看起来与几何标准差(GeoSD)较小的对数正态分布(比如小于1.3)非常相似。这些数据集通常能同时通过正态性和对数正态性检验(除非样本量非常大)。
京公网安备 11010802022788号
