请教讨论：假设检验中的“第一类错误”到底应该等于什么？α？

aoreal 发表于 2013-11-7 13:40
我的看法是：
       我认为发生第一类错误的概率不大于α（显著性水平），应该等于p值。

国内查不到这方面的资料。

我手边暂时没有书，但是凭我的理解回答一下，随后查到了书跟您再探讨！

简单的说——alpha是咱们主观设置的门槛值，跟假设检验本身没关系呀。计算一个统计量这个过程，完全不用alpha值啊，算出来了以后跟alpha对应的critical value去比较，看谁大谁小不是吗？
所以，当然p-value才是犯第一类错误的机率。因为p-value是咱们算出来的统计量在服从的分布上所在的百分位数。

举个例子，例如对多元回归的某系数b检验，H0是b=0, against H1: b=/=0。我们假设多元回归方程的误差项服从正态分布(这个假设是我们规定的，不检验)，那么可以推得(b-0)/s.e.(b)服从自由度为(n-k)的t分布.
然后我们不就算t统计量吗？ 我们算出t statistic = (b-0)/s.e.(b) ，在自由度为(n-k)的t分布上找其百分位，假设发现是99.999%百分位(则p值是0.001%)——也就意味着，基于我们的原假设b=0，构造出来的统计量服从t分布的可能性<=0.001%。

那到底b等于不等于0呢？还是存在一种可能性，即其真的等于0只不过基于我们的样本算成这破结果，这可能性不足0.001%。所以如果真的b=0，但是我们拒绝了H0假设，则犯错误的可能性是最大不超过0.001%。
（我这么想了一遍，p值应该是犯第一类错误的最大的概率，而不是最小的概率吧？）

这里面，哪里有牵扯到alpha呢？

当然，这种概率仍然是存在主观性——即我们对误差项做了正态分布的假设，进而构造出t统计量，但这个假设我们是不检验的；而且，样本是否满足我们的假设，也是事先要做严格检查的。

再举个简单的例子，假设我们要检验一个骰子是否是均匀的。
H0: 筛子是均匀的，从而扔出六个面的机率都是1/6。
H1: 筛子不均匀。

然后我们做实验，随机扔了这个色子3次，发现3次都是6——这个就是我们假设检验的统计量。

基于H0，假设我们要检验的色子是均匀的，那么随机扔3次色子得到点数都是6的机率是(1/6)^3=1/216。

那，到底这个色子是不是均匀的呢？我们不知道，但是可以推测！如果它是均匀的，那么连续扔出3次6的概率只有1/216——这是p值。
假如这个色子真的是均匀的，但是我们基于3次都扔出6这个诡异的事实认定其不是均匀的，那就犯了第一类错误——拒真。犯这个错误的概率显然就是1/216。

以上推论没有涉及神马1%或者5%的alpha吧。

aoreal 发表于 2013-11-10 23:25
我手边暂时没有书，但是凭我的理解回答一下，随后查到了书跟您再探讨！

简单的说——alpha是咱们主观设置 ...

我们的观点比较接近。你说的下面的观点别出心裁：
“（我这么想了一遍，p值应该是犯第一类错误的最大的概率，而不是最小的概率吧？）”

不过这个观点我还在思考。
我目前的观点仍然是：犯第一类错误的概率不大于α，应该等于P值。

aoreal 发表于 2013-11-10 23:51
再举个简单的例子，假设我们要检验一个骰子是否是均匀的。
H0: 筛子是均匀的，从而扔出六个面的机率都是1/ ...

你在根据色子基于3次都扔出6这个诡异的事实认定其不是均匀的，是犯错了，而且犯这个错误的概率是1/216。但是你忘了，在有序排列的时候你用色子扔三次出现任何可能的概率都是1/216！就像扔出3个1，或者其他的。

你为什么认定这个色子是不均匀的？因为出现了小概率事件，所以我们拒绝原假设。而在实验中，每一次实验出现这一个事件的概率都是小概率。比如你的3个6，三个5的，但是如果你把它们都拒绝了的话那你就拒绝了几乎所有的可能性。
怎么判断试验中出现的小概率事件是不是应该被拒绝？我们在实验之前就把一部分事件化为一个群体，实验在这个群体里面出现的概率很小（比如出现3个6或三个5），概率就是显著性水平2/216，这个群体就是拒绝域。而不出现这个群体的可能性很大，就是接受域，置信水平214/216。如果进行实验，实验结果落在我们之前选定的拒绝域里边，那我们才能拒绝原假设，而不是根据你自己认为的概率很小所以拒绝。

      就像你从1~1000的分布里边抽一个数，假设是均匀分布的，那么每个数的可能都是1/1000,但是我们不能因为抽到这个数的可能性很小所以拒绝它是均匀分布的。
     在假设检验中，就是我们先要把可能的结果分为两部分，选择一部分概率总和为α的事件集合作为拒绝域，还有一部分是概率为1-α的事件集合作为接受域。当实验中出现在这个概率仅有α的拒绝域时，我们才能拒绝原假设。
     例如在上面的1~1000中，我们选出1~50作为拒绝域，α=0.05.当我们抽样得到数据在1~50时才能拒绝均匀的假设。

在实际的检验里，你所说的P值实际上是由得到的一个统计量计算而来的。比如在F分布里，你计算出的一个统计量，在单边检验时，P值就是指在整个F可能的取值里，大于你这个F值的概率即P(F>F实际），P值越小说明F值越大。而拒绝域是整个｛F>F0｝,F0是大于此值概率等于α的F值），


在原理上，我们不是因为这个概率很小而拒绝原假设，而是因当你的F值对应的P值<α时，实际的F>F0，你的这个很小的概率正好落在了这个很小的拒绝域里，所以我们才拒绝原假设。

你对假设检验的原理理解有问题，详细的假设检验介绍和对第一类错误的分析你应该可以在任何版本的《概率统计》的假设检验章节里找到。

神之々名下 发表于 2013-11-12 21:31
在实际的检验里，你所说的P值实际上是由得到的一个统计量计算而来的。比如在F分布里，你计算出的一个统计量 ...

谢谢你参与讨论，你认为第一类错误应该等于什么？

kuangsir6 发表于 2013-11-12 21:39
谢谢你参与讨论，你认为第一类错误应该等于什么？

选定的拒绝域的概率，即显著性水平α

神之々名下 发表于 2013-11-12 21:41
选定的拒绝域的概率，即显著性水平α

我的两个疑问（包括沙发位置的追加疑问）你回答一下。