如何简洁地做假设检验
好像贝叶斯的假设检验形式更一贯而简洁,更符合同逐渐发展起来的更完善的数学体系和计算体系甚至是一般的调查研究的基本发展结合的更好。传统的假设检验模式显得赘余。一般的软件设计出来也是很死板的照抄某种方法,要你输入若干条件,然后按照既有的方法输出若干量,结果就变成了你被各种软件玩,而不是你利用各种软件了。其实我在想那样的肯定和很特定的工作模式相关的。
我自己蛮信IDEO的一种想法,当问题出现时需要一种很SMART的设计,往往很关键的那个点很小不容易发现,这种想法在各个领域都是通用的。你不能想像的是给亿万个人带来不便与麻烦的设计点有多么荒谬。它本身的想法很好,但是到在它具体的行进过程却是令人困顿的有时候是麻木的或者僵化的。我希望能将灵感赋予我在做的事情,让它们拥有生命,而不像一座工厂当它被废弃就变得环境不友好。
回归主题,对于假设这件事情本身,我关注的点和教科书上的点完全不同。这个人是不是假设了大人就比小孩能干这样的命题是我感兴趣的。如果进入到数理的领域,我会感兴趣我们得到的数据是不是代表某种差异度下的一致性群体。高斯分布的推导是规定好方差进行的。所以其实对方差值究竟是多少的细究是有价值的。在怎样的一个价值循环圈之中确定方差值?用贝叶斯的观点可比传统的观点好多了。假设检验无非就是构造这个价值循环圈的过程。
检验统计量来自哪里
先看传统的引入检验统计量的方法。假设检验很重要的一个观点是,接受假设,但并不表示假设的内容就是对的,这个就和一般的观点结合起来了,接受那个人觉得“小孩没有大人能干。”这个假设会指导他的行为,但是那个假设有可能是不对的。如果
对的意思是绝对真理。那么否定意味着什么呢?在假设检验观点上的差别我估计是监督机器学习和非监督机器学习的根源差异所在,过不了多久这个观点就会明晰下来。这时候又回归到教科书仔细看他的观点了。
数学期望的检验其实是很需要的,标定可比较的一致性空间嘛。还是会问这个问题:为什么要这么选择检验统计量?更直接的
是为什么数学期望的检验统计量里面竟然有方差。根源还是在标准正态分布上面。最直接面临的一个问题是正态分布的转换,可以从高斯对一致性和方差为1的那个假设之下全部推出来。那么关键点就在总体是由无限个样本点构成的,而样本只能由有
限个样本点构成。标准正态分布的随机变量由无穷个满足一些条件的随机变量加总得到。如果我们只从它有限个随机变量进行
加总的角度出发得到的就是统计量而不是参数,它们在形式上会类似,但是意义完全不一样。接下去就要探讨不一样的点在哪里了。U统计量和t统计量的差别在于方差是否可知,对于不知道方差的情形,t统计量中会自己估计一个出来S。它们和构造标
准正态分布的形式差异在于累加的零期望随机变量的数量不同,构造过程是n个,U统计量中相当于\sqrt{n}个,t统计量相当于
\sqrt{n-1}个。而且构造的统计量时,开始于一个随机变量,而检验统计量的随机变量是n个随机变量的等可能期望。仅从规定期望和方差就能得到标准正态分布N(0,1),那么构成标准正态分布的那些基本随机变量是不是就是参数不同的正态分布呢?很强
的条件规定会让\xi_k随机变量序列的期望a_k收敛。如果再令\xi_k的方差仅仅在[0,1)之间。如果能找到一个序列使得它的和等于\frac{1}{n^2}我们就可以把检验统计量引入进标准正态分布的构造结构中。其实我们发现包括卡方分布,t分布,F分布都和正态分布有十分密切的关系。我们应该把目光转向抽样分布和总体分布的关系。
遍历统计量让经验分布很可靠
其实统计量的分布是很广域的概念,只不过只有正态分布对应的抽样分布容易求得而已。我对课本上的一种描述很不以为然,
什么是样本比较大的情况,什么又是样本比较小的情况,没有放在一个模型中进行比较,那又有什么意义呢?还有一点挺有意思的是统计量还被分成了形式统计量和值统计量两个部分。所谓的经验分布就是将所有的观测量等可能的处理了。这是从小学
时候大家就能意识到的一点,出现了什么东西平均分了,这样处理总不会有什么错误。比如,袋子里有三分之一红色的球和三分之二蓝色的球,如果抽出来两个一个红的,一个蓝的,我们得到的经验分布就是红蓝各占二分之一。这个显然和真实情况是不符合的。但是呢统计就是这样一门以有涯逐无涯的学问,这稍稍令人有点沮丧哦。但是,没关系如果我们直接把球从袋子里倒出来一数就全部知道了。只要我们使用遍历我们的统计就会很可靠。其实就是克列文科定理,我们在探求标准正态分布的时候用到了这里面的想法。要想知道抽样分布非得明白特征函数!