数学统计中的假设检验（算法数学基础-告诉你假设检验的概念和方法）

这个世界充满了不确定性，为了应对这些不确定性人类发展出了科学、技术，试图解释宇宙的现象，减少对未知的恐惧。牛顿的机械论给了我们一个貌似可以预知的世界，所有的现象都可以由确定的公式、定理、定律来推知，但量子力学却告诉我们这个世界的本质是不确定性。世界观级别的冲突无法用统一的方法调和。概率的方法给我们描述不确定性的数学工具，貌似一根救命稻草，混沌理论却又告诉我们貌似随机的现象其实背后也是简单的规则。我们到底经历了怎样的折磨，可能需要在哲学中寻找救赎!

在灾难来临之际，会冒出什么神汉、巫师妄图预测未来，那么他们说的对不对呢？我们可以拿起科学的武器来加以验证，这个就是统计推断要解决的一类重要的问题，假设检验。但这个工具的应用也是有约束的，不是放之四海皆可用的，但至少有个工具，让我们应对不确定性的时候更多了一份信心。

思想很简单，就是我们提出一个假设，然后通过实验观察到的数据来判断假设是否正确。方法就是：先提出一个统计量，然后假设这个统计量的值（比如均值），如果通过计算实际值与假设值偏离很大，就不接受这个假设。就是先蒙猜一个值，然后再从实验出发看看蒙的对不对（大白话就是这么说）。所以从上述描述中我们看出，检验是简单的，只要给出假设和检验公式，但蒙的水平高不高，这个有讲究，假设检验就是讲如何能够蒙的更加准！我怀疑很多街头算命的麻衣术士，都精通此道。（高手都在民间）

但是检验的结果也可能出现错误，因为我们是基于样本做出的判断，如果样本有偏差就会导致结果出现偏差，这个叫假阴性，也是统计推断的第一类错误（昏官，把李逵当李鬼），那么对称的叫做假阳性（就是把李鬼当李逵了，也是昏官），称为第二类错误。我们无法避免上述两种错误，但是可以将上述错误控制在一个可以接受的限度之内，也就说1000个官里只要不超过10个昏官就是可以接受的。数学表示P(李鬼是李逵的判定依据}<=a。括号内的统计量（判定依据）我们称为检验统计量，而这个a称为显著性水平。念做：在a显著水平下，针对李逵是李逵假设检验李逵不是李逵。李鬼不是李逵称为原假设、李鬼是李逵是备择假设（哈哈哈哈）。这个a称为临界点，而拒绝假设的统计量范围称为拒绝域。所以确定检验标准的时候（统计量选择），我们要减少第一、第二类错误，但这两类错误不可能同时减少（要同时减少就要增加样本量，所以为什么大数据的方法会降低错误率就是这个原因），鱼和熊掌都不能兼得的时候，我们只能考虑其中一个了，通常我们以减少第一类错误（假阴性，宁可错杀一千，不能放走一个）为准，这种检验称为显著性检验。有时我们检验的命题为a不等于b,那么a有可能大于b，也有可能小于b，这叫做双边检验，如果我们检验的命题为a大于b（称为右边检验）或者a小于b（称为左边检验）这种类型的统称为单边检验。如果上述标黑的概念放在一起讲一句话，对概念不熟悉的话肯定直接趴下了。

所以看到假设检验的流程很简单了，先做一个假设（李鬼不是李逵），然后提出一个能够验证假设的检验统计量（拿着板斧、胡子拉茬、身高190等等），并在指定的显著水平下（比如误判律不超过5%），求出拒绝域，然后给出结论是不是接受假设（是不是很像参数估计啊）。这个流程讲的比较口语化，大家要想得到更官方的描述请参考教材。这个总体的原则理解了t检验、f检验就都能理解了，他们就是针对不同的统计量选择的不同方法，原理都是一样的，提纲挈领是最高效的学习方法，但是真正掌握还是要适当做一些练习才行。

Z检验：总体正态分布的条件下，方差已知、均值未知的条件下，利用均值相关的统计量来确定拒绝域；

T检验：总体正态分布的条件下，方差、均值均未知，利用t统计量来确定拒绝域；

X2检验：总体正态分布，方差、均值均未知，利用X2统计量确定拒绝域；

F检验：两个总体满足正态分布，方差、均值均未知，利用F统计量来确定拒绝域。

假设检验和置信区间：这两个概念有着天然的联系，置信区间讲的是求出置信水平为1-a的区间，这个a如果正好是假设检验问题中的临界点，这两个概念就联系起来了。也就是假设假设检验的拒绝域与置信区间一致。

p值法：是由检验统计量根据样本值计算出的被拒绝的最小显著性水平，如果比假设的a小就拒绝，大就接受。（比较的是与a的位置关系，比a小则落在了拒绝域外就不接受，反之则接受。）这个就是一个具体的应用，确定了检验统计量后很容易算，大家知道概念就好了。