Chapter 6 Hypothesis Test

本篇是第6章，内容是假设检验。

Chapter 6 Hypothesis Test

1.基本思想

我们还是从问题开始讨论。这回提个接地气的问题——雄安新区批复前后对该地区房价是否有差异？
嗯，假设检验其实就是为了解决这类问题。
假设检验的基本思想——我们有样本，但是无法获得总体，需要对总体的分布形式或分布参数事先作出某种假设，然后根据样本观测值，运用统计分析的方法来检验这一假设是否正确。
分解开来，假设检验=假设+检验（或者假设检验）。
假设(hypothesis)——对总体的参数的具体数值（或分布形式）所作的陈述（总体参数包括总体均值、比例、方差等，分析之前必需陈述）。
假设检验(hypothesis test)—先对总体的参数（或分布形式）提出某种假设，然后利用样本信息判断假设是否成立的过程（有参数检验和非参数检验；逻辑上运用反证法，统计上依据小概率原理）。如图。

假设检验的思想还可以去搜索Fisher 显著性检验的思想(女士品茶试验)的故事深深体会，这里就不详述了。有兴趣的同学可以点击下文的科学网链接查看。

http://blog.sciencenet.cn/blog-624263-795715.html

2.原假设和备择假设

从前面的介绍我们知道，假设检验的第一步是建立假设。那么假设分为两种（原假设和备择假设）。那么这二者具体又是什么呢？

原假设(null hypothesis)——原假设又称“ 0假设”，总是有符号 =， ≥ 或≤，表示为 H0。是研究者想收集证据予以反对的假设（生产实践中常对应正常情形，如均值与设计一致）；一般来说，原假设是一旦拒绝便要采取行动的假设。因此，原假设总是“受到保护的假设” ，没有充分的证据是不能拒绝原假设的。例如，对一家信誉很好的工厂的产品进行检验，原假设一般是“ 产品合格”。

备择假设(alternative hypothesis)——研究者想收集证据予以支持的假设，一旦发生就要采取行动，是与原假设对立的假设，也称“研究假设”，总是有符号 ≠， > 或 <，表示为 H1。

总结起来就是，原假设是统计学史上最悲催角色——它从一开始诞生，就是为了被科学家们发好人卡拒绝而存在的一个假设。备择假设才是科学家们追求的白富美。
搞明白了这两个假设，下一步我们做假设检验的时候，就要先提出假设了，这里给了一些提出假设的要点：

原假设和备择假设是一个完备事件组，而且相互对立（在一项假设检验中，原假设和备择假设必有一个成立，而且只有一个成立）。

先确定备择假设，再确定原假设。

等号“ =” 总是放在原假设上。

因研究目的不同，对同一问题可能提出不同的假设（也可能得出不同的结论）。

同时在实际应用中，我们有不同的需求，因此又有双侧检验和单侧检验的区分。

双侧检验——备择假设没有特定的方向性，并含有符号“=”的假设检验，称为双侧检验或双尾检验(two-tailed test)

单侧检验——备择假设具有特定的方向性，并含有符号“>”或“<”的假设检验，称为单侧检验或单尾检验(one-tailed test)。其中备择假设的方向为“<”，称为左侧检验，备择假设的方向为“>”，称为右侧检验。

原假设与备择假设形式：

双边检验：H0:μ=2，H1:μ≠2。

单边检验：左侧检验——H0:μ≤2，H1:μ2，右侧检验——H0:μ≥2，H1:μ<2。

所见即所得，用一张图来表示假设检验过程。

所以拒绝原假设的理由是假设检验中的小概率原理。那么什么是小概率？

在一次试验中，一个几乎不可能发生的事件发生的概率。

在一次试验中小概率事件一旦发生，我们就有理由拒绝原假设。

小概率由研究者事先确定。

所以拒绝H0的理由就是

3.第一类错误和第二类错误

上文介绍了假设检验的过程，但是假设检验过程会不会出现错误呢？其实大家仔细分析拒绝原假设的理由就会发现问题了。通常情况下原假设是小概率事件，但是小概率事件≠0概率事件。小概率事件不是不发生，而是发生概率较小。就像天气预报说明天有99%的可能不下雨，结果1%的可能性成为了事实，明天下雨了。因此假设检验中会有两类错误（弃真错误和取伪错误）经常出现。
（1）第一类错误(弃真错误)：

原假设为真时拒绝原假设。

第一类错误的概率为α（没错，就是它，我们的好朋友，小α。咳咳咳，就是显著性水平，一般由研究者事先指定，常用的值有0.01, 0.05, 0.10）。

（2）第二类错误（取伪错误）：

原假设为假时未拒绝原假设。

第二类错误的概率记为β。

α和β的关系——α和β的关系就像翘翘板， α小β就大，α大β就小。所以两类错误不可能同时发生（第一类只在H0为真时发生，第而类只在H0为假时发生）。
影响β的因素：

总体参数的真值。

显著性水平α（当α减少时增大）。

总体标准差σ（当σ增大时增大）。

样本容量n（当n减少时增大）。

4.统计量与拒绝域

讲了这么多，但是还没有介绍假设检验的计算过程。假设检验的过程依赖于两个重要数学概念（统计量与拒绝域，前面已经有稍微提到了）。这里再做具体介绍。
检验统计量(test statistic)——根据样本观测结果计算得到的，并据以对原假设和备择假设作出决策的某个样本统计量，是对样本估计量的标准化结果（原假设H0为真，点估计量的抽样分布）。
标准化的检验统计量公式为：

标 准 化 的 检 验 统 计 量 = 点 估 计 量 - 假 设 值 点 估 计 量 的 抽 样 标 准 差

显著性水平和拒绝域的三种情况：
双侧检验：

左侧检验：

右侧检验：

统计量落在拒绝域时，我们就可以拒绝原假设。具体如下：

给定显著性水平α，查表得出相应的临界值zα,zα/2,tα,tα/2,⋯。

将检验统计量的值与α水平的临界值进行比较。

作出决策：双侧检验——|统计量| > 临界值，拒绝H0；左侧检验——统计量 < 临界值，拒绝H0；右侧检验——统计量 > 临界值，拒绝H0。

5.利用p值进行决策

如何利用假设检验解决实际问题？很重要的一个应用是在决策上。就如标题说的，利用p值进行决策。那么什么是p值?
p值(p-value)：在一个假设检验问题中，拒绝原假设的最小显著性水平。

在原假设为真的条件下，检验统计量的观察值大于或等于其计算值的概率(双侧检验为分布中检验统计量两侧面积的总和;单侧检验为分布中检验统计量相应单侧面积）。

反映实际观测到的数据与原假设H0之间的一致程度。

被称为观察到的（或实测的）显著性水平。

决策规则：若p值<α，拒绝H0。

p值法步骤（以大样本均值为例）
将样本统计量转换成检验统计量z

计算p值： Z为标准正态分布随机变量（p值=(|Z|≥z)(双侧),p值=(Z≤z)(左侧),p值=(Z≥z)(右侧)）

比较p值和α：
如果α≥p值，拒绝H0;
如果α<p值，不能拒绝H0。

假设检验结论的表述
假设检验的目的就在于试图找到拒绝原假设的证据，而不在于证明什么是正确的。

拒绝原假设时结论是清楚的。

当不拒绝原假设时——并未给出明确的结论，不能说原假设是正确的，也不能说它不是正确的。但也未说它不是10。我们只能说样本提供的证据还不足以推翻原假设。

假设检验步骤的总结

陈述原假设和备择假设。

从所研究的总体中抽出一个随机样本。

确定一个适当的检验统计量，并利用样本数据算出其具体数值。

确定一个适当的显著性水平，并计算出其临界值，指定拒绝域。

将统计量的值与临界值进行比较，作出决策——统计量的值落在拒绝域，拒绝H0，否则不拒绝H0，也可以直接利用p值作出决策。