Parametric test

假设检验——参数检验方法

Posted by Roach on October 1, 2015

假设检验分参数检验和非参数检验,这一篇是常用的参数检验方法。

参数检验是在已知总体分布的条件下(一般要求总体服从正态分布)对一些主要的参数(如均值、百分数、方差、相关系数等)进行的检验,有时还要求某些总体参数满足一定条件。如独立样本的T检验和方差分析不仅要求总体符合正态分布,还要求各总体方差齐性(方差相同)。参数检验的要求较多,那检验力较非参数检验要强很多。

  1. T检验
  2. Anova

下面的方法属于临界值法,关注的是观察值(统计量)是否超越了临界值,如果超过了临界值即落在拒绝域,那么否定原假设。而 $p$ 值法则关注的观测值的远端尾部面积,若观测值的尾部面积小于显著性水平 $\alpha$ 则否定原假设,也就是说下面这些临界值法,换一种角度就是 $p$ 值法。

T检验

  • 目的: 检验两组样本是否存在差异
  • 分类:
    • 单个正太总体均值的检验
    • 两个正太总体的假设检验
      • 不成对观察值
      • 成对观察值(paired t检验)

单个正太总体均值的检验

条件: 总体方差未知(不然,可以直接使用$\normalsize \mit{Z}$检验),对总体数学期望的假设检验,如原假设为: $\normalsize \mit{\mu = \mu_0}$

公式:

\[\boldsymbol{t = \frac{\bar{X} - \mu}{S /\sqrt{n}} \sim t(n - 1)}\]

$\mit{\bar{X}}$为样本的均值,\(\mit{S}\)为样本标准差,\(\mu_0\)为总体期望,\(\mit{n}\)为样本个数;

单个正太总体均值双边检验的拒绝域:

\[\left| t \right| \geqslant \mit{t_{\frac{\alpha}{2}}} \rm( \textit{n} - 1 )\]

$\alpha$ 为显著性水平,那么,如果$\mit t$的值落在拒绝域里,则原假设不成立。


两个正太总体均值的检验

条件:两个正态总体方差未知且相等,对两个总体的数学期望进行假设,如 $\mit{\mu_1 = \mu_2}$ ,两组样本个数无要求;

公式:

\[\boldsymbol{t = \frac{\bar{X} - \bar{Y}}{S_w\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 - 2)}\]

其中, $S^2_w = \frac{(n_1 - 1)S^2_1 + (n_2 - 1)S^2_2}{n_1 + n_2 - 2}$ 表示两组样本方差的加权平均;

双边检验的拒绝域:

\[\left| t \right| \geqslant {t_{\frac{\alpha}{2}}} ( n_1 + n_2 - 2 )\]

同样,若$t$ 的值落在拒绝域内,原假设不成立:则越有理由拒绝原假设,越有理由相信两组样本有差异。


基于成对数据的检验(t检验)

条件:其实这里说条件略有不合适,说一下什么情况下应该使用paired test。比如用两台仪器$X$、$Y$来测量样品的某种金属含量,那么拿来10个样品(各个样本成分、金属含量、均匀性均不同),现在用这两台一起对10个样本分别测量一次得到10对测量数据。因为样本存在各种不同,所以每个仪器测量得到的数据不能看成同分布随机变量的观察值,即不能看成一个变量的不同观察值。但是,同一对中的两个数据的差异可以看成是仅由这两台仪器性能的差异引起的;这样就可以认为两个仪器测量值的差异服从某分布(假设正太分布),那么如果假设两个仪器性能无差异,问题就转化成了单正太总体 $\mu = 0$ 的 $t$检验。

具体方法:设有$n$对相互独立的观察结果,$\small(X_1, Y_1),(X_2, Y_2),…,(X_n, Y_n)$,令$\small D_1 = X_1 - Y_1,D_2 = X_2 - Y_2,…,D_n = X_n - Y_n$,则$\small D_1,D_2,…,D_n$相互独立,又由于$n$个新变量是由与同一因素引起的,可认为它们服从同一分布,今假设$\small D_i \sim N(\mu_D, \sigma^2_D),i = 1,2,…n.$ 这就是说$\small D_1,D_2,…,D_n$构成正太总体$\small N(\mu_D, \sigma^2_D)$的一个样本,而正太总体的均值、方差未知。(这种相减的如误差之类,好像都认为服从正太分布:-(

分别记$\small D_1,D_2,…,D_n$的样本均值和样本方差的观察值为$\small \bar{d},s^2_D$;

公式:

\[\boldsymbol{t = \frac{\bar D - \mu_D}{S_D /\sqrt{n}} \sim t(n - 1)}\]

双边检验拒绝域:

\[\left| t \right| = \left| \frac{\bar d}{s_D/\sqrt{n}} \right| \geqslant {t_{\frac{\alpha}{2}}} ( n- 1 )\]

为什么强调双边,目前实验室用双边较多,另外对配对检验,这个简单。双边即假设检验为:$\small H_0:\mu_D = 0, H_1:\mu_D \neq 0$;那么公式中$\small\mu_D$为0,相对于单正太总体T检验中$\small\mu_0$消去。需要注意的是,虽然单边检验的拒绝域公式和双边只是'$=$'与'$\geqslant$'的区别,但是还是要知道如何得到的。

小福利:求左边检验的拒绝域

对于单边检验 $\small H_0:\mu_D \leqslant 0, H_1:\mu_D \geqslant 0$;

这里呢先介绍以下,显著性水平$\alpha$即,不通常是犯第一类错误的概率即$\small P$当$\small H_0$为真拒绝$\small H_0$,我们要做的就是让这个$\small P \leqslant \alpha$。然后得到一个对该假设在该显著水平的拒绝域,如果统计量在拒绝域外则有很大理由相信$\small H_0$不为真而拒绝$\small H_0$

$P${当$H_0$为真时拒绝$H_0$}

\[= P_{\mu_D \in H_0}\left\{\bar D \geqslant k\right\}\] \[= P_{\mu_D \in H_0}\left\{\frac{\bar D - 0}{S_D/\sqrt n} \geqslant \frac{k - 0}{S_D/\sqrt n}\right\}\] \[= P_{\mu_D \in H_0}\left\{\frac{\bar D - \mu_0}{S_D/\sqrt n} \geqslant \frac{k - 0}{S_D/\sqrt n}\right\} = \alpha\]

拒绝域这么求是因为$\small H_0$为真,应该$\bar d \geqslant k$。那么令$\small k = t_\alpha(n - 1) * S_D/\sqrt n$,若$\small\bar d$超出,则拒绝原假设。浙江大学第四版《概率论与数理统计》给出下面这个拒绝域: \(t = \frac{\bar d}{s_D/\sqrt n} \geqslant t_\alpha(n - 1)\)


Anova

方差分析有三个前提假设:

  1. 各组样本背后所隐含的族群分布必须为正态分布或者是逼近正态分布。
  2. 各组样本必须独立。
  3. 族群的变异数(方差)必须相等。

单因素试验的方差分析

设因素 $\small A$ 有 $s$ 个水平 \(\small A_1,A_2,...,A_s\),在水平 \(\small A_j\) 下进行 \(n_j(n_j \geqslant 2)\) 次独立实验(组 \(\small A_j\) 内有 \(n_j(n_j \geqslant 2)\) 个样本),并且各个水平(族群)下的样本满足三个前提假设。得到的数据可以看成来自 $s$ 个不同总体的样本,各总体的均值记为\(\mu_1,\mu_2,...\mu_s\)。那么不同水平的数据是否有显著差异需检验假设

\[H_0:\mu_1 = \mu_2 = ,..., = \mu_s \quad H_1:\mu_1,\mu_2,...\mu_s 不全相等\]

记水平 \(A_j\) 下的样本均值为 \({\bar X}_{·j}\),引入:

总偏差平方和 \(S_T = \sum_{j=1}^s{\sum_{i=1}^{n_j}(X_{ij} - \bar X)^2}\),其中 \(\bar X = \frac{1}{n}\sum_{j=1}^s{\sum_{i=1}^{n_j} X_{ij}}\),是所有数据的总平均。 \(S_T\) 能反映全部试验数据之间的差异,因此 \(S_T\) 又称为总变差;

误差平方和 \(S_E = \sum_{j=1}^s{\sum_{i=1}^{n_j}(X_{ij} - \bar {X_{·j}})^2}\),这是由随即误差引起的,又称为组内变异量;

效应平方和 \(S_A = \sum_{j=1}^s{\sum_{i=1}^{n_j}(\bar {X_{·j}} - \bar X)^2}\),这是由 \(A_j\) 的效应的差异以及随即误差引起的,又称为组间变异量,并且 \(S_T = S_E + S_A\)

\(S_E\ \And\ S_A\) 的统计特性

       \(S_A\) 与 \(S_E\) 独立,\(\frac{S_E}{\sigma^2} \sim \chi^2(n - s)\),且当 \(H_0\) 为真时 \(\frac{S_A}{\sigma^2} \sim \chi^2(n - 1)\),为假时加一偏小正项。

当 \(H_0\) 为真时 \(\frac{S_A/(s - 1)}{S_E/(n - s)} \sim F(s -1, n - s)\)

当 \(H_0\) 不为真时,分子有偏大趋势,所以此检验问题的拒绝域为

\[F = \frac{S_A/(s - 1)}{S_E/(n - s)} \geqslant F_{\alpha}(s -1, n - s)\]

此分析的结果可以得到一个方差分析表

方差来源 平方和 自由度 均方 \(F\) 比
因素 \(A\) \(S_A\) \(s - 1\) \(\bar S_A = \frac{S_A}{s - 1}\) \(F = \frac{\bar S_A}{\bar S_E}\)
误差 \(S_E\) \(n - s\) \(\bar S_E = \frac{S_E}{n - s}\)  
总和 \(S_T\) \(n -1\)    

即在显著性水平 \(\alpha\) 下,如果 \(F \geqslant F_{\alpha}(s - 1, n - s)\),则认为各水平下的数据有显著的差异。

双因素等重复试验的方差分析 待续 :-(

双因素无重复试验的方差分析 待续 :-(

通俗理解 $T$ 检验和 $F$ 检验的区别


以前都是看别人的博客、成果,自己开始写,并且想写好才知道这么不容易。