Non-parametric test

假设检验——非参数检验方法

Posted by Roach on October 6, 2015

假设检验分参数检验和非参数检验,这一篇是常用的非参数检验方法。

非参数检验则不考虑总体分布是否已知,常常也不是针对总体参数,而是针对总体的某些一般性假设(如总体分布的位置是否相同,总体分布是否正态)进行检验。

非参数检验方法简便,不依赖于总体分布的具体形式因而适用性强,但灵敏度和精确度不如参数检验。一般而言,非参数检验适用于以下三种情况:①顺序类型的数据资料,这类数据的分布形态一般是未知的;②虽然是连续数据,但总体分布形态未知或者非正态,这和卡方检验一样,称自由分布检验;③总体分布虽然正态,数据也是连续类型,但样本容量极小,如10以下(虽然T检验被称为小样本统计方法,但样本容量太小时,代表性毕竟很差,最好不要用要求较严格的参数检验法)。因为这些特点,加上非参数检验法一般原理和计算比较简单,因此常用于一些为正式研究进行探路的预备性研究的数据统计中。当然,由于非参数检验许多牵涉不到参数计算,对数据中的信息利用不够,因而其统计检验力相对参数检验也差得多。

Parametric test中的参数检验方法在非参数法中都能找到替代的方法,因此按照和参数检验法相对应的原则可对非参数检验法进行如下分类: non-parametric test

  1. Wilcoxon 符号秩检验
  2. Mann-Whitney U 检验

下面的方法属于临界值法,关注的是观察值(统计量)是否超越了临界值,如果超过了临界值即落在拒绝域,那么否定原假设。而 $p$ 值法则关注的观测值的远端尾部面积,若观测值的尾部面积小于显著性水平 $\alpha$ 则否定原假设,也就是说下面这些临界值法,换一种角度就是 $p$ 值法。


Wilcoxon 符号秩检验(成对检验)

威尔科克森符号秩检验是由威尔科克森(F·Wilcoxon)于1945年提出的。该方法是在成对观测数据的符号检验基础上发展起来的,比传统的单独用正负号的检验更加有效。它适用于 \(T\) 检验中的成对比较,但并不要求成对数据之差 \(d_i\) 服从正态分布。检验成对观测数据之差是否来自均值为0的总体(产生数据的总体是否具有相同的均值)。

步骤:

  1. 做出需检验的假设;
  2. 求出成对观测数据的差 \(d_i\) ,并将 \(d_i\) 的绝对值按大小顺序编上等级(绝对值最小的等级为1);
  3. 等级编号完成以后恢复正负号,分别求出正等级之和 \(\small T+\) 和负等级之和 \(\small T-\),选择 \(\small T+\) 和 \(\small T-\) 中较小的一个作为威尔科克森检验统计量 \(\small T\);
  4. 作出判断。

根据显著性水平 \(\alpha\) 查临界值表,得到临界值 \(\small T_{\alpha}\),若 \(\small T < T_{\alpha}\),则拒绝原假设 \(\small H_0\)。

\[H_0: 两组数据无显著差异 \quad H_1: 两组数据有显著差异\]

当 \(H_0\) 为真时,统计量 \(T\) 的均值和方差分别为

\[E(T) = \frac{n(n + 1)}{4} \quad D(T) = \frac{n(n + 1)(2n + 1)}{24}\]

其中, \(n\) 为成对观测的个数,且当 \(n \geqslant 20\)时,

\[Z = \frac{T - E(T)}{\sqrt{D(T)}}(近似服从标准正态分布)\]

在显著性水平 \(\alpha\) 下双边检验的近似拒绝域为 |\(z\)| \(\geqslant z_{\alpha/2}\),这里 \(z\) 是 \(Z\) 的观察值。


Mann-Whitney U 检验

曼-惠特尼U检验(Mann-Whitney signed-rank test)是由H.B.Mann 和D.R.Whitney于1947年提出的。目的是检验这两个总体的均值是否有显著的差别。该方法的具体步骤如下:

  1. 将两组数据混合,并按照大小顺序编排等级。最小的数据等级为1,第二小的数据等级为2,以此类推(若有数据相等的情形,则取这几个数据排序的平均值作为其等级);
  2. 分别求出两个样本的等级和 \(\small W_1\)、\(\small W_2\);
  3. 计算曼-惠特尼U检验统计量,\(n_1\) 为第一个样本的量,\(n_2\) 为第二个样本的量:
\[U_1 = W_1 - \frac{n_1(n_1 + 1)}{2}\] \[U_1 = W_2 - \frac{n_2(n_2 + 1)}{2}\]

选择 \(\small U_1\) 和 \(\small U_2\) 中的较小者 \(\small U\) 与临界值 \(\small U_\alpha\) 比较,当 \(\small U < U_{\alpha}\) 时,拒绝 \(\small H_0\),接受 \(\small H_1\),即两组数据有显著差异。

同样,样本很多且分属两类的样本等级得分打平较少,在原假设为真的情况下,随机变量 \(U\) 的均值和方差分别为:

\[E(U) = \frac{(n_1n_2)}{2} \quad D(U) = \frac{n_1n_2(n_1 + n_2 + 1)}{12}\]

当 \(n_1,n_2 \geqslant 10\)时,

\[Z = \frac{U - E(U)}{\sqrt{D(U)}}(近似服从标准正态分布)\]

在显著性水平 \(\alpha\) 下双边检验的近似拒绝域为 |\(z\)| \(\geqslant z_{\alpha/2}\),这里 \(z\) 是 \(Z\) 的观察值。

Mann–Whitney U test

曼-惠特尼U检验(Mann-Whitney检验) & 秩和检验在饲料科学研究中的应用