非参数检验

Author

Simonzhou

Published

February 26, 2025

1 非参数检验

1.1 卡方检验

1.1.1 分类资料差异比较的方法

资料特征	数据特征		完全随机设计		配对设计	随机区组
		单组	两组	多组
分类资料	无序分类资料	二项分布直接计算概率法、正态近似法（Z检验）、率的正态近似	独立四格表$\chi^2$检验、Fisher确切概率法	R×C交叉表$\chi^2$检验、Fisher确切概率法	配对四格表$\chi^2$检验，配对R×R列联表$\chi^2$检验	/
	等级资料	Wilcoxon符合秩和检验	wilcoxon秩和检验	Kruskal-Wallis H检验	Wilcoxon符合秩和检验	Friedman M秩和检验

1.1.2 单个率的比较

方法	内容
确切概率法	1. 适用情形：样本量较小或$\pi_0$不靠近0.5时作单侧检验的情形。 2. 计算公式： (1)最多有k例阳性的概率：$Pr(X\le k)$ (2)最少有k例阳性的概率：$Pr(X\ge k)$
正态近似法	1. 适用情形：样本量较大时，$n\pi,n(1-\pi)$均大于5； 2. 计算公式：分子为$p-\pi_0$，分母为率的标准误

notice：上式中p为样本率，$\pi_0$为给的总体率（常为理论值或标准值），n为样本含量。

1.2 率的比较

1.2.1 2×2交叉表数据的$\chi^2$检验

方法	情形	计算公式
独立四格表卡方检验	$n\ge 40$且所有的$T\ge 5$ $n\ge 40$且任一理论频数有$1\le T< 5$ 当$n<40$，或任一一个格子理论频数$T<1$时	卡方基本公式、独立四格表专用公式同上、但是需要校正用四格表资料的Fisher确切概率法
正态近似法	$n_1p_1,n_1(1-p_1),n_2p_2,n_2(1-p_2)$均大于5	分子为样本率之差，分母为样本率差的标准误 $S_{p1-p2}$为两个样本率之差的标准误，$p_c=\frac{x_1+x_2}{n_1+n_2}$为两样本的合并率
校正样本率的正态近似法	当$n_1p_1,n_1(1-p_1),n_2p_2,n_2(1-p_2)$不太大时	同上，但是需要对样本率实施“分子+2、分母+4”的校正

notice：

正态近似法与卡方检验结果是很接近的。在日常计算时，因为计算简便，故常用卡方检验公式。
四格表的自由度为1。
四格表实际频数变动时，若周边合计数保持不变，则理论频数将不会产生变化。
用$n_R$和$n_C$和n分别表示行合计、列合计和总合计，则计算每格理论数的公式为：$T_{RC}=\frac{n_R×n_C}{n}$。
$\chi^2$检验的基本公式：$\chi^2=\sum \frac{(A-T)^2}{T}$。
校正的$\chi^2$检验的基本公式：$\chi^2=\sum \frac{(|A-T|-0.5)^2}{T}$。

1.2.2 配对设计数据的$\chi^2$检验

方法	情形	计算公式
配对四格表卡方检验	当$(b+c)\ge 40$时当$(b+c)<40$时	配对卡方检验专用公式校正配对卡方检验专用公式
配对R×R交叉表数据的$\chi^2$检验	R（$R\ge2$）	$T=\frac{k-1}{k}\sum_{i=1}^{k}\frac{(n_i-m_i)^2}{n_i+m_i-2A_{ii}}$

notice：

配对$\chi^2$检验的基本公式：$\chi^2=\sum \frac{(A-T)^2}{T}=\frac{(b-c)^2}{b+c}$。
若b+c<40,使用校正的配对$\chi^2$检验的基本公式：$\chi^2=\sum \frac{(|b-c|-1)^2}{b+c}$。

1.3 独立性检验

1.3.1 2×2交叉表的独立性检验

建立假设检验，确定检验水准 $H_0$:两变量之间相互独立 $H_1$:两变量之间相互独立 $\alpha=0.05$
计算检验统计量 [^2=_{i,j} ]
确定P值，做出推断
关联系数的计算 [r=]

1.3.2 2×2配对数据的独立性检验

1.3.3 R×C样本率或构成比的比较

类目	内容
假设检验	$H_0$：各组总体率（或构成比）相同。$H_1$：各组总体率（或构成比）不同（不全相同）。
计算公式	卡方检验基本公式，自由度为：$v=(R-1)(C-1)$
数据要求	1. 应用条件：不能有理论频数小于1的格子，或者不能有1/5以上的理论频数大于等于1且小于5 2. 不能进行卡方检验时的解决办法：①增加样本量；②合并或删除理论频数比较小的行或列；③采用Fisher确切概率法
卡方分割	多个率或多个频率分布比较的卡方检验，当结论为拒绝$H_0$时，仅表示多组之间是有差别的。若需要明确研究是那两组之间存在差别，可做率的多重比较，将R×C表分割为若干个小的四格表进行检验，并且需要根据比较的次数合理地修正检验水准$\alpha$，否则将人为地增大犯第一类错误的概率

notice:

多个独立样本率的比较，根据R个独立样本的频率分布，是检验R个二项分布总体的概率是否相同，。假设对四个样本率进行比较，进行$\chi^2$检验，则它的行数为4，列数为2，其自由度为$v=(R-1)×(C-1)=(4-1)(2-1)=3$。
针对行列表资料的$\chi^2$检验，若有$1/5$格子以上的理论频数小于5，即$1\le T\le5$时，应考虑增加样本量，或结合专业知识对行或列进行合并。

2 基于秩次的非参数检验

2.1 秩和检验

秩和检验（Rank-Sum Test）是一种非参数检验方法，用于比较两个独立样本的分布是否存在显著差异。它无需对数据分布作正态性假设，适用于数据偏离正态分布、样本量较小或数据为序数型变量的场景。

常见的秩和检验包括：

Mann-Whitney U 检验（也称Wilcoxon秩和检验）：用于比较两个独立样本的中位数是否相等。
Wilcoxon 符号秩检验：用于两个配对样本的比较（类似配对t检验，但无需正态性假设）。

2.1.1 秩和检验的公式

Mann-Whitney U 检验公式

假设两组独立样本分别为 $X$ 和 $Y$，样本量分别为 $n_1$ 和 $n_2$。
对两组样本合并并按大小排序，赋予秩次。计算两组的秩次和 $R_1$ 和 $R_2$（分别为 $ X$ 和 $Y$ 的秩次总和）。

确定统计量T值：

假设两组样本量 $n_1<n_2$，一般情况下以样本量较小者$n_1$对应的秩和$T_1$为检验统计量$T$，当样本相等时可以选择任一组的秩和为$T$。¹

当两组中样本量较小者不低于10时，在$H_0$成立假设下，统计量$T$的抽样分布近似于正态分布，有

\[T\approx N\left(\frac{n_1(n+1)}{2},\frac{n_1 n_2(n+1)}{12} \right)\] 此时，Wilcoxon 秩和统计量在$H_0$下关于$\mu=\frac{n_1(n+1)}{2}$对称。

如果没有或存在较少的“结”，将$T$标准化后为：

\[U=\frac{T-\frac{n_1(n+1)}{2}+C}{\sqrt{\frac{n_1 n_2(n+1)}{12}}}\approx N(0,1)\]

其中，C为连续性校正系数，当$T>\frac{n(n+1)}{4}$时，$C=-0.5$，当$T<\frac{n(n+1)}{4}$时，$C=0.5$，当$T=\frac{n(n+1)}{4}$时，$C=0$。

若“结”的比例较多（>25%），则用以下公式校正：

\[U_c=\frac{T-\frac{n_1(n+1)}{2}+C}{\sqrt{\frac{n_1 n_2}{12}[(n+1)-\sum_\limits{i=1}^{g}\frac{t_i^3-t_i}{n(n-1)}]}}\approx N(0,1)\]

Wilcoxon 符号秩检验公式

对配对样本 $(X_i, Y_i)$，计算差值 $D_i = X_i - Y_i$，取非零差值的绝对值并排序（若差值为0则舍去不计，且减去相应的个数），赋予秩次 $R_i$。再根据差值的符号计算符号秩次和 $W$：

\[W = \sum R_i \cdot \text{sign}(D_i)\]

检验统计量 $T$ 是 $W$ 的绝对值，依据表或正态分布计算显著性。

正态近似法：

当$n\ge 30$时，有中心极限定理可知，当$H_0$成立时统计量$T$的抽样分布近似正态分布，有

\[T\approx N \left(\frac{n(n+1)}{4},\frac{n(n+1)(2n+1)}{24}\right)\] 其中，均数$\mu=\frac{n(n+1)}{4}$，方差$\sigma^2=\frac{n(n+1)(2n+1)}{24}$。将T标准化后，近似服从标准正态分布，有

\[U=\frac{T-\frac{n(n+1)}{4}+C}{\sqrt{\frac{n(n+1)(2n+1)}{24}}}\approx N(0,1)\] 其中，n是差值不为0的对子数，C为连续性校正系数，当$T>\frac{n(n+1)}{4}$时，$C=-0.5$，当$T<\frac{n(n+1)}{4}$时，$C=0.5$，当$T=\frac{n(n+1)}{4}$时，$C=0$。

当N较大时，样本中可能存在较多的“结”，（如“结”所占比例大于25%），此时需要使用校正公式：

\[U=\frac{T-\frac{n(n+1)}{4}+C}{\sqrt{\frac{n(n+1)(2n+1)}{24}-\frac{\sum_\limits{i=1}^g(t_i^3-t_i)}{48}}}\approx N(0,1)\] 其中，$t_i$为$i$个“结”中有相同秩次的个数，$g$是“结”的个数。

Wilcoxon符号秩检验的前提条件为数据是连续的且差值分布是对称的。

notice：秩和秩和的区别：秩是指全部观察值按某种顺序排列的位序，在一定程度上反映了等级的高低；而秩和则表示同组秩次之和，在一定程度上反映了等级的分布。²

2.1.2 应用场景

Mann-Whitney U 检验：
- 比较两个独立样本的中位数是否存在显著差异。
- 适用于非正态分布数据或含有极端值的样本。
- 示例：比较两种治疗方法的疗效（不同受试者组）。
Wilcoxon 符号秩检验：
- 比较两个配对样本的中位数差异。
- 适用于重复测量数据或实验设计中存在配对关系的场景。
- 示例：同一批受试者在治疗前后血压的变化。

2.1.3 注意事项

秩和检验是非参数方法，对数据分布假设少，但效率可能低于参数方法（如t检验）在满足条件时的效果，如果满足参数检验的条件，应优先考虑使用参数检验的方法，否则会增加犯二类错误的概率。
数据需要满足独立性假设，否则检验结果可能不准确。

Footnotes

不是说一定要选择样本量较小者对应的秩和作为检验统计量，只是长期的使用习惯，造成了这一惯例。如果取较小的秩和计算后得到的$U<u_{\alpha/2}$，则表示拒绝$H_0$；相反，如果取较大的秩和计算后得到的$U>u_{1-\alpha/2}$，也会表示拒绝$H_0$，他们都表示检验统计量落在了拒绝域中。↩︎
尽管非参数方法对总体分布形式未做要求，但如果我们知道总体的一些性质而不去利用，就会浪费许多有用的信息，最常见的就是分布的对称性，配对设计的 Wilcoxon 符号秩检验充分利用了差值分布对称性这一信息，这与尽可能地采用有效方法，利用尽可能多的信息进行统计分析的大原则相一致。↩︎

--- title: "非参数检验" author: "Simonzhou" date: "2025-02-26" format: html: # 输出格式为 HTML self-contained: true # 生成独立的 HTML 文件 pdf: # 可选：如果需要 PDF 输出 default execute: echo: true # 在输出中显示代码 eval: true # 执行代码 warning: false # 隐藏警告信息 message: false # 隐藏消息 --- # 非参数检验 ## 卡方检验 ### 分类资料差异比较的方法 | 资料特征 | 数据特征 | | 完全随机设计 | | 配对设计 | 随机区组 | |:---------:|:---------:|:----------|:----------|:----------|:----------|:----------| | | | 单组 | 两组 | 多组 | | | | 分类资料 | 无序分类资料 | 二项分布直接计算概率法、正态近似法（Z检验）、率的正态近似 | 独立四格表$\chi^2$检验、Fisher确切概率法 | R×C交叉表$\chi^2$检验、Fisher确切概率法 | 配对四格表$\chi^2$检验，配对R×R列联表$\chi^2$检验 | / | | | 等级资料 | Wilcoxon符合秩和检验 | wilcoxon秩和检验 | Kruskal-Wallis H检验 | Wilcoxon符合秩和检验 | Friedman M秩和检验 | ### 单个率的比较 | 方法 | 内容 | |:---------------------------:|-------------------------------------------| | 确切概率法 | 1\. 适用情形：样本量较小或$\pi_0$不靠近0.5时作单侧检验的情形。 2. 计算公式： (1)最多有k例阳性的概率：$Pr(X\le k)$ (2)最少有k例阳性的概率：$Pr(X\ge k)$ | | 正态近似法 | 1\. 适用情形：样本量较大时，$n\pi,n(1-\pi)$均大于5； 2. 计算公式：分子为$p-\pi_0$，分母为率的标准误 | *notice：*上式中p为样本率，$\pi_0$为给的总体率（常为理论值或标准值），n为样本含量。 ## 率的比较 ### 2×2交叉表数据的$\chi^2$检验 | 方法 | 情形 | 计算公式 | |:-------------------:|:-------------------------|:-------------------------| | 独立四格表卡方检验 | $n\ge 40$且所有的$T\ge 5$ $n\ge 40$且任一理论频数有$1\le T< 5$ 当$n<40$，或任一一个格子理论频数$T<1$时 | 卡方基本公式、独立四格表专用公式 同上、但是需要校正 用四格表资料的Fisher确切概率法 | | 正态近似法 | $n_1p_1,n_1(1-p_1),n_2p_2,n_2(1-p_2)$均大于5 | 分子为样本率之差，分母为样本率差的标准误 $S_{p1-p2}$为两个样本率之差的标准误，$p_c=\frac{x_1+x_2}{n_1+n_2}$为两样本的合并率 | | 校正样本率的正态近似法 | 当$n_1p_1,n_1(1-p_1),n_2p_2,n_2(1-p_2)$不太大时 | 同上，但是需要对样本率实施“分子+2、分母+4”的校正 | *notice：* 1. 正态近似法与卡方检验结果是很接近的。在日常计算时，因为计算简便，故常用卡方检验公式。 2. 四格表的自由度为1。 3. 四格表实际频数变动时，若周边合计数保持不变，则理论频数将不会产生变化。 4. 用$n_R$和$n_C$和n分别表示行合计、列合计和总合计，则计算每格理论数的公式为：$T_{RC}=\frac{n_R×n_C}{n}$。 5. $\chi^2$检验的基本公式：$\chi^2=\sum \frac{(A-T)^2}{T}$。 6. 校正的$\chi^2$检验的基本公式：$\chi^2=\sum \frac{(|A-T|-0.5)^2}{T}$。 ### 配对设计数据的$\chi^2$检验 | 方法 | 情形 | 计算公式 | |:----------------------:|:-----------------------|:-----------------------| | 配对四格表卡方检验 | 当$(b+c)\ge 40$时 当$(b+c)<40$时 | 配对卡方检验专用公式 校正配对卡方检验专用公式 | | 配对R×R交叉表数据的$\chi^2$检验 | R（$R\ge2$） | $T=\frac{k-1}{k}\sum_{i=1}^{k}\frac{(n_i-m_i)^2}{n_i+m_i-2A_{ii}}$ | *notice：* 1. 配对$\chi^2$检验的基本公式：$\chi^2=\sum \frac{(A-T)^2}{T}=\frac{(b-c)^2}{b+c}$。 2. 若b+c\<40,使用校正的配对$\chi^2$检验的基本公式：$\chi^2=\sum \frac{(|b-c|-1)^2}{b+c}$。 ## 独立性检验 ### 2×2交叉表的独立性检验 1. 建立假设检验，确定检验水准 $H_0$:两变量之间相互独立 $H_1$:两变量之间相互独立 $\alpha=0.05$ 2. 计算检验统计量 \[\chi\^2=\sum\_{i,j}\frac{(A_{ij}-T_{ij})^2}{T_{ij}} \] 3. 确定P值，做出推断 4. 关联系数的计算 \[r=\sqrt{\frac{\chi^2}{\chi^2+n}}\] ### 2×2配对数据的独立性检验 ### R×C样本率或构成比的比较 | 类目 | 内容 | |:-------------------------:|:--------------------------------------------| | 假设检验 | $H_0$：各组总体率（或构成比）相同。$H_1$：各组总体率（或构成比）不同（不全相同）。 | | 计算公式 | 卡方检验基本公式，自由度为：$v=(R-1)(C-1)$ | | 数据要求 | 1\. 应用条件：不能有理论频数小于1的格子，或者不能有1/5以上的理论频数大于等于1且小于5 2. 不能进行卡方检验时的解决办法：①增加样本量；②合并或删除理论频数比较小的行或列；③采用Fisher确切概率法 | | 卡方分割 | 多个率或多个频率分布比较的卡方检验，当结论为拒绝$H_0$时，仅表示多组之间是有差别的。若需要明确研究是那两组之间存在差别，可做率的多重比较，将R×C表分割为若干个小的四格表进行检验，并且需要根据比较的次数合理地修正检验水准$\alpha$，否则将人为地增大犯第一类错误的概率 | *notice:* 1. 多个独立样本率的比较，根据R个独立样本的频率分布，是检验R个二项分布总体的概率是否相同，。假设对四个样本率进行比较，进行$\chi^2$检验，则它的行数为4，列数为2，其自由度为$v=(R-1)×(C-1)=(4-1)(2-1)=3$。 2. 针对行列表资料的$\chi^2$检验，若有$1/5$格子以上的理论频数小于5，即$1\le T\le5$时，应考虑增加样本量，或结合专业知识对行或列进行合并。 # 基于秩次的非参数检验 ## 秩和检验秩和检验（Rank-Sum Test）是一种**非参数检验方法**，用于比较两个独立样本的分布是否存在显著差异。它无需对数据分布作正态性假设，适用于数据偏离正态分布、样本量较小或数据为序数型变量的场景。常见的秩和检验包括： 1. **Mann-Whitney U 检验**（也称Wilcoxon秩和检验）：用于比较两个独立样本的中位数是否相等。 2. **Wilcoxon 符号秩检验**：用于两个配对样本的比较（类似配对t检验，但无需正态性假设）。 ### 秩和检验的公式 1. **Mann-Whitney U 检验公式** 假设两组独立样本分别为 $X$ 和 $Y$，样本量分别为 $n_1$ 和 $n_2$。\ 对两组样本合并并按大小排序，赋予秩次。计算两组的秩次和 $R_1$ 和 $R_2$（分别为 \$ X\$ 和 $Y$ 的秩次总和）。 - 确定统计量T值：假设两组样本量 $n_1<n_2$，一般情况下以样本量较小者$n_1$对应的秩和$T_1$为检验统计量$T$，当样本相等时可以选择任一组的秩和为$T$。[^1] [^1]: 不是说一定要选择样本量较小者对应的秩和作为检验统计量，只是长期的使用习惯，造成了这一惯例。如果取较小的秩和计算后得到的$U<u_{\alpha/2}$，则表示拒绝$H_0$；相反，如果取较大的秩和计算后得到的$U>u_{1-\alpha/2}$，也会表示拒绝$H_0$，他们都表示检验统计量落在了拒绝域中。当两组中样本量较小者不低于10时，在$H_0$成立假设下，统计量$T$的抽样分布近似于正态分布，有 $$T\approx N\left(\frac{n_1(n+1)}{2},\frac{n_1 n_2(n+1)}{12} \right)$$ 此时，Wilcoxon 秩和统计量在$H_0$下关于$\mu=\frac{n_1(n+1)}{2}$对称。如果没有或存在较少的“结”，将$T$标准化后为： $$U=\frac{T-\frac{n_1(n+1)}{2}+C}{\sqrt{\frac{n_1 n_2(n+1)}{12}}}\approx N(0,1)$$ 其中，C为连续性校正系数，当$T>\frac{n(n+1)}{4}$时，$C=-0.5$，当$T<\frac{n(n+1)}{4}$时，$C=0.5$，当$T=\frac{n(n+1)}{4}$时，$C=0$。若“结”的比例较多（\>25%），则用以下公式校正： $$U_c=\frac{T-\frac{n_1(n+1)}{2}+C}{\sqrt{\frac{n_1 n_2}{12}[(n+1)-\sum_\limits{i=1}^{g}\frac{t_i^3-t_i}{n(n-1)}]}}\approx N(0,1)$$ 2. **Wilcoxon 符号秩检验公式** 对配对样本 $(X_i, Y_i)$，计算差值 $D_i = X_i - Y_i$，取非零差值的绝对值并排序（若差值为0则舍去不计，且减去相应的个数），赋予秩次 $R_i$。再根据差值的符号计算符号秩次和 $W$： $$W = \sum R_i \cdot \text{sign}(D_i)$$ 检验统计量 $T$ 是 $W$ 的绝对值，依据表或正态分布计算显著性。 **正态近似法：** 当$n\ge 30$时，有中心极限定理可知，当$H_0$成立时统计量$T$的抽样分布近似正态分布，有 $$T\approx N \left(\frac{n(n+1)}{4},\frac{n(n+1)(2n+1)}{24}\right)$$ 其中，均数$\mu=\frac{n(n+1)}{4}$，方差$\sigma^2=\frac{n(n+1)(2n+1)}{24}$。将T标准化后，近似服从标准正态分布，有 $$U=\frac{T-\frac{n(n+1)}{4}+C}{\sqrt{\frac{n(n+1)(2n+1)}{24}}}\approx N(0,1)$$ 其中，n是差值不为0的对子数，C为连续性校正系数，当$T>\frac{n(n+1)}{4}$时，$C=-0.5$，当$T<\frac{n(n+1)}{4}$时，$C=0.5$，当$T=\frac{n(n+1)}{4}$时，$C=0$。当N较大时，样本中可能存在较多的“结”，（如“结”所占比例大于25%），此时需要使用校正公式： $$U=\frac{T-\frac{n(n+1)}{4}+C}{\sqrt{\frac{n(n+1)(2n+1)}{24}-\frac{\sum_\limits{i=1}^g(t_i^3-t_i)}{48}}}\approx N(0,1)$$ 其中，$t_i$为$i$个“结”中有相同秩次的个数，$g$是“结”的个数。 Wilcoxon符号秩检验的前提条件为数据是连续的且差值分布是对称的。 *notice：*秩和秩和的区别：秩是指全部观察值按某种顺序排列的位序，在一定程度上反映了等级的高低；而秩和则表示同组秩次之和，在一定程度上反映了等级的分布。[^2] [^2]: 尽管非参数方法对总体分布形式未做要求，但如果我们知道总体的一些性质而不去利用，就会浪费许多有用的信息，最常见的就是分布的对称性，配对设计的 Wilcoxon 符号秩检验充分利用了差值分布对称性这一信息，这与尽可能地采用有效方法，利用尽可能多的信息进行统计分析的大原则相一致。 ### 应用场景 1. **Mann-Whitney U 检验**： - 比较两个独立样本的中位数是否存在显著差异。\ - 适用于非正态分布数据或含有极端值的样本。\ - 示例：比较两种治疗方法的疗效（不同受试者组）。 2. **Wilcoxon 符号秩检验**： - 比较两个配对样本的中位数差异。\ - 适用于重复测量数据或实验设计中存在配对关系的场景。\ - 示例：同一批受试者在治疗前后血压的变化。 ### 注意事项 - 秩和检验是非参数方法，对数据分布假设少，但效率可能低于参数方法（如t检验）在满足条件时的效果，如果满足参数检验的条件，应优先考虑使用参数检验的方法，否则会增加犯二类错误的概率。 - 数据需要满足独立性假设，否则检验结果可能不准确。