079-应用案例-样本均值与样本方差的独立性

知识点概述

在统计学中，一个极其重要而又不直观的结论是：对于从正态总体中抽取的独立同分布（i.i.d.）样本，其样本均值 $(\bar{X})$ 和样本方差 $(S^2)$ 是相互独立的随机变量。这个定理通常被称为费雪定理（Fisher’s Theorem），它是构建t分布和F分布等重要抽样分布的理论基石。

教材原文

(教材在第三章介绍多元正态的线性变换以后，增加了证明正态总体样本均值与样本方差的独立性一节。)

详细解释

1. 定义

• 样本: 设 $X_1,X_2,\dots ,X_n$ 是从一个正态总体 $N(\mu ,{\sigma }^2)$ 中抽取的独立同分布（i.i.d.）的样本。
• 样本均值: $\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$
• 样本方差: $S^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$

2. 定理内容 (Fisher’s Theorem)

在上述定义下，有以下三个重要结论：

1. 样本均值 $\bar{X}$ 服从正态分布: $\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$。
2. $\frac{(n-1)S^2}{{\sigma }^2}$ 服从自由度为 $n-1$ 的卡方分布: $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$。
3. $\bar{X}$ 和 $S^2$ 是相互独立的随机变量。

3. 独立性的证明思路

要严格证明 $\bar{X}$ 和 $S^2$ 的独立性，通常需要用到正态随机向量的线性变换的性质，尤其是正交变换。

1. 构造正交变换: 构造一个 $n\times n$ 的正交矩阵 $\mathbf{A}$，其第一行所有元素都是 $1/\sqrt{n}$。 1/\sqrt{n} & 1/\sqrt{n} & \cdots & 1/\sqrt{n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{pmatrix}$$
2. 进行线性变换: 定义一个新的随机向量 $\mathbf{Y}=\mathbf{AX}$，其中 $\mathbf{X}=(X_1,\dots ,X_n{)}^T$。由于 $\mathbf{X}$ 是一个多元正态向量（因为各分量独立且服从正态分布），根据正态向量线性变换的性质，$\mathbf{Y}$ 也服从多元正态分布。
3. 计算新向量的参数:
   • 可以证明，新向量 $\mathbf{Y}$ 的协方差矩阵是一个对角矩阵，这意味着 $\mathbf{Y}$ 的所有分量 $Y_1,Y_2,\dots ,Y_n$ 是相互独立的。
4. 建立新旧变量的关系:
   • 可以算出，新向量的第一个分量 $Y_1=\frac{1}{\sqrt{n}}\sum X_i=\sqrt{n}\bar{X}$。因此，$Y_1$ 只与样本均值 $\bar{X}$ 有关。
   • 利用正交变换的性质（保持范数不变），可以证明 ${\sum }_{i=1}^n(X_i-\bar{X}{)}^2={\sum }_{i=2}^n{Y}_i^2$。因此，样本方差 $S^2$ 只与 $Y_2,\dots ,Y_n$ 有关。
5. 得出结论:
   • 由于 $Y_1$ 与 $(Y_2,\dots ,Y_n)$ 相互独立，而 $\bar{X}$ 是 $Y_1$ 的函数，$S^2$ 是 $(Y_2,\dots ,Y_n)$ 的函数。
   • 因此，$\bar{X}$ 和 $S^2$ 相互独立。

学习要点

• 前提是正态总体: 这个定理的成立，强依赖于原始总体是正态分布的假设。对于非正态总体，样本均值和样本方差通常不独立。
• 直观理解的困难: 均值和方差的计算都用到了同一组样本数据 $X_i$，因此直观上会认为它们是相关的。这个定理的结论是反直觉的，但又是正确的，体现了正态分布优美的数学性质。
• 理论意义: 这个定理是数理统计中构造t统计量和F统计量的关键。例如，t统计量的定义 $t=\frac{\bar{X}-\mu }{S/\sqrt{n}}$，其分子是标准正态变量，分母是卡方分布变量的函数，而分子分母的独立性是t分布能够成立的保证。

关联知识点

• 前置知识:
  • 078-理论方法-正态随机向量的线性变换
  • 卡方分布 (Chi-squared Distribution)
• 后续知识:
  • t分布 (Student’s t-distribution)
  • F分布 (F-distribution)
  • 假设检验与置信区间