053-理论方法-独立性的等价条件

知识点概述

除了通过联合分布函数或密度函数来定义随机变量的独立性之外，还存在一些在理论上非常重要且应用中更方便的等价条件。这些条件将随机变量的独立性与更广泛的事件或函数类的独立性联系起来。

教材原文

(教材在2.6.2节预告了将运用单调类定理给出一个简洁又严格的证明，这通常指向独立性的一个重要等价条件。)

详细解释

以下是随机变量 $X$ 和 $Y$ 相互独立的几个重要等价条件：

1. 基于事件的等价条件

$X$ 和 $Y$ 相互独立，当且仅当，对于任意的两个Borel集 $B_1\subset \mathbb{R}$ 和 $B_2\subset \mathbb{R}$，事件 $A_1=\{X\in B_1\}$ 和 $A_2=\{Y\in B_2\}$ 是相互独立的。 $P(X\in B_1,Y\in B_2)=P(X\in B_1)P(Y\in B_2),\forall B_1,B_2\in \mathcal{B}$

• 解释: 这个条件比原始定义 $F(x,y)=F_X(x)F_Y(y)$ 更强、更通用。原始定义只考虑了形如 $(-\infty ,x]$ 的特殊Borel集，而这个条件推广到了任意的Borel集（如区间、点的集合、区间的并集等）。从原始定义推广到这个通用条件，其严格证明需要用到018-理论方法-单调类定理。证明思路是，首先验证对于简单的矩形区域成立，然后利用单调类定理将结论推广到由这些矩形生成的整个Borel $\sigma$-代数。

2. 基于函数期望的等价条件

$X$ 和 $Y$ 相互独立，当且仅当，对于任意的有界连续（或有界可测）函数 $g$ 和 $h$，都有： $E[g(X)h(Y)]=E[g(X)]E[h(Y)]$

• 解释: 这是在理论分析和矩计算中非常有用的一个条件。它表明，如果两个随机变量独立，那么它们各自的函数的乘积的期望，等于它们各自函数期望的乘积。期望算子 $E[\cdot ]$ 具有了对独立变量的“可乘性”。
• 注意: 这个条件要求对任意的（满足一定条件的）函数 $g,h$ 都成立，而不仅仅是某个特定的函数。例如，协方差为0（$E[XY]=E[X]E[Y]$）只是一个必要非充分条件（除非对于正态分布）。

3. 基于特征函数的等价条件

$X$ 和 $Y$ 相互独立，当且仅当，它们的联合特征函数等于它们各自边缘特征函数的乘积。 ${\varphi }_{X,Y}(t_1,t_2)={\varphi }_X(t_1){\varphi }_Y(t_2),\forall t_1,t_2\in \mathbb{R}$

• 解释: 特征函数是分布的另一种描述方式，它与分布函数一一对应。由于特征函数具有许多优良的分析性质（例如，独立随机变量和的特征函数是特征函数的乘积），这个等价条件在证明极限定理（如中心极限定理）时扮演着核心角色。

学习要点

• 理解独立性的核心思想是“乘积形式”，这个思想可以体现在分布函数、概率测度、期望、特征函数等多个层面。
• 基于事件的等价条件 $P(X\in B_1,Y\in B_2)=P(X\in B_1)P(Y\in B_2)$ 是最根本和最通用的定义。
• 基于期望的等价条件 $E[g(X)h(Y)]=E[g(X)]E[h(Y)]$ 在计算矩和证明理论时非常方便。
• 基于特征函数的等价条件在处理随机变量求和以及证明极限定理时是强大的分析工具。
• 理解这些等价条件的存在，可以让我们从不同的角度去攻击和证明与独立性相关的问题。

实践应用

• 理论证明: 在证明中心极限定理时，关键一步就是利用独立同分布的假设，将n个随机变量和的特征函数写成单个随机变量特征函数的n次方，即 ${\varphi }_{\sum X_i}(t)=[{\varphi }_X(t){]}^n$。这直接应用了基于特征函数的等价条件。
• 模拟与计算: 在蒙特卡洛模拟中，如果我们需要生成独立的随机变量 $X$ 和 $Y$，我们可以分别从它们的边缘分布中独立抽样，然后将样本组合起来。这背后依赖于 $f(x,y)=f_X(x)f_Y(y)$ 的思想。
• 统计推断: 许多统计模型的建立都基于样本的独立性假设。例如，在构建似然函数时，如果样本 $x_1,\dots ,x_n$ 是独立同分布的，那么联合似然函数就可以写成边缘似然函数的乘积 $L(\theta )={\prod }_{i=1}^{n}f(x_i;\theta )$，这极大地简化了参数估计的过程。

关联知识点

• 前置知识:
  • 052-核心概念-随机变量的独立性
  • 018-理论方法-单调类定理
• 后续知识:
  • 060-理论方法-数学期望的性质
  • 072-核心概念-特征函数的定义
  • 091-核心概念-中心极限定理的定义