077-理论方法-多元正态分布的性质

知识点概述

多元正态分布之所以在理论和应用中都占据核心地位，是因为它拥有一系列极其优良和简洁的数学性质。这些性质使得对复杂的多变量系统的分析变得可行和优雅。

教材原文

(该知识点是标准概率论内容，在教材中通常紧随多元正态分布的定义之后。)

详细解释

设 $\mathbf{X}=(X_1,X_2,\dots ,X_n{)}^T$ 是一个服从 $N(\mu ,\mathbf{\Sigma })$ 的n维正态随机向量。

1. 线性变换下的封闭性

• 性质: 对多元正态向量进行任意的线性变换，其结果仍然服从多元正态分布。
• 若 $\mathbf{Y}=\mathbf{AX}+\mathbf{b}$，其中 $\mathbf{A}$ 是一个 $m\times n$ 的矩阵，$\mathbf{b}$ 是一个 $m$ 维向量，则 $\mathbf{Y}$ 是一个 $m$ 维随机向量，并且它也服从多元正态分布： $\mathbf{Y}\sim N(\mathbf{A}\mu +\mathbf{b},\mathbf{A\Sigma }{\mathbf{A}}^T)$
• 重要性: 这是多元正态分布最核心、最本质的性质。所有其他性质几乎都可以从它推导出来。它保证了正态性在线性运算下的稳定性。

2. 边缘分布与条件分布

• 性质 (边缘分布): 多元正态向量的任意一个子向量（即只看其中的某几个分量），其边缘分布仍然是多元正态分布。特别地，它的每一个分量 $X_i$ 都服从一维正态分布。 $X_i\sim N({\mu }_i,{\Sigma }_{ii})$ 其中 ${\mu }_i$ 是均值向量的第i个元素，${\Sigma }_{ii}$ 是协方差矩阵的第i个对角元（即 $X_i$ 的方差）。

  • 推导: 选取合适的变换矩阵 $\mathbf{A}$（例如，一个只在对应位置为1，其余为0的行向量），即可从性质1得到此结论。
  • 注意: 反之不成立！每个分量都是正态分布，并不能保证它们组成的向量是多元正态分布。

• 性质 (条件分布): 对于任意两个子向量 ${\mathbf{X}}_1$ 和 ${\mathbf{X}}_2$，给定 ${\mathbf{X}}_2$ 的条件下，${\mathbf{X}}_1$ 的条件分布也服从多元正态分布。

3. 独立性与不相关

• 性质: 对于多元正态分布，其任意两个分量 $X_i$ 和 $X_j$ 相互独立的充分必要条件是它们不相关，即它们的协方差为0。 $X_i,X_j\text{ 独立}⟺\text{Cov}(X_i,X_j)=0$
• 推广: 它的任意两个子向量 ${\mathbf{X}}_a$ 和 ${\mathbf{X}}_b$ 相互独立的充要条件是它们之间的协方差矩阵块为零矩阵。
• 重要性: 这个性质极其重要，因为它将难以验证的“独立性”问题，转化为了更容易计算的“协方差为0”的问题。对于一般分布，我们只能从独立推出不相关，但反之不成立。正态分布是这个重要等价关系成立的特例。

4. 特征函数

• 性质: n维正态向量 $\mathbf{X}\sim N(\mu ,\mathbf{\Sigma })$ 的特征函数为： ${\varphi }_{\mathbf{X}}(\mathbf{t})=E[e^{i{\mathbf{t}}^T\mathbf{X}}]=\exp (i{\mathbf{t}}^T\mu -\frac{1}{2}{\mathbf{t}}^T\mathbf{\Sigma t})$ 其中 $\mathbf{t}=(t_1,\dots ,t_n{)}^T$ 是一个n维实数向量。
• 这个简洁的形式是证明上述许多性质（特别是线性变换和独立和）的有力工具。

学习要点

• 抓住核心: 线性变换的封闭性是所有性质的根源。
• 边缘分布: 整体是正态，部分也是正态。
• 独立性: 对正态家族而言，“不相关”就等价于“独立”。
• 参数变换: 熟记线性变换 $Y=AX+b$ 后，新的均值向量和协方差矩阵如何从旧的参数变换而来：${\mu }_Y=A{\mu }_X+b$, ${\Sigma }_Y=A{\Sigma }_X{A}^T$

关联知识点

• 前置知识:
  • 076-理论方法-多元正态分布的定义
• 核心应用:
  • 078-理论方法-正态随机向量的线性变换
  • 079-应用案例-样本均值与样本方差的独立性 (Fisher定理的证明基础)
• 相关概念:
  • 主成分分析 (PCA): 其本质就是通过一个正交线性变换，将一个相关的多元正态向量，变换为一个不相关（因此独立）的多元正态向量，从而实现降维。