064-核心概念-协方差与协方差阵

知识点概述

协方差（Covariance）是度量两个随机变量线性关系的数字特征。它描述了两个变量协同变化的程度：如果一个变量的取值高于其均值时，另一个变量的取值也倾向于高于其均值，则它们的协方差为正；反之则为负。协方差矩阵则是将协方差的概念推广到多维随机向量，用于描述向量中各分量之间的两两关系。

教材原文

(该知识点是标准概率论内容，在教材中通常在方差之后引入。)

详细解释

1. 协方差 (Covariance)

• 定义: 设 $X$ 和 $Y$ 是两个随机变量，其数学期望分别为 $E(X)$ 和 $E(Y)$。$X$ 和 $Y$ 的协方差定义为： $\text{Cov}(X,Y)=E[(X-E(X))(Y-E(Y))]$

• 直观理解:

  • $(X-E(X))$ 是 $X$ 的偏差，$(Y-E(Y))$ 是 $Y$ 的偏差。
  • 如果 $X,Y$ 倾向于同向变化（$X$ 大于均值时 $Y$ 也倾向于大于均值，或 $X$ 小于均值时 $Y$ 也倾向于小于均值），那么偏差的乘积 $(X-E(X))(Y-E(Y))$ 的期望就倾向于为正。
  • 如果 $X,Y$ 倾向于反向变化（$X$ 大于均值时 $Y$ 倾向于小于均值），那么偏差乘积的期望就倾向于为负。
  • 如果 $X,Y$ 的变化没有明显的线性关系，那么偏差乘积的正负项会相互抵消，其期望就倾向于接近0。

• 计算公式: 与方差类似，定义式不便于计算。更实用的计算公式为： $\text{Cov}(X,Y)=E(XY)-E(X)E(Y)$

  • 推导: $\text{Cov}(X,Y)=E[XY-XE(Y)-YE(X)+E(X)E(Y)]$ 根据期望的线性性质， $\text{Cov}(X,Y)=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)=E(XY)-E(X)E(Y)$.

• 与方差的关系: 一个变量与自身的协方差就是其方差。 $\text{Cov}(X,X)=E(X^2)-E(X)E(X)=D(X)$

2. 协方差的性质

• 对称性: $\text{Cov}(X,Y)=\text{Cov}(Y,X)$。
• 与常数的关系: $\text{Cov}(X,C)=0$ (常数与任何变量的协方差为0)。
• 线性性质:
  • $\text{Cov}(aX,bY)=ab\cdot \text{Cov}(X,Y)$
  • $\text{Cov}(X_1+X_2,Y)=\text{Cov}(X_1,Y)+\text{Cov}(X_2,Y)$
• 和的方差公式: $D(X\pm Y)=D(X)+D(Y)\pm 2\text{Cov}(X,Y)$。

3. 协方差矩阵 (Covariance Matrix)

• 定义: 对于一个n维随机向量 $\mathbf{X}=(X_1,\dots ,X_n{)}^T$，其协方差矩阵是一个 $n\times n$ 的矩阵 $\mathbf{C}$，其中第 $(i,j)$ 个元素 $c_{ij}$ 是 $X_i$ 和 $X_j$ 的协方差： $c_{ij}=\text{Cov}(X_i,X_j)$
• 结构: \text{Cov}(X_1, X_1) & \text{Cov}(X_1, X_2) & \cdots & \text{Cov}(X_1, X_n) \\ \text{Cov}(X_2, X_1) & \text{Cov}(X_2, X_2) & \cdots & \text{Cov}(X_2, X_n) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_n, X_1) & \text{Cov}(X_n, X_2) & \cdots & \text{Cov}(X_n, X_n) \end{pmatrix} = \begin{pmatrix} D(X_1) & \text{Cov}(X_1, X_2) & \cdots & \text{Cov}(X_1, X_n) \\ \text{Cov}(X_2, X_1) & D(X_2) & \cdots & \text{Cov}(X_2, X_n) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_n, X_1) & \text{Cov}(X_n, X_2) & \cdots & D(X_n) \end{pmatrix}$$
• 性质:
  • 协方差矩阵是对称矩阵 ($c_{ij}=c_{ji}$)。
  • 对角线上的元素是各个分量的方差。
  • 非对角线元素是不同分量之间的协方差。
  • 协方差矩阵是半正定矩阵。

学习要点

• 理解协方差是度量线性关系的工具，其正负号表示线性相关的方向。
• 熟记协方差的计算公式 $\text{Cov}(X,Y)=E(XY)-E(X)E(Y)$。
• 重要: 如果 $X,Y$ 相互独立，则 $\text{Cov}(X,Y)=0$。但反之不成立！协方差为0只能说明两者不相关（没有线性关系），但可能存在其他非线性关系（如平方关系），因此不一定独立。
• 理解协方差矩阵是对单个协方差概念的推广，它在一个矩阵中概括了随机向量所有分量之间的两两线形关系。

实践应用

• 金融投资: 协方差矩阵是现代投资组合理论的基石。通过计算不同资产收益率之间的协方差，可以构建一个在给定预期回报下风险（方差）最小化的投资组合。
• 机器学习: 在主成分分析（PCA）等降维技术中，需要计算数据特征的协方差矩阵，以找到数据方差最大的方向。
• 统计学: 协方差是理解和计算相关系数的基础。

关联知识点

• 前置知识:
  • 062-核心概念-方差与标准差
  • 060-理论方法-数学期望的性质
• 后续知识:
  • 065-核心概念-相关系数 (相关系数是标准化后的协方差)
  • 050-理论方法-二维正态分布 (二维正态分布由协方差（或相关系数）等五个参数完全定义)