066-核心概念-条件数学期望

知识点概述

条件数学期望（Conditional Expectation）是将数学期望的概念与条件概率相结合的产物。它描述的是，在已知某个事件发生或某个随机变量取特定值的条件下，另一个随机变量的期望值（平均值）。它是在获得部分信息后，对随机变量中心趋势的更新估计。

教材原文

(该知识点是标准概率论内容，在教材中通常在期望和条件分布之后引入。)

详细解释

条件期望的定义根据条件的类型（是事件还是随机变量）和变量的类型（离散或连续）而有所不同。

1. 给定事件的条件期望

• 定义: 设 $X$ 是一个随机变量， $A$ 是一个事件且 $P(A)>0$。给定事件 $A$ 发生时，$X$ 的条件期望 $E(X|A)$ 定义为：
  • 离散型: $E(X|A)={\sum }_i{x}_{i}P(X=x_i|A)$
  • 连续型: $E(X|A)={\int }_{-\infty }^{\infty }x{f}_{X|A}(x)dx$，其中 $f_{X|A}(x)$ 是给定A时X的条件密度函数。

2. 给定另一个随机变量的条件期望

这是更常见也更重要的形式。它本身是一个随机变量。

• 定义: 设 $(X,Y)$ 是一个二维随机向量。

  • 给定 $Y=y$ 时，$X$ 的条件期望 $E(X|Y=y)$ 是一个关于 $y$ 的函数，其计算方法是使用 $X$ 的051-核心概念-条件分布来计算期望：
    • 离散型: $E(X|Y=y_j)={\sum }_i{x}_{i}P(X=x_i|Y=y_j)$
    • 连续型: $E(X|Y=y)={\int }_{-\infty }^{\infty }x{f}_{X|Y}(x|y)dx$

• $E(X|Y)$ 作为随机变量:

  • 上面计算出的 $E(X|Y=y)$ 是一个关于 $y$ 的函数，我们记这个函数为 $g(y)=E(X|Y=y)$。
  • 那么，$E(X|Y)$ 就是一个新的随机变量，它等于 $g(Y)$。也就是说，当随机变量 $Y$ 取不同的值 $y$ 时，这个新的随机变量 $E(X|Y)$ 就取对应的值 $g(y)$。
  • 直观理解: $E(X|Y)$ 是对 $X$ 的期望的最佳估计，这个估计是随着我们观察到的 $Y$ 的值的变化而动态调整的。

学习要点

• 区分两种条件期望:
  1. $E(X|A)$ (给定事件A)：这是一个数值。
  2. $E(X|Y)$ (给定随机变量Y)：这是一个随机变量，是 $Y$ 的函数。
• 计算方法: 计算条件期望的核心是先求出051-核心概念-条件分布，然后在这个条件分布下像计算普通期望一样进行加权平均（求和或积分）。
• $E(X|Y)$ 的随机性: 理解 $E(X|Y)$ 的随机性来源于 $Y$ 的随机性。$Y$ 取什么值，$E(X|Y)$ 就取什么值。

实践应用

• 统计与机器学习: 在回归分析中，我们实际上就是在建模条件期望 $E(Y|X=\mathbf{x})$。例如，线性回归模型 $Y={\beta }_0+{\beta }_1{X}_1+\dots$ 实际上是在假设 $E(Y|X_1,\dots )={\beta }_0+{\beta }_1{X}_1+\dots$。
• 金融: 在资产定价中，一个股票明天的预期收益，是基于今天所有已知信息（如市场走势、公司新闻等）的条件期望。
• 信号处理: 滤波器的作用可以看作是根据带有噪声的观测信号 $Y$，来估计真实信号 $X$ 的条件期望 $E(X|Y)$。

例题: 设二维离散随机向量 $(X,Y)$ 的联合分布列为：

$Y\setminus X$	0	1
1	0.1	0.2
2	0.3	0.4

求 $E(X|Y=1)$ 和 $E(X|Y)$。

解题思路:

1. 求条件分布 $P(X|Y=1)$:
   • 首先需要边缘概率 $P(Y=1)=P(X=0,Y=1)+P(X=1,Y=1)=0.1+0.2=0.3$。
   • $P(X=0|Y=1)=\frac{P(X=0,Y=1)}{P(Y=1)}=\frac{0.1}{0.3}=\frac{1}{3}$。
   • $P(X=1|Y=1)=\frac{P(X=1,Y=1)}{P(Y=1)}=\frac{0.2}{0.3}=\frac{2}{3}$。
2. 计算条件期望 $E(X|Y=1)$:
   • 这是一个数值。
   • $E(X|Y=1)=0\cdot P(X=0|Y=1)+1\cdot P(X=1|Y=1)=0\cdot \frac{1}{3}+1\cdot \frac{2}{3}=\frac{2}{3}$。
3. 求随机变量 $E(X|Y)$:
   • 这是一个随机变量，是 $Y$ 的函数。我们需要对 $Y$ 的所有可能取值都计算一次条件期望。
   • 我们已经算出当 $Y=1$ 时，期望为 $2/3$。
   • 现在计算当 $Y=2$ 时的情况：
     • $P(Y=2)=0.3+0.4=0.7$。
     • $P(X=0|Y=2)=0.3/0.7=3/7$。
     • $P(X=1|Y=2)=0.4/0.7=4/7$。
     • $E(X|Y=2)=0\cdot \frac{3}{7}+1\cdot \frac{4}{7}=\frac{4}{7}$。
   • 因此，随机变量 $E(X|Y)$ 的分布为： $E(X|Y)=\{\begin{array}{ll}2/3,& \text{当 }Y=1\text{ 时 (概率为0.3)}\\ 4/7,& \text{当 }Y=2\text{ 时 (概率为0.7)}\end{array}$

关联知识点

• 前置知识:
  • 059-核心概念-数学期望的定义
  • 051-核心概念-条件分布
• 后续知识:
  • 067-理论方法-全期望公式 (也称作重期望法则或迭代期望定律)
  • 最小均方误差估计 (MMSE Estimator)