067-理论方法-全期望公式

知识点概述

全期望公式（Law of Total Expectation），也称为重期望法则（Law of Iterated Expectations）或亚当定律（Adam’s Law），是概率论中的一个重要结果。它指出，一个随机变量的期望，等于其条件期望的期望。这个公式提供了一种强大的“分而治之”的策略来计算复杂的期望值。

教材原文

(该知识点是条件期望理论的核心部分，在标准教材中均有介绍。)

详细解释

1. 公式

设 $X$ 和 $Y$ 是定义在同一个概率空间上的两个随机变量。 全期望公式表明： $E(X)=E[E(X|Y)]$

• 公式解读:
  • 内层期望 $E(X|Y)$: 这是给定随机变量 $Y$ 的条件下，$X$ 的条件期望。如前所述，$E(X|Y)$ 本身是一个关于 $Y$ 的函数，因此它是一个随机变量。
  • 外层期望 $E[...]$: 这是对内层期望这个新的随机变量再次求期望。这个期望是关于 $Y$ 的分布来计算的。

2. 证明思路

以连续型随机变量为例：

1. 根据定义，外层期望为 $E[E(X|Y)]={\int }_{-\infty }^{\infty }E(X|Y=y)f_Y(y)dy$。
2. 将内层期望的定义 $E(X|Y=y)={\int }_{-\infty }^{\infty }x{f}_{X|Y}(x|y)dx$ 代入。 $E[E(X|Y)]={\int }_{-\infty }^{\infty }\left({\int }_{-\infty }^{\infty }x{f}_{X|Y}(x|y)dx\right)f_Y(y)dy$
3. 利用条件密度定义 $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$ 进行替换。 $E[E(X|Y)]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }x\frac{f(x,y)}{f_Y(y)}{f}_Y(y)dxdy={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }xf(x,y)dydx$
4. 交换积分次序（需要满足一定条件），并将对 $y$ 的积分向内移动。 $E[E(X|Y)]={\int }_{-\infty }^{\infty }x\left({\int }_{-\infty }^{\infty }f(x,y)dy\right)dx$
5. 括号内的积分正是 $X$ 的边缘密度函数 $f_X(x)$。 $E[E(X|Y)]={\int }_{-\infty }^{\infty }x{f}_X(x)dx$
6. 上式正好是 $E(X)$ 的定义。 因此，$E(X)=E[E(X|Y)]$ 得证。

离散型变量的证明思路完全相同，只是将积分换为求和。

学习要点

• 核心思想: “分情况讨论求平均”。先在某种给定的条件下求一个“局部”的平均值（条件期望），然后再对所有这些“局部”的平均值求一个“全局”的平均值。
• 与全概率公式的类比:
  • 全概率公式: $P(A)={\sum }_{i}P(A|B_i)P(B_i)$ (对概率进行加权平均)
  • 全期望公式: $E(X)={\sum }_{i}E(X|Y=y_i)P(Y=y_i)$ (对期望进行加权平均) 两者在思想上是统一的。
• 理解公式两边的含义：左边是一个数值，右边是一个随机变量的期望（最终也是一个数值）。

实践应用

全期望公式在理论推导和实际计算中都非常有用，特别是当直接计算 $E(X)$ 很困难，但在给定某个条件下计算 $E(X|Y)$ 变得容易时。

例题: 假设一个养鸡场有 $N$ 只母鸡， $N$ 服从参数为 $\lambda$ 的泊松分布。每只母鸡在一天内下蛋的概率为 $p$，且每只母鸡下蛋与否相互独立。求一天内总产蛋量 $K$ 的数学期望。

解题思路:

1. 直接计算困难: $K$ 的分布非常复杂（它是一个随机数量的伯努利试验之和），直接计算 $E(K)$ 很困难。
2. 引入条件: 我们引入一个条件，即养鸡场总共有 $N=n$ 只母鸡。这是一个很自然的“分情况讨论”。
3. 计算条件期望 $E(K|N=n)$:
   • 在给定有 $n$ 只母鸡的条件下，总产蛋量 $K$ 就变成了一个服从二项分布 $B(n,p)$ 的随机变量。
   • 因此，其条件期望为 $E(K|N=n)=np$。
4. 得到随机变量 $E(K|N)$:
   • 从上一步我们知道，如果 $N$ 的取值是 $n$，那么 $K$ 的条件期望就是 $np$。
   • 因此，条件期望 $E(K|N)$ 这个随机变量就等于 $Np$。
5. 应用全期望公式: $E(K)=E[E(K|N)]=E[Np]$
6. 利用期望性质:
   • 根据期望的线性性质，$E[Np]=pE(N)$。
   • 我们知道 $N$ 服从泊松分布 $P(\lambda )$，所以 $E(N)=\lambda$。
   • 因此，$E(K)=p\lambda$。

这个例子完美地展示了全期望公式如何将一个复杂的问题分解为我们熟知的、更简单模型的期望计算。

关联知识点

• 前置知识:
  • 066-核心概念-条件数学期望
• 相关概念:
  • 021-理论方法-全概率公式
  • 全方差公式 (Law of Total Variance): $D(X)=E[D(X|Y)]+D[E(X|Y)]$