069-核心概念-母函数的定义

知识点概述

母函数（Generating Function），在概率论中特指概率母函数（Probability-generating function, PGF）或矩母函数（Moment-generating function, MGF），是一种用于描述随机变量概率分布的替代方法。它是一个实变量的函数，其级数展开的系数或其导数包含了分布的全部信息（如各点的概率或各阶矩），常常能极大地简化计算，尤其是在处理独立随机变量之和的问题时。

教材原文

(教材在3.3节标题“母函数”和3.4节标题“特征函数”中引入了这些概念。)

详细解释

1. 概率母函数 (PGF)

• 适用范围: 主要用于取值为非负整数的离散型随机变量 $X$。
• 定义: $X$ 的概率母函数定义为： $G_X(s)=E(s^X)={\sum }_{k=0}^{\infty }P(X=k)s^k$ 其中 $s$ 是一个实变量。这个定义要求级数在某个包含 $s=1$ 的区间内收敛。
• 本质: 这是一个以 $s^k$ 为基底的幂级数，其第 $k$ 项的系数恰好是随机变量取值为 $k$ 的概率 $P(X=k)$。
• 作用:
  • 唯一性: 概率分布完全由其PGF唯一确定。
  • 求概率: 通过对 $G_X(s)$ 在 $s=0$ 处求各阶导数，可以还原出各点的概率： $P(X=k)=\frac{G_X^{(k)}(0)}{k!}$
  • 求矩: 可以用来计算期望和方差，但更常用的是矩母函数。 $E(X)=G_X^{\prime }(1)$ $D(X)=G_X^{\prime \prime }(1)+G_X^{\prime }(1)-[G_X^{\prime }(1){]}^2$

2. 矩母函数 (MGF)

• 适用范围: 离散型和连续型随机变量均可使用。
• 定义: $X$ 的矩母函数定义为： $M_X(t)=E(e^{tX})$ 其中 $t$ 是一个实变量。这个定义要求期望在包含 $t=0$ 的某个开区间内存在。
  • 离散型: $M_X(t)={\sum }_i{e}^{t{x}_i}P(X=x_i)$
  • 连续型: $M_X(t)={\int }_{-\infty }^{\infty }{e}^{tx}f(x)dx$
• 本质: 它是随机变量 $e^{tX}$ 的期望。它的泰勒级数展开的系数与各阶原点矩密切相关。
• 作用:
  • 唯一性: 如果MGF在0附近存在，它就唯一地确定了概率分布。
  • 生成矩: 这是MGF最重要的应用。通过对 $M_X(t)$ 在 $t=0$ 处求各阶导数，可以直接得到各阶原点矩 ${\alpha }_k=E(X^k)$。 $E(X^k)=M_X^{(k)}(0)={\frac{d^k{M}_X(t)}{d{t}^k}|}_{t=0}$ 这就是“矩母函数”这个名字的由来。

学习要点

• 区分PGF和MGF:
  • PGF ($E(s^X)$) 主要用于非负整数离散变量，其系数是概率。
  • MGF ($E(e^{tX})$) 应用更广，其导数可以“生成”矩。
• 核心思想: 将一个完整的概率分布（一个函数或数列）的信息“编码”到另一个更易于处理的函数（母函数）中。
• 母函数的优越性: 母函数的主要威力体现在处理独立随机变量之和时。乘法运算通常比卷积运算简单得多。

实践应用

例题: 设 $X\sim \text{Poisson}(\lambda )$。求其矩母函数MGF，并用MGF求其期望和方差。

解题思路:

1. 求MGF: $M_X(t)=E(e^{tX})={\sum }_{k=0}^{\infty }{e}^{tk}P(X=k)={\sum }_{k=0}^{\infty }{e}^{tk}\frac{e^{-\lambda }{\lambda }^k}{k!}$ $M_X(t)=e^{-\lambda }{\sum }_{k=0}^{\infty }\frac{(e^t\lambda {)}^k}{k!}$ 根据泰勒级数 ${\sum }_{k=0}^{\infty }\frac{a^k}{k!}=e^a$，令 $a=\lambda e^t$。 $M_X(t)=e^{-\lambda }{e}^{\lambda e^t}=e^{\lambda (e^t-1)}$

2. 用MGF求期望 (一阶原点矩):

   • 求一阶导数: $M_X^{\prime }(t)=\frac{d}{dt}{e}^{\lambda (e^t-1)}=e^{\lambda (e^t-1)}\cdot (\lambda e^t)=\lambda e^t{M}_X(t)$。
   • 在 $t=0$ 处取值: $E(X)=M_X^{\prime }(0)=\lambda e^0{M}_X(0)=\lambda \cdot 1\cdot e^{\lambda (e^0-1)}=\lambda e^0=\lambda$。

3. 用MGF求方差:

   • 首先求二阶原点矩 $E(X^2)=M_X^{\prime \prime }(0)$。
   • 求二阶导数: $M_X^{\prime \prime }(t)=\frac{d}{dt}(\lambda e^t{M}_X(t))=(\lambda e^t{)}^{\prime }{M}_X(t)+(\lambda e^t)M_X^{\prime }(t)=\lambda e^t{M}_X(t)+(\lambda e^t{)}^2{M}_X(t)$。
   • 在 $t=0$ 处取值: $E(X^2)=M_X^{\prime \prime }(0)=\lambda e^0{M}_X(0)+(\lambda e^0{)}^2{M}_X(0)=\lambda +{\lambda }^2$。
   • 计算方差: $D(X)=E(X^2)-[E(X){]}^2=(\lambda +{\lambda }^2)-(\lambda {)}^2=\lambda$。

结论: 泊松分布的期望和方差都等于其参数 $\lambda$。

关联知识点

• 前置知识:
  • 068-核心概念-矩(原点矩与中心矩)
• 后续知识:
  • 070-理论方法-母函数的性质
  • 071-理论方法-独立和的母函数
  • 072-核心概念-特征函数的定义 (特征函数是母函数的推广，性质更好)