022-理论方法-Bayes公式

知识点概述

Bayes公式（或称贝叶斯公式）是用来描述两个条件概率之间的关系，特别是用于在已知新信息（“结果”）后，更新对某个“原因”发生可能性的估计。它在推断统计、机器学习和人工智能等领域有广泛应用。

教材原文

定理1.5.4（Bayes公式） 设 $(\Omega ,\mathcal{F},P)$ 为一概率空间， {B_n} 是 $\Omega$ 的一个分割．则对于 $\mathcal{F}$ 中任何有正概率的事件 $A$ 及任意的 $n$ 有 P \left(B _ {n} \mid A\right) = \frac {P \left(B _ {n}\right) P \left(A \mid B _ {n}\right)}{\sum_ {i} P \left(B _ {i}\right) P \left(A \mid B _ {i}\right)}. \tag {1.5.5}

证明：用(1.5.1)，(1.5.2)及(1.5.4)式立得。

Bayes 公式是英国哲学家 Bayes 于 1763 年首先提出的。假定 $B_1,B_2,\cdots$ 是某个过程的若干可能的前提，则 $P(B_i)$ 是人们事先对各前提条件出现可能性大小的估计，称之为验前概率。如果这个过程得到了一个结果 $A$ ，那么 Bayes 公式提供了我们根据 $A$ 的出现而对各前提条件作出新评价的方法。 $P(B_i\mid A)$ 即是对前提 $B_i$ 出现概率的重新认识，称 $P(B_i\mid A)$ 为验后概率。

详细解释

1. 背景和动机: 我们常常需要“逆向”推断概率。例如，我们知道不同疾病（原因）引起某种症状（结果）的概率，但当一个病人表现出这种症状时，我们想知道他患上某种特定疾病的概率是多少。Bayes公式正是解决这类“由果溯因”问题的数学工具。
2. 核心原理:
   • Bayes公式的分子是事件 $B_n$ 和事件 $A$ 同时发生的概率，即 $P(A\cap B_n)=P(B_n)P(A|B_n)$。
   • 分母是事件 $A$ 发生的总概率，根据021-理论方法-全概率公式，它等于所有可能的原因 $B_i$ 下 $A$ 发生的概率之和，即 $P(A)={\sum }_{i}P(B_i)P(A|B_i)$。
   • 因此，Bayes公式的本质就是条件概率的定义：$P(B_n|A)=\frac{P(A\cap B_n)}{P(A)}$。
3. 关键概念:
   • 先验概率 (Prior Probability): 在获得新信息（事件A发生）之前，对原因 $B_n$ 的概率估计，即 $P(B_n)$。
   • 后验概率 (Posterior Probability): 在获得新信息（事件A发生）之后，对原因 $B_n$ 的概率的重新评估，即 $P(B_n|A)$。
   • 似然度 (Likelihood): 在原因 $B_n$ 发生的条件下，结果 $A$ 发生的概率，即 $P(A|B_n)$。它描述了原因对结果的“支持”程度。

学习要点

• 理解Bayes公式中每个部分的含义：先验概率、后验概率和似然度。
• 牢记公式的结构：后验概率 $\propto$ 先验概率 $\times$ 似然度。
• 应用Bayes公式的关键是正确识别问题中的“原因”（分割 {B_n}）和“结果”（事件 $A$）。

实践应用

例题: 假设通过验血诊断某种疾病的误诊率仅为 $5\%$。即，如果 $A=\{\text{验血结果为阳性}\}$，$B=\{\text{受检者患此病}\}$，则 $P(\overline{A}\mid B)=P(A\mid \overline{B})=5\%$。如果受检人群中仅有 $0.5\%$ 患有此病，即 $P(B)=0.005$，求一个化验为阳性的人确患此病的条件概率 $P(B\mid A)$。

解题思路:

1. 识别原因和结果:
   • 原因/前提: 患病 ($B$) 或不患病 ($overlineB$)。它们构成一个分割。
   • 结果/新信息: 验血结果为阳性 ($A$)。
2. 确定概率:
   • 先验概率: $P(B)=0.005$, $P(\overline{B})=1-0.005=0.995$。
   • 似然度: $P(A|B)=1-P(\overline{A}|B)=1-0.05=0.95$。$P(A|\overline{B})=0.05$。
3. 应用Bayes公式: $$P(B|A)=\frac{P(B)P(A|B)}{P(B)P(A|B)+P(\overline{B})P(A|\overline{B})}$$ $$P(B|A)=\frac{0.005\times 0.95}{0.005\times 0.95+0.995\times 0.05}=\frac{0.00475}{0.00475+0.04975}=\frac{0.00475}{0.0545}\approx 0.087$$ 这个结果说明，即使验血结果为阳性，此人确诊患病的概率也只有约8.7%，远低于直觉。这突显了先验概率在Bayes推断中的重要性。

关联知识点

• 前置知识:
  • 021-理论方法-全概率公式
• 后续知识:
  • 贝叶斯统计推断
  • 机器学习中的朴素贝叶斯分类器
• 相关知识:
  • 019-核心概念-条件概率