17-技术实现-逻辑回归的解释

逻辑回归的解释

知识点概述

逻辑回归的解释与线性回归不同，因为其权重和概率之间是非线性关系。解释逻辑回归的关键在于理解“几率比”（Odds Ratio）。

教材原文

由于逻辑回归的结果是 0 到 1 之间的概率，逻辑回归中权重的解释不同于线性回归中权重的解释。权重不再线性地影响概率，加权和由逻辑函数转换为概率。因此，我们需要为解释重新构造方程，以便只有线性项在公式的右边。 $\log (\frac{P(y=1)}{1-P(y=1)})=\log (\text{odds})={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p$ …一个特征改变 1 个单位将会使几率比 (odds ratio) 改变 $\exp ({\beta }_j)$。

详细解释

1. 从对数几率到几率比

• 对数几率 (Log-odds): 逻辑回归直接建模的是对数几率，它与特征呈线性关系。当特征 $x_j$ 增加一个单位时，对数几率会增加其权重 ${\beta }_j$ 的值。但对数几率本身不直观。
• 几率 (Odds): 为了让解释更直观，我们对对数几率方程两边取指数，得到几率： $extodds=\frac{P(y=1)}{1-P(y=1)}=e^{({\beta }_0+\sum {\beta }_j{x}_j)}$
• 几率比 (Odds Ratio): 当我们考察特征 $x_j$ 增加一个单位带来的变化时，我们看的是变化前后的几率的比值： $\frac{{\text{odds}}_{x_j+1}}{{\text{odds}}_{x_j}}=\frac{e^{({\beta }_0+\cdots +{\beta }_j(x_j+1)+\dots )}}{e^{({\beta }_0+\cdots +{\beta }_j{x}_j+\dots )}}=e^{{\beta }_j}$ 这个 $e^{{\beta }_j}$ 就是几率比。

2. 权重解释

• 数值特征: 当所有其他特征保持不变时，该特征值每增加一个单位，事件发生的几率会乘以 $e^{{\beta }_j}$。
  • 如果 ${\beta }_j>0$, 则 $e^{{\beta }_j}>1$，几率增加，事件发生的可能性变大。
  • 如果 ${\beta }_j<0$, 则 $e^{{\beta }_j}<1$，几率减小，事件发生的可能性变小。
  • 如果 ${\beta }_j=0$, 则 $e^{{\beta }_j}=1$，几率不变。
• 分类特征: 当所有其他特征保持不变时，将该特征从参照类别变为另一个类别，事件发生的几率会乘以 $e^{{\beta }_j}$。

重要提示: 逻辑回归的解释是乘法关系（影响几率），而不是像线性回归那样的加法关系（影响预测值）。

学习要点

• 逻辑回归的权重不能直接解释为对概率的线性影响。
• 解释的核心是几率比 ($e^{{\beta }_j}$)。
• 掌握解释模板：“当特征X增加一个单位，Y=1的几率将变为原来的 $e^{{\beta }_X}$ 倍。”
• 能够根据权重的正负和大小，判断特征对事件发生概率的促进或抑制作用。

实践应用

在对13-应用案例-宫颈癌风险因素数据集进行逻辑回归分析时：

• 假设“年龄”特征的权重 ${\beta }_{age}$ 对应的几率比为1.05。我们可以解释为：在其他因素不变的情况下，年龄每增加一岁，患宫颈癌的几率将增加到原来的1.05倍。
• 假设“是否服用激素避孕药”特征的权重 ${\beta }_{contra}$ 对应的几率比为0.89。我们可以解释为：与不服用激素避孕药的女性相比，服用的女性患宫颈癌的几率是其0.89倍。

关联知识点

• 前置知识: 16-理论方法-逻辑回归
• 后续知识: 18-理论方法-广义线性模型(GLM)