线性回归的解释
知识点概述
线性回归模型的可解释性主要来源于其线性和可加性。通过分析模型的权重（coefficients）、R-squared值以及进行可视化，我们可以直观地理解每个特征如何影响预测结果。
教材原文
线性回归模型中权重的解释取决于相应特征的类型。 … 解释线性模型的另一个重要度量是 R-平方度量 (R-squared Measurement)。R-平方告诉你模型解释了目标结果的总方差中的多少。 … 在线性回归模型中某个特征的重要性可以用它的 t-统计量 (t-statistic) 的绝对值来衡量。
详细解释
1. 权重解释 (Weight Interpretation)
权重的解释方式取决于特征的类型：
- 数值特征: 当所有其他特征保持不变时，该特征值每增加一个单位，预测结果会增加/减少其权重（）的值。
- 二分类特征: 当所有其他特征保持不变时，将该特征从参照类别（通常编码为0）变为另一个类别（编码为1），预测结果会增加/减少其权重的值。
- 多分类特征: 通常使用独热编码（one-hot encoding）将其转换为多个二分类特征。每个类别的权重解释与二分类特征相同，都是与参照类别进行比较。
- 截距项 (): 当所有数值特征为0，且所有分类特征都处于其参照类别时，模型的预测值。其解释通常不那么重要，除非特征已经过标准化处理。
重要提示: 所有权重的解释都基于一个核心前提：“所有其他特征保持不变”。
2. 模型性能度量 (Model Performance)
- R-squared (R²): R平方值衡量了模型能够解释的目标方差的百分比。它的取值范围在0到1之间，越接近1，说明模型的解释能力越强。一个R²很低的模型，其权重解释是没有意义的。
- 调整后的R-squared (Adjusted R²): 考虑到模型中特征数量的增加会自然地提高R²，调整后的R²对此进行了惩罚，是一个更公允的度量。
3. 特征重要性 (Feature Importance)
- t-统计量: 在线性模型中，一个特征的t-统计量的绝对值可以用来衡量其重要性。t-统计量本质上是标准化的权重，它考虑了权重估计的不确定性（标准误）。t-统计量越大，说明该特征越重要。
4. 可视化解释
- 权重图 (Weight Plot): 将模型的权重及其置信区间可视化。这可以直观地看出哪些特征对预测有正面或负面影响，以及影响的显著性。
- 效应图 (Effect Plot): 将每个特征的权重乘以其实际的特征值（
effect = weight * feature_value），然后用箱线图等方式可视化这些效应的分布。这比单纯看权重更直观，因为它考虑了特征值的分布范围。
学习要点
- 掌握如何根据特征类型（数值、分类）来准确地解释线性回归的权重。
- 理解R-squared的含义，并知道为什么需要使用调整后的R-squared。
- 知道可以使用t-统计量来衡量特征的重要性。
- 学会使用权重图和效应图等可视化工具来增强对模型的理解。
实践应用
在对11-应用案例-自行车租赁数据集进行线性回归分析时：
- 我们可以解释“温度”特征的权重：温度每升高1摄氏度，预测的自行车租用量平均增加多少。
- 我们可以解释“天气状况”为“雨天”时的权重：与“晴天”相比，“雨天”会使预测的自行车租用量平均减少多少。
- 我们可以通过R-squared值来判断我们的天气模型在多大程度上解释了自行车租用量的变化。
关联知识点
- 前置知识: 14-理论方法-线性回归
- 后续知识: 16-理论方法-逻辑回归, 34-理论方法-置换特征重要性