累积局部效应 (ALE)
知识点概述
累积局部效应图（Accumulated Local Effects, ALE）是一种用于展示特征如何平均影响模型预测的全局解释方法。与部分依赖图（PDP）相比，ALE图的主要优势在于它在处理相关特征时是无偏的，因此计算结果更可靠。它是PDP的一个更优的替代方案。
教材原文
累积局部效应[27] (Accumulated Local Effects Plot) 描述了特征平均如何影响机器学习模型的预测。ALE图是部分依赖图(PDP)的更快、更无偏的替代方法。 … 如果机器学习模型的特征相关，则部分依赖图将不可信。
详细解释
1. 动机：PDP的问题
- 部分依赖图（PDP）通过强制改变所有实例的某个特征值来计算平均预测，这破坏了特征间的相关性，会创造出不切实际的数据点（如身高2米、体重50公斤的人），从而导致特征效应的估计产生偏差。
- M-Plot（边际图）虽然考虑了条件分布，但它混合了相关特征的共同影响，无法分离出单个特征的纯粹效应。
2. ALE的核心思想
- ALE图通过计算特征在很小区间内的预测差异来解决上述问题。它不直接对预测值求平均，而是对预测值的变化率（梯度）求平均，然后将这些局部的变化率累积起来，得到全局的效应曲线。
- 直观理解: 为了计算温度在20°C时的效应，ALE方法关注的是所有温度在19.5°C到20.5°C之间的实例。它计算这些实例在温度从19.5°C变为20.5°C时，模型预测的平均变化量。这个变化量只反映了温度自身的“纯粹”效应，因为在如此小的区间内，与温度相关的其他特征（如季节）不太可能发生剧烈变化。
3. 计算过程
- 划分区间: 将特征的值域划分为多个小区间（通常使用分位数，以保证每个区间内有相同数量的实例）。
- 计算局部效应: 对于每个区间，找到所有落入该区间的实例。对于这些实例，计算当特征值从区间的下限变为上限时，模型预测的平均差值。这个差值就是该区间的“局部效应”。
- 累积效应: 从第一个区间开始，将所有区间的局部效应依次累加起来。例如，第三个区间的累积效应等于第一、二、三区间的局部效应之和。这就形成了一条非中心化的ALE曲线。
- 中心化: 最后，对整条曲线进行中心化处理（减去所有实例的ALE效应的平均值），使得曲线的平均效应为零。最终得到的曲线上的值可以解释为：与平均预测相比，该特征值带来的效应偏差。
4. 二阶ALE图
- ALE图也可以扩展到两个特征，用于可视化它们之间的交互效应。
- 2D-ALE图只显示纯粹的二阶效应，即在剔除了两个特征各自的主要效应之后，它们共同产生的额外交互效应。如果两个特征没有交互，2D-ALE图将是一片平坦（接近于零）。
学习要点
- 理解ALE图是PDP的改进版，它通过计算预测的差值而非预测的平均值来解决特征相关性问题。
- 掌握ALE的计算逻辑：划分区间 → 计算局部效应（差值） → 累积 → 中心化。
- 知道ALE图是无偏的，并且计算速度通常比PDP更快。
- 明白2D-ALE图展示的是纯粹的二阶交互效应，而不是总效应。
优点
- 无偏性: 在特征相关时结果依然可靠。
- 计算速度快: 计算复杂度为O(n)，优于PDP。
- 解释清晰: 曲线值代表了与平均预测的偏差。
缺点
- 实现更复杂: 比PDP更难理解和实现。
- 不附带ICE曲线: 无法像PDP那样直观地展示个体效应的异质性。
- 二阶图解释困难: 纯粹的二阶效应图不包含主要效应，解释起来不如PDP的总效应图直观。
关联知识点
- 前置知识: 30-理论方法-部分依赖图(PDP), 31-理论方法-个体条件期望(ICE)
- 相关知识: 特征相关性