特征交互 (H-statistic)
知识点概述
当一个特征对预测的影响取决于另一个特征的值时，我们就说这两个特征存在交互作用。弗里德曼（Friedman）提出的H-statistic是一种模型无关的方法，用于量化模型中特征之间交互的强度。它通过比较特征的联合部分依赖与各自的独立部分依赖之间的差异来衡量交互的程度。
教材原文
特征交互 (Feature Interaction)：当特征在预测模型中交互时，预测不能表示为特征效应的总和，因为一个特征的效应取决于另一特征的值。亚里士多德的“整体大于部分之和”适用于存在交互作用的情况。 … 估计交互强度的一种方法是衡量预测的变化在多大程度上取决于特征的交互作用。这项衡量称为H统计量，由Friedman和Popescu(2008)[21]引入。
详细解释
1. 交互作用的直觉
- 无交互: 如果两个特征（如大小和位置）不交互，那么它们对预测（如房价）的影响是可加的。例如，无论位置好坏，将房子变大总是使价格增加10万；无论房子大小，从坏位置换到好位置总是使价格增加5万。总效应等于各自效应之和。
- 有交互: 如果存在交互，则总效应不等于各自效应之和。例如，在好位置，将房子变大可能使价格增加20万；但在坏位置，变大可能只增加5万。这里，大小特征的效应取决于位置特征的值。
2. H-statistic的核心思想
H-statistic基于部分依赖图（PDP）的分解。
- 双向交互 (): 衡量特征 和特征 之间的交互强度。
- 核心逻辑: 如果两个特征没有交互，那么它们的联合部分依赖函数 应该等于它们各自的部分依赖函数 和 的和。
- 计算: H-statistic计算的是观测到的联合PDP与假设无交互的（即两个独立PDP之和）PDP之间的方差差异。这个差异越大，说明交互作用越强。
- 总体交互 (): 衡量特征 与所有其他特征之间的交互强度。
- 核心逻辑: 如果特征 与其他任何特征都没有交互，那么整个模型的预测函数 应该可以分解为只依赖于 的部分和依赖于其他所有特征的部分之和。
- 计算: 类似于双向交互，它衡量的是观测到的模型预测与假设无交互的分解预测之间的方差差异。
3. 解释
- H-statistic的值介于0和1之间（理论上可能大于1，但很少见）。
- 值为0: 表示完全没有交互作用。
- 值为1: 表示预测的方差完全由交互作用解释，而单个特征没有主要效应。
- 值越大，表示交互作用越强。它衡量的是由交互作用解释的方差占总方差的比例。
学习要点
- 理解特征交互的本质：“整体不等于部分之和”。
- 掌握H-statistic的核心思想：通过比较联合效应与独立效应之和的差异来量化交互强度。
- 知道H-statistic可以用来衡量两个特征之间（双向）或一个特征与所有其他特征之间（总体）的交互。
- H-statistic是一个介于0和1之间的无量纲指标，便于在不同特征或模型间进行比较。
优点
- 理论基础扎实: 基于部分依赖分解，有明确的数学定义。
- 解释明确: 结果可以被解释为“由交互作用解释的方差比例”。
- 通用性: 可以检测任何形式的交互作用，并且可以扩展到更高阶的交互。
缺点
- 计算成本高: H-statistic的计算非常耗时，因为它需要在所有数据点上评估PDP，而PDP本身计算量就很大。
- 依赖PDP: 继承了PDP的所有缺点，最主要的是在特征相关时，其估计可能因不切实际的数据点而产生偏差。
- 无显著性检验: 在模型无关的设定下，没有一个简单的方法来判断一个H-statistic值是否“显著”大于零。我们只能说一个交互比另一个强，但很难说一个交互是否真实存在。
- 只衡量强度，不揭示形式: H-statistic只告诉我们交互有多强，但没有告诉我们交互是什么样子的。要理解交互的具体形式，仍需要绘制2D的PDP或ALE图。
关联知识点
- 前置知识: 30-理论方法-部分依赖图(PDP)
- 后续知识: 32-理论方法-累积局部效应(ALE) (可用于可视化H-statistic发现的交互)