有影响力的实例
知识点概述
有影响力的实例（Influential Instances）是指那些对训练好的模型参数或预测结果具有不成比例巨大影响的训练数据点。识别这些实例对于调试模型、发现数据错误以及理解模型行为至关重要。其核心思想是：如果从训练集中移除这个实例，会导致模型发生显著改变，那么它就是有影响力的。
教材原文
有影响力的实例是数据实例，其删除对训练模型有很大影响。在从训练数据中删除特定实例后对模型进行重新训练时，模型参数或预测变化越大，该实例的影响力就越大。 … 对解释有影响力的实例背后的关键思想是将模型参数和预测追溯到一切开始的地方：训练数据。
详细解释
1. 核心思想：追溯到训练数据
与其它关注“改变输入特征如何影响预测”的方法不同，识别有影响力的实例关注的是“改变训练数据如何影响模型本身”。它将模型不看作是固定的，而是看作训练数据的函数，从而分析训练数据中的每个点对最终模型的影响力。
2. 识别方法
a) 删除诊断 (Deletion Diagnostics)
- 原理: 最直观的方法。对于每一个训练实例，我们都执行一次“留一法”（Leave-One-Out）：
- 从训练集中删除该实例。
- 在剩余的数据上重新训练模型。
- 观察新模型与原始模型在参数或预测上的差异。差异越大，被删除的实例影响力就越大。
- 度量:
- DFBETA: 衡量实例删除对模型参数（如线性回归的权重）的影响。
- Cook距离 (Cook’s Distance): 衡量实例删除对模型整体预测（在整个数据集上）的影响。
- 简单预测差异: 衡量实例删除对某个特定测试实例的预测的影响。
- 缺点: 计算成本极高。如果有n个训练实例，就需要重新训练n次模型。
b) 影响函数 (Influence Functions)
- 原理: 这是删除诊断的一种高效近似方法，它避免了重新训练模型。影响函数源于稳健统计，它通过数学推导来估计：如果我们将某个训练实例的权重增加一个无穷小的量，模型参数会如何变化。
- 核心: 该方法利用了模型损失函数相对于参数的一阶导数（梯度）和二阶导数（Hessian矩阵），来近似模拟实例被删除或加权时的影响。
- 公式直觉:
- 影响力约等于“该实例的损失梯度”除以“损失函数的曲率”。即，一个实例的损失对参数越敏感（梯度大），且模型对参数变化越敏感（曲率小），则该实例影响力越大。
- 优点: 计算速度远快于删除诊断。
- 缺点:
- 仅适用于损失函数可微的模型（如神经网络、逻辑回归），不适用于决策树、随机森林等。
- 结果是一个近似值，不保证完全准确。
学习要点
- 理解“有影响力的实例”的定义：其移除会对模型产生巨大改变的训练点。
- 掌握识别有影响力的实例的两种主要方法：删除诊断（精确但慢）和影响函数（近似但快）。
- 知道影响力分析是一种强大的模型调试工具，可以帮助我们发现数据标签错误、测量误差或模型不适用的数据子集。
- 明白影响力分析的视角是独特的，它着眼于训练数据对模型本身的影响，而非输入特征对预测的影响。
实践应用
- 数据清洗: 优先检查最有影响力的实例是否存在数据错误（如一个28岁的女性吸烟22年），因为修正这些错误对模型的改善最大。
- 模型调试与鲁棒性分析: 分析在哪些类型的实例上模型表现不稳定（影响力大），从而了解模型的弱点。例如，发现模型对老年病人的预测主要依赖于少数几个老年训练样本，说明需要更多该类数据来增强模型鲁棒性。
- 领域不匹配分析: 当模型在新数据上表现不佳时，可以找出对错误预测影响最大的原始训练实例，从而理解新旧数据分布的差异所在。
关联知识点
- 前置知识: 39-理论方法-基于样本的解释
- 相关知识: 稳健统计, 留一法交叉验证 (LOOCV)