可解释性范围
知识点概述
可解释性的范围定义了解释所针对的层面，从算法的透明度到对整个模型或单个预测的理解。根据范围的不同，我们可以将可解释性分为全局（Global）和局部（Local）等不同层次。
教材原文
算法训练产生预测模型，每个步骤都可以根据透明度 (Transparency) 或可解释性进行评估。 … 2.3.1 算法透明度 … 2.3.2 全局、整体的模型可解释性 … 2.3.3 模块层面上的全局模型可解释性 … 2.3.4 单个预测的局部可解释性 … 2.3.5 一组预测的局部可解释性
详细解释
可解释性的范围可以从宏观到微观分为以下几个层次：
1. 算法透明度 (Algorithm Transparency)
- 层面: 关注学习算法本身是如何工作的。
- 问题: 算法是如何从数据中学习模型的？它能学习到什么样的关系？
- 例子: 理解线性回归使用最小二乘法来拟合数据，或者理解卷积神经网络在底层学习边缘检测器。
- 说明: 这关注的是“学习过程”的透明度，而不是最终“学习结果”（即模型）的透明度。
2. 全局模型可解释性 (Global Model Interpretability)
- 层面: 关注对整个训练好的模型行为的理解。
- 问题: 训练好的模型如何进行预测？哪些特征最重要？特征之间有什么样的交互作用？
- 细分:
- 整体模型可解释性: 理想情况下，人类能够完全理解并内化整个模型的所有参数和结构。但这对于复杂模型（如参数众多的神经网络）来说几乎是不可能的。
- 模块层面上的全局可解释性: 退而求其次，我们试图理解模型的某些部分或模块。例如，虽然我们无法想象一个高维的线性模型，但我们可以理解其中单个权重的含义（“在其他特征不变的情况下…”）。
3. 局部可解释性 (Local Interpretability)
- 层面: 关注对模型在特定数据点或数据子集上的行为的理解。
- 问题: 为什么模型对这一个特定的实例做出了这样的预测？
- 细分:
- 单个预测的局部可解释性: 解释为什么模型给一个实例打上了某个标签或预测了某个数值。例如，LIME和Shapley值就是典型的局部解释方法。
- 一组预测的局部可解释性: 解释模型对一小组相似实例的行为。
学习要点
- 理解可解释性具有不同的范围和层次，从宏观的算法层面到微观的单个预测层面。
- 掌握全局可解释性和局部可解释性的核心区别：全局解释关注模型的整体行为，而局部解释关注对单个预测的解释。
- 认识到完全的、整体的模型可解释性对于复杂模型来说是一个难以实现的目标，因此我们常常依赖于模块层面或局部的解释。
关联知识点
- 前置知识: 6-理论方法-可解释性方法的分类
- 后续知识: 35-理论方法-全局代理模型 (全局), 36-理论方法-局部代理(LIME) (局部), 30-理论方法-部分依赖图(PDP) (全局)