OneR
知识点概述
OneR（One Rule）是一种极其简单的决策规则学习算法。它从所有特征中，只选择一个最有效的特征来构建一套决策规则。尽管简单，OneR的性能在许多数据集上都出奇地好，并且因其极高的可解释性，常被用作一个重要的性能基准。
教材原文
Holte (1993)[16] 提出的 OneR 算法是最简单的规则归纳算法之一。从所有特征中，OneR 选择一个包含有关感兴趣结果的最多信息的特征，并从该特征创建决策规则。 尽管命名为OneR代表“一个规则”，但是算法会生成多个规则：它实际上是所选最佳特征的每个（唯一的，不重复的）特征值的一个规则。一个更好的名字应该是OneFeatureRules。
详细解释
- 核心思想: OneR的核心假设是，数据中最重要的信息通常可以由单个最强大的预测特征来捕捉。算法的目标就是找到这个“最好的”特征。
- 算法流程:
- 离散化: 对于每个连续型特征，首先将其划分为多个区间（离散化）。
- 为每个特征生成规则:
- 遍历数据集中的每一个特征。
- 对于当前特征的每一个唯一值（或离散化后的区间），生成一条规则。规则的IF部分是
feature = value，THEN部分是这个特征值下出现次数最多的目标类别。 - 计算这套基于当前特征的规则在整个训练集上的总误差（被错误分类的实例总数）。
- 选择最佳特征: 比较所有特征生成的规则集的总误差，选择那个总误差最小的特征作为最终模型。
- 模型形式: 最终的模型是由“最佳特征”的所有不同值构成的一组IF-THEN规则。例如，如果“天气”被选为最佳特征，模型可能就是：
- IF 天气=晴天 THEN 出行=多
- IF 天气=阴天 THEN 出行=一般
- IF 天气=雨天 THEN 出行=少
- 与决策树的关系: OneR模型可以被看作是一棵只有一个分割层（根节点）的决策树，但这个分割可以是多分支的，而不是像CART那样总是二分的。
学习要点
- 理解OneR的“One”指的是“一个特征”，而不是“一条规则”。
- 掌握OneR算法通过计算“总误差”来选择最佳特征的核心逻辑。
- 认识到OneR的优点是极度简单、可解释性强、计算速度快，并且是一个很好的性能基准。
- 了解OneR的缺点：它忽略了特征之间的任何交互作用，并且倾向于选择那些具有很多可能值的特征（容易过拟合），需要注意。
实践应用
- 快速基准测试: 在开始一个复杂的建模项目之前，可以先运行OneR来获得一个性能基准。如果复杂的模型（如神经网络）性能还不如OneR，那说明模型可能存在严重问题。
- 初步数据探索: OneR可以快速告诉你哪个单一特征对目标的预测能力最强，有助于初步理解数据。
关联知识点
- 前置知识: 22-理论方法-决策规则
- 后续知识: 24-理论方法-顺序覆盖