14-理论方法-线性回归

线性回归

知识点概述

线性回归是一种基础且广泛使用的可解释模型，它通过将特征的加权和来预测一个连续的目标值。由于其内在的线性和可加性，模型的解释变得直观和简单。

教材原文

线性回归 (Linear Regression) 模型将目标预测为特征输入的加权和，而所学习关系的线性使解释变得容易。统计学家、计算机科学家以及其他解决定量问题的人长期以来都使用线性回归模型。 … 线性模型可用于建模回归目标 $y$ 对某些特征 $x$ 的依赖性。由于学到的关系是线性的，可以针对第 $i$ 个实例写成如下： $y={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p+ϵ$ 实例的预测结果是其 $p$ 个特征的加权和。参数 ${\beta }_j$ 表示要学习的特征权重或系数…

详细解释

• 核心原理: 线性回归假设目标 $y$ 和特征 $x$ 之间存在线性关系。模型的目标是找到一组最优的权重（$\beta$），使得模型的预测值 $\hat{y}$ 与真实值 $y$ 之间的误差最小。
• 模型形式: $\hat{y}={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p$
  • $\hat{y}$: 模型的预测值。
  • $x_j$: 第 $j$ 个特征的值。
  • ${\beta }_0$: 截距项（Intercept），当所有特征值为0时的基础预测值。
  • ${\beta }_j$: 第 $j$ 个特征的权重（Weight）或系数（Coefficient），表示该特征对预测的影响。
• 学习方法: 最常用的方法是最小二乘法 (Least Squares)，它通过最小化所有训练实例的预测误差的平方和来找到最优的权重 $\beta$。
  • ${\min }_{\beta }{\sum }_{i=1}^n(y^{(i)}-{\hat{y}}^{(i)}{)}^2$
• 模型假设:
  1. 线性 (Linearity): 特征与目标之间存在线性关系。
  2. 正态性 (Normality): 误差项 $ϵ$ 服从正态分布。
  3. 同方差性 (Homoscedasticity): 误差项的方差在整个特征空间内是恒定的。
  4. 独立性 (Independence): 每个实例都是相互独立的。
  5. 不存在多重共线性 (No Multicollinearity): 特征之间不应有强相关性。

学习要点

• 理解线性回归模型的基本形式：预测是特征的加权和。
• 掌握权重的含义：一个特征的权重表示在其他特征保持不变的情况下，该特征每增加一个单位，预测值会发生多大的变化。
• 了解最小二乘法是估计模型权重的常用方法。
• 熟悉线性回归的五个核心假设，违反这些假设会影响模型的有效性和解释的准确性。

实践应用

• 房价预测: 根据面积、房间数、地理位置等特征预测房价。
• 销量预测: 根据广告投入、季节、价格等因素预测产品销量。
• 医学研究: 量化某种药物剂量对病人生理指标（如血压）的影响。

关联知识点

• 前置知识: 2-核心概念-监督学习
• 后续知识: 15-技术实现-线性回归的解释, 16-理论方法-逻辑回归, 18-理论方法-广义线性模型(GLM)