知识点：回归分析

经济学: 预测GDP增长与利率、通胀的关系。
医学: 根据病人的生理指标预测某种疾病的风险。
市场营销: 预测广告投入与销售额之间的关系。

知识点概述

回归分析是一种预测性的建模技术，旨在研究因变量（目标）和自变量（预测器）之间的关系。其核心是建立一个函数来拟合数据，而这个拟合过程通常被构建为一个优化问题，即最小化预测误差。

3.2.1 概述 … 3.2.2 线性回归模型 … 3.2.3 正则化线性回归模型

线性回归:
- 模型: 假设因变量是自变量的线性组合，即 $y \approx x^{T} β$ 。
- 优化问题 (最小二乘法): 寻找参数 $β$ 以最小化预测值与真实值之间的平方误差和： $min_{β} ∥ Xβ - y ∥_{2}^{2}$ 。这是一个无约束的凸二次优化问题，有解析解 $β = (X^{T} X)^{- 1} X^{T} y$ 。
正则化线性回归:
- 动机: 当特征数量多或特征间相关性强时，普通最小二乘法容易产生过拟合，解不稳定。正则化通过在目标函数中加入惩罚项来约束模型复杂度。
- 岭回归 (Ridge): 加入 $ℓ_{2}$ 范数惩罚项， $min_{β} ∥ Xβ - y ∥_{2}^{2} + λ ∥ β ∥_{2}^{2}$ 。目标函数是强凸的，解唯一且稳定。
- LASSO: 加入 $ℓ_{1}$ 范数惩罚项， $min_{β} ∥ Xβ - y ∥_{2}^{2} + λ ∥ β ∥_{1}$ 。能产生稀疏解，可用于特征选择。