知识点：主成分分析

知识点概述

主成分分析（PCA）是一种广泛应用的无监督降维技术。它通过寻找数据中方差最大的方向（主成分），将高维数据投影到低维空间，同时尽可能多地保留原始数据的信息。PCA的求解可以被表述为一个优化问题。

核心思想:
1. 最大方差: 寻找一个投影方向，使得数据投影后的方差最大。
2. 最小重构误差: 寻找一个低维子空间，使得数据投影到该空间再重构回原始空间后的误差（欧氏距离）最小。这两个思想是等价的。
优化模型 (最大方差): 寻找第一个主成分 $w_{1}$ 的问题可以表示为： $max_{w} w^{T} Σ w s.t. ∥ w ∥_{2}^{2} = 1$ 其中 $Σ$ 是数据的协方差矩阵。这是一个约束优化问题，其解是 $Σ$ 的最大特征值对应的特征向量。后续的主成分可以通过依次寻找与已找到成分正交且方差最大的方向来获得。
求解: PCA的解可以通过对数据协方差矩阵进行特征值分解，或对数据矩阵进行奇异值分解（SVD）得到。