知识点：字典学习

图像去噪/修复: 通过在学习到的图像块字典上进行稀疏表示，可以恢复损坏的图像。
特征学习: 学习到的字典可以作为一种特征提取器。
信号压缩: 存储字典和稀疏系数比存储原始信号更节省空间。

知识点概述

字典学习（或稀疏编码）旨在为一组信号数据寻找一个“字典”（一组基向量），使得每个信号都可以表示为字典中少数几个原子的稀疏线性组合。这是一个非凸优化问题，通常通过交替优化的方法求解。

模型: 给定信号数据 $Y = [y_{1}, \dots, y_{n}]$ ，我们希望找到一个字典矩阵 $D$ 和一个稀疏系数矩阵 $X = [x_{1}, \dots, x_{n}]$ ，使得 $Y \approx D X$ 。
优化问题: $min_{D, X} ∥ Y - D X ∥_{F}^{2} s.t. ∥ x_{i} ∥_{0} \leq k, \forall i$ 同时还需要对字典 $D$ 的列加上约束（如单位范数）以防止平凡解。
求解方法: 这是一个双变量的非凸问题。常用的求解策略是交替优化：
1. 固定字典 $D$ ，求解稀疏编码: 对每个信号 $y_{i}$ ，求解 $min_{x_{i}} ∥ y_{i} - D x_{i} ∥_{2}^{2}$ s.t. $∥ x_{i} ∥_{0} \leq k$ 。这是一个稀疏逼近问题，可以用匹配追踪（MP）或正交匹配追踪（OMP）等算法求解，或者用 $ℓ_{1}$ 范数松弛（LASSO）。
2. 固定稀疏编码 $X$ ，更新字典: 求解 $min_{D} ∥ Y - D X ∥_{F}^{2}$ 。这是一个标准的最小二乘问题，有多种更新策略，如K-SVD算法。重复以上两个步骤直到收敛。