17-核心概念-矩阵变量函数的导数

知识点：矩阵变量函数的导数

知识点概述

当函数自变量是矩阵时，其导数的定义可以从向量形式推广而来。矩阵导数是一个与自变量维度相同的矩阵，在矩阵优化、机器学习等领域计算梯度时必不可少。

教材原文

对于以 $m\times n$ 矩阵 $X$ 为自变量的函数 $f(X)$ ，若存在矩阵 $G\in {\mathbb{R}}^{m\times n}$ 满足

$$\underset{V\to 0}{\lim }\frac{f(X+V)-f(X)-⟨G,V⟩}{\Vert V\Vert }=0,$$

…称 $G$ 为 $f$ 在 Fréchet 可微意义下的梯度。… 在实际中，由于Gateaux可微定义式更容易操作，因此通常是利用(2.2.6)式进行矩阵变量函数 $f(X)$ 的求导运算．

详细解释

• 定义: 函数 $f(X)$ 对矩阵 $X$ 的导数 $\nabla f(X)$ 是一个与 $X$ 维度相同的矩阵，它满足 $f(X+V)\approx f(X)+⟨\nabla f(X),V⟩$。其中 $⟨\cdot ,\cdot ⟩$ 是矩阵内积（Frobenius内积）。
• 计算方法:
  1. 写出 $f(X+tV)$ 的表达式，其中 $V$ 是一个任意的扰动矩阵，$t$ 是一个标量。
  2. 将其展开为关于 $t$ 的泰勒级数。
  3. 找到一次项 $t⟨G,V⟩$ 中的矩阵 $G$。
  4. 这个矩阵 $G$ 就是导数 $\nabla f(X)$。
• 维度检查: 一个重要的验算技巧是，导数矩阵 $\nabla f(X)$ 的维度必须与自变量矩阵 $X$ 的维度完全相同。

学习要点

• 理解矩阵导数的定义是向量导数定义的自然推广。
• 掌握利用方向导数（Gateaux可微）的思想来计算矩阵导数的方法。
• 能够计算常见矩阵函数（如迹函数 $\text{Tr}(A^{T}X)$、Frobenius范数平方 $\Vert AX-B{\Vert }_F^2$）的导数。

实践应用

• 矩阵分解: 在推荐系统中，通过梯度下降法求解 ${\min }_{U,V}\Vert U{V}^T-M{\Vert }_F^2$ 时，需要计算损失函数对 $U$ 和 $V$ 的矩阵导数。
• 主成分分析(PCA): 求解协方差矩阵特征向量的优化问题时，会涉及矩阵导数。

关联知识点

• 前置知识: 16-核心概念-梯度与海瑟矩阵, 15-核心概念-矩阵范数
• 后续知识: 46-核心概念-矩阵优化, 18-技术实现-自动微分
• 相关知识: 无