5-应用案例-深度学习

知识点：深度学习中的优化

知识点概述

深度学习的核心是通过构建深度神经网络来学习数据的复杂表示，其训练过程本质上是一个大规模的非凸优化问题，即寻找网络参数以最小化在训练数据上的损失函数。

教材原文

…给定训练集 $D=\{\{a_1,b_1\},\{a_2,b_2\},\dots ,\{a_m,b_m\}\}$ …若选择平方误差为损失函数，则我们得到多层感知机的优化模型：

$$\underset{x}{\min }\sum _{i=1}^m\Vert h\left(a_i;x\right)-b_i{\Vert }_2^2+\lambda r(x),\text{\hspace{1em}(1.4.3)}$$

其中 $r(x)$ 是正则项… $h(a_i;x)$ 由卷积神经网络构成，而 $x$ 是卷积神经网络的参数.

详细解释

• 模型: 深度学习模型（如多层感知机MLP、卷积神经网络CNN）是由多个层级（线性变换和非线性激活函数）复合而成的复杂函数 $h(a;x)$。
• 决策变量: 模型的参数 $x$（权重和偏置）。
• 目标函数: 衡量模型预测输出 $h(a_i;x)$ 与真实标签 $b_i$ 之间差异的损失函数（Loss Function），通常是所有训练样本损失的平均值或总和，并可能带有一个正则项 $r(x)$ 以防止过拟合。
• 优化问题: 训练过程就是求解优化问题 ${\min }_x\text{Loss}(x)$。这是一个高维、非凸的优化问题，通常使用基于梯度的迭代算法（如随机梯度下降SGD及其变体）来寻找局部最优解。

学习要点

• 理解深度学习的训练过程是一个优化过程。
• 能够识别深度学习优化问题中的决策变量（网络参数）和目标函数（损失函数）。
• 了解深度学习优化问题的特点：高维、非凸、计算成本高。
• 知道随机梯度下降（SGD）是求解这类问题的主要算法。

实践应用

• 计算机视觉: 图像分类、目标检测。
• 自然语言处理: 机器翻译、文本生成。
• 语音识别: 将语音转换为文本。

关联知识点

• 前置知识: 1-核心概念-最优化问题的一般形式, 10-核心概念-凸和非凸优化
• 后续知识: 73-理论方法-随机梯度下降算法, 18-技术实现-自动微分
• 相关知识: 31-应用案例-逻辑回归