8-核心概念-随机和确定性优化

知识点：随机和确定性优化

知识点概述

确定性优化假设模型中的所有参数都是已知的常数，而随机优化则处理含有不确定性（随机变量）的优化问题，通常目标是优化某个期望值。

教材原文

随机优化问题是指目标或者约束函数中涉及随机变量而带有不确定性的问题。不像确定性优化问题中目标和约束函数都是确定的，随机优化问题中总是包含一些未知的参数。… 实际中常用的方法是通过足够多的样本来逼近目标函数，得到一个新的有限和形式的目标函数。

详细解释

• 确定性优化 (Deterministic Optimization):
  • 特点: 模型中的所有数据（目标函数、约束）都是精确已知的。这是经典优化理论的主要研究对象。
  • 例子: 给定所有客户位置和需求，规划最短的送货路线。
• 随机优化 (Stochastic Optimization):
  • 特点: 目标函数或约束中包含随机变量。我们通常不知道随机变量的具体实现，只知道其概率分布。目标通常是最小化期望损失，例如 ${\min }_x\mathbb{E}[F(x,\xi )]$，其中 $\xi$ 是随机变量。
  • 求解: 由于无法直接计算期望，通常采用采样的方法，如样本平均近似（Sample Average Approximation, SAA），将问题转化为一个大的确定性优化问题，或者使用随机梯度下降（SGD）等在线算法。

学习要点

• 区分问题中的参数是确定的还是随机的。
• 理解随机优化的目标通常是优化一个期望值。
• 了解求解随机优化的两种主要思路：基于采样近似（SAA）和随机迭代算法（SGD）。

实践应用

• 机器学习: 绝大多数监督学习问题都是随机优化，因为训练数据被看作是从一个未知的真实数据分布中抽取的样本，目标是最小化期望损失。
• 金融: 在不确定的市场价格下进行投资组合管理。
• 供应链: 在不确定的客户需求下进行库存控制。

关联知识点

• 前置知识: 2-核心概念-最优化问题的分类
• 后续知识: 45-核心概念-随机优化问题, 73-理论方法-随机梯度下降算法
• 相关知识: 5-应用案例-深度学习