知识点：连续和离散优化

知识点概述

连续优化和离散优化是根据决策变量的取值范围进行的基本分类。连续优化的变量在连续集合（如区间）上取值，而离散优化的变量在离散集合（如整数）上取值。

最优化问题可以分为连续和离散优化问题两大类。连续优化问题是指决策变量所在的可行集合是连续的，比如平面、区间等。… 离散优化问题是指决策变量能在离散集合上取值，比如离散点集、整数集等。常见的离散优化问题有整数规划…

连续优化 (Continuous Optimization):
- 变量: 决策变量 $x$ 可以在实数集的一个子集上连续变化。
- 特点: 可以利用函数的光滑性（导数、梯度）来寻找最优解。大多数优化算法（如梯度下降法、牛顿法）都是为连续优化设计的。
- 例子: 训练一个标准的线性回归模型。
离散优化 (Discrete Optimization):
- 变量: 决策变量 $x$ 只能从一个离散的集合中取值，例如整数或图的节点。
- 特点: 无法使用基于导数的方法。解空间是离散的，常常需要枚举或专门的组合算法。通常比连续优化更难求解（很多是NP难问题）。
- 例子: 旅行商问题（TSP），整数规划。