知识点：无约束和约束优化

知识点概述

根据是否存在对决策变量的限制条件，优化问题可分为无约束优化和约束优化。这是优化理论和算法设计中的一个基本划分。

最优化问题的另外一个重要的分类标准是约束是否存在。无约束优化问题的决策变量没有约束条件限制，即可行集合 $X = R^{n}$ 。相对地，约束优化问题是指带有约束条件的问题。… 很多约束优化问题的求解也是转化为一系列的无约束优化问题来做，常见方式有增广拉格朗日函数法、罚函数法等。

无约束优化 (Unconstrained Optimization):
- 形式: $min_{x \in R^{n}} f (x)$ 。
- 特点: 可行域是整个空间，求解相对简单，主要依赖目标函数的梯度和海瑟矩阵信息。是最优化算法的基础。
- 例子: 简单的线性回归（最小二乘法）。
约束优化 (Constrained Optimization):
- 形式: $min_{x \in X} f (x)$ ，其中 $X \subset R^{n}$ 是一个真子集。
- 特点: 求解时必须同时考虑目标函数的最优性和解的可行性。算法更为复杂，需要处理约束条件，如拉格朗日乘子法、内点法等。
- 例子: 投资组合优化（预算约束）、资源分配问题（资源总量约束）。