知识点：概率图模型

计算机视觉: 图像分割、场景理解。
自然语言处理: 词性标注、主题模型（LDA）。
生物信息学: 基因调控网络分析。

知识点概述

概率图模型（PGM）用图的结构来表示多维随机变量之间的条件依赖关系。在PGM中进行推断（如计算边缘概率或条件概率）或学习模型参数，往往会引出复杂的优化问题。

模型: PGM主要分为两类：贝叶斯网络（有向图）和马尔可夫随机场（无向图）。图中的节点表示随机变量，边表示它们之间的概率关系。
推断问题: 在给定某些变量（证据）的观测值时，计算其他变量的后验概率分布。精确推断通常是NP难的，需要近似方法。
优化在推断中的应用 (变分推断): 变分推断将推断问题转化为一个优化问题。它假设一个简单的、带参数的分布族 $q (\cdot; λ)$ ，然后通过优化参数 $λ$ 来寻找一个最接近真实后验分布 $p$ 的近似分布。优化的目标是最小化 $q$ 和 $p$ 之间的KL散度，这等价于最大化“证据下界”（ELBO）。
学习问题: 从数据中学习图的结构和参数。参数学习通常通过最大似然估计来完成，这本身就是一个优化问题，对于有隐变量的模型，常使用期望最大化（EM）算法求解。