知识点：逻辑回归

信用评分: 根据客户信息判断其是否会违约。
医疗诊断: 根据病人的症状判断其是否患有某种疾病。
广告点击率预测: 预测用户是否会点击一个广告。

知识点概述

逻辑回归是一种用于解决二分类问题的经典统计模型。它通过Sigmoid函数将线性回归的输出映射到(0,1)区间，表示样本属于某个类别的概率，其训练过程是求解一个凸优化问题。

模型:
- 逻辑回归模型假设一个样本属于正类的概率 $p$ 与其特征 $x$ 的线性组合 $w^{T} x + b$ 之间存在如下关系： $p (y = 1∣ x) = σ (w^{T} x + b)$ ，其中 $σ (z) = \frac{1}{1 + e ^{- z}}$ 是Sigmoid函数。
优化问题:
- 模型的参数 $w$ 和 $b$ 通常通过最大化训练数据的对数似然函数来估计。这等价于最小化负对数似然，即交叉熵损失函数： $min_{w, b} - \sum_{i = 1}^{m} [y_{i} lo g (σ (w^{T} x_{i} + b)) + (1 - y_{i}) lo g (1 - σ (w^{T} x_{i} + b))]$
- 这是一个无约束的凸优化问题，可以使用梯度下降、牛顿法等算法高效求解。