��率; 线性回归应用的是样本数据和输出结果之间存在线性关系的场景, 自变量和因变量之间存在线性关系
> > - 逻辑回归对极值比较敏感，容易受极端值的影响，而决策树在这方面表现较好
:::
::::


## 逻辑回归和最大熵模型

::: right
解释性好, 样本数据线性可分
:::

:::: tabs type: card
::: tab 逻辑回归
> logistics分布
> $$f(x) = \frac{\exp(-(x-\mu)/\gamma)}{\gamma(1+\exp(-(x-\mu)/\gamma))^2}, \quad F(x) = \frac{1}{1+\exp(-(x-\mu)/\gamma)}$$
> > 后者是一条sigmoid曲线, 以$(\mu, \frac{1}{2})$为中心对称, 参数$\gamma$越小, 曲线在中心附近导数越大

> 逻辑回归是一种分类模型, 输出条件概率$P(Y | X), Y\in\{0,1\}, X\in \mathbb{R}$
> $$P(Y=0|x) = \frac{1}{1+\exp(w x + b)}, \quad P(Y=1|x) = 1 - P(Y=0|x)$$
> > 事件发生的log odds表示为$\log p/(1-p)$
> > 对于逻辑回归来说, 这个对数几率是一个线性函数： 
> > $$\log [P(Y=1|x)/1-P(Y=1|x)] = w\cdot x + b$$

> 参数估计, 假设$N$个数据, 设$P(Y=1|x) = \pi(x)$, 最大似然估计是
> $$\begin{aligned}
\mathcal{L}(\omega,b) &= \sum_{i=1}^N \left[ y_i\log\pi(x_i) + (1-y_i)\log(1-\pi(x_i)) \right] \\
    &=  \sum_{i=1}^N \left[ y_i\log\frac{\pi(x_i)}{1-\pi(x_i)} + \log(1-\pi(x_i)) \right] \\
    &= \sum_{i=1}^N [y_i(\omega x_i + b) - \log(1+\exp(\omega x_i + b))]
\end{aligned}$$
> 然后对$\omega, b$求导即可, 可以求得$\partial_{\omega_i} \mathcal{L} = (y_i - \pi(x_i))x_i$
:::
::: tab 最大熵模型
> 假设随机变量$Y \in \{A,B,C,D,E\}$, 已知$P(A) + P(B) = \frac{3}{10}$, 求最大熵模型(用$y_i$表示随机变量)
> $$\begin{aligned}
    \min \quad & -H(P) = \sum_{i=1}^5 P(y_i)\log P(y_i) \\
    s.t. \quad & P(y_1) + P(y_2) = \frac{3}{10} \\
               & \sum_{i=1}^5 P(y_i) = 1
\end{aligned}$$
> 引入拉格朗日乘子$\lambda_1, \lambda_2$
> $$\mathcal{L}(P, \lambda) = \sum_{i=1}^5 P(y_i)\log P(y_i) + \lambda_1\left(P(y_1) + P(y_2) - \frac{3}{10}\right) + \lambda_2 \left(\sum_{i=1}^5P(y_i) - 1\right)$$
> 对$P(y_i) \forall i \in \{1,2,3,4,5\}$求导, 得到
> $$\begin{aligned}
    & P(y_1) = P(y_2) = \exp(-\lambda_1-\lambda_2-1) \\
    & P(y_3) = P(y_4) = P(y_5) = \exp(-\lambda_2-1) 
\end{aligned}$$
> 最后再对$\lambda_1, \lambda_2$求偏导, 得到最终基于最大熵的概率分布为$\left\{\frac{3}{20}, \frac{3}{20}, \frac{7}{30}, \frac{7}{30}, \frac{7}{30}\right\}$

:::
::: tab 面试
> - 如何防止过拟合
> >![正则化](~@assets/ml_01_09.png#right) 
> > - 在目标函数或代价函数后面加上一个正则项, 限制参数选择
> > - 正则项相当于给参数加一个先验估计, $l_1$是拉普拉斯先验, 而$l_2$正则则是高斯先验. $l_1$产生稀疏解, 让一部分特征的系数缩小到$0$, 从而间接实现特征选择. 
> > - 见右图, $l_1$基本上会相切于顶点处, 即舍弃了一部分特征(所以更适用于特征之间关联不大的情况)

> - 为何逻辑回归结果比线性回归要好
> > - 线性回归用最小二乘法优化目标函数, 而逻辑回归基于最大似然估计参数; 为啥不同呢? 因为各自任务的$y$服从不同的概率分布, 在线性回归中假设$y$服从正态分布, 而逻辑回归中假设$y$服从伯努利分布
> > - 逻辑回归是一种将预测值限定在$[0,1]$之间的回归模型, 逻辑回归是最大熵对应类别为$2$时的特殊情况, 当将分类对象扩充为多类时, 逻辑回归就是最大熵模型
:::
::::

<!-- 判别模型不关心数据怎么生成的, 只关心数据之间的差别, 然后用差别来对给定数据进行分类； 参数模型的前提是假设数据服从某一分布，该分布由一些参数确定-->

## 支持向量机

::: right
用和分类相关的少数点去学习分类器, 基于HingeLoss的非参数模型
:::

:::: tabs type: card
::: tab 基础
> 假设数据线性可分, 利用间隔最大化原理优化超平面, 具有唯一解
> $$\begin{aligned}
& \text{函数间隔: } \quad \gamma_i = y_i(\omega x_i + b)
& \text{几何间隔: } \quad \gamma_i =