线性回归，逻辑回归，广义线性模型

cs229 linear-regression logistic-regression

---

线性回归

$h_\theta(x) = \theta_0 + \theta_1x_1 + \theta_2x_2$
$x_0=1, h_\theta(x) = \sum_{i=0}^{2}\theta_ix_i$
cost function
$J(\theta) = \frac{1}{2}\sum_{i=1}^{m}{(h_\theta(x^i) - y^i)}^2$

LMS更新规则，即least mean square。
gradient descent，梯度下降法

$$\theta_j := \theta_j - \alpha * \frac{\partial}{\partial_{\theta_j}}J_{\theta}$$
$$\begin{align*} \frac{\partial}{\partial_{\theta_j}}J_{\theta} &= \frac{1}{2}\sum_{i=1}^{m}2*(h_{\theta}(x^i)-y^i)*\frac{\partial}{\partial_{\theta_j}}(h_{\theta}(x^i)-y^i) \\ &= \sum_{i=1}^{m}{x_j}^i(h_{\theta}(x^i)-j^i) \end{align*}$$

batch gradient descent批量梯度下降
stochastic gradient descent随机梯度下降

矩阵微分

trace矩阵的迹, 方阵

$$trace(A) = \sum_{i=1}^{n}A_{ii}$$

$$tr(a) = a$$
假设$A$为$m*n$，$B$为$n*m$，那么$AB$为$m*m$
$$tr(AB) = \sum_{i=1}^{m}\sum_{j=1}^{n}A_{ij}*B_{ji} = tr(BA)$$
$$tr(ABC) = tr(CAB) = tr(BCA)$$
$$tr(A) = tr(A^T)$$
$$tr(A+B) = tr(B+A)$$
$$traA = a tr(A)$$
$$\bigtriangledown_AtrAB = B^T$$
$$\bigtriangledown_{A^T}f(A) = {(\bigtriangledown_Af(A))}^T$$
$$\bigtriangledown_AtrABA^TC = {BA^TC}^T + CAB = C^TAB^T +CAB$$

概率解释

$$y^i = {\theta}^Tx^i + {\epsilon}^i$$
${\epsilon}$为数据误差或者模型误差，假设${\epsilon}$满足高斯分布，同时每一个样例的${\epsilon}$满足独立同分布。
$$p({\epsilon}^i) = \frac{1}{\sqrt{2\pi}\sigma} exp(- \frac {{({\epsilon}^i)}^2} {2{\sigma}^2})$$

通过求解最大似然，即可得到平方误差最小的求解。

局部权重的线性回归

分类与逻辑回归

逻辑回归

感知机

牛顿法求最大值

广义线性模型