数学基础

ml

---

微积分

$$\text{凸函数: }f^{''}(x)>0$$

概率与统计

定义

离散

$$\text{边缘概率与联合概率: }P(X=a)=\sum_bP(X=a,Y=b)$$

$$\text{条件概率: }P(Y=b|X=a)=\frac{P(X=a,Y=b)}{P(X=a)}$$

$$\text{expectation(期望值): }E[X]=\sum_kkP(X=k)$$

$$\text{variance(方差): }V[X]=E[(X-\mu)^2],\quad\mu=E[X]$$

$$\text{standard deviation(标准差): }\sigma=\sqrt{V[X]}$$

$$\text{条件期望: }E[Y|X=a]=\sum_bbP(Y=b|X=a)$$

连续

$$\text{[累积]分布函数: }F_X(a)=P(X\leqslant a)$$

$$\text{概率密度函数: }f_X(x)=F^{'}_X$$

$$P(a\leqslant X\leqslant b)=\int_a^bf_X(x)dx$$

$$\text{联合分布: }P(a\leqslant X\leqslant b,c\leqslant Y\leqslant d)=\int_c^d\ \left(\int_a^bf_{X,Y}(x,y)dx\right)dy$$

$$\text{边缘分布: }f_X(a)=\int_{-\infty}^\infty f_{X,Y}(a,y)dy$$

其他分布同理推广

$$E[X]=\int_{-\infty}^\infty xf_X(x)dx$$

$$\text{covariance(协方差): }Cov[X,Y]=E[(X-\mu)(Y-\upsilon)]$$

定性描述变量的趋向性
当两个随机变量趋向于正相关值为正否则为负，不相干则为0

$$\text{相关系数: }\rho_{XY}=\frac{Cov[X,Y]}{\sqrt{V[X]}\sqrt{V[Y]}}$$
描述线性相关性
相关系数描述了多个随机变量分布的趋向性，不表示随机变量直接相关性

$$\text{协方差矩阵: } \begin{bmatrix}V[X_1] & Cov[X_1,X_2]\\ Cov[X_1,X_2]&V[X_2]\end{bmatrix}$$

$$\Longrightarrow V[\vec X]=E[(\vec X-\vec\mu)(\vec X-\vec\mu)^T], \quad \vec\mu=E[\vec X]$$

公式

贝叶斯

$$P(X=a,Y=b)=$$

$$P(Y=b|X=a)P(X=a)=P(X=a|Y=b)P(Y=b)$$

大数定律

$$Z\text{(随机变量的平均值)}=\frac{X_1+\dots+X_n}{n},\quad Xs.t\ i.i.d$$

$$E[Z]=\mu,\quad\mu=E[X],\quad V[Z]=\frac{\sigma^2}{n}$$

当$n$趋向于无穷大时方差$V[X]$趋向于0，于是不存在随机性。

最小二乘

概率分布

(正态)高斯分布

概率密度函数：

$$f(x)=\frac1{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})$$

参数	说明
$exp$	$e^x$
$\mu$	期望值，控制左右移动
$\sigma$	标准差，曲线平滑度
条件	正态分布

泊松分布

$$P(x=k)=\frac{\lambda^k}{k!}e^{-\lambda} , k\in N$$

参数	说明
$\lambda$	单位时间内事件发生的次数
$k$	所求的单位时间事情发生的次数
条件	1.小概率 2.独立 3.稳定

伯努利分布

基本形式

$$P_n= \begin{cases} p& \text{$n=1$} \\ 1-p & \text{$n=0$} \end{cases} \text{ 换个形式}\Longrightarrow p^n(1-p)^(1-n)$$

推广

$$P(x=k)=C_n^kp^k(1-p)^{n-k}$$

参数	说明
$p$	n=1，即结果为1的概率
$n$	连续试验次数
$k$	出现n=1的次数

模型指标

$$T=True,F=False,p=positive,n=negative$$

$$Accuracy(准确率)=\frac{Tp+Tn}{Tp+Tn+Fp+Fn}$$

$$Precision(精确率)=\frac{Tp}{Tp+Tn}$$

$$Recall(召回率)=\frac{Tp}{Tp+Fn}$$

$$F1 measure=\frac{2}{\frac{1}{Precision}+\frac{1}{Recall}}$$

---

1. 数学分析
   数学分析教程 - 史济怀

2. 线性代数
   线性代数应该这样学
   参考：矩阵分析与应用

3. 概率统计
   概率论与数理统计 - 陈希孺

4. 优化理论
   可汗学院-优化理论

5. 机器学习理论篇1：机器学习的数学基础

---