均值、方差、协方差

数学

算术平均值

指的是数据中的平均值 $$\bar x={\sum x_i \over N}$$

几何平均值

对于正数，几何平均值为 $$x=^n\sqrt {\prod_{i=1}^N x_i}$$

均方根平均值

$$x_{rms}=\sqrt {{1\over N}\sum_{i=1}^N x_i^2}$$

调和平均值

$$x = {N\over \sum_{i=1}^N {1\over x_i}}$$

加权平均值

$$\bar x = {\sum_{i=1}^N w_ix_i \over \sum_{i=1}^N w_i}$$

方差

方差（variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。 $$S^2={\sum (x_i-\bar x)^2 \over N}$$

标准差

标准差（Standard Deviation） ，中文环境中又常称均方差，但不同于均方误差（mean squared error，均方误差是各数据偏离真实值的距离平方的平均数，也即误差平方和的平均数，计算公式形式上接近方差，它的开方叫均方根误差，均方根误差才和标准差形式上接近），标准差是离均差平方和平均后的方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。 $$S=\sqrt{\sum (x_i-\bar x)^2 \over N}$$

协方差

协方差分析是建立在方差分析和回归分析基础之上的一种统计分析方法。 方差分析是从质量因子的角度探讨因素不同水平对实验指标影响的差异。一般说来，质量因子是可以人为控制的。 回归分析是从数量因子的角度出发，通过建立回归方程来研究实验指标与一个（或几个）因子之间的数量关系。但大多数情况下，数量因子是不可以人为加以控制的。在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。 $$cov(X,Y) =E[X-E[X]]E[Y-E[Y]]=E[X*Y] - E[X]E[Y]$$ 从直观上来看，协方差表示的是两个变量总体误差的期望。

• 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；
• 如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
• 如果X与Y是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足E[XY]=E[X]E[Y]
• 反过来并不成立。即如果X与Y的协方差为0，二者并不一定是统计独立的
• 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的