@velvel
2014-08-29T11:22:57.000000Z
字数 2903
阅读 5255
无偏估计 方差 均值 二阶矩 index
本文推导样本方差的无偏估计是：
随机变量的期望
(1) 设离散随机变量
X 的概率分布律：
P{X=xi}=pi,i=1,2,...
则X 的数学期望是（假定期望是存在的，即无穷级数收敛）：
EX=∑i=1∞xipi. (2) 设连续随机变量
X 的密度为p(x) ，
则X 的数学期望是（也假定期望是存在的，即无穷积分收敛）：
EX=∫+∞−∞xp(x)dx.
数学期望的线性性质
数学期望的数乘和加法性质：
(1) 设a为常数，则有：
E[a]=a, E[X+a]=EX+a, E[aX]=aE[X]. (2) 对任意的随机变量
X,Y ，有:
E[X+Y]=E[X]+E[Y];
一般地，对任意n 个随机变量X1,X2,...,Xn ，有
E[X1+X2+...+Xn]=E[X1]+E[X2]+...+E[Xn].
随机变量的方差
对随机变量
(1) 若a是常数，则有：
Da=0, D(aX)=a2DX, D(X+a)=DX.
(2) 对独立 的随机变量X,Y ，有:
D[X±Y]=D[X]+D[Y];
特别地，对相互独立 的随机变量X1,X2,...,Xn ，有
D[X1+X2+...+Xn]=D[X1]+D[X2]+...+D[Xn].
期望，方差和二阶矩之间有如下重要恒等式：
- 估计量的无偏性:
若参数θ 的估计量θ^(X1,...,Xn) 满足E[θ^(X1,...,Xn)]=θ ，则称该估计量θ^ 是该参数θ 的无偏估计（量）。
有了上述准备工作，可以开始推导样本方差的无偏估计了。
- 样本方差的无偏估计：
设(X1,X2,...,Xn) 为母体X 的一个子样（独立性[1]），母体方差DX=σ2 ，母体均值E[X]=μ .
则下述统计量是该母体方差的无偏估计量：
S2n−1=1n−1∑i=1n(Xi−X¯¯¯)2,
这里，
X¯¯¯=1n∑i=1nXi
是样本均值统计量。它的期望和方差是：
E[X¯¯¯]=1nE[∑i=1nXi]=1n∑i=1nE[Xi]=μ;
D[X¯¯¯]=1n2D[∑i=1nXi]=1n2∑i=1nD[Xi]=σ2n.
证明：（以下求和符号中略去循环变量和上下界）
(n−1)S2n−1=∑(Xi−X¯¯¯)2=∑(X2i−2X¯¯¯⋅Xi+X¯¯¯2)=∑X2i−2X¯¯¯∑Xi+X¯¯¯2∑1=∑X2i−nX¯¯¯2,(nX¯¯¯=∑Xi)
施加均值算子：
E[S2n−1]=1n−1∑E[X2i]−nn−1E[X¯¯¯2]=1n−1∑(DX2i+(EXi)2)−nn−1(DX¯¯¯+(EX¯¯¯)2)=1n−1∑(σ2+μ2)−nn−1(σ2n+μ2)=σ2.
由无偏性的定义，证毕。
作者 @truth4sex
2014年 08月 28日