Cramer-Rao 不等式

数理统计

估计的有效性

参数$\theta$有两个无偏估计$\hat{\theta_1}和\hat{\theta_2}$,它们的方差对一切$\theta \in \Theta$有$D(\hat{\theta_1})\leq D(\hat{\theta_2})$,则称估计$\hat{\theta_1}比\hat{\theta_2}$有效.

怎么理解对一切$\theta \in \Theta$有$D(\hat{\theta_1})\leq D(\hat{\theta_2})$?
$\Theta$是$\theta$的参数空间,代表$\theta$所有可能的取值范围,具体我们看下面这个例子.

设母体$\xi$在$(0,\theta]$上均匀分布,$\xi_1,\xi_2,...,\xi_n$是取自母体的一个子样.求未知参数$\theta$的两种无偏估计,并估计它们的有效性.

• 通过极大似然估计(eg6.6)可得$\hat{\theta_1}=\xi_{(n)}$(最大次序统计量)无偏化得$\hat{\theta^*_1}=\frac{n+1}{n}\xi_{(n)}$
• 通过矩法估计(eg6.4)可得$\hat{\theta_2}=2\overline{\xi}$
  然后我们计算$\hat{\theta_1}和\hat{\theta_2}$的方差,用原来的表达式带进去就可以了,这里需要用到最大统计量的分布密度函数$g_n(y)=n(\frac{y}{n})_{n-1} \frac{1}{\theta}$,于是有 $$D(\hat{\theta_1^*})=D(\frac{n+1}{n}\xi_{(n)})=...=\frac{1}{n(n+2)}\theta^2$$ ,同样有$D(\hat{\theta_2})=\frac{\theta^2}{3n}$.当$n\geq2$时,无偏估计$\hat{\theta_1^*}比无偏估计\hat{\theta_2}$有效.

我们希望估计量的方差越小越好,为此讨论建立一个方差下界的Cramer-Rao不等式.

设$\xi_1,\xi_2,...,\xi_n$是取自具有概率函数$f(x;\theta),\theta \in \Theta=\{\theta:a<\theta<b\}$的母体$\xi$的一组字样,a和b已知.$\eta=u(\xi_1,\xi_2,...,\xi_n)$是$g(\theta)$的一个无偏估计,且满足(正则条件)[]