贝叶斯分布

数理统计

---

贝叶斯学派最基本的观点是:任意位置参数$\theta$都可看做随机变量,可以用一个概率分布来描述,这个分布称为先验分布.因为任一未知量都有不确定性,而在表述不确定性的程度时,概率与概率分布是最好的语言.工厂通过检测生产的产品来研究不合格品率$\theta$产品的不合格品率$\theta$是未知的,每天都在变化,把它看做随机变量是合理的,用一个概率分布去描述它是恰当的.

关于未知量是否可以看做随机变量在经典学派和贝叶斯学派间争论了很久,如今,经典学派已经不反对这一观点,两排争论的焦点是:如何利用先验信息合理地确定先验分布.

依赖于参数$\theta$的密度函数在进店统计中记为$p(x;\theta)$,它表示参数空间$\Theta$中不同的$\theta$对应不同的分布,在贝叶斯统计中应记为$p(x|\theta)$,他表示在随机变量$\theta$给定某个值时,$X$的条件密度函数.
根据参数$\theta$的先验信息确定先验分布$\pi(\theta)$.

从贝叶斯的观点看,样本$X=(x_1,x_2,...,x_n)$的产生分两步进行.首先设想从先验分布$\pi(\theta)$产生一个样本$\theta'$.第二步从$p(x|\theta')$中产生一个样本$X$.这时样本$X$的联合条件密度函数为

$$p(x|\theta')=\prod_{i=1}^np(x_i|\theta')$$
由于$\theta'$是按照先验分布$\pi(\theta)$产生的,为了把先验信息综合进去,样本$X$和参数$\theta$的联合分布为 $$h(X,\theta)=p(X|\theta)\pi(\theta)$$
我们把$h(x,\theta)$分解为$\pi(\theta|X)m(X)$,其中$m(X)是X$的边缘密度函数,满足:
$$m(x)=\int_{\Theta}h(X,\theta)d\theta=\int_{\Theta}p(X|\theta)\pi(\theta)d\theta$$
它与$\theta$无关.
于是我们得到贝叶斯公式的密度函数形式:
$$\pi(\theta|x)=\frac{h(X,\theta)}{m(X)}=\frac{p(X|\theta)\pi(\theta)}{\int_\Theta p(X|\theta)\pi(\theta)d\theta}$$
这个条件分布称为$\theta$的后验分布.

知识回顾
- $\Gamma$ (Gamma)函数
- B分布

例题: