二项式分布 与 beta分布 关系的等式

机器学习

---

《LDA数学八卦》中关于Beta分布的解释特别漂亮，在这里整理记录一下

二项式分布

做$n$次伯努利实验，成功的概率为$p$，设成功的次数为$X$，$X\sim B(n,p)$

$$Pr(X=k) = \binom{n}{k}p^k(1-p)^{n-k}$$

组合数$\binom{n}{k}$是，有区别的基本实验，成功k次的等价事件个数

Beta分布

1: $X_1, X_2, cdots, X_n \overset{iid}{\sim}Uniform(0,1)$
2: 把这$n$个随机变量排序后得到的顺序统计量$X_{(1)},X_{(2)},\cdots, X_{(n)}$
3: 求$X_{(k)}$的分布

假设$X_{(k)}$落在了区间$[x, x+\Delta x]$，需要求如下的概率

$$P(x\le X_{(k)}\le x+\Delta x)$$

则$[0,1]$被分割成了三段$[0,x),[x,x+\Delta x], (x+\Delta x,1]$

可以把基本事件$E$设为

$$\begin{split} E = \{ & X_1 \in [x, x+\Delta x], \\ & X_i \in [0, x) \quad (i = 2, \cdots , k), \\ & X_j \in (x+\Delta x, 1] \quad (j=k+1,\cdots, n)\} \end{split}$$
则
$$\begin{split} P(E) & = \prod_{i=1}^n P(X_i) \\ & = x^{k-1}(1-x-\Delta x)^{n-k}\Delta x \\ & = x^{k-1}(1-x)^{n-k}\Delta x + o(\Delta x) \end{split}$$
考虑排列组合，$n$个数只有一个落在了$[x,x+\Delta x]$有$n$种取法，$n-1$个数有$k-1$个落在了$[0,x)$有$\binom{n-1}{k-1}$种取法，故与$E$等价的事件的个数为 $n\binom{n-1}{k-1}$

另外为了构造完整的概率表示，其考虑了多个点落在$[x,x+\Delta x]$的情况

$$\begin{split} E' = \{ & X_1, X_2 \in [x, x+\Delta x], \\ & X_i \in [0, x) \quad (i = 3, \cdots , k), \\ & X_j \in (x+\Delta x, 1] \quad (j=k+1,\cdots, n)\} \end{split}$$

$$P(E') = x^{k-2}(1-x)^{n-k}(\Delta x)^2 = o(\Delta x)$$

故，只要落在$[x, x+\Delta x]$内的数字超过一个，则对应事件的概率就是$o(x)$，则有

$$\begin{split} P(x\le X_{(k)}\le x+\Delta x) & = n\binom{n-1}{k-1}P(E) + o(\Delta x) \\ & = n\binom{n-1}{k-1}x^{k-1}(1-x)^{n-k} + o(\Delta x) \end{split}$$

故$X_{(k)}$的概率密度可以表示为

$$\begin{split} p(x) & = \underset{\Delta x \rightarrow 0}{\lim} \frac{P(x\le X_{(k)}\le x+\Delta x)}{\Delta x} \\ & = n\binom{n-1}{k-1}x^{k-1}(1-x)^{n-k} \\ & = \frac{n!}{(k-1)!(n-k)!}x^{k-1}(1-x)^{n-k} \\ & = \frac{\Gamma(n+1)}{\Gamma(k)\Gamma(n-k+1)}x^{k-1}(1-x)^{n-k} \\ & = \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1} \quad \alpha = k, \beta = n-k+1 \end{split}$$

二项式分布 与 beta分布 关系的等式

$X$服从二项式分布$X\sim B(n,p)$，则其满足如下等式

$$\begin{split} P(X\le k) & = \frac{n!}{k!(n-k-1)!}\int_p^1 t^k(1-t)^{n-k-1}\mathrm{d}t \\ & = \int_p^1 \frac{\Gamma(n+1)}{\Gamma(k+1)\Gamma(n-k)}t^k(1-t)^{n-k-1}\mathrm{d}t \\ & = \int_p^1 Beta(t\mid k+1,n-k)\mathrm{d}t \end{split}$$

这个式子很神奇，其把概率固定的二项式分布的累积分布函数的离散求和表示成了概率可变的积分的形式，但$Beta$分布的随机变量就可以当做二项分布的概率，使其共轭，这也就能说的过去。这个式子可以依据上面的思路用一种等价的方式来说明

有随机变量$X_1,X_2,\cdots,X_n \overset{iid}{\sim}Uniform(0,1)$，构造二项式分布，$X_i<p$实验成功，$C$用于成功的计数，于是构造了一个计数与概率等价的式子

$$P(C\le k) = P(X_{(k+1)}>p)$$

等式左边表示贝努力实验成功次数最多$k$次，右边表示第$k+1$大的数对应于失败的贝努力实验，从而失败次数最少是$n-k$次，所以左右两边等价

$$\begin{split} P(C\le k) & = P(X_{(k+1)}>p) \\ & = \int_p^1 Beta(t\mid k+1,n-k)\mathrm{d}t \\ & = \frac{n!}{k!(n-k-1)!}\int_p^1 t^k(1-t)^{n-k-1}\mathrm{d}t \end{split}$$