概率论与数理统计笔记 第五章 大数定律及中心极限定理

概率论与数理统计笔记（计算机专业） 作者：catpub 新浪微博：@catpub

课程：中国大学MOOC浙江大学概率论与数理统计

部分平台可能无法显示公式，若公式显示不正常可以前往CSDN或作业部落进行查看

前往知乎查看目录与导航

第36讲 依概率收敛，切比雪夫不等式

• 依概率收敛
  
  • $$\lim_{n\to +\infty}P\{|\frac{n_A}{n}-p|\geq\epsilon\}=0$$
  • 记为 $Y_n\xrightarrow{p}c$ 当 $n\to +\infty$
• 依概率收敛的性质
  
  • 若$X_n\xrightarrow Pa,Y_n\xrightarrow Pb$ 且 $g(x,y)$ 在点 $a,b$ 处连续
  • $X_n\xrightarrow{p}g(a,b)$ 当 $n\to +\infty$ 时
  • 如，$X_n+Y_n\xrightarrow Pa+b​$ 当 $n\to+\infty​$
  • 特别的 $f(X_n)\xrightarrow Pf(a)$
• 切比雪夫不等式 Chebyshev's inequality
  
  • $$P\{|X-\mu|\geq \epsilon\}\leq \frac{\sigma^2}{\epsilon^2}$$
• 等价形式
  
  • $$P\{|X-\mu|< \epsilon\}\geq 1-\frac{\sigma^2}{\epsilon^2}$$
• 切比雪夫不等式的性质
  
  • 适用范围：期望、方差存在的随机变量
  • 重要性：可以对于随机变量落在期望附近的区域内或外给出一个界的估计
  • 切比雪夫不等式应用范围广，但结果比较粗糙

第36讲 大数定律

• 频率的稳定值记为概率，这个结论可以用”大数定律“来描述
• 伯努利大数定律
  
  • $$\lim_{n\to +\infty}P\{|\frac{n_A}{n}-p|\epsilon\}=0$$
  • 即 $$\frac{n_A}{n}\xrightarrow{p}p$$
  • 意义：提供了通过实验来确定事件概率的方法
• 大数定律
  
  • 设 $X_1,X_2,...,X_n,... ​$ 是一列随机变量，则在一定条件下，随机变量序列 $Y_n=\frac{X_1+...+X_n}{n}​$ 收敛到 $\mu​$，当 $n\to +\infty​$
  • 含义：依概率收敛
  • 当 $X_i$ 期望相同时，$\mu=E(X_i)$
• 切比雪夫大数定律的推论
  
  • $X_1,X_2,...,X_n,...$ 为相互独立的随机变量，且具有相同的期望 $\mu$，相同的方差$\sigma^2$，那么 $$\frac{1}{n}\sum_{i=1}^{n}X_i\xrightarrow{p}\mu$$ ，当 $n\to+\infty$
• 辛钦大数定律
  
  • $X_1,X_2,...,X_n,...$ 为相互独立同分布的随机变量，且期望 $\mu$ 存在，那么 $$\frac{1}{n}\sum_{i=1}^{n}X_i\xrightarrow{p}\mu$$ ，当 $n\to+\infty$

第37讲 中心极限定理

• 有许多随机变量，它们是由大量的相互独立的随机变量的综合影响所形成的，而其中每个个别因素的作用都很小，这种随机变量往往服从或近似服从正态分布，或者说他们的极限是正态分布，中心极限定理正是数学上论证了这一现象，它在长达两个世纪的时期内曾是概率论研究的中心课题
• 独立同分布的中心极限定理（CLT）
  
  • 设 $X_1,X_2,...,X_n,...$ 相互独立且同分布，$E(X_i)=\mu,D(X_i)=\sigma^2,i=1,2,...$ 则对于充分大 $n$ 的，有
  • $$\sum_{i=1}^nX_i\sim^{近似}N(n\mu,n\sigma^2)$$
  • 此时
  • $$P(a<\sum_{i=1}^{n}X_i\leq b)\approx \Phi(\frac{b-n\mu}{\sqrt{n}\sigma})-\Phi(\frac{a-n\mu}{\sqrt{n}\sigma})$$
• 注意，CLT仅仅是分布类型上的一种近似
• 德莫弗-拉普拉斯定理
  
  • 即二项分布可以用正态分布逼近
  • $$n_A\sim^{近似}N(np,np(1-p))$$