概率论笔记
第一章 概率论的基本概念
1.1 样本空间，随机事件
- 样本空间
样本空间：随机试验$E $所有可能的结果组成的集合称为样本空间，记为$S$（或者称为$Ω$）
样本点：样本空间的元素, 即试验$E $的每个可能的结果, 称为样本点 (or基本事件) 常记为$e $，$S = {e1,e2…..}$
- 随机事件
随机事件： 样本空间$S$的子集,用大写字母$Ａ、Ｂ、Ｃ$等表示
事件发生：所谓事件$A$发生，当且仅当这个子集中的一个样本点出现
基本事件：仅含一个样本点的随机事件
- 事件之间的运算
交换律：$A\cup B=B\cup A$，$AB=BA$
结合律：$(A\cup B)\cap C=A\cup (B\cup C)$
分配律：$A(B\cup C)=(AB)\cup (AC)$，$A\cup(BC)=(A\cup B)(A\cup C)$
德·摩根律：$\overline{AB}=\overline{A}\cup\overline{B}$，$\overline{A\cup B}=\overline{A} \overline{B}$
1.2 频率与概率
随机事件德频率：$f_n(A)=\frac{事件A出现的次数m}{实验总次数n}$
概率性质：
$P(\varnothing)=0$
有限可加性：$P(\cup^n_{i=1}A_i)=\sum^n_{i=1}P(A_i)$，$A_i$互不相容，$P(A \cup B)=P(A)+P(B),AB=\Phi_{零事件}$
$P(B-A)=P(B)-P(AB)$
$P(A \cup B)=P(A)+P(B)-P(AB)$
加法定理：$P(A \cup B\cup C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(AC)+P(ABC)$
$P(\overline{A})=1-P(A)$
一般地，设盒中有$N$个球，其中有$M$个白球，现从中任抽$n$个球，则这$n$个球中恰有$k$个白球的概率是：$P=\frac{C^k_MC^{n-k}_{N-M}}{C^n_n}$
1.3 条件概率与贝叶斯公式
条件概率：$P(B|A)=\frac{P(AB)}{P(A)}$
性质：
$P(B|A)\ge0$
$P(S_{整体}|A)=1$
可列可加性：$P(\cup^n_{i=1}B_i|A_i)=\sum^n_{i=1}P(B_i|A_i)$，$B_i$互不相容
$P(B_1\cup B_2|A)=P(B_1|A)+P(B_2|A)-P(B_1B_2|A)$
$P(\overline{B}|A)=1-P(B|A)$
$P(B_1-B_2|A)=P(B_1|A)-P(B_1B_2|A)$
乘法法则：$P(ABC)=P(A)P(B|A)P(C|AB)$
- 全概率公式
设$B_1,B_2,…,B_n$是$S$的一个划分，且$P(S_i)>0$，则对于任意事件$A\in S$有：
$P(A)=\sum^n_{i=1}P(B_i)P(A|B_i)$，每个划分上$A$出现的概率相加就是$A在S$上出现的概率
- 贝叶斯公式
设$B_1,B_2,…,B_n$是$S$的一个划分，且$P(S_i)>0$，$A$为$ S$任意事件，$P(A)>0$,则：
$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{sum^n_{j=1}P(B_j)P(A|B_j)}=\frac{P(B_i)P(A|B_i)}{P(A)}$
$A$已经发生，求$A$发生在划分$B_i$上的概率，就是$A$发生在划分$B_i$上的概率除以$A$在$S$上发生的概率.
1.4 事件独立性
定义：事件$A$发生对$B$发生的概率没有影响，可视为事件$A$与$B$相互独立，即：
$P(B|A)=P(B),P(AB)=P(A)P(B)$
性质：事件$A，B$独立 和 事件$A，B$互不相容 不能同时成立。
下列四组事件，有相同独立性：一组互相独立，其他也独立
$A与B$
$A与\overline{B}$
$\overline{A}与B$
$\overline{A}与\overline{B}$
事件$A，B，C$相互独立与事件$A，B，C$两两独立不同
第二章 随机变量及其分布
2.1 随机变量
分布律的性质：
非负性：$p_k\ge0,k=1,2,…$
归一性：$\sum^\infty_{k=1}p_k=1$
2.2 离散随机变量及其分布
0-1分布：
| $X$ | $0$ | $1$ |
|---|---|---|
| $P$ | $1-p$ | $p$ |
二项分布：$X\sim b(n,p)$
$P{X=k}=C^k_np^kq^{n-k},k=0,1,2,…,n$
泊松定理：当二项分布$n$较大，$p$较小（一般$n>20,p<0.05$）,有
$C^k_np^k(1-p)^{n-k}\approx\frac{e^{-\lambda}\lambda^k}{k!},k=0,1,2…$
式中$\lambda=np$
泊松分布：$X\sim \pi(\lambda)$
$P{X=k}=e^{-\lambda}\frac{\lambda^k}{k!}$
2.3 随机变量的分布函数
定义：设$X$为随机变量，$x$是任意实数，称函数
$F(x)=P{X\le x},-\infty<x<+\infty$
为X的分布函数
离散型：点点计较 $F(X)=P{X\le x}=\sum_{k:x_k<x}p_k$
连续型：$F(X)=P{X\le x}=\int_{-\infty}^xf(t)dt$
2.4 连续随机变量及其概率密度
连续型：$F(X)=P{X\le x}=\int_{-\infty}^xf(t)dt$
其中$f(x)$称为$X$的概率密度函数，常写为 $X\sim f(x)$
概率密度函数性质：
非负性：$f(x)\ge0,\forall x\in(-\infty,+\infty)$
规范性：$\int^{+\infty}_{-\infty}f(x)dx=1$
- 几个常用连续性分布
均匀分布：
指数分布：$X\sim E(\theta)$
分布函数
指数分布无记忆性：$P{X>s+t|X>s}=P{X>t}$
正态分布：$X\sim N(\mu,\sigma^2)$
定义 $X\sim N(0,1)$为标准正太分布，密度函数$\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$，分布函数$\Phi(x)$
一般正太分布标准化：$Z=\frac{x-\mu}{\sigma}\sim N(0,1)$
2.5 随机变量的函数的分布
对于离散型，用分布表
- 连续型随机变量的函数的分布
设X为一个连续型随机变量，其概率密度函数为$f(X)$，$y=g(x)$为一个连续函数，求随机变量$Y=g(X)$的概率密度函数
-
求$Y$的分布函数$F_Y(y)$
$F_Y(y)=P(Y\le y)=P{g(X)<=y}=\int_{g(x)\le y}f(x)dx$
-
对$F_Y(y)$求导，得到$f_Y(y)$
$f_Y(y)=(F_Y(y))‘$
定理：正态分布的线性函数仍服从正态分布
设$X \sim N(\mu,\sigma^2),Y=aX+bY(a\ne 0)$，则$Y \sim N(a\mu+b,(a\sigma)^2)$
第三章 二维随机变量及其分布
3.1 二维随机变量
定义：设$X、Y$ 为定义在同一样本空间$Ω$上的随机变量，则称向量$(X,Y)$为$Ω$上的一个二维随机变量。
二维变量联合分布函数：
$F(x,y)=P{X\le x \cap Y\le y}=^{记作}P{X\le x,Y\le y}$
离散型：$F(x,y)=\sum_{x_i<x}\sum_{y_j<y}p_{ij}$
连续型：$F(x,y)=\int_{-\infty}^x\int_{-\infty}^yf(u,v)dudv$
$f(x,y)$称为联合密度函数
3.2 边缘分布
设二维随机变量$(X,Y)$的分布函数为$F(x,y)$，
$F_X(x)=P{X\le x}=P{X\le x,Y<+\infty}=F(x,+\infty)$
$F_Y(y)=P{Y\le y}=P{X< +\infty,Y\le y}=F(+\infty,y)$
连续型：
$F_X(x)=F(x,+\infty)=\int^x_{-\infty}[\int^{+\infty}_{-\infty}f(x,y)dy]dx$
边缘概率密度函数：
$f_X(x)=\int^{+\infty}_{-\infty}f(x,y)dy$
$f_Y(y)=\int^{+\infty}_{-\infty}f(x,y)dx$
3.3 条件分布
3.4 独立性
若$F(x,y)=F_X(x)F_Y(y)$，则$X,y$相互独立，$f(x,y)=f_X(x)f_Y(y)$
第四章 随机变量的数字特征
4.1 数学期望
离散型随机变量数学期望：$E(x)=\sum^{+\infty}_{k=1}x_kp_k$
连续性随机变量数学期望：$E(X)=\int^{+\infty}_{-\infty}xf(x)dx$
- 随机变量的函数的数学期望
一维情形：设$Y=g(X)$是随机变量$X$的函数
离散型：$E(Y)=E[g(X)]=\sum^\infty_{k=1}g(x_k)p_k$
连续型：概率密度为$f(x)$，$E(Y)=E[g(X)]=\int^{+\infty}_{-\infty}g(x)f(x)dx$
二维情形：设$Z=g(X,Y)$是随机变量$X,Y$的函数
离散型：$P{X=x_i,Y=y_i}=p_{ij}$，$E[g(X,Y)]=\sum_i\sum_jg(x_i,y_j)p_{ij}$
连续型：联合概率密度$f(x,y)$，$E[g(X,Y)]=\int^{+\infty}_{-\infty}\int^{+\infty} _{-\infty}g(x,y)f(x,y)dxdy$
- 数学期望的性质
$E(C)=C$，$C$为常数
$E(CX)=CE(X)$
$E(X+Y)=E(X)+E(Y)$
$X,Y$相互独立时：$E(XY)=E(X)E(Y)$
4.2 方差
定义：若$E{[X-E(X)]^2}$存在，则称其为随机变量$X$的方差，记为$D(X)$。
若$X$为离散型：$D(X)=\sum^{+\infty}_{k=1}(x_k-E(X))^2p_k$
若$X$为连续型：$D(X)=\int^{+\infty}_{-\infty}(x-E(X))^2f(x)dx$
计算方差常用公式：$D(X)=E(X^2)-E(X)^2$
- 方差的性质
$D(C)=0$
$D(aX+b)=a^2D(X)$
$D(X\pm Y)=D(X)+D(Y)\pm 2E((X-E(X))(Y-E(Y)))$
若$X,Y$相互独立：$D(X\pm Y)=D(X)+D(Y)$
二维随机变量方差：
$D(X,Y)=(D(X),D(Y))$
$D(X)=\int^{+\infty} _{-\infty}[x-E(X)]^2f_x(x)dx=\int^{+\infty} _{-\infty}\int^{+\infty} _{-\infty}[x-E(X)]^2f(x,y)dxdy$
$D(Y)=\int^{+\infty} _{-\infty}[y-E(Y)]^2f_y(y)dx=\int^{+\infty} _{-\infty}\int^{+\infty} _{-\infty}[y-E(Y)]^2f(x,y)dxdy$
常用：若$X_i\sim N(\mu_i,\sigma_i^2),i=1,2,…,n$，且他们相互独立，他们的线性组合$C_1X_1+C_2X_2+…+C_nX_n$仍然服从正态分布：$C_1X_1+C_2X_2+…+C_nX_n\sim N(C_1\mu_1+C_2\mu_2+…+C_n\mu_n,\sigma^2_1+\sigma^2_2+…+\sigma^2_n)$
| 分布 | 密度函数 | 期望 | 方差 |
|---|---|---|---|
| 二项分布$X\sim B(n,p)$ | $p{X=k}=C^k_np^k(1-p)^{n-k}$ | $np$ | $np(1-p)$ |
| 泊松分布$X\sim P(\lambda)$ | $p{X=k}=\frac{\lambda^k}{k!}e^{-\lambda}$ | $\lambda$ | $\lambda$ |
| 均匀分布 | $f(x)=\left\{\begin{aligned}\frac{1}{b-a}，a<x<b\\ 0,其他\end{aligned}\right.$ | $\frac{a+b}{2}$ | $\frac{1}{12}(b-a)^2$ |
| 正态分布$X\sim N(\mu,\sigma^2)$ | $f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$ | $\mu$ | $\sigma ^2$ |
| 指数分布 | $f(x)=\left\{\begin{aligned}\frac{1}{\theta}e^{-\frac{x}{\theta}}，x>0\\0,x\le0\end{aligned}\right.$ | $\theta$ | $\theta^2$ |
4.3 协方差及相关系数
定义：称$E([X-E(X)][Y-E(Y)])$为$X,Y$的协方差，记为$cov(X,Y)=E([X-E(X)][Y-E(Y)])$
离散型： $cov(X,Y)=\sum^{+\infty}_{i=1}\sum^{+\infty}_{j=1}[x_i-E(X)][y_j-E(Y)]p_{ij}$
连续型： $cov(X,Y)=\int^{+\infty}_{-\infty}\int^{+\infty}_{-\infty}[x-E(X)][y-E(Y)]f(x,y)dxdy$
当$COV(X,Y)>0$时，称$X$与$Y$正相关；当$COV(X,Y)<0$时，称$X$与$Y$负相关；当$COV(X,Y)=0$时，称$X$与$Y$不相关
协方差计算：$cov(X,Y)=E(XY)-E(X)E(Y)$，或方差性质计算
性质：
$cov(X,Y)=cov(Y,X)$
$cov(aX,bY)=abcov(X,Y)$
$cov(X+Y,Z)=cov(X,Z)+cov(Y,Z)$
$cov(X,X)=D(X)$
相关系数：$\rho_{XY}=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$
$|\rho_{XY}|\le1$
$|\rho_{XY}=1|$称$X$与$Y$全相关，存在常数$a,b$,使$P{Y=aX+b}=1$
第五章 大数定律及中心极限定理
5.1 大数定律
- 切比雪夫不等式
设随机变量$X$的方差$D(X)$存在，则对于任意实数$\varepsilon>0$：
$$P(|X-E(X)|\ge\varepsilon)\le\frac{D(X)}{\varepsilon^2}$$，等价于：$P(|X-E(X)|<\varepsilon)\ge1-\frac{D(X)}{\varepsilon^2}$
说明：粗鲁哦估计$X$与均值之间范围的关系，实际很少运用
5.2 中心极限定理
客观背景：客观实际中，许多随机变量是由大量 相互独立的偶然因素的综合影响所形成，每一个微小 因素，在总的影响中所起的作用是很小的，但总起来， 却对总和有显著影响，这种随机变量往往近似地服从正态分布。
研究在什么条件下，大量独立随机变量和的分布以正态分布为极限，这一类定理称为中心极限定理。
- 定理1
应用：
对于独立的随机变量序列${X_n}$，不管$X_i(i=1,2,…,n)$服从什么分布，只要他们是独立同分布，且有相同的数学期望和方差，那么，当$n$充分大时，这些随机变量之和$\sum^n_{i=1}X_i\sim^{近似}N(n\mu,n\sigma^2)$。$\bar{X} \sim N(\mu,\frac{\sigma^2}{n})$
- 定理2
二项分布的极限分布是正态分布：当n很大，p不是很小时，不能再用泊松定理
设$Y_n \sim B(n,p)$，当$n$很大时，$Y_n \sim^{近似} N(np,np(1-p))$。
第六章 样本与统计量
6.1 随机样本
- 总体和样本
总体 —— 所研究的对象的某个(或某些)数量指标的全体,它是一个随机变量(或多维随机变量). 记为X.
个体 ——即总体的每个数量指标,可看作随机变量$X$ 的某个取值.用$X_i$表示.
容量 ——总体中所包含个体的个数
有限总体 ——容量为有限的总体
无限总体—— 容量为无限的总体
样本 —— 从总体中抽取的部分个体.用$(X1,X2,…Xn)$表示,$ n$为样本容量。在数理统计中，有意义的样本容量一般要求$n≥50$才有统计意义
设总体$X$的分布函数为$F(X)$,则样本$(X_1,X_2…X_n)$的联合分布函数为：
$$ F_总(X_1,X_2,…,X_n)=\prod^n_{i=1}F(x_i)$$
若总体$X$的概率密度为$f(X)$,则样本的联合概率密度为：
$$ f_总(X_1,X_2,…,X_n)=\prod^n_{i=1}f(x_i)$$
- 统计量
样本是统计推断的依据，但在实际问题中，往往不是直接使用样本本身，而是针对不同的问题构造不同的样本函数，利用这种样本的函数进行统计推断。这个构造出来的函数，就是统计量 ！
设$(X_1,X_2,…X_n)$是取自总体$X$的一个样本，$g(X_1,X_2,…X_n)$是$(X_1,X_2,…X_n)$且步含有未知参数的实值连续函数，则称随机变量$g(X_1,X_2,…X_n)$为统计量
若$(x_1,x_2,…x_n)$是一个样本值，称$g(x_1,x_2,…x_n)$为统计量的一个样本值
几个常用的统计量：
样本均值(sample mean)：$\bar{X}=\frac{1}{n}\sum^n_{i=1}X_i$
样本方差(sample variance)：$S^2=\frac{1}{n-1}\sum^n_{i=1}(X_i-\bar{X})^2=\frac{1}{n-1}(\sum^n_{i=1}X_i^2-n\bar{X}^2)$
样本均方差或标准差：$S=\sqrt{\frac{1}{n-1}\sum^n_{i=1}(X_i-\bar{X})^2}$
样本$K$阶原点矩：$A_k=\frac{1}{n}\sum^n_{i=1}X^k_i$
样本$K$阶中心距：$\frac{1}{n}\sum^n_{i=1}(X_i-\bar{X})^k$
$k$阶矩的概念：
定义：设$X$为随机变量，若$E(|X|^k)$存在，则称$E(X^k)$为$X$的$k$阶原点矩，记作$\mu^k=E(X^k)$
样本的$k$阶原点矩，记作$A_k=\frac{1}{n}\sum^n_{i=1}X_i^k$
结论：$A^k\xrightarrow{P}\mu^k,(n\rightarrow\infty),k=1,2…$ 辛钦大数定理 矩估计法的理论依据
6.2 抽样分布
统计量的分布称为抽样分布。在使用统计量进行统计推断时常需要知道它的分布。当总体的分布函数为已知时，抽样分布是确定的，然而要求出统计量的精确分布，一般来说是困难的。
由于正态总体是最常见的总体，因此这里主要讨论正态总体下的抽样分布
数理统计的三大分布：$\chi^2分布$ $t分布$ $F分布$，他们都与正太分布有密切的联系。
- $\chi^2分布$
定义：设总体$X\sim N(0,1)$，$(X_1,X_2,…,X_n)$是$X$的一个样本，则称统计量$\chi^2=X_1^2+X_2^2+…+X_n^2$服从自由度为$n$的$\chi^2分布$,记作$\chi^2\sim \chi^2(n)$
自由度是指独立随机变量的个数，$\chi^2分布$的密度函数为：
$\chi^2分布$的上$\alpha$分位点：满足$P{\chi^2(n)>\chi_\alpha^2(n)}=\int_{\chi^2(n)}^{+\infty}f(y)dy=\alpha$的数$\chi^2_\alpha(n)$为$\chi^2$分布的上$\alpha$分位点。
性质：
期望与方差：设$\chi^2 \sim \chi^2(n)$，则$E(\chi^2)=n$，$D(\chi^2)=2n$
$\chi^2分布$的可加性：设$\chi^2_1 \sim \chi^2(n_1)$，$\chi^2_2 \sim \chi^2(n_2)$，$\chi^2_1 $与$\chi^2_1 $ 相互独立，则$\chi^2_1+\chi^2_1 \sim \chi^2(n_1+n_2) $
若$X_1,X_2,…,X_n$相互独立，都服从$N(0,1)$， 则$X_1^2+X_2^2+…+X_n^ 2~ \chi^2 (n)$，反之若$X \sim \chi^2 (n)$ ，则$X$可以分解成$ n $个相互独立的标准正态随机变量的平方和。
- $t分布$
定义：设随机变量$X \sim N(0,1)$，$Y \sim \chi^2(n)$，且$X$与$Y$相互独立，则称统计量$T=\frac{X}{\sqrt{Y/n}}$服从自由度为$n$的$t$分布或学生氏分布，记作$T \sim t(n)$.
$t$分布的概率密度为：$f(t)=\frac{\Gamma(\frac{n+1}{2})}{\sqrt{n\pi}\Gamma(\frac{n}{2})}(1+\frac{t^2}{n})^{-\frac{n+1}{2}},-\infty<t<+\infty$
其形状类似标准正太分布，$n$较大时，$t$分布近似于标准正太分布，当$n>30$时，$t$分布与标准正态分布$N(0，1)$就非常接近.
性质：
若$X \sim N(0,1)$，$Y \sim \chi^2(n)$，且$X$与$Y$相互独立，则$T=\frac{X}{\sqrt{Y/n}}$。反之若$T=\frac{X}{\sqrt{Y/n}}$，则有互相独立的$X \sim N(0,1)$，$Y \sim \chi^2(n)$，使得$T=\frac{X}{\sqrt{Y/n}}$。
$f(t)$是偶函数
对于给定的$\alpha(0<\alpha<1)$，称满足条件$P{T>t_\alpha(n)}=\int_{t_\alpha{n}}^{+\infty}f(t)dt=\alpha$的数$t_\alpha(n)$为$t$分布的上$\alpha$分位点。
- $F分布$
定义：设随机变量$X \sim \chi^2(n_1)$，$Y \sim \chi^2(n_2)$，且相互独立，则称随机变量$F=\frac{X/n_1}{Y/n_2}$服从第一自由度为$n_1$，第二自由度为$n_2$的$F$分布，记作$F \sim F(n_1,n_2)$。
性质：若$X \sim F(n_1,n_2)$，则$\frac{1}{X} \sim F(n_2,n_1)$。
$F$ 分布的上$\alpha$分位点：对于给定的$0<\alpha<1$，称满足条件$P{F(n_1,n_2)>F_\alpha(n_1,n_2)}=\alpha$的数$F_\alpha(n_1,n_2)$为$F$分布的上$\alpha$分位点。
第七章 参数估计
数理统计问题：如何选取样本来对总体的种种统计特征作出判断。
参数估计问题：知道随机变量（总体）的分布类型，但它的一个或多个参数未知，根据样本来估计总体的参数，这类问题称为参数估计(paramentric estimation)
参数估计的类型——点估计、区间估计
7.1 点估计方法
设总体$X$的分布函数的形式已知，但含有一个或多个未知参数：$\theta_1,\theta_2,…,\theta_k$
设$X_1,X_2,…,X_n$为总体的一个样本，构造$k$个统计量：
当测得样本值$(x_1,x_2,…,x_n)$时，代入上述统计量，即可得到$k$个数：
称数$\hat{\theta_1}…\hat{\theta_k}$为未知参数${\theta_1}…{\theta_k}$的估计值
对应统计量为未知参数${\theta_1}…{\theta_k}$的估计量
7.2 参数的矩法估计
用样本的矩作为总体距的估计量，集体做法如下：
代入一组样本值得$k$个数，可得矩估计量的观察值矩估计值
例题：设某总体$X$得数学期望为$E(X)=\mu$，方差$D(X)=\sigma^2$，$X_1,X_2,…,X_n$为样本，试求$\mu$和$\sigma^2$的矩估计量。
解：总体的$K$阶原点矩为 $\mu_1=\mu$
$\mu_2=E(X^2)=D(X)+E(X)^2=\sigma^2+\mu^2$
可得：$\mu=\mu_1$ $\sigma^2=\mu_2-\mu_1^2$
样本的$K$阶原点矩为 $A_1=\bar{X}$ $A_2=\frac{1}{n}\sum^n_{i=1}X_i^2$
由矩法估计，领$A_i$代替$\mu_i$，可得$\mu$和$\sigma^2$的矩估计量为：$\hat{u}=\bar{X}$ ， $\hat{\sigma}^2=\frac{1}{n}\sum^n_{i=1}X_i^2-\bar{X}^2=\frac{1}{n}\sum^n_{i=1}(X_i-\bar{X})^2$