概率论与数理统计 ¶

Chap1 概率论的基本概念 ¶

概率的加法公式

\[ P(A \cup B)=P(A)+P(B)-P(AB) \]

\[ P(A \cup B \cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC) \]

\[ P( \cup_{j=1}^{n} A_j)= \sum_{j=1}^{n} P(A_j) -\sum_{i<j}P(A_i A_j) + \sum_{i<j<k} P(A_i A_j A_k)-...+(-1)^{n-1}P(A_iA_2...A_n), \quad n \ge 1 \]

全概率公式

\[ P(A)=\sum_{j=1}^{n}P(B_j)P(A|B_j) \]

贝叶斯公式

\[ P(B_k|A)=\frac{P(B_kA)}{P(A)}=\frac{P(B_k)P(A|B_k)}{\sum_{j=1}^n P(B_j)P(A|B_j)} \]

Chap2 随机变量及其概率分布 ¶

离散型随机变量 ¶

0-1(p) 分布

\[ P\{x=k\} = p^k(1-p)^k, \quad k=0,1 \]

记为 $X \sim 0-1(p)$

二项分布

\[ P\{X=k \}=C_n^kp^k(1-p)^{n-k} \]

记为 $X \sim B(n,p)$

泊松分布

\[ P\{X=k\}= \frac{e^{-\lambda} \lambda^{k}}{k!}, \quad k=0,1,2... \]

记为 $X \sim P(\lambda)$

泊松定理

n 充分大，p 足够小时

\[ C _n^k p^k (1-p)^{n-k} \approx \frac{e^{-\lambda} \lambda^k}{k!} \]

其中 $\lambda = np$

超几何分布

\[ P\{ X=k\} = \frac{C_a^k C_b^{n-k}}{C_N^n}, \quad k=l_1,l_1+1,...l_2 \]

其中 $l_1 = \max(0,n-b), l_2=\min (a,n)$

记为 $H(n,a,N)$

几何分布

\[ P\{ X=k\}=p(1-p)^{k-1} \]

随机变量的概率分布函数 ¶

概率分布函数

\[ F(x)=P\{X \le x\} = \sum_{x_i \le x} P\{X=x_i\} \]

$F(x+0)=F(x)$, 即 $F(x)$ 是右连续函数

$F(x)-F(x-0)=P\{X=x\}$

连续性随机变量 ¶

概率密度函数

\[ F(x)=\int_{- \infty}^x f(t)dt \]

$P\{x_1 < X \le x_2\}= F(x_2) -F(x_1)=\int_{x_1}^{x_2} f(t)dt$

在连续点 $x$ 处，$F^{\prime}(x)=f(x)$

均匀分布

\[ f(x)=\left\{ \begin{aligned} \frac{1}{b-a}, x \in (a,b) \\ 0, 其他 \end{aligned} \right. \]

正态分布

\[ f(x)= \frac{1}{\sqrt{2\pi}\sigma} e^{-(x-\mu)^2/ (2 \sigma^2)}, \quad |x|< + \infty \]

记为 $X \sim N(\mu, \sigma^2)$ 称$\mu$为位置参数，$\sigma$为尺度参数

称 $Z \sim N(0,1)$ 为标准正态分布

\[ \phi (x)=\frac{1}{\sqrt{2 \pi}} e^{-x^2/2}, \quad |x|< + \infty \]

\[ \Phi(x) = \int_{- \infty}^{x} \frac{1}{\sqrt{2\pi}} e^{-t^2/2}ddt \]

\[ P\{ a<x<b\} = \Phi(\frac{b-\mu}{\sigma}) - \Phi (\frac{a-\mu}{\sigma}) \]

指数分布

\[ f(x)=\left\{ \begin{aligned} \lambda e^{-\lambda x}, x>0 \\ 0, x<0 \end{aligned} \right. \]

记为 $X \sim E(\lambda)$

\[ F(x)=\left\{ \begin{aligned} 1-e^{-\lambda x}, x>0 \\ 0, x\le 0 \end{aligned} \right. \]

$P\{X > t_0 +t\}=P\{X>t_0\}\cdot P\{X > t\}$

随机变量函数的分布 ¶

Note

已知 $Y=g(X)$ 和 $X$ 的密度函数，求 $F_Y(y)$ 和 $f_Y(y)$ 1. 求$\{Y \le y\}$的等价事件 2. 求$F_Y(y)$ 3. 求导得$f_y(y)$

定理

\[ f_Y(y) = \left\{ \begin{aligned} f_X(h(y)) \cdot |h^{\prime}(y)|, y\in D \\ 0, y \notin D \end{aligned} \right. \]

Chap3 多维随机变量及其分布 ¶

二元离散型随机变量 ¶

联合分布边际分布条件分布

二元随机变量的分布函数 ¶

联合分布函数

\[ F(x,y) = P\{X \le x, Y \le y\} \]

边际分布函数

\[ F_X(x) = F(x, + \infty) \]

\[ F_Y(y) = F(+\infty ,y) \]

条件分布函数

\[ F_{Y|X}(y|x_i)= P\{Y \le y|X =x_i\} \]

二元连续型随机变量的联合分布 ¶

联合密度函数

\[ F(x,y)= \int_{- \infty}^{x} \int_{- \infty}^{y} f(u,v)dudv \]

在 $f(x,y)$ 的连续点上有

\[ \frac{\partial^2 F(x,y)}{\partial x \partial y}=f(x,y) \]

$(X,Y)$ 落入 $xOy$ 平面任意区域 $D$ 的概率为

\[ P\{ (X,Y) \in D\} = \iint_D f(x,y)dxdy \]

边际分布

\[ f_X(x)=\int_{- \infty}^{+\infty}f(x,y)dy \]

\[ f_Y(y)=\int_{- \infty}^{+ \infty}f(x,y)dx \]

条件分布

\[ f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)} \]

二元正态分布

\[(X,Y)\sim N(\mu_1,\mu_2,\sigma_1,\sigma_2,\rho)\]

随机变量的独立性 ¶

相互独立

\[ P\{X \le x, Y \le y\}=P\{X \le x\}\cdot P\{Y \le y\} \]

即 $F(x,y)=F_X(x)\cdot F_Y(y)$ 时，$X$，$Y$ 相互独立

$f(x,y)=f_X(x)\cdot f_Y(y)$ 几乎处处相等为连续型随机变量为 X，Y 相互独立的等价定义

二元随机变量函数的分布 ¶

$Z=X+Y$ 的分布

$M=\max(X,Y)$ 的分布

\[ F_M(t)=\prod_{i=1}^{n} F_i(t) \]

$N=\min(X,Y)$ 的分布

\[ F_N(t)=1-\prod_{i=1}^{n}[1-F_i(t)] \]

Chap4 随机变量的数字特征 ¶

数学期望 ¶

\[ E(X)=\sum_{i=1}^{+\infty}x_ip_i=\int_{-\infty}^{+\infty}xf(x)dx \]

泊松分布：$E(X)=\lambda$ 指数分布：$E(X)=\frac{1}{\lambda}$ 标准正态分布：$E(X)=0$

方差、变异系数 ¶

\[ Var(X)=\sum_{i=1}^{+\infty}(X_i-E(X))^2p_i=\int_{-\infty}^{+\infty}(x-E(X))^2f(x)dx \]

\[ Var(X)=E(X^2)-(E(X))^2 \]

泊松分布：$Var(X)=\lambda$ 指数分布：$Var(X)=\frac{1}{\lambda^2}$ 标准正态分布：$Var(X)=1$ 二项分布：$Var(X)=np(1-p)$ 正态分布：$Var(X)=\sigma^2$ 均匀分布：$Var(X)=\frac{(b-a)^2}{12}$

协方差与相关系数 ¶

协方差

\[ \begin{aligned} &Cov(X,Y)=E[(X-E(X))(Y-E(Y))] \\ &=E(XY)-E(X)E(Y) \end{aligned} \]

满足以下性质：

\[Var(\sum_{i=1}^{n}X_i)=\sum_{i=1}^{n} Var(X_i)+2\sum_{1\le i< j \le n}Cov(X_i,X_j)\]

$Cov(X,Y)=Cov(Y,X)$ $Cov(X,X)=Var(X)$ $Cov(aX,bY)=abCov(X,Y)$ $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

相关系数

\[ \rho_{XY} =\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}} \]

不相关

$\rho_{XY}=0$ $Cov(X,Y)=0$ $E(XY)=E(X)E(Y)$ $Var(X+Y)=Var(X)+Var(Y)$

Note

独立可以推出不相关，不相关无法推出独立，因为相关是“线性相关性”。

其他数字特征 ¶

矩

k 阶（原点）矩

\[ \mu_k=E(X^k) \]

k 阶中心矩

\[ v_k=E[(X-E(X))^k] \]

k+l 阶混合（原点）矩

\[ E(X^kY^l) \]

k+l 阶混合中心矩

\[ E[(X-E(X))^k(Y-E(Y))^l] \]

Chap5 大数定律及中心极限定理 ¶

大数定律 ¶

马尔可夫不等式

\[P\{|Y| \ge \varepsilon\} \le \frac{E(|Y|^k)}{\varepsilon^k} \]

切比雪夫不等式

\[ P\{ |X-\mu| \ge \varepsilon\}\le \frac{\sigma^2}{\varepsilon^2} \]

\[ P\{|X-E(X)| \ge \varepsilon \} \le \frac{Var(X)}{\varepsilon^2} \]

伯努利大数定律

\[ \lim_{n \rightarrow +\infty}P\{ |\frac{n_A}{n}-p|\ge \varepsilon\} =0 \]

辛钦大数定律

\[ \lim_{n\rightarrow +\infty}P\{|\frac{1}{n}\sum_{i=1}^{n}h(X_i)-a|\ge \varepsilon\}=0 \]

中心极限定理 ¶

林德伯格 - 莱维中心极限定理

\[ \lim_{n \rightarrow +\infty}P\{{\frac{\sum_{i=1}^n X_i - E(\sum_{i=1}^n X_i)}{\sqrt{Var(\sum_{i=1}^n X_i)}}\le x}\}=\lim_{n \rightarrow +\infty}P\{\frac{\sum_{i=1}^{n} X_i-n\mu}{\sigma\sqrt{n}}\le x\}=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^2}{2}}dt=\Phi(x) \]

也称为独立同分布的中心极限定理

棣莫弗 - 拉普拉斯中心极限定理

\[ \lim_{n \rightarrow +\infty}P\{\frac{n_A-np}{\sqrt{np(1-p)}} \le x\}=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^x e^{-\frac{t^2}{2}}dt=\Phi(x) \]

李雅普诺夫中心极限定理

\[ \lim_{n\rightarrow +\infty}P\{\frac{1}{B_n}\sum_{i=1}^{n}(X_i-\mu_i)\le x\}=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^2}{2}}dt=\Phi(x) \]

Chap6 统计量与抽样分布 ¶

随机抽样与统计量 ¶

样本方差

\[ S^2 = \frac{1}{n-1} \sum_{i=1}^{n}(X_i-\bar{X})^2=\frac{1}{n-1}(\sum_{i=1}^{n} X_i^2 - n\bar{X}^2) \]

样本标准差

\[ S=\sqrt{S^2} \]

样本 k 阶（原点）矩

\[ A_k=\frac{1}{n}\sum_{i=1}^{n}X_i^k, \quad k=1,2... \]

样本 k 阶中心矩

\[ B_k=\frac{1}{n} \sum_{i=1}^n (X_i-\bar{X})^k, \quad k=2,3... \]

$\chi^2$ 分布，$t$ 分布，$F$ 分布 ¶

$\chi^2$ 分布

\[Y=X_1^2+X_2^2+...X_n^2 \sim\chi^2(n) \]

其中 $X_1,X_2...X_n$ 为独立同分布的随机变量，且都服从 $N(0,1)$

$\chi^2$ 分布可加性

设 $Y_1\sim\chi^2(m)$，$Y_2\sim\chi^2(n)$，且两者相互独立，则 $Y_1+Y2\sim\chi^2(m+n)$

$\chi^2$ 分布的数学期望和方差

\[ E(\chi^2(n))=n, \quad Var(\chi^2(n))=2n \]

$t$ 分布

\[ t=\frac{X}{\sqrt{Y/n}}\sim t(n) \]

其中 $X\sim N(0,1)$，$Y\sim \chi^2(n)$

$F$ 分布

\[ F=\frac{U/n_1}{V/n_2}\sim F(n_1,n_2) \]

其中 $U\sim \chi^2(n_1)$，$V\sim \chi^2(n_2)$

正态总体下的抽样分布 ¶

设 $X_1$，$X_2$，...$X_n$ 为来自正态分布 $N(\mu,\sigma^2)$ 的简单随机样本，$\bar{X}$ 是样本均值，$S^2$ 是样本方差，则有

$ \bar{X} \sim N(\mu, \frac{\sigma^2}{n}) $
$\bar{X}$ 与 $S^2$ 相互独立
$\frac{(n-1)S^2}{\sigma2}\sim \chi^2(n-1) $
$\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$

设 $X_1,X_2,...X_{n1}$ 和 $Y_1,Y_2,...Y_{n2}$ 分别为来自正态总体 $N(\mu_1,\sigma_1^2)$ 和 $N(\mu_2,\sigma_2^2)$ 的两个相互独立的简单随机样本

$\frac{S_1^2/\sigma_12}{S_2^2/\sigma_22}\sim F(n_1-1,n_2-1) $
当 $\sigma_1^2=\sigma_2^2=\sigma^2$ 时，

\[ \frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2) \]

其中 $S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$，$S_w=\sqrt{S_w^2}$

Chap7 参数估计 ¶

点估计 ¶

矩法 ¶

本质是用 ** 样本矩 ** 作为 ** 总体矩 ** 的估计

极大似然法 ¶

似然函数

使得样本 $X_1,X_2,..X_n$ 发生概率最大的 $\theta$ 值

\[ L({\theta})=L(\theta;x1,x_2,\cdots,x_n)=\prod_{i=1}^{n}p(x_i;\theta) \]

似然函数单调递减时，$\hat{\theta}=\max\{X_1,X_2,...X_n\}$
似然函数单调递增时，$\hat{\theta}=\min\{X_1,X_2,...X_n\}$

Note

写出样本似然函数
取对数
求驻点

估计量的评价准则 ¶

无偏性

无偏估计量

\[ E(\bar{\theta})=\theta \]

有效性

若 $\bar{\theta_1}$ 和 $\bar{\theta_2}$ 均为无偏估计，且 $D(\bar{\theta_1})<D(\bar{\theta_2})$，则 $\bar{\theta_1}$ 更有效

区间估计 ¶

置信区间的定义 ¶

枢轴量法 ¶

枢轴量：样本和参数的函数 $G(X_1,X_2,...X_n;\theta)$ 的分布不依赖于参数 $\theta$，则称 $G(X_1,...X_n;\theta)$ 为枢轴量

Note

构造一个分布已知的枢轴量

正态总体参数的区间估计 ¶

Note

提出假设
选检验统计量
得拒绝域

非正态总体参数的区间估计 ¶

Chap8 假设检验 ¶

假设检验的基本思想 ¶

$H_0$：原假设 / 零假设

$H_1$：备择假设 / 对立假设

左侧检验：$H_0:\theta \ge \theta_0,H_1:\theta< \theta_0$

右侧检验：$H_0:\theta \le \theta_0,H_1:\theta>\theta_0$

双侧检验：$H_0:\theta=\theta_0,H_1:\theta\ne \theta_0$

第Ⅰ类错误 / 弃真错误：

\[\alpha=P{ 拒绝 H_0|H_0 是真实的 }\]

第Ⅱ类错误 / 存伪错误：

\[\beta=P{ 接受 H_0|H_0 是错误的 }\]

Note

根据实际问题提出原假设和备择假设
提出检验统计量和拒绝域的形式
根据奈曼 - 皮尔逊原则和给定的显著水平 $\alpha$，求出拒绝域 W 中的临界值
根据实际样本值作出判断

单个正态总体参数的假设检验 ¶

有关参数 μ 的假设检验 ¶

$\sigma^2$ 已知

检验统计量 $Z=\frac{\bar{X}-\mu_0}{\sigma/\sqrt{n}}$
P_ 值
- 双侧假设：$2(1-\Phi(|z_0|))$
- 左侧假设：$\Phi(z_0)$
- 右侧假设：$ 1-\Phi(z_0)$
上述检验称为 Z 检验

$\sigma^2$ 未知

检验统计量为 $T=\frac{\bar{X}-\mu_0}{S/\sqrt{n}}$

上述检验称为 t 检验

成对数据的 t 检验 ¶

检验统计量为 $T=\frac{\bar{D}}{S_D/\sqrt{n}}$

有关参数 $\sigma^2$ 的假设检验 ¶

检验统计量

\[\chi^2=\frac{(n-1)S^2}{\sigma_0^2}\]

P_ 值
- 双侧检验：$2\min(p_1,1-p_0)$
- 左侧检验：$p_0$
- 右侧检验：$1-p_0$
上述检验称为 $\chi^2$ 检验

概率论与数理统计 ¶

Chap1 概率论的基本概念 ¶

Chap2 随机变量及其概率分布 ¶

离散型随机变量 ¶

随机变量的概率分布函数 ¶

连续性随机变量 ¶

随机变量函数的分布 ¶

Chap3 多维随机变量及其分布 ¶

二元离散型随机变量 ¶

二元随机变量的分布函数 ¶

二元连续型随机变量的联合分布 ¶

随机变量的独立性 ¶

二元随机变量函数的分布 ¶

Chap4 随机变量的数字特征 ¶

数学期望 ¶

方差、变异系数 ¶

协方差与相关系数 ¶

其他数字特征 ¶

Chap5 大数定律及中心极限定理 ¶

大数定律 ¶

中心极限定理 ¶

Chap6 统计量与抽样分布 ¶

随机抽样与统计量 ¶

\(\chi^2\) 分布，\(t\) 分布，\(F\) 分布 ¶

正态总体下的抽样分布 ¶

Chap7 参数估计 ¶

点估计 ¶

矩法 ¶

极大似然法 ¶

估计量的评价准则 ¶

区间估计 ¶

置信区间的定义 ¶

枢轴量法 ¶

正态总体参数的区间估计 ¶

非正态总体参数的区间估计 ¶

Chap8 假设检验 ¶

假设检验的基本思想 ¶

单个正态总体参数的假设检验 ¶

有关参数 μ 的假设检验 ¶

成对数据的 t 检验 ¶

有关参数 \(\sigma^2\) 的假设检验 ¶

两个正态总体参数的假设检验 ¶

假设检验与区间估计 ¶

拟合优度检验 ¶