概率统计 （A）

任务量方面，每周都有书面作业，负担适中，但要在周五去线下交作业，不太方便翘课。
课程内容主要涵盖经典教材的部分章节，讲义以PPT形式呈现。zfx老师讲课经常提一些神秘的木棍与沙子，比较容易犯困。
个人认为概率部分比统计部分更具挑战性，期中期末的难度都还行，和往年题具有较高的重合度。期末前zfx老师会用半节课带着复习，过一遍考纲（25年的我放在这里了），考试内容和考纲高度相关，对着把考纲里面的知识点搞懂了基本期末就没有问题了。

第三章、随机向量

• §3.4 两个随机变量的函数的数学期望

  • $E f(X,Y) = \iint f(x,y)p(x,y)dxdy$
  • $E(X + Y) = EX + EY$
  • 独立则 $EXY = EXEY$，$\mathrm{var}(X + Y) = \mathrm{var}(X) + \mathrm{var}(Y)$

• §3.5 二维随机向量的数字特征

  • $\mathrm{cov}(X,Y) = E(X - EX)(Y - EY) = E(XY) - (EX)(EY)$
  • $\rho_{XY} = E X^* Y^*$。独立 vs 不相关

• §3.6 $n$ 维随机向量

  • 独立的含义，验证；协方差矩阵
  • 伽玛分布的独立和，卡方、正态、指数分布之间的关系
  • $\chi^2(2) = \mathrm{Exp}(1/2)$

第四章: 概率极限定理

• (弱)大数律(证明)：
  $$P(\frac{\mathrm{\mid }{S}_n-E{S}_n\mathrm{\mid }}{n}\ge \epsilon )\to 0,\mathrm{\forall }\epsilon >0.$$
  P\left(\frac{|S_n - ES_n|}{n} \ge \varepsilon\right) \to 0,\quad \forall \varepsilon > 0.
  
  估计 $D(S_n)$，利用切比雪夫不等式(§2.7)。

• 强大数律(应用)：独立同分布，
  $$P(\frac{S_n}{n}\to \mu )=1.$$
  P\left(\frac{S_n}{n} \to \mu\right) = 1.
  

• 中心极限定理(应用)：独立同分布，
  $$P(S_n^{\ast }\le x)\to \mathrm{\Phi }(x),\mathrm{\forall }x\in \mathbb{R}\mathrm{.}$$
  P(S_n^* \le x) \to \Phi(x),\quad \forall x \in \mathbb{R}.
  
  近似地，$S_n \sim N(n\mu, n\sigma^2)$，$\bar{X} \sim N(\mu, \sigma^2/n)$。

第七章、估计

• §7.1 最大似然估计

  • 写似然函数，求最大值，注意$\theta$的取值范围。应用于回归。

• §7.2 矩估计

  • 将矩写成参数的(连续)函数，反解，代入。

• §7.3 估计的无偏性

  • 求期望。

• §7.4 无偏估计的优良性

  • 求UMVU估计：
    1. 指数族分布的密度/分布列表达式，
    2. 合并同类项，找出完全充分统计量，
    3. 用完全充分统计量构造无偏估计。

§7.5 估计的相合性

用强、弱大数定律验证强、弱相合性。

§7.6 估计的渐近分布

§7.7 置信区间和置信限

找枢轴量，正态总体。参数的近似置信区间，统计量法。

• $\Sigma_n = \sum_{i=1}^n (X_i - \bar{X})^2$:

  • $\Sigma_n = \sigma^2 K_{n-1}$，与$\bar{X}$相互独立；
  • $S^2 = \hat{\sigma}^2 = \frac{1}{n-1}\Sigma_n$，$E S^2 = \sigma^2$。

• $\sigma^2$ 已知: $Z := \frac{\sqrt{n}(\bar{X}-\mu)}{\sigma} \sim N(0,1)$;

• $\sigma^2$ 未知: $T := \frac{\sqrt{n}(\bar{X}-\mu)}{\sqrt{S^2}} = \frac{\sqrt{n}(\bar{X}-\mu)}{\hat{\sigma}} \sim t(n-1)$;

• $\mu$ 未知: $K := \frac{(n-1)S^2}{\sigma^2} = \frac{\Sigma_n}{\sigma^2} \sim \chi^2(n-1)$. ($\mu$ 未知, $\cdots$)

第八章、假设检验

• §8.1 问题的提法

  • 设 $H_0$.

• §8.2 N-P引理和似然比检验

  • UMP 否定域之情形一、$\theta \in {\theta_0, \theta_1}$.
    1. 写似然函数,
    2. 写否定域 $\mathcal{W} = \left{ x: \frac{L(x,\theta_1)}{L(x,\theta_0)} > \lambda \right}$,
    3. 求 $\lambda$: $P_{\theta_0}(\vec{X} \in \mathcal{W}) = \alpha$.

• §8.3 单参数模型中的检验

  • UMP 否定域之情形二
    1. 写密度表达式，指出是单参指数族，
    2. 检查$\theta$的范围是区间，且$C(\theta) \nearrow$，(直观$T(x) \nearrow$)。
    3. 单边情形，写否定域：
       $$H_0:\theta \le {\theta }_0,\mathcal{W}=\{x:\sum _{i=1}^{n}T(x_i)>c\},$$
       H_0: \theta \le \theta_0,\quad \mathcal{W} = \left{ x: \sum_{i=1}^n T(x_i) > c \right},
       
       $$H_0:\theta \ge {\theta }_0,\mathcal{W}=\{x:\sum _{i=1}^{n}T(x_i)<c\},$$
       H_0: \theta \ge \theta_0,\quad \mathcal{W} = \left{ x: \sum_{i=1}^n T(x_i) < c \right},
       
    4. 化简、查表、代数据、给结论。
    5. 双边检验情形是UMPU 否定域：
       $$H_0:\theta ={\theta }_0,\mathcal{W}=\{x:\mid \sum _{i=1}^{n}T(x_i)-{\mu }_0\mid >c\}\mathrm{.}\text{（这一行渲染有问题，不用管，和下面的公式是相同的）}$$
       H_0: \theta = \theta_0,\quad \mathcal{W} = \left{ x: \big| \sum_{i=1}^n T(x_i) - \mu_0 \big| > c \right}.（这一行渲染有问题，不用管，和下面的公式是相同的）
       

c10,0,16.667,-5,20,-15 v-585 v0 v-585 c-2.667,-10,-9.667,-15,-21,-15
c-10,0,-16.667,5,-20,15z M188 15 H145 v585 v0 v585 h43z"/>​i=1∑n​T(xi​)−μ0​​>c}.（这一行渲染有问题，不用管，和下面的公式是相同的）
$$H_0:\theta ={\theta }_0,\mathcal{W}=\{x:\mid \sum _{i=1}^{n}T(x_i)-{\mu }_0\mid >c\}\mathrm{.}$$
H_0: \theta = \theta_0,\quad \mathcal{W} = \left{ x: \big| \sum_{i=1}^n T(x_i) - \mu_0 \big| > c \right}.

§8.4 广义似然比检验和关于正态总体参数的检验

1. 写似然函数$L(x,\theta)$，求解$L(x,\hat{\theta})$，$L(x,\hat{\theta}_0)$，
2. 写广义似然比否定域 $\mathcal{W} = \left{ x: \frac{L(x,\hat{\theta})}{L(x,\hat{\theta}_0)} > \lambda \right}$，
3. 化简、查表(枢轴量vs统计量)、代数据、给结论。

• 例：正态，两正态。$p$-值。

§8.5 关于比率的检验

§8.6 拟合优度检验

§8.4 (续) 正态

• 检验 $\mu$
  $${\mathrm{\Sigma }}_n=\sum _{i=1}^n(X_i-\bar{X}{)}^2,S^2={\widehat{\sigma }}^2=\frac{1}{n}{\mathrm{\Sigma }}_n\mathrm{.}$$
  \Sigma_n = \sum_{i=1}^n (X_i - \bar{X})^2,\quad S^2 = \hat{\sigma}^2 = \frac{1}{n}\Sigma_n.
  

  • 单边问题 $H_0: \mu \le \mu_0$，$\mathcal{W} = {x: T > c}$。
    $$T=\frac{\sqrt{n}(\bar{X}-{\mu }_0)}{\widehat{\sigma }}\le T_{n-1}=\frac{\sqrt{n}(\bar{X}-\mu )}{\widehat{\sigma }}\sim t(n-1)\mathrm{.}$$
    T = \frac{\sqrt{n}(\bar{X}-\mu_0)}{\hat{\sigma}} \le T_{n-1} = \frac{\sqrt{n}(\bar{X}-\mu)}{\hat{\sigma}} \sim t(n-1).
    
  • 双边问题 $H_0: \mu = \mu_0$，$\mathcal{W} = {x: |T| > c}$。

• 检验 $\sigma^2$（双边问题）

  • 单边问题: $H_0: \sigma^2 \ge \sigma_0^2$，$\mathcal{W} = {x: K < c}$。
    $$K=\frac{(n-1)S^2}{{\sigma }_0^2}\ge K_{n-1}=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)\mathrm{.}$$
    K = \frac{(n-1)S^2}{\sigma_0^2} \ge K_{n-1} = \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1).
    
  • 若 $\sigma^2$ 已知，若 $\mu$ 已知，则 $\cdots$。

§8.4 (续) 两正态

• 定义统计量：
  $$U=\sum _{i=1}^{n_1}(X_i-\bar{X}{)}^2={\sigma }_1^2{K}_{n_1^{\mathrm{\prime }}},V=\sum _{i=1}^{n_2}(Y_i-\bar{Y}{)}^2={\sigma }_2^2{\widehat{K}}_{n_2^{\mathrm{\prime }}}\mathrm{.}$$
  U = \sum_{i=1}^{n_1} (X_i - \bar{X})^2 = \sigma_1^2 K_{n_1'}, \quad V = \sum_{i=1}^{n_2} (Y_i - \bar{Y})^2 = \sigma_2^2 \hat{K}_{n_2'}.
  

• 检验 $\sigma^2$（双边问题、单边问题）

  • $H_0: a\sigma_1^2 \le \sigma_2^2$，否定域 $\mathcal{W} = {F > c}$；
  • $H_0: a\sigma_1^2 \ge \sigma_2^2$，否定域 $\mathcal{W} = {F < c}$。

  检验统计量及分布：
  $$F=\frac{U\mathrm{/}{n}_1^{\mathrm{\prime }}}{V\mathrm{/}{n}_2^{\mathrm{\prime }}a}(\le \text{ 或 }\ge )F_{n_1^{\mathrm{\prime }},n_2^{\mathrm{\prime }}}=\frac{U\mathrm{/}(n_1^{\mathrm{\prime }}{\sigma }_1^2)}{V\mathrm{/}(n_2^{\mathrm{\prime }}{\sigma }_2^2)}\sim F(n_1^{\mathrm{\prime }},n_2^{\mathrm{\prime }})$$
  F = \frac{U/n_1'}{V/n_2' a} \ (\le \text{ 或 } \ge) \ F_{n_1',n_2'} = \frac{U/(n_1' \sigma_1^2)}{V/(n_2' \sigma_2^2)} \sim F(n_1', n_2')
  

• 假设 $\sigma_2^2 = a\sigma_1^2$，检验 $\mu$

  • 双边问题 $H_0: \mu_1 = \mu_2$，否定域 $\mathcal{W} = {x: |T| > c}$，其中检验统计量满足：
    
    T = \frac{(\bar{X}-\bar{Y})/\sqrt{\frac{1}{n_1}+\frac{a}{n_2}}}{\sqrt{(U+V/a)/(n_1+n_2-2)}} \stackrel{H_0}{\sim} t(n_1 + n_2 - 2).
    

第九章、一元线性回归

• 最大似然估计和广义似然比检验的应用，要写过程。
• $\hat{b}_0 = \bar{y} - \hat{b}\bar{x}$
  • $\hat{b} = \frac{\ell_{xy}}{\ell_{xx}} = b + \frac{1}{\sqrt{\ell_{xx}}}\sigma Z$
  • $Z \sim N(0,1)$
• $H_0: b = 0$，$\mathcal{W} = \left{(x,y): \frac{U}{Q/(n-2)} > c^2\right}$。
• $U = \sum_{i=1}^n (\hat{y}$i - \bar{y})^2 = \ell{xx}\hat{b}^2，
  $Q = \sum_{i=1}^n (y_i - \hat{y}$i)^2 = \ell{yy} - U。
• $Q = \sigma^2 K$ 与 $Z$ 相互独立，其中 $K \sim \chi^2(n-2)$，
  故 $T_{n-2} = \frac{\sqrt{\ell_{xx}}(\hat{b}-b)}{\sqrt{Q/(n-2)}} = \frac{Z}{\sqrt{K/(n-2)}} \sim t(n-2)$。
• 在 $H_0$ 下，$\frac{U}{Q/(n-2)} = T_{n-2}^2$。
• $b$ 的置信区间：$[\hat{b} - r, \hat{b} + r]$，$r = c\sqrt{\frac{Q}{(n-2)\ell_{xx}}}$。
• $b_0$ 的置信区间，$\cdots$。