OceanAI-Chapter1：PLUS概率论重点

概述#

概率论部分的核心可以压缩成一条链：

\boxed{ \text{先验 }p(x) +\text{ 似然 }p(y\mid x) \longrightarrow \text{联合分布 }p(x,y) \longrightarrow \text{边缘分布 }p(y) \longrightarrow \text{后验分布 }p(x\mid y) \longrightarrow \text{估计或判决} }

复习课中老师明确强调，概率论是本课程的重点，必须掌握：

乘积规则与联合分布；
由联合分布求边缘分布；
用贝叶斯公式计算后验分布；
离散隐变量与连续观测混合时的边缘化与后验计算；
一维线性高斯模型的后验均值、后验方差；
二维联合高斯分布的边缘分布与条件分布；
从后验分布得到 MMSE 估计和 MAP 判决；
理解先验不准确时贝叶斯方法可能失效。

WARNING
考试计算以一维、二维为主。复杂高维矩阵公式或随机变量变换公式若确实需要，老师会在题目中提供；应掌握公式含义和代入方法，不必背诵复杂高维推导。

本文件不展开：卡尔曼滤波、因子图、MCMC、扩散模型及其他科研扩展。这些内容在复习课中用于说明贝叶斯框架的应用，不属于本部分的核心计算要求。

一、统一符号与做题流程#

1. 如何判断 $X$ 与 $Y$ #

本课程中的贝叶斯题通常统一写成：

$X$ ：真实但未知、需要推断的状态或参数；
$Y$ ：已经观察到的数据、测量或证据。

因此，题目一般要求：

p(x\mid y)

即：

已经观察到 $Y=y$ 后，未知量 $X$ 的分布是什么？

判断时问自己两句话：

我最终想知道谁？ —— 定义为 $X$ ；
题目已经告诉我观察到了什么？ —— 定义为 $Y$ 。

2. 四个核心量#

名称	数学形式	直观含义
先验	$p(x)$	看数据前，对未知量 $X$ 的认识
似然	$p(y\mid x)$	假设 $X=x$ ，观察到当前数据 $y$ 的合理程度
证据/边缘分布	$p(y)$	当前观测 $y$ 出现的总概率或总密度
后验	$p(x\mid y)$	看见数据后，对未知量 $X$ 的更新认识

3. 标准做题流程#

任何贝叶斯计算题都建议按下列顺序书写：

定义未知量 $X$ ；
定义观测量或观测事件 $Y$ ；
写出题目要求的后验 $p(x\mid y)$ ；
写先验 $p(x)$ ；
写似然 $p(y\mid x)$ ；
用全概率公式求 $p(y)$ ；
代入贝叶斯公式；
根据任务计算后验均值、后验方差或最大后验类别。

TIP
不要先急着代数字。若 $X$ 、 $Y$ 定义错误，后面的先验、似然和后验都会整体写反。

二、乘积规则、边缘化与贝叶斯公式#

1. 乘积规则#

对两个事件 $A,B$ ：

P(A\cap B)=P(B\mid A)P(A)=P(A\mid B)P(B).

对随机变量 $X,Y$ ：

\boxed{p(x,y)=p(y\mid x)p(x)=p(x\mid y)p(y).}

其中：

$p(x,y)$ ： $X=x$ 与 $Y=y$ 的联合分布；
$p(x)$ ： $X$ 的边缘分布；
$p(y\mid x)$ ：给定 $X=x$ 后， $Y$ 的条件分布。

整体意义：

“ $X=x$ 且 $Y=y$ 同时发生”可以拆成“先出现 $X=x$ ，再在该条件下出现 $Y=y$ ”。

2. 边缘化/全概率公式#

若 $X$ 离散：

\boxed{p(y)=\sum_x p(y\mid x)p(x).}

若 $X$ 连续：

\boxed{p(y)=\int p(y\mid x)p(x)\,dx.}

这一步称为边缘化：把暂时不关心的变量 $X$ 求和或积分掉，只留下 $Y$ 的分布。

3. 贝叶斯公式#

由乘积规则：

p(x,y)=p(y\mid x)p(x)=p(x\mid y)p(y),

所以：

\boxed{ p(x\mid y)=\frac{p(y\mid x)p(x)}{p(y)}. }

将 $p(y)$ 用全概率公式展开：

离散 $X$ ：

p(x\mid y) =\frac{p(y\mid x)p(x)}{\sum_{x'}p(y\mid x')p(x')}.

连续 $X$ ：

p(x\mid y) =\frac{p(y\mid x)p(x)}{\int p(y\mid x')p(x')\,dx'}.

这里用 $x'$ 作为积分变量，是为了避免与分子中的待考察取值 $x$ 混淆。

由于对固定观测 $y$ 而言， $p(y)$ 与 $x$ 无关，所以：

\boxed{p(x\mid y)\propto p(y\mid x)p(x).}

“正比”只确定后验的形状；需要完整概率或概率密度时，还必须除以归一化常数 $p(y)$ 。

例 2.1：浮标报警后的故障概率#

某浮标发生故障的概率为 $0.08$ 。若浮标故障，报警概率为 $0.90$ ；若浮标正常，误报警概率为 $0.04$ 。现观察到报警，求浮标真实故障的概率。

第一步：定义变量#

令：

X=\text{浮标真实状态},

其中 $X=F$ 表示故障， $X=N$ 表示正常。

令：

Y=\{\text{报警系统发出警报}\}.

题目要求：

P(X=F\mid Y).

第二步：先验与似然#

P(X=F)=0.08, \qquad P(X=N)=0.92.

P(Y\mid X=F)=0.90, \qquad P(Y\mid X=N)=0.04.

第三步：用全概率公式求证据#

\begin{aligned} P(Y) &=P(Y\mid X=F)P(X=F) +P(Y\mid X=N)P(X=N)\\ &=0.90\times0.08+0.04\times0.92\\ &=0.1088. \end{aligned}

第四步：贝叶斯更新#

\begin{aligned} P(X=F\mid Y) &=\frac{P(Y\mid X=F)P(X=F)}{P(Y)}\\ &=\frac{0.90\times0.08}{0.1088}\\ &\approx0.6618. \end{aligned}

所以：

\boxed{P(X=F\mid Y)\approx66.18\%.}

虽然“故障时报警率”为 $90\%$ ，但“报警后确实故障的概率”只有约 $66.18\%$ 。原因是正常设备原本很多，少量误报警也会贡献不少报警样本。

例 2.2：声呐目标类型判断#

某海域中的目标可能为潜艇、船只、鲸类，先验概率分别为 $0.2,0.5,0.3$ 。探测到窄带机械噪声的条件概率分别为 $0.85,0.30,0.05$ 。现探测到该噪声，求目标为潜艇的概率。

定义变量#

X=\text{目标真实类型},

其中 $X=S,V,W$ 分别表示潜艇、船只、鲸类。

Y=\{\text{探测到窄带机械噪声}\}.

要求：

P(X=S\mid Y).

先验与似然#

P(S)=0.2, \quad P(V)=0.5, \quad P(W)=0.3.

P(Y\mid S)=0.85, \quad P(Y\mid V)=0.30, \quad P(Y\mid W)=0.05.

计算 $P(Y)$ #

\begin{aligned} P(Y) &=0.85\times0.2+0.30\times0.5+0.05\times0.3\\ &=0.17+0.15+0.015\\ &=0.335. \end{aligned}

计算后验#

\begin{aligned} P(S\mid Y) &=\frac{P(Y\mid S)P(S)}{P(Y)}\\ &=\frac{0.85\times0.2}{0.335}\\ &\approx0.5075. \end{aligned}

所以：

\boxed{P(S\mid Y)\approx50.75\%.}

例 2.3：三个生产源的后验判断#

某批传感器由三条生产线 $A,B,C$ 提供，比例分别为：

P(A)=0.5, \quad P(B)=0.3, \quad P(C)=0.2.

三条生产线生产出异常传感器的概率分别为：

P(D\mid A)=0.01, \quad P(D\mid B)=0.03, \quad P(D\mid C)=0.08.

随机抽到一个异常传感器，求它来自生产线 $C$ 的概率。

定义变量#

令 $X$ 表示传感器的生产线来源，令 $Y=D$ 表示观察到传感器异常。

题目要求：

P(X=C\mid D).

计算证据概率#

\begin{aligned} P(D) &=P(D\mid A)P(A)+P(D\mid B)P(B)+P(D\mid C)P(C)\\ &=0.01\times0.5+0.03\times0.3+0.08\times0.2\\ &=0.005+0.009+0.016\\ &=0.030. \end{aligned}

贝叶斯更新#

P(C\mid D) =\frac{0.08\times0.2}{0.030} =\frac{8}{15} \approx0.5333.

所以：

\boxed{P(C\mid D)\approx53.33\%.}

生产线 $C$ 只贡献 $20\%$ 的产品，但其异常率最高，因此在已知异常后，来自 $C$ 的后验概率超过一半。

例 2.4：连续参数的贝叶斯更新#

未知概率参数 $X$ 在 $[0,1]$ 上均匀分布：

p(x)=1, \qquad 0\le x\le1.

给定 $X=x$ ，一次试验成功的概率为 $x$ 。现观察到一次成功，求 $X$ 的后验密度。

定义观测#

令：

Y=1

表示一次试验成功。

似然为：

P(Y=1\mid X=x)=x.

贝叶斯公式#

p(x\mid Y=1) =\frac{P(Y=1\mid X=x)p(x)}{P(Y=1)}.

分母为：

\begin{aligned} P(Y=1) &=\int_0^1P(Y=1\mid X=u)p(u)\,du\\ &=\int_0^1u\,du\\ &=\frac12. \end{aligned}

因此：

\boxed{ p(x\mid Y=1)=2x, \qquad 0\le x\le1. }

观察到成功后，较大的 $x$ 得到更高的后验权重。这就是“似然修正先验”。

三、离散隐变量与连续观测#

这是老师在复习课中专门提醒的一类题：未知量离散，观测量连续。

1. 一般模型#

设离散未知量：

B\in\{b_1,b_2,\ldots,b_K\},

先验为：

P(B=b_k)=\pi_k, \qquad \sum_{k=1}^K\pi_k=1.

观测模型为：

Y=aB+W, \qquad W\sim\mathcal N(0,\sigma^2).

其中：

$B$ ：真实发送符号或真实类别；
$a$ ：幅度或信道增益；
$W$ ：均值为 $0$ 、方差为 $\sigma^2$ 的高斯噪声；
$Y$ ：接收端观察到的连续数值。

给定 $B=b$ 后：

Y=ab+W,

所以：

\boxed{Y\mid B=b\sim\mathcal N(ab,\sigma^2).}

对应的似然密度：

\boxed{ p(y\mid B=b) =\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left[-\frac{(y-ab)^2}{2\sigma^2}\right]. }

2. 为什么均值是 $ab$ 、方差仍是 $\sigma^2$ #

给定 $B=b$ 后， $ab$ 是常数：

Y=ab+W.

加常数只会平移分布：

E[Y\mid B=b]=ab+E[W]=ab,

\operatorname{Var}(Y\mid B=b) =\operatorname{Var}(W)=\sigma^2.

3. 边缘分布#

由于 $B$ 离散，需要对所有可能的 $b_k$ 求和：

\boxed{ p(y)=\sum_{k=1}^Kp(y\mid B=b_k)P(B=b_k). }

这通常是多个高斯分布的加权和，即高斯混合分布。

4. 后验概率#

\boxed{ P(B=b_k\mid Y=y) =\frac{p(y\mid B=b_k)\pi_k} {\sum_{j=1}^Kp(y\mid B=b_j)\pi_j}. }

计算时可以先计算未归一化权重：

w_k=p(y\mid B=b_k)\pi_k,

再归一化：

P(B=b_k\mid y)=\frac{w_k}{\sum_jw_j}.

例 3.1：等先验二进制通信#

设：

B\in\{-1,+1\}, \qquad P(B=1)=P(B=-1)=\frac12,

Y=B+W, \qquad W\sim\mathcal N(0,1).

现观察到 $y=0.6$ ，求 $P(B=1\mid y)$ 。

似然#

p(0.6\mid B=1) =\frac1{\sqrt{2\pi}}e^{-(0.6-1)^2/2},

p(0.6\mid B=-1) =\frac1{\sqrt{2\pi}}e^{-(0.6+1)^2/2}.

由于两个先验相等，公共因子 $1/\sqrt{2\pi}$ 可约掉。

后验比为：

\frac{P(B=1\mid y)}{P(B=-1\mid y)} =\frac{p(y\mid B=1)}{p(y\mid B=-1)}.

计算：

\begin{aligned} \log\frac{p(y\mid 1)}{p(y\mid -1)} &=-\frac{(y-1)^2}{2}+\frac{(y+1)^2}{2}\\ &=2y. \end{aligned}

当 $y=0.6$ ：

\frac{p(y\mid1)}{p(y\mid-1)}=e^{1.2}\approx3.320.

因此：

P(B=1\mid y) =\frac{3.320}{1+3.320} \approx0.7685.

所以：

\boxed{P(B=1\mid Y=0.6)\approx76.85\%.}

例 3.2：先验不相等时的判决阈值#

设：

P(B=1)=0.2, \qquad P(B=-1)=0.8,

其余模型与上题相同：

Y=B+W, \qquad W\sim\mathcal N(0,1).

求 MAP 判决阈值，并判断观测 $y=0.5$ 时应判为哪一类。

MAP 判决条件#

判为 $B=1$ 的条件是：

p(y\mid1)P(B=1)>p(y\mid-1)P(B=-1).

等价于：

\frac{p(y\mid1)}{p(y\mid-1)}> \frac{0.8}{0.2}=4.

取对数：

2y>\log4.

所以阈值为：

\boxed{y>\frac12\log4\approx0.6931.}

当 $y=0.5$ 时：

0.5<0.6931,

因此应判为：

\boxed{B=-1.}

虽然 $y=0.5$ 在数值上更接近 $+1$ ，但先验强烈偏向 $-1$ ，所以 MAP 判决仍可能选择 $-1$ 。

例 3.3：三状态离散变量与高斯观测#

设：

B\in\{-1,0,1\},

P(B=-1)=0.2, \quad P(B=0)=0.5, \quad P(B=1)=0.3.

观测模型：

Y=B+W, \qquad W\sim\mathcal N(0,0.25).

现观察到 $y=0.7$ ，求三个后验概率并给出 MAP 判决。

计算未归一化权重#

由于 $\sigma=0.5$ ：

w_b=P(B=b)\frac{1}{\sqrt{2\pi}\,0.5} \exp\left[-\frac{(0.7-b)^2}{2(0.25)}\right].

计算得到：

w_{-1}\approx0.000493,

w_0\approx0.149727,

w_1\approx0.199935.

总和：

\sum_bw_b\approx0.350155.

归一化#

P(B=-1\mid y) \approx\frac{0.000493}{0.350155} \approx0.00141,

P(B=0\mid y) \approx\frac{0.149727}{0.350155} \approx0.42760,

P(B=1\mid y) \approx\frac{0.199935}{0.350155} \approx0.57099.

所以：

\boxed{ P(-1\mid y)\approx0.14\%,\quad P(0\mid y)\approx42.76\%,\quad P(1\mid y)\approx57.10\%. }

MAP 判决为：

\boxed{\hat B_{\mathrm{MAP}}=1.}

四、一维线性高斯后验#

这是期末试卷第一大题和复习课重点讲解的核心模型。

1. 模型#

未知量的先验：

X\sim\mathcal N(\mu,\sigma^2).

测量模型：

Y=X+W, \qquad W\sim\mathcal N(0,\sigma_w^2),

并假设 $X$ 与 $W$ 独立。

符号含义：

$X$ ：真实未知量；
$\mu$ ：先验均值；
$\sigma^2$ ：先验方差，表示先验不确定性；
$Y$ ：测量值；
$W$ ：测量噪声；
$\sigma_w^2$ ：噪声方差，表示测量不确定性。

2. 似然#

给定 $X=x$ ：

Y=x+W.

因此：

Y\mid X=x\sim\mathcal N(x,\sigma_w^2),

即：

\boxed{ p(y\mid x) =\frac{1}{\sqrt{2\pi\sigma_w^2}} \exp\left[-\frac{(y-x)^2}{2\sigma_w^2}\right]. }

3. 后验推导：取对数并匹配一、二次项#

贝叶斯公式：

p(x\mid y)\propto p(x)p(y\mid x).

取对数并忽略与 $x$ 无关的常数：

\log p(x\mid y) =-\frac{(x-\mu)^2}{2\sigma^2} -\frac{(y-x)^2}{2\sigma_w^2} +\text{constant}.

后验仍为高斯，写成：

\log p(x\mid y) =-\frac{(x-\mu_{\mathrm{post}})^2} {2\sigma_{\mathrm{post}}^2} +\text{constant}.

比较 $x^2$ 系数：

\boxed{ \frac{1}{\sigma_{\mathrm{post}}^2} =\frac{1}{\sigma^2}+ \frac{1}{\sigma_w^2}. }

这里 $1/\sigma^2$ 称为精度。结论是：

后验精度 = 先验精度 + 测量精度。

因此：

\boxed{ \sigma_{\mathrm{post}}^2 =\frac{\sigma^2\sigma_w^2} {\sigma^2+\sigma_w^2}. }

比较 $x$ 的一次项：

\boxed{ \frac{\mu_{\mathrm{post}}} {\sigma_{\mathrm{post}}^2} =\frac{\mu}{\sigma^2} +\frac{y}{\sigma_w^2}. }

所以：

\boxed{ \mu_{\mathrm{post}} =\sigma_{\mathrm{post}}^2 \left( \frac{\mu}{\sigma^2}+ \frac{y}{\sigma_w^2} \right). }

也可以写成加权平均：

\boxed{ \mu_{\mathrm{post}} =\frac{\sigma_w^2}{\sigma^2+\sigma_w^2}\mu +\frac{\sigma^2}{\sigma^2+\sigma_w^2}y. }

注意权重规律：

先验方差 $\sigma^2$ 越小，越相信先验均值 $\mu$ ；
噪声方差 $\sigma_w^2$ 越小，越相信测量值 $y$ 。

4. 后验方差与不确定性#

\sigma_{\mathrm{post}}^2 =\frac{\sigma^2\sigma_w^2}{\sigma^2+\sigma_w^2} \le\sigma^2,

且：

\sigma_{\mathrm{post}}^2\le\sigma_w^2.

因此，在先验和测量模型均准确时，融合两种信息会降低不确定性。

5. 后验均值与 MMSE#

平方误差损失下，最优估计为：

\boxed{ \hat X_{\mathrm{MMSE}}(y) =E[X\mid Y=y] =\mu_{\mathrm{post}}. }

对应的最小条件均方误差为：

\boxed{ E[(X-\mu_{\mathrm{post}})^2\mid y] =\sigma_{\mathrm{post}}^2. }

例 4.1：温度先验与传感器测量融合#

设：

X\sim\mathcal N(20,4),

Y=X+W, \qquad W\sim\mathcal N(0,1).

现测得 $y=23$ ，求后验分布。

后验方差#

\sigma_{\mathrm{post}}^2 =\frac{4\times1}{4+1} =0.8.

后验均值#

\begin{aligned} \mu_{\mathrm{post}} &=\frac{1}{4+1}\times20 +\frac{4}{4+1}\times23\\ &=4+18.4\\ &=22.4. \end{aligned}

因此：

\boxed{X\mid Y=23\sim\mathcal N(22.4,0.8).}

测量方差小于先验方差，因此后验均值更靠近测量值 $23$ 。

例 4.2：先验和测量同样可靠#

设：

X\sim\mathcal N(0,4),

Y=X+W, \qquad W\sim\mathcal N(0,4),

测得 $y=3$ 。

由于两个方差相等，先验均值和测量值权重相等：

\mu_{\mathrm{post}} =\frac12\times0+ \frac12\times3 =1.5.

后验方差：

\sigma_{\mathrm{post}}^2 =\frac{4\times4}{4+4} =2.

所以：

\boxed{X\mid Y=3\sim\mathcal N(1.5,2).}

例 4.3：极限情形的直观判断#

仍使用一般模型。

情形 A：先验极不确定#

若：

\sigma^2\to\infty,

则：

\mu_{\mathrm{post}}\to y, \qquad \sigma_{\mathrm{post}}^2\to\sigma_w^2.

含义：先验没有提供有效信息，只能相信测量。

情形 B：测量极不可靠#

若：

\sigma_w^2\to\infty,

则：

\mu_{\mathrm{post}}\to\mu, \qquad \sigma_{\mathrm{post}}^2\to\sigma^2.

含义：测量几乎没有信息，后验基本等于先验。

情形 C：测量几乎无噪声#

若：

\sigma_w^2\to0,

则：

\mu_{\mathrm{post}}\to y, \qquad \sigma_{\mathrm{post}}^2\to0.

含义：测量近乎精确，真实值几乎被确定。

例 4.4：不匹配先验与贝叶斯方法的局限#

真实先验为：

X\sim\mathcal N(\mu,\sigma^2),

测量噪声满足：

W\sim\mathcal N(0,\sigma^2).

但使用了错误先验：

X\sim\mathcal N(\mu_{\mathrm{mis}},\sigma^2), \qquad \mu_{\mathrm{mis}}=\mu+10\sigma.

真实后验#

由于两个方差相等：

\mu_{\mathrm{post}}=\frac{\mu+y}{2},

\sigma_{\mathrm{post}}^2=\frac{\sigma^2}{2}.

不匹配后验均值#

\mu_{\mathrm{mis,post}} =\frac{\mu_{\mathrm{mis}}+y}{2} =\frac{\mu+10\sigma+y}{2}.

因此两种后验均值之差为：

\mu_{\mathrm{mis,post}}- \mu_{\mathrm{post}} =5\sigma.

在真实后验下计算 MSE#

对任意常数估计器 $a$ ：

E[(a-X)^2\mid y] =\operatorname{Var}(X\mid y) +[a-E(X\mid y)]^2.

所以：

\begin{aligned} \operatorname{MSE}(\mu_{\mathrm{mis,post}}) &=\sigma_{\mathrm{post}}^2 +(\mu_{\mathrm{mis,post}}- \mu_{\mathrm{post}})^2\\ &=\frac{\sigma^2}{2}+(5\sigma)^2\\ &=\frac{51}{2}\sigma^2\\ &=25.5\sigma^2. \end{aligned}

它远大于：

\sigma_{\mathrm{post}}^2=0.5\sigma^2,

也远大于只使用测量 $Y$ 时的误差：

E[(Y-X)^2]=\sigma^2.

结论：

贝叶斯融合能否改善估计，依赖先验和似然模型是否准确。严重错误的先验会把估计拉向错误方向，甚至比完全不用先验更差。

WARNING
核对提醒：所给上一年度试卷答案在这一小问中写出了 $101\sigma^2$ ，但按照题面参数及前一问给出的 MSE 分解式，严格计算应为 $25.5\sigma^2=\frac{51}{2}\sigma^2$ 。复习时应掌握上面的分解方法，而不要机械照抄该数值。

五、二维联合高斯的边缘与条件分布#

1. 二元高斯模型#

设：

\begin{bmatrix}X_1\\X_2\end{bmatrix} \sim \mathcal N\left( \begin{bmatrix}\mu_1\\\mu_2\end{bmatrix}, \begin{bmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2\\ \rho\sigma_1\sigma_2 & \sigma_2^2 \end{bmatrix} \right).

符号含义：

$\mu_1,\mu_2$ ：两个变量的均值；
$\sigma_1^2,\sigma_2^2$ ：两个变量的方差；
$\rho$ ：相关系数， $-1<\rho<1$ ；
$\rho\sigma_1\sigma_2$ ：协方差。

2. 边缘分布#

二元联合高斯的每个分量仍为高斯：

\boxed{X_1\sim\mathcal N(\mu_1,\sigma_1^2),}

\boxed{X_2\sim\mathcal N(\mu_2,\sigma_2^2).}

从协方差矩阵中读取：

第一个对角元素是 $X_1$ 的方差；
第二个对角元素是 $X_2$ 的方差；
非对角元素是协方差。

3. 条件分布#

给定 $X_1=x_1$ 后：

\boxed{ X_2\mid X_1=x_1 \sim \mathcal N\left( \mu_2+ ho\frac{\sigma_2}{\sigma_1}(x_1-\mu_1), \sigma_2^2(1-\rho^2) \right). }

条件均值：

\boxed{ E[X_2\mid X_1=x_1] =\mu_2+ ho\frac{\sigma_2}{\sigma_1}(x_1-\mu_1). }

条件方差：

\boxed{ \operatorname{Var}(X_2\mid X_1) =\sigma_2^2(1-\rho^2). }

整体意义：

若观测到的 $x_1$ 高于其均值 $\mu_1$ ，且 $\rho>0$ ，则对 $X_2$ 的条件均值也向上修正；
$|\rho|$ 越大， $X_1$ 对 $X_2$ 提供的信息越多；
条件方差小于等于原方差 $\sigma_2^2$ 。

反过来：

\boxed{ X_1\mid X_2=x_2 \sim \mathcal N\left( \mu_1+ ho\frac{\sigma_1}{\sigma_2}(x_2-\mu_2), \sigma_1^2(1-\rho^2) \right). }

TIP
条件均值公式中的比例要与“被估计变量/被观测变量”一致。例如求 $X_2\mid X_1$ 时，比例是 $\sigma_2/\sigma_1$ 。

例 5.1：从均值向量和协方差矩阵读取边缘分布#

已知：

\begin{bmatrix}X_1\\X_2\end{bmatrix} \sim \mathcal N\left( \begin{bmatrix}1\\-2\end{bmatrix}, \begin{bmatrix}4&3\\3&9\end{bmatrix} \right).

求两个边缘分布与相关系数。

边缘分布#

由对角元素：

X_1\sim\mathcal N(1,4),

X_2\sim\mathcal N(-2,9).

标准差：

\sigma_1=2, \qquad \sigma_2=3.

协方差为 $3$ ，所以：

\rho=\frac{3}{2\times3}=\frac12.

答案：

\boxed{ X_1\sim\mathcal N(1,4),\quad X_2\sim\mathcal N(-2,9),\quad \rho=0.5. }

例 5.2：求 $X_2\mid X_1=3$ #

沿用上一题：

\mu_1=1, \quad \mu_2=-2, \quad \sigma_1=2, \quad \sigma_2=3, \quad \rho=0.5.

条件均值#

\begin{aligned} E[X_2\mid X_1=3] &=\mu_2+ ho\frac{\sigma_2}{\sigma_1}(3-\mu_1)\\ &=-2+0.5\times\frac32\times(3-1)\\ &=-2+1.5\\ &=-0.5. \end{aligned}

条件方差#

\begin{aligned} \operatorname{Var}(X_2\mid X_1) &=\sigma_2^2(1-\rho^2)\\ &=9(1-0.25)\\ &=6.75. \end{aligned}

因此：

\boxed{X_2\mid X_1=3\sim\mathcal N(-0.5,6.75).}

原来 $X_2$ 的均值为 $-2$ 。由于观察到 $X_1=3$ 高于其均值 $1$ ，且两者正相关，所以 $X_2$ 的条件均值被向上修正为 $-0.5$ 。

例 5.3：反向求 $X_1\mid X_2=1$ #

仍沿用同一联合高斯。

条件均值#

\begin{aligned} E[X_1\mid X_2=1] &=\mu_1+ ho\frac{\sigma_1}{\sigma_2}(1-\mu_2)\\ &=1+0.5\times\frac23\times(1+2)\\ &=1+1\\ &=2. \end{aligned}

条件方差#

\operatorname{Var}(X_1\mid X_2) =4(1-0.25)=3.

所以：

\boxed{X_1\mid X_2=1\sim\mathcal N(2,3).}

例 5.4： $\rho=0$ 时为什么可以判断独立#

设 $(X_1,X_2)$ 联合高斯，且：

\rho=0.

条件分布变为：

X_2\mid X_1=x_1 \sim \mathcal N(\mu_2,\sigma_2^2).

它与边缘分布：

X_2\sim\mathcal N(\mu_2,\sigma_2^2)

完全相同，即：

p(x_2\mid x_1)=p(x_2).

因此：

\boxed{X_1\perp X_2.}

注意该结论依赖“联合高斯”。一般随机变量满足协方差为零，只能说明不相关，不能保证独立。

六、从后验分布到估计与判决#

得到后验分布后，还需要根据任务选择输出方式。

1. MMSE 估计#

若输出一个数值估计 $\hat x(y)$ ，损失函数为平方误差：

L=(X-\hat x(Y))^2,

则使平均均方误差最小的估计器为：

\boxed{ \hat x_{\mathrm{MMSE}}(y) =E[X\mid Y=y]. }

其最小条件 MSE 为：

\boxed{ E[(X-\hat x_{\mathrm{MMSE}})^2\mid y] =\operatorname{Var}(X\mid y). }

2. MAP 判决#

若 $X$ 是离散类别，希望使分类错误概率最小，则选择后验概率最大的类别：

\boxed{ \hat x_{\mathrm{MAP}}(y) =\arg\max_x p(x\mid y). }

利用贝叶斯公式：

\hat x_{\mathrm{MAP}}(y) =\arg\max_x p(y\mid x)p(x),

因为分母 $p(y)$ 对所有候选 $x$ 相同。

3. 最大似然估计与贝叶斯方法的区别#

最大似然估计将参数 $\theta$ 看成确定但未知的量：

\boxed{ \hat\theta_{\mathrm{ML}} =\arg\max_\theta p(y;\theta). }

贝叶斯方法将未知量建模为随机变量，并给出先验：

p(\theta),

再求：

p(\theta\mid y).

若进一步取最大后验点：

\boxed{ \hat\theta_{\mathrm{MAP}} =\arg\max_\theta p(y\mid\theta)p(\theta). }

差别在于 MAP 比 MLE 多使用了先验信息。

例 6.1：同一个后验下，MMSE 与 MAP 的输出#

给定二进制变量：

B\in\{-1,+1\},

观察到 $Y=y$ 后：

P(B=1\mid y)=0.8, \qquad P(B=-1\mid y)=0.2.

MAP 判决#

选择后验概率最大的类别：

\boxed{\hat B_{\mathrm{MAP}}=1.}

MMSE 估计#

\begin{aligned} \hat B_{\mathrm{MMSE}} &=E[B\mid y]\\ &=1\times0.8+(-1)\times0.2\\ &=0.6. \end{aligned}

所以：

\boxed{\hat B_{\mathrm{MMSE}}=0.6.}

MMSE 输出 $0.6$ ，保留不确定程度；MAP 必须输出合法类别 $+1$ 。

例 6.2：高斯后验中的 MMSE 与 MAP#

若：

X\mid Y=y\sim\mathcal N(2,0.5),

则高斯分布的均值和众数都等于 $2$ 。

所以：

\boxed{\hat X_{\mathrm{MMSE}}=2,}

\boxed{\hat X_{\mathrm{MAP}}=2.}

最小条件均方误差为：

\boxed{0.5.}

在对称单峰高斯分布中，MMSE 与 MAP 恰好相同；一般分布中不一定相同。

例 6.3：非对称离散后验中 MMSE 与 MAP 不同#

设：

P(X=-2\mid y)=0.4,

P(X=3\mid y)=0.6.

MAP#

\boxed{\hat X_{\mathrm{MAP}}=3.}

MMSE#

\begin{aligned} \hat X_{\mathrm{MMSE}} &=E[X\mid y]\\ &=(-2)\times0.4+3\times0.6\\ &=-0.8+1.8\\ &=1. \end{aligned}

所以：

\boxed{\hat X_{\mathrm{MMSE}}=1.}

$1$ 甚至不是 $X$ 的可能取值，但它是在平方误差意义下最优的数值估计。

例 6.4：MLE 与 MAP 的数值差异#

观测模型为：

Y=\theta+W, \qquad W\sim\mathcal N(0,1).

现观察到：

y=4.

最大似然估计#

似然：

p(y\mid\theta) \propto \exp\left[-\frac{(y-\theta)^2}{2}\right].

使似然最大需要令：

\theta=y.

所以：

\boxed{\hat\theta_{\mathrm{ML}}=4.}

MAP 估计#

若先验为：

\theta\sim\mathcal N(0,4),

则使用线性高斯后验公式：

\mu_{\mathrm{post}} =\frac{1}{4+1}\times0 +\frac{4}{4+1}\times4 =3.2.

高斯后验的 MAP 等于后验均值：

\boxed{\hat\theta_{\mathrm{MAP}}=3.2.}

MLE 完全跟随数据；MAP 会被先验均值 $0$ 向回拉。

七、考试公式地图与易错点#

1. 必须熟练的公式#

乘积规则#

p(x,y)=p(y\mid x)p(x).

离散边缘化#

p(y)=\sum_x p(y\mid x)p(x).

连续边缘化#

p(y)=\int p(y\mid x)p(x)\,dx.

贝叶斯公式#

p(x\mid y) =\frac{p(y\mid x)p(x)}{p(y)}.

一维线性高斯后验#

\frac1{\sigma_{\mathrm{post}}^2} =\frac1{\sigma^2}+ \frac1{\sigma_w^2},

\mu_{\mathrm{post}} =\sigma_{\mathrm{post}}^2 \left( \frac\mu{\sigma^2}+ \frac y{\sigma_w^2} \right).

二元高斯条件分布#

X_2\mid X_1=x_1 \sim \mathcal N\left( \mu_2+ ho\frac{\sigma_2}{\sigma_1}(x_1-\mu_1), \sigma_2^2(1-\rho^2) \right).

MMSE#

\hat x_{\mathrm{MMSE}}(y)=E[X\mid Y=y].

MAP#

\hat x_{\mathrm{MAP}}(y) =\arg\max_x p(x\mid y).

2. 高频易错点#

把 $p(y\mid x)$ 与 $p(x\mid y)$ 写反。
- 似然：假设状态为 $x$ ，数据 $y$ 出现得是否合理；
- 后验：已经看到 $y$ ，状态 $x$ 有多可能。
没有先定义 $X$ 、 $Y$ 。
- $X$ 应是未知真实状态；
- $Y$ 应是已观察证据。
计算 $p(y)$ 时漏项。
- 离散变量必须遍历所有状态；
- 连续变量必须对整个取值范围积分。
将概率密度值当作点概率。
- 连续变量中 $p(y\mid x)$ 是密度；
- 区间概率需要积分。
线性高斯后验均值的权重写反。

正确形式：
$\mu_{\mathrm{post}} =\frac{\sigma_w^2}{\sigma^2+\sigma_w^2}\mu +\frac{\sigma^2}{\sigma^2+\sigma_w^2}y.$
测量越准，即 $\sigma_w^2$ 越小， $y$ 的权重越大。
把后验方差无条件理解为实际 MSE。
- 先验和模型准确时，后验均值的条件 MSE 等于后验方差；
- 使用错误先验时，实际 MSE 还包括偏差平方。
二维高斯条件均值中标准差比例写反。
- 求 $X_2\mid X_1$ ：使用 $\sigma_2/\sigma_1$ ；
- 求 $X_1\mid X_2$ ：使用 $\sigma_1/\sigma_2$ 。
认为“不相关必然独立”。
- 一般情况不成立；
- 联合高斯时成立。

3. 考场答题模板#

遇到贝叶斯题，可直接按下列格式书写：

令 $X$ 表示需要推断的真实状态，令 $Y$ 表示已经观察到的证据。题目要求 $p(x\mid y)$ 。由贝叶斯公式：
$p(x\mid y)=\frac{p(y\mid x)p(x)}{p(y)}.$
其中，先验为 $p(x)=\cdots$ ，似然为 $p(y\mid x)=\cdots$ 。由全概率公式：
$p(y)=\sum_{x'}p(y\mid x')p(x')$
或
$p(y)=\int p(y\mid x')p(x')\,dx'.$
代入可得后验为 $\cdots$ 。

4. 最终复习优先级#

第一优先级：必须会算

乘积规则；
离散、连续全概率公式；
贝叶斯后验；
离散隐变量 + 连续观测；
一维线性高斯后验；
二维联合高斯的边缘和条件分布；
MMSE、MAP。

第二优先级：必须理解

先验、似然、证据、后验的含义；
贝叶斯框架与最大似然框架的区别；
后验方差代表不确定性；
错误先验可能导致更差估计。

理解公式、会代入即可

高维联合高斯的一般分块公式；
随机变量变换的复杂公式；
复杂矩阵求逆与高维积分。

总结#

概率论部分最重要的思维方式是：

\boxed{ \text{先定义未知状态与观测证据} \rightarrow \text{写先验和似然} \rightarrow \text{边缘化求证据} \rightarrow \text{用贝叶斯公式求后验} \rightarrow \text{从后验提取估计或判决} }

考试中最容易丢分的地方通常不是积分或代数本身，而是：

$X,Y$ 定义不清；
条件方向写反；
全概率分母漏项；
得到后验后不知道应取均值还是最大值。

只要始终按统一流程书写，一维和二维题目都可以归入同一套框架。

概述#

目录#

一、统一符号与做题流程#

1. 如何判断 XXX 与 YYY#

2. 四个核心量#

3. 标准做题流程#

二、乘积规则、边缘化与贝叶斯公式#

1. 乘积规则#

2. 边缘化/全概率公式#

3. 贝叶斯公式#

例 2.1：浮标报警后的故障概率#

第一步：定义变量#

第二步：先验与似然#

第三步：用全概率公式求证据#

第四步：贝叶斯更新#

例 2.2：声呐目标类型判断#

定义变量#

先验与似然#

计算 P(Y)P(Y)P(Y)#

计算后验#

例 2.3：三个生产源的后验判断#

定义变量#

计算证据概率#

贝叶斯更新#

例 2.4：连续参数的贝叶斯更新#

定义观测#

贝叶斯公式#

三、离散隐变量与连续观测#

1. 一般模型#

2. 为什么均值是 ababab、方差仍是 σ2\sigma^2σ2#

3. 边缘分布#

4. 后验概率#

例 3.1：等先验二进制通信#

似然#

例 3.2：先验不相等时的判决阈值#

MAP 判决条件#

例 3.3：三状态离散变量与高斯观测#

计算未归一化权重#

归一化#

四、一维线性高斯后验#

1. 模型#

2. 似然#

3. 后验推导：取对数并匹配一、二次项#

4. 后验方差与不确定性#

5. 后验均值与 MMSE#

例 4.1：温度先验与传感器测量融合#

后验方差#

后验均值#

例 4.2：先验和测量同样可靠#

例 4.3：极限情形的直观判断#

情形 A：先验极不确定#

情形 B：测量极不可靠#

情形 C：测量几乎无噪声#

例 4.4：不匹配先验与贝叶斯方法的局限#

真实后验#

不匹配后验均值#

在真实后验下计算 MSE#

五、二维联合高斯的边缘与条件分布#

1. 二元高斯模型#

2. 边缘分布#

3. 条件分布#

例 5.1：从均值向量和协方差矩阵读取边缘分布#

边缘分布#

例 5.2：求 X2∣X1=3X_2\mid X_1=3X2​∣X1​=3#

条件均值#

条件方差#

例 5.3：反向求 X1∣X2=1X_1\mid X_2=1X1​∣X2​=1#

条件均值#

条件方差#

例 5.4：ρ=0\rho=0ρ=0 时为什么可以判断独立#

六、从后验分布到估计与判决#

1. MMSE 估计#

2. MAP 判决#

3. 最大似然估计与贝叶斯方法的区别#

例 6.1：同一个后验下，MMSE 与 MAP 的输出#

MAP 判决#

MMSE 估计#

例 6.2：高斯后验中的 MMSE 与 MAP#

例 6.3：非对称离散后验中 MMSE 与 MAP 不同#

MAP#

1. 如何判断 $X$ 与 $Y$ #

计算 $P(Y)$ #

2. 为什么均值是 $ab$ 、方差仍是 $\sigma^2$ #

例 5.2：求 $X_2\mid X_1=3$ #

例 5.3：反向求 $X_1\mid X_2=1$ #

例 5.4： $\rho=0$ 时为什么可以判断独立#