概述#

这份复习笔记依据：

监督学习复习课录音；
《海洋人工智能基础》考试复习大纲；
已提供的期末试卷及答案；
Chapter 4 课堂笔记。

监督学习部分可整理为一条主线：

\text{带标签数据} \longrightarrow \text{选择模型} \longrightarrow \text{规定损失函数} \longrightarrow \text{求模型参数} \longrightarrow \text{对新样本预测}

考试复习时，应优先掌握：

监督学习、无监督学习与强化学习的区别；
判别方法与生成方法的区别；
线性回归的模型、最小二乘目标、矩阵形式与闭式解；
L2 正则化的作用及错误写法；
支持向量机中的超平面、法向量、点到超平面的距离和最大间隔；
逻辑斯蒂回归的基本预测流程。

WARNING
复习大纲列出了 logistic 回归，但老师在复习课后段进一步说明：本次考试以线性回归为主，逻辑斯蒂回归可降低复习优先级。为避免大纲与口头说明口径不同，本笔记仍保留其最基本公式与计算。
老师还明确说明，经验风险、期望风险、VC 维、VC 置信度、过拟合与欠拟合等抽象理论可以跳过；SVM 的对偶问题、软间隔、核方法及复杂优化推导也不要求掌握。

考试范围与优先级#

优先级	内容	掌握要求
A	监督、无监督、强化学习	能准确区分，能结合例子判断
A	生成方法与判别方法	会写各自学习的概率对象，能用 Bayes 关系解释
A	线性回归	会写模型、目标函数、矩阵形式、正规方程与闭式解
A	L2 正则化	会解释 $\lambda w^Tw$ 的作用及常见错误
A	SVM	会解释 $w,b$ 、超平面、距离、间隔与支持向量
B	逻辑斯蒂回归	会从 $w^Tx+b$ 算概率并依据阈值分类
C	LDA、决策树、AdaBoost	本次复习大纲与复习课未列为重点
C	SVM 对偶、核技巧、软间隔	不要求复杂推导与计算

根据已提供的期末试卷，监督学习相关题型主要出现过：

监督学习、无监督学习与强化学习的简要概述；
线性回归中 L2 正则项的判断与解释；
复习课还特别强调了线性回归闭式解，以及 SVM 的超平面和点到超平面的距离。

监督学习基本概念#

监督学习的定义#

监督学习的训练数据含有输入—标签对：

\mathcal D=\{(x_i,y_i)\}_{i=1}^{n}

其中：

$\mathcal D$ ：训练数据集；
$n$ ：样本总数；
$x_i$ ：第 $i$ 个样本的输入特征；
$y_i$ ：第 $i$ 个样本的真实标签；
$f$ ：希望从数据中学到的映射；
$\hat y_i=f(x_i)$ ：模型对第 $i$ 个样本的预测。

监督学习的目标是学习：

f:\mathcal X\rightarrow\mathcal Y

使模型面对新的输入 $x$ 时，也能给出合理预测。

回归与分类#

回归#

输出为连续数值：

y\in\mathbb R

例如：

根据温度、风力预测森林火灾面积；
根据海洋环境特征预测叶绿素浓度；
根据历史观测预测海表温度。

分类#

输出为离散类别：

y\in\{1,2,\ldots,K\}

例如：

判断是否发生赤潮；
将海洋声学信号分为不同目标类别；
判断图像属于鱼、船或海洋垃圾。

TIP
区分回归与分类时，先看输出是什么：

输出是连续值：回归；

输出是类别编号或类别名称：分类。

监督学习、无监督学习与强化学习#

监督学习#

数据形式：

(x_i,y_i)

有标签，学习输入到输出的映射。

无监督学习#

数据形式：

\{x_i\}_{i=1}^{n}

没有标签，重点寻找数据内部结构，例如聚类、降维和分布估计。

强化学习#

智能体在环境中反复执行动作：

S_0,A_0,R_1,S_1,A_1,R_2,\ldots

其中：

$S_t$ ：时刻 $t$ 的状态；
$A_t$ ：智能体选择的动作；
$R_{t+1}$ ：执行动作后获得的奖励。

目标是学习策略，使长期累计回报尽可能大。

三者的核心差异#

方法	数据或反馈	学习目标
监督学习	输入与正确标签成对给出	学习 $x\mapsto y$
无监督学习	只有输入，没有标签	发现结构或分布
强化学习	动作后获得延迟奖励	学习长期最优策略

判别方法与生成方法#

设：

$x$ ：输入特征；
$c$ ：类别标签。

判别方法#

判别方法直接学习：

P(c\mid x)

或者直接学习决策函数：

c=f(x)

它关心：

给定特征 $x$ ，样本属于哪个类别？

典型例子：

逻辑斯蒂回归；
支持向量机；
常规分类神经网络。

生成方法#

生成方法学习：

P(x\mid c) \quad\text{和}\quad P(c)

然后利用 Bayes 公式：

P(c\mid x) = \frac{P(x\mid c)P(c)}{P(x)}

分类时，因为所有类别共用同一个 $P(x)$ ，可比较：

P(x\mid c)P(c)

选择得分最大的类别：

\hat c = \arg\max_c P(x\mid c)P(c)

它关心：

每个类别通常会生成什么样的特征？

对比#

对比项	判别方法	生成方法
直接学习对象	$P(c\mid x)$ 或决策边界	$P(x\mid c)$ 与 $P(c)$
主要目标	直接分类	建模数据如何由类别产生
分类方式	直接输出类别或后验概率	利用 Bayes 公式求后验
常见例子	逻辑斯蒂回归、SVM	朴素 Bayes、类别条件高斯模型

监督学习基本概念例题#

例题 1：判断学习类型#

有三个任务：

根据带有“鱼类名称”标签的图像训练鱼类识别模型；
将一批没有标签的海水水质数据自动分成若干组；
水下机器人根据每次动作获得的奖励学习避障策略。

判断分别属于哪类学习。

解答#

任务 1 中，每张图像都有正确类别标签，属于：

\boxed{\text{监督学习}}

任务 2 中，数据没有标签，目标是自动发现分组结构，属于：

\boxed{\text{无监督学习}}

任务 3 中，机器人通过动作—奖励反复调整策略，属于：

\boxed{\text{强化学习}}

例题 2：判断回归或分类#

判断以下任务：

预测明天海表温度；
判断某海域是否发生赤潮；
预测未来一小时的有效波高；
将声呐目标分为潜艇、鱼群和背景噪声。

解答#

温度为连续数值，属于回归；
输出“发生/未发生”，属于二分类；
有效波高为连续数值，属于回归；
输出三个离散类别，属于多分类。

因此：

\boxed{\text{回归：1、3；分类：2、4}}

例题 3：判断判别方法或生成方法#

下面两种模型分别属于哪类方法？

模型 A 直接学习 $P(c\mid x)$ ；
模型 B 学习 $P(x\mid c)$ 和 $P(c)$ ，再根据 Bayes 公式分类。

解答#

模型 A 直接从特征得到类别后验：

P(c\mid x)

属于：

\boxed{\text{判别方法}}

模型 B 先学习类别怎样产生数据，再推导类别后验，属于：

\boxed{\text{生成方法}}

例题 4：生成方法的 Bayes 分类#

某二分类问题中：

P(C_1)=0.6,\qquad P(C_2)=0.4

对观测到的特征 $x$ ：

P(x\mid C_1)=0.2,\qquad P(x\mid C_2)=0.5

判断样本类别，并计算后验概率。

解答#

先计算未归一化得分：

P(x\mid C_1)P(C_1)=0.2\times0.6=0.12

P(x\mid C_2)P(C_2)=0.5\times0.4=0.20

因为：

0.20>0.12

所以预测为：

\boxed{C_2}

证据概率为：

P(x)=0.12+0.20=0.32

后验概率：

P(C_1\mid x)=\frac{0.12}{0.32}=0.375

P(C_2\mid x)=\frac{0.20}{0.32}=0.625

最终：

\boxed{P(C_2\mid x)=0.625}

线性回归#

一元与多元线性回归#

一元线性回归#

输入只有一个特征：

\hat y=ax+b

其中：

$x$ ：输入；
$\hat y$ ：预测输出；
$a$ ：斜率；
$b$ ：截距。

多元线性回归#

输入具有 $D$ 个特征：

x= \begin{bmatrix} x_1\\x_2\\\vdots\\x_D \end{bmatrix}

模型为：

\hat y=w^Tx+b

其中：

$w=[w_1,w_2,\ldots,w_D]^T$ ：各特征对应的权重；
$b$ ：截距；
$w^Tx=\sum_{j=1}^{D}w_jx_j$ 。

展开：

\hat y=b+w_1x_1+w_2x_2+\cdots+w_Dx_D

矩阵形式#

为了把截距统一写入矩阵，可定义增广特征：

\tilde x_i= \begin{bmatrix} 1\\x_i \end{bmatrix}

一元情况下定义参数：

\theta= \begin{bmatrix} b\\a \end{bmatrix}

则：

\hat y_i=\tilde x_i^T\theta

将所有样本按行排列：

X= \begin{bmatrix} 1&x_1\\ 1&x_2\\ \vdots&\vdots\\ 1&x_n \end{bmatrix}, \qquad y= \begin{bmatrix} y_1\\y_2\\\vdots\\y_n \end{bmatrix}

统一写为：

\boxed{\hat y=X\theta}

维度#

若有 $n$ 个样本、 $D$ 个原始特征，并在第一列加入常数 $1$ ：

X\in\mathbb R^{n\times(D+1)}

\theta\in\mathbb R^{(D+1)\times1}

X\theta\in\mathbb R^{n\times1}

WARNING
设计矩阵的列顺序必须与参数顺序一致。
若一行写成 $[1,x_i]$ ，参数应写成 $[b,a]^T$ ；若一行写成 $[x_i,1]$ ，参数应写成 $[a,b]^T$ 。

最小二乘目标#

真实值为 $y$ ，预测值为 $X\theta$ ，残差向量为：

e=y-X\theta

最小二乘目标函数：

\boxed{ J(\theta)=\|y-X\theta\|_2^2 }

展开：

J(\theta) = \sum_{i=1}^{n} \left(y_i-\hat y_i\right)^2

整体意义：

寻找一组参数，使所有样本预测误差的平方和最小。

梯度、正规方程与闭式解#

梯度为：

\boxed{ \nabla_\theta J(\theta) = -2X^T(y-X\theta) = 2X^T(X\theta-y) }

令梯度为零：

X^T(y-X\theta)=0

得到正规方程：

\boxed{ X^TX\theta=X^Ty }

若 $X^TX$ 可逆：

\boxed{ \theta=(X^TX)^{-1}X^Ty }

各符号意义#

$X^T$ ：设计矩阵的转置；
$X^TX$ ：特征之间乘积的汇总矩阵；
$X^Ty$ ：特征与标签之间乘积的汇总；
$(X^TX)^{-1}$ ：若存在，用于解正规方程；
$\theta$ ：最终回归系数。

NOTE
复习课明确说明，考试更可能要求写出闭式解的形式，不会安排繁重的矩阵求逆计算。

L2 正则化#

在线性回归损失后加入：

\boxed{ J_\lambda(w) = (y-Xw)^T(y-Xw)+\lambda w^Tw }

也可写为：

J_\lambda(w) = \|y-Xw\|_2^2+\lambda\|w\|_2^2

其中：

$\lambda$ ：正则化强度；
$w^Tw=\|w\|_2^2$ ：所有权重平方和；
$\lambda>0$ ：使过大的权重受到惩罚。

正则化的作用：

在拟合误差和参数规模之间做平衡，防止模型依赖特别大的权重。

为什么 $\lambda y^Ty$ 无法正则化？#

因为 $y$ 是已经给定的标签， $y^Ty$ 与待优化参数 $w$ 无关。

因此：

\lambda y^Ty

只是常数，改变不了最优的 $w$ 。

为什么 $\lambda<0$ 不合适？#

当：

\lambda<0

目标函数中的正则项变成：

-\lvert\lambda\rvert w^Tw

最小化目标函数时，增大 $\|w\|$ 反而可能降低该项，导致权重被鼓励变大，违背正则化目的。

Ridge 闭式解#

若全部参数均进行 L2 正则化：

\boxed{ w=(X^TX+\lambda I)^{-1}X^Ty }

其中 $I$ 为单位矩阵。

实际应用中截距经常不参与正则化，这时应把对应位置的正则化系数设为 $0$ 。

线性回归例题#

例题 1：根据回归模型预测#

已知模型：

\hat y=1.5x+0.4

当 $x=6$ 时，计算预测值。

解答#

代入：

\hat y=1.5\times6+0.4

\hat y=9+0.4=9.4

所以：

\boxed{\hat y=9.4}

例题 2：构造矩阵并求闭式解#

给定三个样本：

(0,1),\quad(1,3),\quad(2,5)

拟合：

\hat y=ax+b

第一步：构造设计矩阵#

采用列顺序 $[1,x]$ ：

X= \begin{bmatrix} 1&0\\ 1&1\\ 1&2 \end{bmatrix}, \qquad y= \begin{bmatrix} 1\\3\\5 \end{bmatrix}, \qquad \theta= \begin{bmatrix} b\\a \end{bmatrix}

第二步：计算 $X^TX$ #

X^TX = \begin{bmatrix} 1&1&1\\ 0&1&2 \end{bmatrix} \begin{bmatrix} 1&0\\ 1&1\\ 1&2 \end{bmatrix} = \begin{bmatrix} 3&3\\ 3&5 \end{bmatrix}

第三步：计算 $X^Ty$ #

X^Ty = \begin{bmatrix} 1&1&1\\ 0&1&2 \end{bmatrix} \begin{bmatrix} 1\\3\\5 \end{bmatrix} = \begin{bmatrix} 9\\13 \end{bmatrix}

第四步：解正规方程#

\begin{bmatrix} 3&3\\ 3&5 \end{bmatrix} \begin{bmatrix} b\\a \end{bmatrix} = \begin{bmatrix} 9\\13 \end{bmatrix}

对应：

\begin{cases} 3b+3a=9\\ 3b+5a=13 \end{cases}

两式相减：

2a=4

所以：

a=2

代回：

3b+6=9

b=1

最终模型：

\boxed{\hat y=2x+1}

例题 3：多元线性回归预测#

某森林火灾面积预测模型为：

\hat y=-9.103+1.312x+0.626z

其中：

$x$ ：气温；
$z$ ：风力。

当：

x=18,\qquad z=6

求预测面积。

解答#

代入：

\hat y = -9.103+1.312\times18+0.626\times6

1.312\times18=23.616

0.626\times6=3.756

因此：

\hat y=-9.103+23.616+3.756

\boxed{\hat y\approx18.269}

系数解释：

风力保持不变时，气温增加 $1$ 个单位，预测面积增加约 $1.312$ ；
气温保持不变时，风力增加 $1$ 个单位，预测面积增加约 $0.626$ 。

例题 4：L2 正则化判断#

线性回归的标准正则化损失为：

L(w)=(y-Xw)^T(y-Xw)+\lambda w^Tw

回答：

若误写成 $\lambda y^Ty$ ，为什么无正则化作用？
若仍写成 $\lambda w^Tw$ ，但 $\lambda<0$ ，为什么不合适？

解答#

第 1 问

优化变量是 $w$ ，而：

y^Ty

仅由已知标签决定，与 $w$ 无关。

因此 $\lambda y^Ty$ 是常数，无法改变最优权重：

\boxed{\lambda y^Ty\text{ 对 }w\text{ 无约束作用}}

第 2 问

当 $\lambda<0$ 时：

\lambda w^Tw=-|\lambda|w^Tw

权重越大，该项越小。最小化目标函数可能推动权重继续增大。

所以：

\boxed{\lambda\text{ 应取非负值，通常取 }\lambda>0}

逻辑斯蒂回归#

NOTE
本部分按复习大纲保留，但老师在复习课中将其优先级调低。重点掌握预测流程与基本公式，不需要完整推导梯度和 Hessian。

线性分数与 Sigmoid#

逻辑斯蒂回归先计算线性分数：

z=w^Tx+b

再通过 Sigmoid 函数得到正类概率：

\boxed{ P(y=1\mid x) = \sigma(z) = \frac{1}{1+e^{-z}} }

性质：

0<\sigma(z)<1

\sigma(0)=0.5

z>0\Rightarrow \sigma(z)>0.5

z<0\Rightarrow \sigma(z)<0.5

几率与对数几率#

若：

P=P(y=1\mid x)

则负类概率为：

1-P

几率：

\boxed{ \mathrm{odds}=\frac{P}{1-P} }

对数几率：

\boxed{ \mathrm{logit}(P) = \log\frac{P}{1-P} }

逻辑斯蒂回归满足：

\boxed{ \log\frac{P}{1-P} = w^Tx+b }

整体意义：

线性函数 $w^Tx+b$ 拟合的是正类概率的对数几率。

决策边界#

若阈值为 $0.5$ ：

P(y=1\mid x)>0.5 \iff w^Tx+b>0

所以决策边界为：

\boxed{ w^Tx+b=0 }

分类规则：

\hat y= \begin{cases} 1,&w^Tx+b>0\\ 0,&w^Tx+b\leq0 \end{cases}

二元交叉熵#

设：

h_i=P(y_i=1\mid x_i)

单个样本的二元交叉熵：

\boxed{ L_i = -\left[ y_i\log h_i + (1-y_i)\log(1-h_i) \right] }

分情况：

L_i= \begin{cases} -\log h_i,&y_i=1\\ -\log(1-h_i),&y_i=0 \end{cases}

含义：

真实标签为 $1$ 时，希望 $h_i$ 接近 $1$ ；
真实标签为 $0$ 时，希望 $h_i$ 接近 $0$ ；
对错误且非常自信的预测，损失很大。

逻辑斯蒂回归例题#

例题 1：从线性分数得到分类结果#

某模型为：

z=0.8x_1+1.2x_2-2

某样本：

x_1=1.5,\qquad x_2=1

求正类概率并分类。

解答#

先求线性分数：

z=0.8\times1.5+1.2\times1-2

z=1.2+1.2-2=0.4

计算概率：

P(y=1\mid x) = \frac{1}{1+e^{-0.4}} \approx0.599

采用 $0.5$ 阈值：

0.599>0.5

所以：

\boxed{\hat y=1}

例题 2：计算几率与对数几率#

已知：

P(y=1\mid x)=0.8

计算几率和对数几率。

解答#

负类概率：

1-P=0.2

几率：

\frac{P}{1-P} = \frac{0.8}{0.2} =4

含义：正类可能性是负类的 $4$ 倍。

对数几率：

\log4\approx1.386

所以：

\boxed{\mathrm{odds}=4,\qquad \mathrm{logit}(P)\approx1.386}

例题 3：计算单样本交叉熵#

模型对正类的预测概率为：

h=0.9

分别计算真实标签为 $1$ 和 $0$ 时的损失。

解答#

当：

y=1

有：

L=-\log h=-\log0.9\approx0.105

当：

y=0

有：

L=-\log(1-h)=-\log0.1\approx2.303

所以：

\boxed{ L(y=1)\approx0.105,\qquad L(y=0)\approx2.303 }

模型给出 $0.9$ 的正类概率时，如果真实标签为 $0$ ，属于自信的错误预测，因此损失明显更大。

支持向量机#

分类超平面#

线性分类超平面写为：

\boxed{ w^Tx+b=0 }

其中：

$x\in\mathbb R^D$ ：样本特征；
$w\in\mathbb R^D$ ：超平面的法向量；
$b$ ：截距或偏置；
$w^Tx+b$ ：样本相对于超平面的带符号得分。

分类函数：

\boxed{ \hat y=\operatorname{sign}(w^Tx+b) }

其中通常使用标签：

y_i\in\{-1,+1\}

若：

w^Tx+b>0

样本位于超平面一侧；若：

w^Tx+b<0

样本位于另一侧。

二维与三维对应#

二维：

w_1x_1+w_2x_2+b=0

是一条直线。

三维：

w_1x_1+w_2x_2+w_3x_3+b=0

是一个平面。

更高维时称为超平面。

点到超平面的距离#

点 $x_0$ 到超平面：

w^Tx+b=0

的距离为：

\boxed{ d(x_0,\mathcal H) = \frac{|w^Tx_0+b|}{\|w\|_2} }

其中：

\|w\|_2 = \sqrt{w_1^2+w_2^2+\cdots+w_D^2}

整体意义：

分子：代入平面方程后得到的偏离量；
分母：消除 $w,b$ 整体缩放带来的影响；
绝对值：距离必须非负。

函数间隔与几何间隔#

对带标签样本 $(x_i,y_i)$ ，函数间隔为：

\hat\gamma_i = y_i(w^Tx_i+b)

其中：

若分类正确， $\hat\gamma_i>0$ ；
若分类错误， $\hat\gamma_i<0$ ；
数值越大，说明样本在正确一侧离边界越远。

几何间隔为：

\boxed{ \gamma_i = \frac{y_i(w^Tx_i+b)}{\|w\|_2} }

它等于样本到超平面的带符号距离。

最大间隔与硬间隔 SVM#

由于 $(w,b)$ 同时乘以正数不会改变超平面，可以规定距离最近的样本满足：

y_i(w^Tx_i+b)=1

所有训练样本要求：

\boxed{ y_i(w^Tx_i+b)\geq1 }

这时两条间隔边界为：

w^Tx+b=1

和：

w^Tx+b=-1

两条边界之间的总宽度为：

\boxed{ \frac{2}{\|w\|_2} }

最大化间隔等价于最小化 $\|w\|_2$ ，标准硬间隔 SVM 为：

\boxed{ \min_{w,b}\frac12\|w\|_2^2 }

约束：

\boxed{ y_i(w^Tx_i+b)\geq1,\qquad i=1,\ldots,n }

支持向量#

满足：

\boxed{ y_i(w^Tx_i+b)=1 }

的训练样本称为支持向量。

它们位于两条间隔边界上，是距离分类超平面最近的样本。

支持向量决定最终边界；远离边界的样本对最大间隔超平面的直接影响较小。

NOTE
本次考试重点在几何含义：超平面、法向量、点到超平面的距离、间隔和支持向量。SVM 对偶问题、SMO、软间隔与核函数不要求推导。

支持向量机例题#

例题 1：识别超平面参数并分类#

二维分类超平面为：

2x_1-x_2-3=0

回答：

法向量 $w$ 和偏置 $b$ ；
点 $A=(3,1)$ 位于哪一侧；
点 $B=(1,2)$ 位于哪一侧。

解答#

与：

w^Tx+b=0

对比，得到：

w= \begin{bmatrix} 2\\-1 \end{bmatrix}, \qquad b=-3

对点 $A=(3,1)$ ：

w^TA+b = 2\times3-1-3 =2>0

所以 $A$ 位于正侧，预测：

\boxed{\hat y_A=+1}

对点 $B=(1,2)$ ：

w^TB+b = 2\times1-2-3 =-3<0

所以 $B$ 位于负侧，预测：

\boxed{\hat y_B=-1}

例题 2：计算点到超平面的距离#

仍使用超平面：

2x_1-x_2-3=0

计算点：

A=(3,1)

到超平面的距离。

解答#

法向量：

w= \begin{bmatrix} 2\\-1 \end{bmatrix}

其长度：

\|w\|_2 = \sqrt{2^2+(-1)^2} = \sqrt5

分子：

|w^TA+b| = |2\times3-1-3| = 2

所以距离：

d = \frac{2}{\sqrt5}

有理化或化为小数：

\boxed{ d=\frac{2}{\sqrt5}\approx0.894 }

例题 3：找出支持向量与间隔宽度#

给定：

w= \begin{bmatrix} 1\\0 \end{bmatrix}, \qquad b=0

训练样本：

x_1=(1,2),\ y_1=+1

x_2=(2,0),\ y_2=+1

x_3=(-1,1),\ y_3=-1

x_4=(-3,0),\ y_4=-1

求每个样本的函数间隔，找出支持向量，并计算总间隔宽度。

解答#

因为：

w^Tx=x_1

逐个计算：

对样本 1：

y_1(w^Tx_1+b) = 1\times1 =1

对样本 2：

y_2(w^Tx_2+b) = 1\times2 =2

对样本 3：

y_3(w^Tx_3+b) = (-1)\times(-1) =1

对样本 4：

y_4(w^Tx_4+b) = (-1)\times(-3) =3

等于 $1$ 的样本为支持向量：

\boxed{x_1=(1,2),\quad x_3=(-1,1)}

法向量长度：

\|w\|_2=1

总间隔宽度：

\frac{2}{\|w\|_2}=2

所以：

\boxed{\text{间隔宽度}=2}

例题 4：比较两个可行超平面#

两个分类超平面都正确分类训练集，并且都已按规范化约束：

y_i(w^Tx_i+b)\geq1

已知：

\|w_A\|_2=1,\qquad \|w_B\|_2=2

SVM 会选择哪个超平面？

解答#

总间隔宽度：

\mathrm{margin}=\frac{2}{\|w\|_2}

对于 A：

\mathrm{margin}_A=\frac{2}{1}=2

对于 B：

\mathrm{margin}_B=\frac{2}{2}=1

SVM选择间隔更大的超平面，因此：

\boxed{\text{选择超平面 A}}

也可从优化目标判断：

\frac12\|w_A\|^2=\frac12

\frac12\|w_B\|^2=2

目标函数较小的是 A。

不纳入本次必背范围的内容#

可以跳过或降低优先级#

根据复习课口径，下列内容不属于本次监督学习部分的核心考查对象：

经验风险与期望风险的严格理论；
VC 维和 VC 置信度；
过拟合、欠拟合的复杂理论分析；
决策树与 AdaBoost；
线性判别分析 LDA；
SVM 对偶问题；
SMO 算法；
软间隔 SVM；
核函数与核技巧；
逻辑斯蒂回归梯度、Hessian 的完整推导。

WARNING
“可以跳过”表示不需要投入大量时间推导。若客观题出现术语，应至少能识别其名称和基本用途。

最后速记表#

监督学习#

\mathcal D=\{(x_i,y_i)\}_{i=1}^{n}

有标签；
学习 $x\mapsto y$ ；
连续输出为回归；
离散输出为分类。

判别与生成#

判别：

P(c\mid x)

生成：

P(x\mid c),\quad P(c)

Bayes 分类：

\hat c=\arg\max_cP(x\mid c)P(c)

线性回归#

模型：

\hat y=X\theta

目标：

J(\theta)=\|y-X\theta\|_2^2

梯度：

\nabla_\theta J = 2X^T(X\theta-y)

正规方程：

X^TX\theta=X^Ty

闭式解：

\boxed{ \theta=(X^TX)^{-1}X^Ty }

L2 正则化：

\boxed{ J_\lambda(w) = \|y-Xw\|_2^2+\lambda\|w\|_2^2 }

要求：

\lambda>0

逻辑斯蒂回归#

z=w^Tx+b

P(y=1\mid x)=\frac{1}{1+e^{-z}}

\log\frac{P}{1-P}=w^Tx+b

阈值 $0.5$ 对应边界：

w^Tx+b=0

支持向量机#

超平面：

w^Tx+b=0

距离：

\boxed{ d=\frac{|w^Tx+b|}{\|w\|} }

硬间隔约束：

y_i(w^Tx_i+b)\geq1

优化目标：

\boxed{ \min_{w,b}\frac12\|w\|^2 }

间隔宽度：

\boxed{ \frac{2}{\|w\|} }

支持向量：

\boxed{ y_i(w^Tx_i+b)=1 }

考前自检#

看到题目后，应能立即回答：

数据有没有标签？
输出是连续值还是类别？
模型学习的是 $P(c\mid x)$ ，还是 $P(x\mid c)$ 与 $P(c)$ ？
线性回归中 $X$ 、 $\theta$ 、 $y$ 的维度是否匹配？
能否写出 $\theta=(X^TX)^{-1}X^Ty$ ？
正则项是否真正含有待优化参数？ $\lambda$ 是否为正？
SVM 中 $w$ 是否为超平面法向量？
能否使用 $|w^Tx+b|/\|w\|$ 计算距离？
能否解释 SVM 为什么最小化 $\|w\|^2$ ？
能否找出满足 $y_i(w^Tx_i+b)=1$ 的支持向量？

概述#

目录#

考试范围与优先级#

监督学习基本概念#

监督学习的定义#

回归与分类#

回归#

分类#

监督学习、无监督学习与强化学习#

监督学习#

无监督学习#

强化学习#

三者的核心差异#

判别方法与生成方法#

判别方法#

生成方法#

对比#

监督学习基本概念例题#

例题 1：判断学习类型#

解答#

例题 2：判断回归或分类#

解答#

例题 3：判断判别方法或生成方法#

解答#

例题 4：生成方法的 Bayes 分类#

解答#

线性回归#

一元与多元线性回归#

一元线性回归#

多元线性回归#

矩阵形式#

维度#

最小二乘目标#

梯度、正规方程与闭式解#

各符号意义#

L2 正则化#

为什么 λyTy\lambda y^TyλyTy 无法正则化？#

为什么 λ<0\lambda<0λ<0 不合适？#

Ridge 闭式解#

线性回归例题#

例题 1：根据回归模型预测#

解答#

例题 2：构造矩阵并求闭式解#

第一步：构造设计矩阵#

第二步：计算 XTXX^TXXTX#

第三步：计算 XTyX^TyXTy#

第四步：解正规方程#

例题 3：多元线性回归预测#

解答#

例题 4：L2 正则化判断#

解答#

逻辑斯蒂回归#

线性分数与 Sigmoid#

几率与对数几率#

决策边界#

二元交叉熵#

逻辑斯蒂回归例题#

例题 1：从线性分数得到分类结果#

解答#

例题 2：计算几率与对数几率#

解答#

例题 3：计算单样本交叉熵#

解答#

支持向量机#

分类超平面#

二维与三维对应#

点到超平面的距离#

函数间隔与几何间隔#

最大间隔与硬间隔 SVM#

支持向量#

支持向量机例题#

例题 1：识别超平面参数并分类#

解答#

例题 2：计算点到超平面的距离#

解答#

例题 3：找出支持向量与间隔宽度#

解答#

例题 4：比较两个可行超平面#

解答#

不纳入本次必背范围的内容#

为什么 $\lambda y^Ty$ 无法正则化？#

为什么 $\lambda<0$ 不合适？#

第二步：计算 $X^TX$ #

第三步：计算 $X^Ty$ #