课程提醒#

WARNING
本节与考试直接相关的提醒

老师明确强调：若期末考试要求手工计算回归参数，会考一元线性回归；多元回归涉及矩阵运算，不适合手算。

一元 OLS 中老师反复强调要熟悉：

参数估计公式；

残差满足的正规方程结果；

回归线的离差形式。

经典假设是高频考试内容。老师提到上学期简答题第一题就是经典假设，并提醒正式考试更可能要求写多元模型下的形式。本节课堂先用一元模型解释其含义。

本节课讲到 OLS 估计量的无偏性为止；有效性 / 最小方差性留到下节课。

本次录音中未听到明确的课后作业布置。

概述#

这一节课完成了从“总体中的真实经济关系”走向“利用样本估计总体关系”的第一条完整主线：

条件分布与条件期望 → 总体回归函数 PRF → 随机扰动项与总体回归模型 → 抽样 → 样本回归函数 SRF → 残差 → OLS 拟合 → 经典假设 → OLS 估计量的线性性与无偏性。

最需要建立的整体框架有两层：

先解决拟合问题：给定一组样本点，怎样找到一条与样本点尽可能接近的回归线？
- 本节采用 普通最小二乘法 OLS。
再解决推断问题：这条样本回归线能否可靠地逼近总体回归线？
- 这需要对总体回归模型施加一组经典假设，再研究估计量的统计性质。

TIP
本文按你提供的第五版教材统一章节编号：

§2.1 回归分析概述

§2.2 一元线性回归模型的参数估计

§2.3 基本假设与普通最小二乘估计量的统计性质

课件中的部分节号与第五版教材目录并不一致。下面统一按照第五版教材组织，以便后续系统复习。

教材框架与本节覆盖范围#

第五版教材第二章的主线为：

教材部分	内容	本节覆盖
§2.1 回归分析概述	总体回归函数、随机误差项、样本回归函数	完整覆盖，是本节前半段核心
§2.2 参数估计	普通最小二乘法、拟合优度	讲完 OLS 参数估计；拟合优度本节未展开
§2.3 基本假设与 OLS 统计性质	经典假设、线性性、无偏性、有效性、一致性等	讲到线性性与无偏性；有效性留到下节课
§2.4 统计检验	参数分布、显著性检验、置信区间	未讲
§2.5 预测	条件均值与个别值预测	未讲

因此，本节课可以理解为：

先把“回归到底在估计什么”讲清楚，再把“如何用 OLS 得到估计量”推出来，最后开始回答“为什么这个估计量值得相信”。

§2.1 回归分析概述#

条件分布与条件期望#

回归分析关心的并非简单地问“ $X$ 与 $Y$ 有没有关系”，而是：

当解释变量 $X$ 取某一个给定值时，被解释变量 $Y$ 平均会处在什么水平？

1. $Y$ 的条件分布#

给定 $X=X_i$ 后，同一个收入水平下可能存在很多家庭，因此 $Y$ 仍然会取不同的值。

这些可能的 $Y$ 值及其概率共同构成：

Y\mid X=X_i

的条件分布（conditional distribution）。

给定 X 后 Y 的条件分布与条件期望

课堂中的社区家庭例子：研究家庭每月可支配收入 $X$ 与 家庭每月消费支出 $Y$ 的关系。

例如，当：

X=800

时，社区中若干家庭的消费支出分别可能为：

561,\ 594,\ 627,\ 638

因此，即使收入水平相同，每个家庭的消费支出仍可能不同。

2. 条件期望#

对某个固定的 $X=X_i$ ，可以对该条件分布求均值：

E(Y\mid X=X_i)

称为 $Y$ 的条件期望（conditional expectation） 或 条件均值（conditional mean）。

课堂例子中：

E(Y\mid X=800)=605

也就是说：

对所有月可支配收入为 800 元的家庭来说，平均消费支出为 605 元。

完整总体数据如下。

社区家庭收入与消费支出的总体数据

教材给出的各收入水平的条件均值为：

$X$ ：可支配收入	800	1100	1400	1700	2000	2300	2600	2900	3200	3500
$E(Y\mid X)$ ：平均消费	605	825	1045	1265	1485	1705	1925	2145	2365	2585

这些条件均值随着收入增加而上升。

条件均值与总体回归线

总体回归函数 PRF#

把每一个 $X$ 对应的条件均值 $E(Y\mid X)$ 连起来，就得到 总体回归线（population regression line）。

更一般地写成函数：

E(Y\mid X)=f(X)

称为 总体回归函数（Population Regression Function, PRF）。

1. 总体回归函数描述什么？#

它描述的是：

给定 $X$ 后，整个总体中 $Y$ 的平均水平如何随 $X$ 变化。

因此，PRF 研究的是平均规律。

单个家庭可能位于总体回归线上方或下方，这并不影响总体回归函数对“平均趋势”的描述。

2. 线性总体回归函数#

一般的 $f(X)$ 可以是非线性的。课堂为了建立最基本的回归模型，先假定总体回归函数是线性的：

E(Y_i\mid X_i)=\beta_0+\beta_1X_i

其中：

$\beta_0$ ：截距参数；
$\beta_1$ ：斜率参数；
二者都是总体参数，在给定总体下是固定但未知的常数。

TIP
课堂反复强调：线性形式是一项模型设定。真实经济关系完全可能是非线性的；先研究线性模型是为了把回归分析的核心思想讲清楚。

3. $\beta_1$ 的经济含义#

在消费函数中：

E(Y\mid X)=\beta_0+\beta_1X

$\beta_1$ 表示收入增加 1 单位时，家庭平均消费支出增加多少单位。

因此在该例中， $\beta_1$ 可以理解为边际消费倾向。

注意这里描述的是条件均值的变化：

\Delta E(Y\mid X)=\beta_1\Delta X

并不要求每一个家庭都恰好按照 $\beta_1$ 增加消费。

随机扰动项与总体回归模型#

总体回归函数给出的只是平均水平。对于第 $i$ 个具体家庭，其实际消费 $Y_i$ 通常会偏离对应收入水平下的平均消费。

定义：

\mu_i=Y_i-E(Y_i\mid X_i)

其中 $\mu_i$ 称为：

随机扰动项（stochastic disturbance）；
或 随机误差项（stochastic error）。

随机扰动项的定义

于是：

Y_i=E(Y_i\mid X_i)+\mu_i

在线性 PRF 下：

\boxed{Y_i=\beta_0+\beta_1X_i+\mu_i}

这就是总体回归模型（population regression model）。

系统性部分与随机性部分

可以把 $Y_i$ 拆成两部分：

\underbrace{Y_i}_{\text{实际结果}} = \underbrace{\beta_0+\beta_1X_i}_{\text{系统性 / 确定性部分}} + \underbrace{\mu_i}_{\text{随机 / 非确定性部分}}

TIP
函数与模型的区别

总体回归函数： $E(Y_i\mid X_i)=\beta_0+\beta_1X_i$ 只描述条件均值。

总体回归模型： $Y_i=\beta_0+\beta_1X_i+\mu_i$ 描述单个观测值，因此把偏离平均规律的随机部分也纳入模型。

为什么要引入随机扰动项#

课堂列出了随机扰动项的六类来源。

随机误差项的主要来源

1. 未知的影响因素#

现实中可能存在尚未被研究者认识到、因而没有进入模型的因素。

2. 代表残缺数据#

研究者可能知道某些因素会影响 $Y$ ，但缺乏可靠数据，无法把它们显式放入模型。

3. 众多细小影响因素#

很多变量确实会影响 $Y$ ，但单个影响很小。全部纳入模型会使模型过度复杂、数据成本过高，因此把这些小因素的综合影响归入 $\mu_i$ 。

WARNING
主要影响因素如果能够观测，原则上应当直接进入模型。不能因为存在随机扰动项，就把重要变量随意遗漏掉。

4. 变量观测值的测量误差#

实际记录的数据可能经过：

四舍五入；
调查误差；
统计口径误差；
测量误差。

例如真实支出是 591.2 元，数据中可能只记录为 591 元。

5. 模型关系的设定误差#

真实关系可能是曲线，而研究者为了简化采用线性函数拟合。函数形式近似造成的偏差会进入误差项。

6. 变量本身的内在随机性#

即使已经控制了主要可观测因素，个体行为仍可能存在天然的随机波动。

从总体到样本#

如果总体只有 99 户家庭，把每户都调查一遍还可能做到；当总体扩大到一个城市甚至全国时，全面调查的成本会迅速上升。

因此实际研究通常采用抽样。

本例中，老师口头称为“类型抽样”：先按收入水平分组，再从每个收入组随机抽取一户家庭，最终得到 10 个观测点。

每个样本观测是一个二元数据：

(X_i,Y_i),\qquad i=1,2,\ldots,n

课堂样本为：

家庭收入与消费支出的随机样本

$i$	1	2	3	4	5	6	7	8	9	10
$X_i$	800	1100	1400	1700	2000	2300	2600	2900	3200	3500
$Y_i$	638	935	1155	1254	1408	1650	1925	2068	2266	2530

抽样以后，我们已经看不到完整总体，只拥有这些样本点。

接下来的任务就是：

能否仅根据这组样本，找出一条能够代表总体平均关系的回归线？

样本回归函数 SRF 与残差#

1. 样本回归函数#

对样本散点寻找一条“尽可能贴近”样本点的直线：

\hat Y_i=\hat\beta_0+\hat\beta_1X_i

称为 样本回归函数（Sample Regression Function, SRF）。

样本回归函数 SRF

其中：

$\hat\beta_0$ ：总体参数 $\beta_0$ 的估计量 / 估计值；
$\hat\beta_1$ ：总体参数 $\beta_1$ 的估计量 / 估计值；
“帽子”表示这是根据样本得到的估计结果。

2. 残差#

第 $i$ 个样本点的实际值与拟合值之间的距离为：

e_i=Y_i-\hat Y_i

$e_i$ 称为 残差（residual）。

因此：

Y_i=\hat Y_i+e_i

代入 SRF：

\boxed{Y_i=\hat\beta_0+\hat\beta_1X_i+e_i}

称为样本回归模型（sample regression model）。

样本回归模型与残差

总体与样本的对应关系#

这是本节最重要的一组对应：

总体	样本
总体回归函数 PRF	样本回归函数 SRF
$E(Y_i\mid X_i)=\beta_0+\beta_1X_i$	$\hat Y_i=\hat\beta_0+\hat\beta_1X_i$
总体参数 $\beta_0,\beta_1$	参数估计量 $\hat\beta_0,\hat\beta_1$
随机扰动项 $\mu_i$	残差 $e_i$
$Y_i=\beta_0+\beta_1X_i+\mu_i$	$Y_i=\hat\beta_0+\hat\beta_1X_i+e_i$
$\mu_i$ 通常不可观测	$e_i$ 在估计后可以计算

其中：

e_i

可以看作不可观测的 $\mu_i$ 在样本中的一种估计。

WARNING
$\mu_i$ 与 $e_i$ 要严格区分：

$\mu_i$ 属于总体模型；

$e_i$ 来自样本拟合；

二者一般不会逐点完全相同。

回归推断的两阶段路线#

老师把整个计量经济学的技术路线概括成两个阶段，这一段非常重要。

第一阶段：找到样本拟合线#

给定：

(X_1,Y_1),\ldots,(X_n,Y_n)

寻找一条与样本点尽可能拟合的线。

课堂介绍了三条可能的思路：

距离思想 → 普通最小二乘法 OLS；
概率思想 → 极大似然法 MLE；
矩的思想 → 矩估计法。

本节课先走第一条路线：OLS。

第二阶段：判断样本线能否逼近总体线#

即判断：

\hat\beta_0\approx\beta_0, \qquad \hat\beta_1\approx\beta_1

是否有可靠的统计保证。

这一步需要：

对总体模型提出合理的经典假设；
研究估计量的无偏性、有效性、一致性等统计性质。

TIP
老师说“第一阶段找拟合线不需要经典假设”，强调的是：构造最小二乘拟合本身不依赖误差项正态性、同方差性等概率假设。
严格地说，在一元模型里仍需 $X$ 有变化，即
$\sum x_i^2>0$
否则斜率无法识别。

§2.2 一元线性回归模型的参数估计#

普通最小二乘法 OLS#

给定一组样本点，我们要选择 $\hat\beta_0,\hat\beta_1$ ，让样本回归线尽量靠近所有样本点。

第 $i$ 个点的残差：

e_i=Y_i-\hat Y_i =Y_i-(\hat\beta_0+\hat\beta_1X_i)

OLS 选择参数，使残差平方和最小：

\boxed{ Q(\hat\beta_0,\hat\beta_1) =\sum_{i=1}^n e_i^2 =\sum_{i=1}^n \left[Y_i-(\hat\beta_0+\hat\beta_1X_i)\right]^2 \to\min }

普通最小二乘法的目标函数

为什么用平方？#

课堂从“距离”角度比较了两类损失：

绝对距离： $\sum |e_i|$ ；
平方距离： $\sum e_i^2$ 。

平方损失有两个直接好处：

正负残差平方后都为正，不会相互抵消；
目标函数光滑，方便通过求导得到解析解。

课堂补充：

平方损失与均值联系紧密；
绝对损失与中位数联系紧密；
分位数回归会采用与绝对损失相关的思想。

正规方程与参数估计公式#

对目标函数分别求偏导，并令其等于 0：

\frac{\partial Q}{\partial\hat\beta_0}=0, \qquad \frac{\partial Q}{\partial\hat\beta_1}=0

得到正规方程：

\begin{cases} \sum Y_i=n\hat\beta_0+\hat\beta_1\sum X_i\\[4pt] \sum X_iY_i=\hat\beta_0\sum X_i+\hat\beta_1\sum X_i^2 \end{cases}

OLS 正规方程与参数解

解得：

\boxed{ \hat\beta_1= \frac{n\sum X_iY_i-\sum X_i\sum Y_i} {n\sum X_i^2-(\sum X_i)^2} }

以及：

\boxed{ \hat\beta_0=\bar Y-\hat\beta_1\bar X }

WARNING
老师明确提醒：如果期末要求手工算参数，这一元模型公式必须会用。

离差形式#

计量经济学中经常用小写字母表示变量相对其样本均值的离差：

x_i=X_i-\bar X

y_i=Y_i-\bar Y

以及拟合值的离差：

\hat y_i=\hat Y_i-\bar Y

“离差形式”可以直观理解为：把变量去均值 / 中心化。

于是斜率估计量可以写成最常用的形式：

\boxed{ \hat\beta_1= \frac{\sum x_i y_i}{\sum x_i^2} }

截距仍为：

\boxed{ \hat\beta_0=\bar Y-\hat\beta_1\bar X }

OLS 参数估计的离差形式

这个形式非常重要，因为它直接揭示：

回归斜率本质上由 $X$ 与 $Y$ 的共同变化程度，相对于 $X$ 自身的变化程度决定。

OLS 的三个重要结果#

老师把一元 OLS 中必须熟悉的结果反复整理成“三组结果 + 一个离差形式”。

结果 1：参数估计量#

\boxed{ \hat\beta_1= rac{\sum x_i y_i}{\sum x_i^2} }

\boxed{ \hat\beta_0=\bar Y-\hat\beta_1\bar X }

结果 2：残差与常数项、解释变量正交#

由正规方程可得：

\boxed{\sum e_i=0}

以及：

\boxed{\sum X_i e_i=0}

含义：

残差总和为 0；
残差围绕 0 上下波动；
样本中残差与解释变量正交。

进一步，因为 $\sum e_i=0$ ：

\bar e=0

结果 3：回归线必经过样本均值点#

由：

\hat\beta_0=\bar Y-\hat\beta_1\bar X

得到：

\bar Y=\hat\beta_0+\hat\beta_1\bar X

因此样本回归线一定通过：

\boxed{(\bar X,\bar Y)}

这个点可以看作样本散点的“中心”。

离差形式#

由样本回归函数减去：

\bar Y=\hat\beta_0+\hat\beta_1\bar X

得到：

\boxed{ \hat y_i=\hat\beta_1x_i }

样本回归函数的离差形式

图中 $\bar Y$ 是课堂反复提到的“基准线”。中心化以后，截距被消去，只剩斜率关系。

家庭消费例：完整 OLS 计算#

课堂样本为：

X=(800,1100,1400,1700,2000,2300,2600,2900,3200,3500)

Y=(638,935,1155,1254,1408,1650,1925,2068,2266,2530)

1. 计算样本均值#

\bar X=2150

\bar Y=1582.9

2. 计算离差乘积和、离差平方和#

\sum x_i y_i=4\,974\,750

\sum x_i^2=7\,425\,000

3. 求斜率#

\hat\beta_1 =\frac{4\,974\,750}{7\,425\,000} =0.67

4. 求截距#

\hat\beta_0 =1582.9-0.67\times2150 =142.4

因此样本回归函数为：

\boxed{ \hat Y=142.4+0.67X }

5. 经济含义#

在这个样本中：

月可支配收入每增加 1 元，拟合得到的平均消费支出增加约 0.67 元。

因此样本给出的边际消费倾向估计值为：

\boxed{\hat\beta_1=0.67}

例如 $X=800$ 时：

\hat Y=142.4+0.67\times800=678.4

实际观测为 $Y=638$ ，所以残差：

e=638-678.4=-40.4

整个样本的拟合值与残差如下：

$X_i$	$Y_i$	$\hat Y_i$	$e_i=Y_i-\hat Y_i$
800	638	678.4	-40.4
1100	935	879.4	55.6
1400	1155	1080.4	74.6
1700	1254	1281.4	-27.4
2000	1408	1482.4	-74.4
2300	1650	1683.4	-33.4
2600	1925	1884.4	40.6
2900	2068	2085.4	-17.4
3200	2266	2286.4	-20.4
3500	2530	2487.4	42.6

可以检验：

\sum e_i=0

以及：

\sum X_ie_i=0

数值计算时受四舍五入影响，结果可能出现极小的浮点误差。

TIP
教材 §2.2 后面还有拟合优度 / $R^2$ 。本节课堂在参数估计后直接进入经典假设，没有系统展开拟合优度，因此这里先不向后补讲。

斜率与协方差、相关系数的关系#

由：

\hat\beta_1= rac{\sum x_i y_i}{\sum x_i^2}

分子分母同时除以相同的样本容量因子，可写成：

\boxed{ \hat\beta_1=\frac{\operatorname{Cov}(X,Y)}{\operatorname{Var}(X)} }

又因为：

r_{XY}=\frac{\operatorname{Cov}(X,Y)}{s_Xs_Y}

所以：

\boxed{ \hat\beta_1=r_{XY}\frac{s_Y}{s_X} }

这说明回归斜率与相关系数关系非常密切。

WARNING
斜率还受到变量量纲与尺度 $s_Y/s_X$ 的影响。
因此，跨不同数据集比较时，单凭“相关系数更大”不能直接断言“回归斜率一定更大”；在尺度比固定时，这种直观关系才可以直接使用。

§2.3 基本假设与 OLS 的统计性质#

为什么需要经典假设#

OLS 已经解决了第一个问题：

给定样本，怎样找一条最贴近样本点的线？

但统计推断真正关心第二个问题：

这条样本回归线与总体回归线到底有多接近？

不同随机样本会得到不同的：

\hat\beta_0,\quad \hat\beta_1

因此， $\hat\beta_0,\hat\beta_1$ 本身是随机变量 / 统计量。

为了研究它们的分布、均值、方差以及是否能够可靠估计 $\beta_0,\beta_1$ ，需要对总体模型增加概率假设。

本节从一元模型出发：

Y_i=\beta_0+\beta_1X_i+\mu_i

课件列出五条经典假设。

一元线性回归模型的前三条基本假设

假设 1：模型设定正确#

第一条要求：回归模型的设定正确。

在本节一元模型中，最直观的含义是：

E(Y_i\mid X_i)=\beta_0+\beta_1X_i

这一线性函数形式能够正确描述总体条件均值。

更一般地，模型设定正确还意味着：

关键解释变量没有被错误遗漏；
不应加入明显错误的变量；
函数形式与研究问题相符。

这条假设把前面“真实关系可能非线性”的提醒重新连接起来：

一旦我们选择了线性模型，后面的统计推断就以这套模型设定能够正确刻画总体关系为前提。

假设 2：解释变量具有变异性#

解释变量 $X$ 必须有足够变化。

一元 OLS 的斜率分母是：

\sum x_i^2

如果所有 $X_i$ 都相同，那么：

\sum x_i^2=0

此时无法识别斜率。

因此至少要求：

\operatorname{Var}(X)>0

课堂还从大样本角度强调：随着 $n\to\infty$ ， $X$ 的样本方差应收敛到一个有限且非零的量：

\frac{1}{n}\sum_{i=1}^n(X_i-\bar X)^2\to Q, \qquad 0<Q<\infty

直观上：

样本点不能全部挤在同一个 $X$ 上；
抽样应覆盖 $X$ 的有效范围；
变量的波动也不能随着样本扩大而无限发散。

假设 3：随机扰动项条件均值为 0#

核心条件：

\boxed{ E(\mu_i\mid X)=0 }

一元语境中也常写成：

E(\mu_i\mid X_i)=0

含义：

在给定解释变量的条件下，遗漏到误差项中的正向与负向影响平均抵消，没有系统性偏向。

这条假设非常关键，因为它把 $X$ 与误差项之间的系统关系排除掉。

推论 1：随机扰动项无条件均值为 0#

利用迭代期望：

E(\mu_i) =E[E(\mu_i\mid X)] =0

因此：

\boxed{E(\mu_i)=0}

推论 2：解释变量与扰动项不相关#

\operatorname{Cov}(X_i,\mu_i)=0

即：

\boxed{E(X_i\mu_i)=0}

在计量经济学术语中，这对应于解释变量的外生性（exogeneity）。

若：

\operatorname{Cov}(X_i,\mu_i)\neq0

则会出现**内生性（endogeneity）**问题。

TIP
老师专门提醒：计量经济学里的“内生 / 外生”具有明确的统计含义，核心看解释变量与随机扰动项是否相关。它与宏观、产业经济学里“某个变量由系统内部机制决定”的“内生”用法要区分开。

一个非常容易混淆的点#

E(\mu_i)=0

表示的是随机变量 $\mu_i$ 的期望为 0。

它不能推出某一次实际抽样中：

\sum_{i=1}^n\mu_i=0

后者通常没有理由成立。

而 OLS 残差确实满足：

\sum e_i=0

这是最小二乘正规方程的样本代数性质。

WARNING
务必区分：
$E(\mu_i)=0$
与：
$\sum e_i=0$
前者来自总体模型的概率假设；后者来自样本 OLS 的数学构造。

假设 4：同方差且无序列相关#

课件把这两部分放在同一条假设中。

同方差、无序列相关及正态性假设

1. 条件同方差#

\boxed{ \operatorname{Var}(\mu_i\mid X)=\sigma^2 }

对所有观测 $i$ ，误差项条件方差相同。

直观上：

不同 $X$ 水平下，个体围绕总体回归线的随机波动程度保持一致。

2. 无序列相关#

对任意 $i\neq j$ ：

\boxed{ \operatorname{Cov}(\mu_i,\mu_j\mid X)=0 }

含义：

第 $i$ 个观测的随机扰动不会系统性地伴随第 $j$ 个观测的随机扰动一起变化。

这两个条件合在一起，可以写成误差项的条件方差—协方差结构：

\operatorname{Var}(\boldsymbol\mu\mid X)=\sigma^2I

假设 5：随机扰动项服从正态分布#

课件给出：

\boxed{ \mu_i\mid X\sim N(0,\sigma^2) }

正态性与经典线性回归模型

也就是说，给定 $X$ ：

均值为 0；
方差为 $\sigma^2$ ；
服从正态分布。

关于“高斯—马尔可夫假设”的教材口径#

课件把五条整体称作经典 / 高斯假设。按照第五版教材更严格的区分：

前面的核心线性模型与零条件均值、同方差、无相关等条件构成 Gauss–Markov 框架；
正态性主要用于得到有限样本下的精确分布与后续 $t/F$ 检验；
OLS 成为 BLUE 本身并不依赖正态性。

因此复习时可以记成：

“经典线性回归模型”通常带上正态性；证明 Gauss–Markov 的 BLUE 性质时，核心条件不包含正态性。

由经典假设得到 Y 的条件分布#

总体模型：

Y_i=\beta_0+\beta_1X_i+\mu_i

在给定 $X$ 后， $\beta_0,\beta_1,X_i$ 都按常数处理，随机性来自 $\mu_i$ 。

课件用相同形状的分布围绕总体回归线来表示这一点。

随机扰动围绕总体回归线分布

1. 条件均值#

因为：

E(\mu_i\mid X)=0

所以：

\boxed{ E(Y_i\mid X)=\beta_0+\beta_1X_i }

2. 条件方差#

因为：

\operatorname{Var}(\mu_i\mid X)=\sigma^2

所以：

\boxed{ \operatorname{Var}(Y_i\mid X)=\sigma^2 }

3. 不同观测间的条件协方差#

当 $i\neq j$ ：

\boxed{ \operatorname{Cov}(Y_i,Y_j\mid X)=0 }

4. 条件分布#

如果：

\mu_i\mid X\sim N(0,\sigma^2)

则：

\boxed{ Y_i\mid X\sim N(\beta_0+\beta_1X_i,\sigma^2) }

由误差项分布推出 Y 的条件分布

这张图与本节最开始“条件分布”的概念首尾呼应：

对每一个给定的 $X_i$ ， $Y_i$ 都有自己的条件分布；这些条件分布的均值恰好落在总体回归线上。

如何评价一个估计量#

$\hat\beta_0,\hat\beta_1$ 都是样本的函数，因此是统计量。

当重新抽取样本时，样本数据会变化，因此：

\hat\beta_0,\hat\beta_1

也会随样本变化。

要判断一个估计方法是否“好”，主要看：

线性性（linearity）：估计量能否表示为样本 $Y_i$ 的线性组合；
无偏性（unbiasedness）：估计量的期望是否等于真实参数；
有效性（efficiency）：在线性无偏估计量中是否具有最小方差；
一致性（consistency）：样本容量趋于无穷时是否依概率收敛到真实参数。

课件把线性、无偏、有效汇总如下。

OLS 估计量的统计性质

其中经典的 Gauss–Markov 结论是：

在相应基本假设下，OLS 是 BLUE：Best Linear Unbiased Estimator，最佳线性无偏估计量。

本节课只证明到线性性和无偏性。

OLS 估计量的线性性#

1. 先处理 $\hat\beta_1$ #

由离差形式：

\hat\beta_1 =\frac{\sum x_i y_i}{\sum x_i^2}

又因为：

y_i=Y_i-\bar Y

所以：

\sum x_i y_i =\sum x_i(Y_i-\bar Y) =\sum x_iY_i-\bar Y\sum x_i

离差和满足：

\sum x_i=0

因此：

\hat\beta_1 =\frac{\sum x_iY_i}{\sum x_i^2}

定义：

k_i=\frac{x_i}{\sum x_i^2}

于是：

\boxed{ \hat\beta_1=\sum_{i=1}^n k_iY_i }

OLS 斜率估计量的线性性

给定一组 $X$ 后， $x_i$ 与 $k_i$ 都可以当作常数，因此：

$\hat\beta_1$ 是随机变量 $Y_i$ 的线性组合。

这就是估计量的线性性。

同时有两个后面会反复用到的恒等式：

\boxed{\sum k_i=0}

以及：

\boxed{\sum k_iX_i=1}

2. $\hat\beta_0$ 也具有线性性#

由：

\hat\beta_0=\bar Y-\hat\beta_1\bar X

代入：

\bar Y=\frac1n\sum Y_i, \qquad \hat\beta_1=\sum k_iY_i

可得：

\hat\beta_0 =\sum_{i=1}^n \left(\frac1n-\bar Xk_i\right)Y_i

因此 $\hat\beta_0$ 同样是 $Y_i$ 的线性组合。

3. 与正态分布的关系#

在正态性假设下：

Y_i\mid X\sim N(\beta_0+\beta_1X_i,\sigma^2)

正态随机变量的线性组合仍服从正态分布，因此：

\hat\beta_0\mid X, \quad \hat\beta_1\mid X

也服从正态分布。

TIP
“估计量具有线性性”这件事本身来自 OLS 公式；正态性用于进一步确定其概率分布。

OLS 估计量的无偏性#

无偏性的目标是证明：

E(\hat\beta_1\mid X)=\beta_1

以及：

E(\hat\beta_0\mid X)=\beta_0

1. 证明 $\hat\beta_1$ 无偏#

由：

\hat\beta_1=\sum k_iY_i

代入总体模型：

Y_i=\beta_0+\beta_1X_i+\mu_i

得到：

\hat\beta_1 =\sum k_i(\beta_0+\beta_1X_i+\mu_i)

整理：

\hat\beta_1 =\beta_0\sum k_i +\beta_1\sum k_iX_i +\sum k_i\mu_i

利用：

\sum k_i=0, \qquad \sum k_iX_i=1

得到：

\boxed{ \hat\beta_1 =\beta_1+\sum k_i\mu_i }

对给定 $X$ 求条件期望：

E(\hat\beta_1\mid X) =\beta_1+ \sum k_iE(\mu_i\mid X)

经典假设给出：

E(\mu_i\mid X)=0

因此：

\boxed{ E(\hat\beta_1\mid X)=\beta_1 }

所以 $\hat\beta_1$ 是 $\beta_1$ 的无偏估计量。

OLS 估计量无偏性的课堂推导

2. $\hat\beta_0$ 同理无偏#

由：

\hat\beta_0=\bar Y-\hat\beta_1\bar X

结合：

E(\bar Y\mid X)=\beta_0+\beta_1\bar X

以及：

E(\hat\beta_1\mid X)=\beta_1

得到：

\boxed{ E(\hat\beta_0\mid X)=\beta_0 }

3. 无偏性的直观含义#

单次抽样中：

\hat\beta_1

通常不会恰好等于：

\beta_1

但如果从同一个总体中反复抽取大量样本，每个样本都计算一次 $\hat\beta_1$ ，这些估计值的分布中心落在真实的 $\beta_1$ 上。

这就是“无偏”。

关于“给定 X”的理解#

课堂最后专门解释了一个容易卡住的问题：

$X$ 在社会经济数据中可以是随机变量，为什么推导时又把 $X_i$ 、 $x_i$ 、 $k_i$ 当成常数？

关键在于我们讨论的是条件分布。

抽样之前：

$X$ 可以是随机的。

抽到一组样本以后，在条件：

X=(X_1,\ldots,X_n)

之下：

这一组已经实现的 $X_i$ 被视为给定数值；
因此 $x_i$ 、 $k_i$ 等 $X$ 的函数也按常数处理；
此时 $Y_i$ 的随机性来自 $\mu_i$ 。

这就是：

E(\cdot\mid X)

这种条件推导的意义。

本节课的核心逻辑#

把整节课压缩成一条链：

1
真实总体中：
2
给定 X，Y 仍有一个条件分布
3
        ↓
4
条件均值 E(Y|X)
5
        ↓
6
总体回归函数 PRF
7
E(Y|X)=β0+β1X
8
        ↓
9
个体会偏离条件均值
10
μ=Y-E(Y|X)
11
        ↓
12
总体回归模型
13
Y=β0+β1X+μ
14
        ↓
15
总体太大 → 抽样
16
        ↓
17
得到 (Xi,Yi)
18
        ↓
19
寻找样本拟合线
20
Ŷ=β̂0+β̂1X
21
        ↓
22
OLS：min Σei²
23
        ↓
24
得到 β̂0、β̂1 与残差 e
25
        ↓
26
问题仍未结束：β̂ 是否可靠逼近 β？
27
        ↓
28
施加经典假设
29
        ↓
30
研究估计量的统计性质
31
        ↓
32
本节证明：线性性 + 无偏性
33
        ↓
34
下节：有效性 / 最小方差性

最核心的思维可以概括为：

OLS 负责“从样本点找线”，经典假设与统计理论负责“说明这条样本线为什么能够用来推断总体线”。

易混淆点#

1. 条件均值与个体值#

E(Y_i\mid X_i)

表示同一个 $X_i$ 水平下的总体平均值。

Y_i

表示某一个具体个体的实际值。

二者关系：

Y_i=E(Y_i\mid X_i)+\mu_i

2. 总体回归函数与总体回归模型#

总体回归函数：

E(Y_i\mid X_i)=\beta_0+\beta_1X_i

总体回归模型：

Y_i=\beta_0+\beta_1X_i+\mu_i

后者包含个体偏离平均关系的随机扰动项。

3. $\beta$ 与 $\hat\beta$ #

$\beta_0,\beta_1$ ：总体固定但未知的参数；
$\hat\beta_0,\hat\beta_1$ ：由随机样本计算得到的估计量，因此会随样本变化。

4. $\mu_i$ 与 $e_i$ #

$\mu_i$ ：总体随机扰动项，不可直接观测；
$e_i$ ：样本残差，回归之后可以计算。

\mu_i=Y_i-E(Y_i\mid X_i)

e_i=Y_i-\hat Y_i

5. $E(\mu_i)=0$ 与 $\sum e_i=0$ #

$E(\mu_i)=0$ ：总体概率假设；
$\sum e_i=0$ ：含截距 OLS 的样本代数结果。

这两句话来源完全不同。

6. “X 是随机变量”与“给定 X 后把 X 当常数”#

二者可以同时成立：

抽样前， $X$ 可以随机；
条件于已经实现的样本 $X$ 后， $X_i$ 在条件推导中按常数处理。

7. 拟合得出一条线与统计推断成立#

得到 OLS 线只解决了样本内部拟合。

要进一步说：

\hat\beta\text{ 能可靠估计 }\beta

还需要模型设定、外生性、同方差等统计条件。

8. 相关系数与回归斜率#

\hat\beta_1=r_{XY}\frac{s_Y}{s_X}

所以：

二者方向一致；
斜率还依赖变量尺度；
回归系数具有量纲，相关系数没有量纲。

公式速查#

总体部分#

条件均值：

E(Y_i\mid X_i)=\beta_0+\beta_1X_i

随机扰动项：

\mu_i=Y_i-E(Y_i\mid X_i)

总体回归模型：

Y_i=\beta_0+\beta_1X_i+\mu_i

样本部分#

样本回归函数：

\hat Y_i=\hat\beta_0+\hat\beta_1X_i

残差：

e_i=Y_i-\hat Y_i

样本回归模型：

Y_i=\hat\beta_0+\hat\beta_1X_i+e_i

OLS#

目标函数：

\min_{\hat\beta_0,\hat\beta_1} \sum e_i^2

斜率：

\boxed{ \hat\beta_1= rac{\sum x_i y_i}{\sum x_i^2} }

截距：

\boxed{ \hat\beta_0=\bar Y-\hat\beta_1\bar X }

协方差形式：

\boxed{ \hat\beta_1=\frac{\operatorname{Cov}(X,Y)}{\operatorname{Var}(X)} }

经典假设#

模型设定：

Y_i=\beta_0+\beta_1X_i+\mu_i

解释变量有变异：

\frac1n\sum (X_i-\bar X)^2\to Q, \qquad 0<Q<\infty

条件零均值：

\boxed{E(\mu_i\mid X)=0}

条件同方差：

\boxed{\operatorname{Var}(\mu_i\mid X)=\sigma^2}

无序列相关：

\boxed{\operatorname{Cov}(\mu_i,\mu_j\mid X)=0,\ i\neq j}

正态性：

\boxed{\mu_i\mid X\sim N(0,\sigma^2)}

因此：

\boxed{Y_i\mid X\sim N(\beta_0+\beta_1X_i,\sigma^2)}

OLS 估计量性质：本节讲到这里#

定义：

k_i=\frac{x_i}{\sum x_i^2}

则：

\hat\beta_1=\sum k_iY_i

且：

\sum k_i=0, \qquad \sum k_iX_i=1

线性性：

\hat\beta_1=\sum k_iY_i

无偏性：

\boxed{E(\hat\beta_1\mid X)=\beta_1}

\boxed{E(\hat\beta_0\mid X)=\beta_0}

本节结束位置#

本节课最后停在：

OLS 估计量的无偏性证明。

老师明确说明：

本节先讲到无偏性；
有效性 / 最小方差性下节课继续。

因此复习时建议把本节分成三层：

概念层：PRF、SRF、 $\mu_i$ 、 $e_i$ ；
计算层：OLS、正规方程、离差形式；
推断层：经典假设、线性性、无偏性。

把这三层串起来以后，后面继续学习有效性、Gauss–Markov 定理、参数的概率分布与统计检验就会顺很多。

课程提醒#

概述#

目录#

教材框架与本节覆盖范围#

§2.1 回归分析概述#

条件分布与条件期望#

1. YYY 的条件分布#

2. 条件期望#

总体回归函数 PRF#

1. 总体回归函数描述什么？#

2. 线性总体回归函数#

3. β1\beta_1β1​ 的经济含义#

随机扰动项与总体回归模型#

为什么要引入随机扰动项#

1. 未知的影响因素#

2. 代表残缺数据#

3. 众多细小影响因素#

4. 变量观测值的测量误差#

5. 模型关系的设定误差#

6. 变量本身的内在随机性#

从总体到样本#

样本回归函数 SRF 与残差#

1. 样本回归函数#

2. 残差#

总体与样本的对应关系#

回归推断的两阶段路线#

第一阶段：找到样本拟合线#

第二阶段：判断样本线能否逼近总体线#

§2.2 一元线性回归模型的参数估计#

普通最小二乘法 OLS#

为什么用平方？#

正规方程与参数估计公式#

离差形式#

OLS 的三个重要结果#

结果 1：参数估计量#

结果 2：残差与常数项、解释变量正交#

结果 3：回归线必经过样本均值点#

离差形式#

家庭消费例：完整 OLS 计算#

1. 计算样本均值#

2. 计算离差乘积和、离差平方和#

3. 求斜率#

4. 求截距#

5. 经济含义#

斜率与协方差、相关系数的关系#

§2.3 基本假设与 OLS 的统计性质#

为什么需要经典假设#

假设 1：模型设定正确#

假设 2：解释变量具有变异性#

假设 3：随机扰动项条件均值为 0#

推论 1：随机扰动项无条件均值为 0#

推论 2：解释变量与扰动项不相关#

一个非常容易混淆的点#

假设 4：同方差且无序列相关#

1. 条件同方差#

2. 无序列相关#

假设 5：随机扰动项服从正态分布#

关于“高斯—马尔可夫假设”的教材口径#

由经典假设得到 Y 的条件分布#

1. 条件均值#

2. 条件方差#

3. 不同观测间的条件协方差#

4. 条件分布#

如何评价一个估计量#

OLS 估计量的线性性#

1. 先处理 β^1\hat\beta_1β^​1​#

2. β^0\hat\beta_0β^​0​ 也具有线性性#

3. 与正态分布的关系#

OLS 估计量的无偏性#

1. 证明 β^1\hat\beta_1β^​1​ 无偏#

2. β^0\hat\beta_0β^​0​ 同理无偏#

3. 无偏性的直观含义#

关于“给定 X”的理解#

本节课的核心逻辑#

易混淆点#

1. 条件均值与个体值#

2. 总体回归函数与总体回归模型#

3. β\betaβ 与 β^\hat\betaβ^​#

4. μi\mu_iμi​ 与 eie_iei​#

5. E(μi)=0E(\mu_i)=0E(μi​)=0 与 ∑ei=0\sum e_i=0∑ei​=0#

1. $Y$ 的条件分布#

3. $\beta_1$ 的经济含义#

1. 先处理 $\hat\beta_1$ #

2. $\hat\beta_0$ 也具有线性性#

1. 证明 $\hat\beta_1$ 无偏#

2. $\hat\beta_0$ 同理无偏#

3. $\beta$ 与 $\hat\beta$ #

4. $\mu_i$ 与 $e_i$ #

5. $E(\mu_i)=0$ 与 $\sum e_i=0$ #