1. 为什么估计完回归直线后，还要衡量拟合优度？#

已知一元线性回归模型：

用普通最小二乘法（OLS）得到样本回归函数：

其中：

• $Y_i$：真实观测值；$\hat Y_i$：回归线给出的拟合值；$e_i$：残差。
• OLS 选择 $\hat\beta_0,\hat\beta_1$，使残差平方和 $\sum e_i^2$ 最小。
• 不同样本、不同变量关系都可能得到一条回归线；还要评价这条线在给定样本中的拟合程度。

2. 总离差分解：$TSS=ESS+RSS$#

令 $\bar Y$ 为样本均值，$y_i=Y_i-\bar Y$，$\hat y_i=\hat Y_i-\bar Y$。则：

直观地看，在同一个 $X_i$ 处，$Y_i$ 到样本均值 $\bar Y$ 的竖直距离，可以拆成“回归拟合值到均值的距离”与“观测值到拟合值的距离”。

两边平方再加总：

对于包含截距项的OLS回归，正规方程保证：

由于 $\hat Y_i-\bar Y=\hat\beta_1(X_i-\bar X)$，交叉项为零：

因此：

TIP

为什么不能直接比较两个模型的 RSS 大小？

RSS 受 $Y$ 的量纲和原始波动大小影响。将它与同一样本、同一个被解释变量的 TSS 相比，能获得更便于解释的相对拟合指标。改变被解释变量或样本时，比较 $R^2$ 也需要谨慎。

3. 可决系数 $R^2$#

在含截距项的OLS模型且 $TSS>0$ 时：

• $0\le R^2\le1$；$R^2=1$ 为样本完全拟合；越接近 1，样本拟合通常越紧密。
• 例如 $R^2=0.80$，表示样本中 $Y$ 围绕均值的平方离差约有80%被该回归解释。
• $R^2$ 是样本统计量，换一个样本可能得到不同结果。

需要区分：$R^2$ 高不能单独证明因果关系成立，也无法保证模型设定正确、预测一定准确。

4. $R^2$ 与样本相关系数 $r$ 的关系#

一元含截距项OLS中，令 $x_i=X_i-\bar X$，$y_i=Y_i-\bar Y$，有：

于是：

其中：

注意 $R^2$ 丢失了方向信息：正相关或负相关都可能得到较大的 $R^2$；关系方向要看 $\hat\beta_1$ 的正负。

WARNING

课件公式 $R^2=r^2$ 的适用条件是一元、包含截距项、用OLS估计。在多元回归、无截距回归或其他估计方法中，不能不加条件直接套用。

1. 为什么 $\hat\beta$ 的数值还不足以判断显著性？#

例如某次样本估计得到 $\hat\beta_1=0.67$，这只能说明这组样本中的回归斜率是 $0.67$。换样本后，斜率可能变化。为了判断总体中的 $\beta_1$ 是否可能为零，必须知道估计量的抽样分布和标准误。

• 总体参数 $\beta_0,\beta_1$：未知、固定的真实参数。
• 估计量 $\hat\beta_0,\hat\beta_1$：随抽样变化的随机变量。
• 估计值：从这一组实际样本计算出的具体数字（如 $0.67$）。
• 标准误 $se(\hat\beta_j)$：估计量抽样波动大小的估计值；越小通常代表估计越精确。

2. 本堂课用到的基本假设#

课件从OLS估计量服从正态分布出发，其依据来自教材§2.3。常规经典线性回归讨论包括：

1. 模型函数形式与解释变量的选取恰当；
2. $X$ 在样本中有变异（$\sum(X_i-\bar X)^2>0$）；
3. 随机干扰项条件均值为零：$E(\mu_i\mid X)=0$；
4. 随机干扰项具有条件同方差 $\operatorname{Var}(\mu_i\mid X)=\sigma^2$，不同观测间无条件相关（在给定解释变量后）；
5. 做经典小样本精确 $t$ 推断时还使用条件正态性 $\mu_i\mid X\sim N(0,\sigma^2)$。

这里 $X$ 表示给定的解释变量样本向量。前述假设成立时，$\hat\beta_j$ 对总体参数无偏，且具有相应的抽样分布；有关假设失效会影响传统标准误和显著性检验的可靠性。

3. OLS估计量的方差#

记 $S_{xx}=\sum(X_i-\bar X)^2=\sum x_i^2$，则条件于解释变量样本：

所以真实标准差为：

总体误差方差 $\sigma^2$ 未知，用残差估计：

自由度 $n-2$ 的来源：样本中估计了截距 $\beta_0$ 与斜率 $\beta_1$ 两个参数，残差因此满足两项OLS约束。

将 $\sigma$ 替换为 $\hat\sigma$，得到实际可算的标准误：

TIP

记住斜率标准误的结构：

$se(\hat\beta_1)=\frac{\hat\sigma}{\sqrt{\sum(X_i-\bar X)^2}}$

在其他条件相近时，残差波动越小、$X$ 的离散程度越大，估计斜率通常越精确。

1. 假设检验到底在检验什么？#

回归分析希望判断：解释变量 $X$ 对被解释变量 $Y$ 的总体线性关系是否显著。对于一元回归，关键是检验总体斜率 $\beta_1$。

原假设（Null hypothesis）与备择假设（Alternative hypothesis）：

• $H_0$：总体线性回归斜率为零；
• $H_1$：总体线性回归斜率不为零；
• 零假设下，样本斜率即使不完全为零，也可能来自抽样误差。

2. 检验思想：反证法与“小概率事件”#

按照课件的表述，假设检验的直觉是：先按 $H_0$ 成立来计算概率，再观察样本结果是否过于极端。

若 $H_0$ 成立时，如此极端的统计量很难出现，就倾向于拒绝 $H_0$。但要注意：拒绝或不拒绝原假设始终存在统计错误的可能。

• 第一类错误：$H_0$ 实际正确，却拒绝了它；显著性水平 $\alpha$ 控制此错误的概率。
• 第二类错误：$H_0$ 实际错误，却没有拒绝它。
• 不拒绝 $H_0$ 只表示当前证据不足以拒绝它，不能推出 $H_0$ 已被证明为真。

3. 构造 $t$ 统计量#

若检验一般假设 $H_0:\beta_1=\beta_1^*$：

检验是否等于零时，$\beta_1^*=0$：

这一比值表示：估计值距离零有几个标准误。绝对值越大，越不容易用抽样波动来解释。

同样可以检验截距项：

$t_0=\frac{\hat\beta_0-\beta_0^*}{se(\hat\beta_0)}$

为什么是 $t(n-2)$？由于 $\sigma$ 未知，需要用 $\hat\sigma$ 代替；在经典正态假设下，标准化估计量便服从自由度为 $n-2$ 的 $t$ 分布。

4. 临界值法（双侧检验）#

以 $H_0:\beta_1=0$、$H_1:\beta_1\ne0$ 为例：

1. 指定显著性水平 $\alpha$，常见取值为 $0.10$、$0.05$、$0.01$。
2. 计算 $t_{obs}=\hat\beta_1/se(\hat\beta_1)$。
3. 查 $t$ 分布表，找到自由度 $n-2$ 下的双侧临界值 $t_{\alpha/2,n-2}$。
4. 当 $|t_{obs}|>t_{\alpha/2,n-2}$ 时，拒绝 $H_0$；否则不拒绝。

图示中，两端各留出 $\alpha/2$ 的拒绝域，中间为概率 $1-\alpha$ 的不拒绝域。

WARNING

课件说“接受 $H_0$”时，按较严谨的统计术语理解为未能拒绝 $H_0$。在论文和作业中建议使用“拒绝/不拒绝原假设”的表述。

5. $p$ 值法：与临界值法等价的另一种判断#

对于双侧检验：

也就是：在 $H_0$ 成立的前提下，观察到至少和本次样本同样极端的统计量的概率。

• 若 $p<\alpha$，拒绝 $H_0$；
• 若 $p\ge\alpha$，不拒绝 $H_0$。

例：$p=0.013$。

• 与 $\alpha=0.05$ 比较：$0.013<0.05$，在5%水平下显著；
• 与 $\alpha=0.01$ 比较：$0.013>0.01$，在1%水平下未达到显著。

$p$ 值的常见误解：$p=0.013$ 表示“原假设为真的概率只有1.3%”是错误的。$p$ 值的定义始终以原假设成立为前提。

1. 题目与原始数据#

本节反复使用教材家庭“可支配收入 $X$—消费支出 $Y$”的10组观测值，构造线性模型：

$Y_i=\beta_0+\beta_1X_i+\mu_i$

由原始数据计算（数据、输出以课件和教材表格为准）：

2. 第一步：用OLS计算回归系数#

因此：

• 斜率 $0.67$：样本中，可支配收入每增加1单位，平均拟合消费增加 $0.67$ 单位。
• 截距 $142.4$：回归线在 $X=0$ 时的拟合值；若样本不覆盖 $X=0$，其经济解释需要谨慎。

3. 第二步：计算 $R^2$#

解释：约 99.35% 的样本消费支出总平方离差可以由该样本线性回归解释，拟合优度很高。

WARNING

课件数值的精度差异

第3页把 $R^2$ 写成 0.9934，Stata 输出和教材采用 0.9935。根据所列精确平方和计算，四位小数应是 0.9935；复习时以原始平方和及Stata输出为准。

课件第2页同时展示 $Y$ 与另一组 $Y_1$ 各自对 $X$ 的回归：$R^2$ 约分别为 0.9935 与 0.9762。它们用于说明不同数据的拟合紧密程度。由于两次回归的被解释变量不同，不宜仅凭这两个 $R^2$ 排名来决定哪个模型更有经济解释力。

4. 第三步：估计随机干扰项的方差#

由此：

5. 第四步：显著性检验#

分别检验：

用未过早舍入的标准误：

设 $\alpha=0.05$，$df=n-2=8$，双侧临界值为：

$t_{0.025,8}=2.306$

• 斜率检验：$|34.92|>2.306$，拒绝 $\beta_1=0$；可支配收入对消费的总体线性影响在5%水平下显著。
• 截距检验：$|3.20|>2.306$，拒绝 $\beta_0=0$；截距在5%水平下显著。

WARNING

两个需要辨认的课件排版 / 舍入问题

1. 课件第13页有一处将截距 $t_0$ 计算式写成了 负号，但 $\hat\beta_0=142.4>0$，标准误也为正，所以正确结果是 $t_0\approx+3.20$。即便做双侧检验时比较 $|t_0|$，也应确保统计量符号正确。
2. 教材的部分演算先把斜率标准误简写为 $0.019$，于是出现 $0.67/0.019\approx35.26$。Stata 使用更高精度标准误，得到 34.92。实际报告统计量时，建议保留充分精度再计算。

6. 用p值和回归输出再次核验#

课件Stata回归表给出：

软件显示 0.000 或 0.0000 表示 p值极小、被四舍五入为零，并不代表数学上恰好等于零。截距的 $p=0.013$ 表明其在5%水平下显著，在1%水平下不显著。

1. 为什么还要估计区间？#

显著性检验关心能否拒绝某个假设值。参数的**区间估计（interval estimation）**则试图说明：在既定置信水平下，按照一个覆盖率受到控制的构造规则，可能得到多宽的参数区间。

课件先引入形式：

$P(\hat\beta-\delta\le\beta\le\hat\beta+\delta)=1-\alpha$

这里应按重复抽样理解概率：总体参数 $\beta$ 是固定值，随机性来自区间端点随样本变化。比如“95%置信区间”，严格地说，指采用这一构造方法反复抽样，长期来看约有95%的区间覆盖真实参数。

• $1-\alpha$：置信水平（confidence level），常见为95%、99%。
• $\alpha$：显著性水平。
• $t_{\alpha/2,n-2}$：在双侧区间中使用的临界值。

2. 推导参数置信区间#

根据：

两侧各取 $\alpha/2$，有：

把不等式移项，得到：

3. 课堂案例：99%参数置信区间#

给定 $\alpha=0.01$，自由度 $df=8$，查表得：

$t_{0.005,8}\approx3.355387\quad(\text{表中常简写为 }3.355)$

对斜率：

对截距：

课件与Stata使用更精确的临界值，故截距区间端点约为 $(-6.736,291.536)$；若先把临界值舍入成 $3.355$，区间端点会产生约 $0.017$ 的差异。

结论：

• 斜率的99%置信区间不包含零，相应双侧1%显著性检验拒绝斜率为零。
• 截距的99%置信区间包含零，相应双侧1%显著性检验不拒绝截距为零。
• 95%置信区间会比99%区间窄，因为95%对应的临界值更小。

TIP

置信区间与显著性检验的联系：对于检验 $H_0:\beta_j=0$ 的双侧 $t$ 检验，若同一置信水平 $1-\alpha$ 的置信区间不包含0，就在显著性水平 $\alpha$ 下拒绝 $H_0$。

4. 什么因素会影响置信区间宽度？#

从半宽度 $t_{\alpha/2,n-2}se(\hat\beta_j)$ 出发：

• 增大样本容量 $n$：在常规可比条件下通常减小标准误，并使$t$临界值趋向正态临界值。
• 降低误差方差 $\sigma^2$：样本观测更紧贴总体关系，参数标准误通常更小。
• 增加 $X$ 的样本离散程度 $S_{xx}$：斜率标准误随之下降。
• 降低置信水平（如99%改为95%）：临界值下降，区间变窄，但覆盖率要求同时降低。

课件第18页把“拟合程度提高”列为收窄区间的方向。理解时需要补上其他条件相同这一前提：单纯追求高 $R^2$、扩大样本中的变量范围，并不能自动保证估计符合因果解释或经典假设。

1. 回归表上半部分：平方和与整体拟合#

关于课件出现但本节没有重点推导的两个字段：

• 调整 $R^2$：校正解释变量数目对普通 $R^2$ 的影响。对于含截距的一元回归，$\bar R^2=1-\dfrac{RSS/(n-2)}{TSS/(n-1)}$。
• F检验：在一元含截距回归中，检验 $\beta_1=0$ 时有 $F=t_1^2$，例如 $34.92^2\approx1219.4$；因精度不同会略有差异。更系统的F检验会在多元回归中展开。

2. 回归表下半部分：系数与统计推断#

• Coef.：$\hat\beta_j$，参数估计值；
• Std. Err.：$se(\hat\beta_j)$，标准误；
• t：系数除以标准误（当 $H_0:\beta_j=0$）；
• P>|t|：对应的双侧p值；
• [95% Conf. Interval]：系数的95%置信区间；
• _cons：常数项、截距 $\hat\beta_0$。

本例中，如果只看到 x 的一行 0.67 / 0.0191891 / 34.92 / 0.000，就应立即能读出：估计斜率0.67，估计精度较高，拒绝斜率为0的原假设。

1. 两种预测对象：总体条件均值 vs. 总体个值#

这一节最容易混淆的地方是：给定 $X=X_0$，我们可以预测两种对象。

A. 条件均值（conditional mean）

$m(X_0)=E(Y\mid X=X_0)=\beta_0+\beta_1X_0$

问的是：所有收入为 $X_0$ 的家庭，其平均消费会是多少？

B. 个别值（individual value）

$Y_0=\beta_0+\beta_1X_0+\mu_0$

问的是：某一个收入为 $X_0$ 的家庭，实际消费会是多少？

两者都使用同一个点预测：

区别在于：预测个别值时，除回归参数的估计误差外，还包含该个体自身的随机扰动 $\mu_0$。

2. 为什么 $\hat Y_0$ 是无偏的点预测？#

由OLS参数的无偏性：

在预测新个体时，若该个体随机扰动也满足零均值并与训练样本相应独立，那么：

$E(\hat Y_0-Y_0\mid X,X_0)=0$

因此 $\hat Y_0$ 对条件均值和新个体的真实值都具有无偏预测的性质；个体预测的实际误差仍然可能很大。

3. 条件均值预测的方差：为什么出现 $1/n$ 与 $(X_0-\bar X)^2$？#

先从：

$\hat Y_0=\hat\beta_0+X_0\hat\beta_1$

求方差（$X_0$ 给定）：

由OLS：

代入并合并平方：

直观解释：

• $1/n$：样本容量有限，平均水平仍有估计误差；
• $(X_0-\bar X)^2/S_{xx}$：预测点 $X_0$ 越远离样本中心 $\bar X$，估计直线的不确定性通常越大；
• $S_{xx}$ 越大（在其他条件相近时），参数估计误差通常越小。

4. 条件均值的置信区间#

用 $\hat\sigma^2$ 代替 $\sigma^2$：

故在 $1-\alpha$ 置信水平下：

这条区间描述给定收入水平 $X_0$ 的平均消费可能落在哪个区间。

5. 个别值的预测区间：为什么比均值区间多了一个1？#

个别家庭的真实消费是：

$Y_0=\beta_0+\beta_1X_0+\mu_0$

预测误差：

当新个体误差与估计样本相互独立、同方差时，两项方差可以相加：

多出来的 $1$ 对应新个体自身的随机误差方差 $\sigma^2$。

于是其标准误为：

个别值预测区间（prediction interval）：

TIP

最快记忆方法：

$$\begin{array}{l} \text{均值：}\ \hat\sigma\sqrt{\color{blue}{\frac1n+\frac{(X_0-\bar X)^2}{S_{xx}}}}\\[5pt] \text{个值：}\ \hat\sigma\sqrt{\color{blue}{\frac1n+\frac{(X_0-\bar X)^2}{S_{xx}}}+\color{red}{1}} \end{array}$$

个值需要覆盖个体自己的不确定性，所以个值预测区间必然比对应均值置信区间更宽。

6. 教材案例的完整预测：收入 $X_0=1000$#

沿用回归结果：

假设需要预测收入为1000的家庭消费：

这既可用作该收入组的平均消费预测，也可作某个具体家庭消费的点预测。

（1）95%条件均值置信区间

因为 $t_{0.025,8}=2.306$：

（2）95%个别值预测区间

比较：点预测相同，均值置信区间约宽127，个别值预测区间约宽273。单个家庭消费还有自身随机因素，所以可能偏离同收入组平均值更远。

两组数值与教材§2.5的 $X_0=1000$ 例子对应。保留的中间位数不同，端点可能存在约0.1的舍入差异。

7. 预测区间的图形与宽度规律#

图中两条带状区域都围绕样本回归线分布：

• 中间较窄的带：条件均值的置信区间；
• 外侧较宽的带：个别值预测区间；
• 距离样本均值 $\bar X$ 越远，带越宽：更远处的预测更依赖估计斜率，估计不确定性增加；
• 在固定 $n$、$S_{xx}$、$\hat\sigma$ 和置信水平下，$X_0=\bar X$ 时带宽最窄。

课件第29页还列出缩小区间的条件：增加样本容量、降低残差波动、增加解释变量样本分散程度、优先在 $\bar X$ 附近预测。对于位于样本观察范围以外的 $X_0$，需要额外小心**外推预测（extrapolation）**可能遇到的函数形式失效问题。

1. 核心公式速查#

2. 最容易混淆的五组概念#

（1）拟合优度与显著性

• $R^2$：当前样本中，回归线解释了多少 $Y$ 的平方离差；
• $t$ / $p$：关于总体斜率的假设是否被当前样本证据拒绝。

（2）估计值与标准误

• $\hat\beta_1=0.67$：估计的影响大小；
• $se(\hat\beta_1)=0.0192$：斜率估计的不确定性。

（3）显著性水平与p值

• $\alpha$：分析者预先给出的判断阈值；
• $p$：按原假设和实际样本统计量算出的尾部概率。

（4）参数置信区间与预测区间

• 参数区间：针对未知的 $\beta_0,\beta_1$；
• 均值区间：针对 $E(Y\mid X_0)$；
• 个值区间：针对未来某一个 $Y_0$。

（5）统计显著与经济显著

• 统计显著说明样本证据有助于排除某个假设值；
• 经济显著还需结合系数大小、单位、理论机制和识别条件判断。

3. 做题时的标准步骤#

针对一元线性回归的综合题，推荐按以下顺序：

1. 写出模型及 $n,\bar X,\bar Y,S_{xx},S_{xy},S_{yy}$；
2. 求 $\hat\beta_0,\hat\beta_1$，写出样本回归方程；
3. 求 $ESS,RSS,R^2$，解释拟合优度；
4. 求 $\hat\sigma^2$ 与 $se(\hat\beta_0),se(\hat\beta_1)$；
5. 列出 $H_0,H_1,\alpha$，计算 $t$ 或 $p$，用“拒绝/不拒绝”给结论；
6. 根据置信水平计算参数区间；
7. 如需预测，先判断目标是均值还是个体，再选择正确的标准误公式。

WARNING

课件及公式使用边界

1. $R^2\in[0,1]$ 和 $R^2=r^2$ 均有特定的含截距OLS前提。
2. 小样本 $t$ 检验与预测区间的精确结论依赖经典模型假设；大样本推断还需相应的渐近条件。
3. $p<\alpha$ 意味着在给定检验下拒绝原假设，不直接证明因果关系。
4. $R^2$ 高、斜率显著，都不能排除遗漏变量、内生性、函数形式错误。
5. 预测个别值时，公式根号内必须有额外的 $1$。

自测1｜教材本章练习“证明一元回归的 $R^2=r^2$”#

题目（依据教材第2章练习有关要求整理）：证明一元含截距OLS回归中的可决系数 $R^2$ 等于 $X,Y$ 样本相关系数 $r$ 的平方。

解答：

从而：

要点：用到离差形式、样本平方和分解和包含截距的OLS性质。

自测2｜同时判断显著性与区间结论#

题目：样本量 $n=10$，得到某回归截距 $\hat\beta_0=142.4$，其标准误为 $44.4467$。$H_0:\beta_0=0$，给定 $\alpha=0.05$，$t_{0.025,8}=2.306$；若改为99%置信水平，$t_{0.005,8}=3.355$。问：是否在5%水平下显著？99%参数区间是否包含零？

解答：

因此在5%水平下拒绝 $H_0$。

99%区间为（使用未提前舍入的临界值）：

$142.4\pm3.355387\times44.4467\approx(-6.736,291.536)$

包含零，因此在1%水平下不拒绝 $H_0$。两个结论完全相容，因为检验标准不同。

自测3｜区分两类预测#

题目：在同一个 $X_0$ 处，为什么均值置信区间与个值预测区间具有相同中心，但个值区间更宽？

解答：两者均用 $\hat Y_0=\hat\beta_0+\hat\beta_1X_0$ 做点预测，区别在于个值还包含新个体的 $\mu_0$。若新个体误差和训练样本相应独立、具有方差 $\sigma^2$，预测误差方差就比均值估计误差方差多 $\sigma^2$，所以标准误公式根号中多一个 $1$，区间更宽。