第三章 多元线性回归与最小二乘估计
3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理
1、多元线性回归模型：
yt = ?0 +?1xt1 + ?2xt2 +…+ ?k- 1xt k -1 + ut (3.1) 其中yt是被解释变量（因变量），xt j是解释变量（自变量），ut是随机误差项，?i, i = 0, 1, … , k - 1是回归参数（通常未知）。
对经济问题的实际意义：yt与xt j存在线性关系，xt j, j = 0, 1, … , k - 1, 是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E( yt) = ?0 +?1xt1 + ?2xt2 +…+ ?k- 1xt k -1 决定的k维空间平面。
当给定一个样本（yt , xt1, xt2 ,…, xt k -1）, t = 1, 2, …, T时, 上述模型表示为 y1 = ?0 +?1x11 + ?2x12 +…+ ?k- 1x1 k -1 + u1,
y2 = ?0 +?1x21 + ?2x22 +…+ ?k- 1x2 k -1 + u2, (3.2) ………..
yT = ?0 +?1x T 1 + ?2x T 2 +…+ ?k- 1x T k -1 + uT
经济意义：xt j是yt的重要解释变量。 代数意义：yt与xt j存在线性关系。 几何意义：yt表示一个多维平面。 此时yt与x t i已知，?j与 ut未知。
?1?y1??1?y?2????????????y?T?(T?1)??1x11?x1jx21?x2j???xT1?xTj?x1k?1???0??u1?????u??x2k?1?1??? (3.3) ??2????????????????xTk?1???(T?k)?k?1?(k?1)?uT?(T?1) Y = X ? + u (3.4)
2假定条件
为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。
假定 ⑴ 随机误差项ut是非自相关的，每一误差项都满足均值为零，方差 ?2相同且为有限值，即
?100??0?????220?0?? E(u) = 0 = ???, Var (u) = E(uu' ) = ? I = ? ?? ??001????0??假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u) = 0
假定 ⑶ 解释变量之间线性无关。 rk(X 'X) = rk(X) = k 其中rk(?)表示矩阵的秩。
假定⑷ 解释变量是非随机的，且当T → ∞ 时
T– 1X 'X → Q
其中Q是一个有限值的非退化矩阵。
3 最小二乘估计
最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。
minS = (Y - X??)' (Y - X??) = Y 'Y -??'X 'Y - Y ' X?? +??'X 'X??
= Y 'Y - 2??'X 'Y + ??'X 'X?? (3.5) 因为Y 'X??是一个标量，所以有Y 'X?? = ??'X 'Y。(1.5) 的一阶条件为：
?S= - 2X 'Y + 2X 'X??= 0 (3.6) ???化简得
X 'Y = X 'X??
因为 (X 'X) 是一个非退化矩阵（见假定⑶），所以有
?= (X 'X)-1 X 'Y （3.7） ?因为X的元素是非随机的，(X 'X) -1X是一个常数矩阵，则??是Y的线性组合，为线性估计量。
求出??，估计的回归模型写为
2
? (3.9) Y = X??+u?) 称为残差列向量。?)' 是 ? 的估计值列向量，u? ?? … ??= (Y - X?其中??= (?因为 k?101?= Y - X (X 'X)-1X 'Y = [I - X (X 'X)-1 X ' ]Y ?= Y - X?u (3.10)
所以u?也是Y的线性组合。??的期望和方差是
E(??) = E[(X 'X)-1 X 'Y ] = E[(X 'X)-1X '(X? + u)]
= ? + (X 'X)-1X ' E(u) = ? (3.11)
由于：
??(X'X)?1X`Y?(X'X)?1X`(X??u)??(X'X)X`X??(X'X)X`u???(X'X)X`u?1?1?1
Var(??) = E[(??–?) (??–?)']= E[(X 'X)-1X ' u u' X (X 'X)-1]
= E[(X 'X)-1X ' ? 2I X (X 'X)-1] = ? 2 (X 'X)-1 (3.12) 例：3.1（P113）略
4高斯—马尔可夫定理：
高斯—马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量。??具有无偏性。??具有最小方差特性。??具有一致性，渐近无偏性和渐近有效性。
3.2 残差的方差
?2?e??2tT?k?et`et (3.13) T?k?2是? ? 的无偏估计量，E(??2 ) =? ?。 ?证明过程如下：
??Y?X(X`X)?1X`Y??I?X(X`X)?1X`?Y ??Y?X?e?Y?Y??记：I?X(X`X)?1X`=P
容易证明：P为对等幂矩阵，即P=P`，P2=P
?1?1??e??I?X(X`X)X`Y?I?X(X`X)X`?????(X??u)?Pu
var(e)?E(ee`)?E?Pu(Pu)`??E?P(uu`)P`??PE(uu`)P`?P(?I)P`?PP`??P?222
3