- - .. --

第二章 一元线性回归分析

思考与练习参考答案

2.1 一元线性回归有哪些基本假定?

答： 假设1、解释变量X是确定性变量，Y是随机变量；

假设2、随机误差项ε具有零均值、同方差和不序列相关性： E(εi)=0 i=1,2, …,n Var (εi)=?2 i=1,2, …,n Cov(εi, εj)=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X之间不相关： Cov(Xi, εi)=0 i=1,2, …,n

假设4、ε服从零均值、同方差、零协方差的正态分布 εi~N(0, ?2 ) i=1,2, …,n 2.2 考虑过原点的线性回归模型 Yi=β1Xi+εi i=1,2, …,n

误差εi（i=1,2, …,n）仍满足基本假定。求β1的最小二乘估计 解： 得：

?X)2?)2?(Y??Qe??(Yi?Y?ii1ii?1i?1nnn?Qe?X)X?0??2?(Yi??1ii???i?11???1?(XY)iii?1nn?(Xi)2i?12.3 证明（2.27式），?ei =0 ，?eiXi=0 。

????X))2?)??(Y?(?Q??(Yi?Yii01i211nn证明：

????X???其中： Yi01i

即： ?ei =0 ，?eiXi=0

word 可编辑.

?ei?Yi?Yi?Q?0???0?Q?0???1- - .. --

2.4回归方程E（Y）=β0+β1X的参数β0，β1的最小二乘估计与最大似然估计在什

么条件下等价?给出证明。

答：由于εi~N(0, ?2 ) i=1,2, …,n

所以Yi=β0 + β1Xi + εi~N（β0+β1Xi , ?2 ) 最大似然函数：

n L(?,?,?2)??nf(Y)?(2??2)?n/2exp{?1[Yi?(?0??1?0,Xi)]2}01i?1ii2?2?i?1 n1n222Ln{L(?0,?1,?)}??ln(2??)?[Y?(????,X)]?i010i22?2i?1

?就是β0，β1的最大似然估计值。 ?，?使得Ln（L）最大的?10同时发现使得Ln（L）最大就是使得下式最小，

上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在εi~N(0, ?2 )的假设下求得，最小二乘估计则不要求分布假设。

所以在εi~N(0, ?2 ) 的条件下， 参数β0，β1的最小二乘估计与最大似然估计等价。

????X))2?)2??(Y?(?Q??(Yi?Yii01i11nn?是β0的无偏估计。 2.5 证明?0nnXi?X1?)?E(Y???X)?E[证明：E(?Y?XYi) ??01ini?1Lxxi?1nXi?XX?X11?E[?(?X)Yi]?E[?(?Xi)(?0??1Xi ??i)]

nLnLi?1i?1xxxxnXi?XX?X11?E[?0??(?X)?i]??0??(?Xi)E(?i)??0LxxLxxi?1ni?1nnn2.6 证明 证明：

?)?(1?Var(?0nnX2??Xi?1ni?X?1X2)???(?)nLxx222nX?XXi?X211i?)?Var[(?XVar(?)Y]?[(?X)Var(?0??1Xi ??i)] ??0iLxxLxxi?1ni?1nword 可编辑.

- - .. --

Xi?XXi?X22121X22??[()?2X?(X)]??[?]?

nnLxxLxxnLxxi?1n2.7 证明平方和分解公式：SST=SSE+SSR

nn证明： 2?)?(Y??Y]2SST???Yi?Y???[Yi?Yiii?1i?1

??

??Y??Yii?1nn??2?)(Y??Y??)?2?Yi?Y?Yi?Yiiii?1i?1nn??n??2??i?1???Y2??)Y?Yi?Yiii?1???2?SSR?SSE2.8 验证三种检验的关系，即验证： （1）t?(n?2)r1?r2?2Lxx?SSR/121；（2）F? ??t2?SSE/(n?2)?rLyyLxxSSE(Lxx(n?2))n证明：（1）

?L???xxt???2???Lxx?（2）

nn?rLyySSE(n?2)?n?2rn?2r?

2SSESST1?r????x?y)?(y???(x?x)?y)?(??i?y)??(?SSR??(y???1(xi?x))2???12Lxx01i1i222i?1i?1i?1i?1n?2L?SSR/1?F??12xx?t2

?SSE/(n?2)?1(xi?x)222.9 验证（2.63）式：Var(ei)?(1??)?

nLxx证明：

?i)?var(yi)?var(y?i)?2cov(yi,y?i)var(ei)?var(yi?y????x)?2cov(y,y???(x?x))?var(y)?var(?i01ii1i(xi?x)21(xi?x)221????[?]?2?[?]nLxxnLxx22

1(xi?x)22?[1??]?nLxxword 可编辑.