kok电子竞技

4.3多重共线性

Multi-Collinearity一、多重共线性的概念二、多重共线性的后果三、多重共线性的检验四、克服多重共线性的方法五、案例

一、多重共线性

1.概念对于模型

Yi=0+1X1i+2X2i++kXki+i

i=1,2,…,n

其基本假设之一是解释变量之间不存在完全共线性。如果某两个或多个解释变量之间出现了相关性,则称为多重共线性(Multicollinearity)。如果存在

c1X1i+c2X2i+…+ckXki=0i=1,2,…,n

其中:ci

不全为0，则称为解释变量间存在完全共线性（perfectmulticollinearity）。如果存在

c1X1i+c2X2i+…+ckXki+vi=0i=1,2,…,n

其中ci不全为0，vi为随机误差项，则称为近似共线性(approximatemulticollinearity)或交互相关(intercorrelated)。在矩阵表示的线性回归模型

Y=X+

中，完全共线性指：秩(X)<k+1，即中，至少有一列向量可由其他列向量（不包括第一列）线性表出。如：X2=X1，则X2对Y的作用可由X1代替。2.实际经济问题中的多重共线性

（1）经济变量相关的共同趋势

时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。

横截面数据：生产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。

（2）滞后变量的引入在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济关系。

例如，消费=f(当期收入,前期消费）

（3）样本资料的限制

一般经验：

时间序列数据样本：简单线性模型，往往存在多重共线性。

截面数据样本：问题不那么严重，但多重共线性仍然是存在的。二、多重共线性的后果

1.完全共线性下参数估计量不存在

如果存在完全共线性，则(X'X)-1不存在，无法得到参数的估计量。的OLS估计量为：前提条件是什么？例：对离差形式表示的二元回归模型如果两个解释变量完全相关，如x2=x1，则这时，只能确定综合参数1+2的估计值：

2.近似共线性下OLS估计量方差增大近似共线性下，可以得到OLS参数估计量，但参数估计量方差的表达式为由于|X'X|0，引起(X'X)-1主对角线元素较大，使OLS参数估计量方差增大。以二元线性模型

y=1x1+2x2+为例:为X1与X2的线性相关系数的平方r2r201X1和X2不相关X1和X2完全相关多重共线性使参数估计值的方差增大，1/(1-r2)为方差膨胀因子(VarianceInflationFactor,VIF)当完全不共线时,r2

=0

当近似共线时,0<

r2

<1当完全共线时，r2=1，方差膨胀因子表

3.参数估计量经济含义不合理如果模型中两个解释变量具有某种程度的线性相关性：

这时，X1和X2前的参数1、2并不反映各自与被解释变量之间的结构关系，而是反映它们对被解释变量的共同影响。

1、2失去了应有的经济含义，经常表现出似乎反常的现象：例如1本来应该是正的，结果恰是负的。4.变量的显著性检验效果不理想存在多重共线性时参数估计值的方差与标准差变大容易使通过样本计算的t

值小于临界值，误导作出参数为0的推断可能将重要的解释变量排除在模型之外5.模型的预测效果不理想变大的方差容易使区间预测的“区间”变大，使预测失去意义。问题：能否说，如果存在完全共线性，预测值的置信区间为(-∞，+∞)？

多重共线性检验的任务：（1）检验多重共线性是否存在；（2）估计多重共线性的范围，即判断哪些变量之间存在共线性。

多重共线性的检验方法主要是统计方法：如判定系数检验法、逐步回归检验法等。三、多重共线性的检验1.检验多重共线性是否存在

(1)对两个解释变量的模型,采用简单相关系数法求出X1与X2的简单相关系数r，若|r|接近1，则说明两变量存在较强的多重共线性。

(2)对多个解释变量的模型,采用综合统计检验法若在OLS法下：R2与F值较大，但t检验值较。裁矗咳粼贠LS法下：R2与F值较大，但t检验值较。得鞲鹘馐捅淞慷訷的联合线性作用显著，但各解释变量间存在共线性而使得它们对Y的独立作用不能分辨，故t检验不显著。DependentVariable:YIncludedobservations:18VariableCoefficientStd.Errort-StatisticProb.

C-12815.7514078.90-0.9102800.3806X16.2125620.7408818.3853730.0000X20.4213800.1269253.3199190.0061X3-0.1662600.059229-2.8070650.0158X4-0.0977700.067647-1.4452990.1740X5-0.0284250.202357-0.1404710.8906R-squared0.982798

Meandependentvar44127.11AdjustedR-squared0.975630

S.D.dependentvar4409.100S.E.ofregression688.2984

Akaikeinfocriterion16.16752Sumsquaredresid5685056.

Schwarzcriterion16.46431Loglikelihood-139.5077

Hannan-Quinncriter.16.20845F-statistic137.1164

Durbin-Watsonstat1.810512Prob(F-statistic)0.0000002.判明存在多重共线性的范围

(1)判定系数检验法使模型中每一个解释变量分别以其余解释变量为解释变量进行回归，并计算相应的拟合优度。如果某一回归

Xji=1X1i+2X2i+lXli+vi

的可决系数较大,说明Xj与其他X间存在共线性。进一步对上述出现较大判定系数回归方程作F检验：式中：Rj?2为第j个解释变量对其他解释变量的回归方程的可决系数。若存在较强的共线性，则Rj?2较大且接近于1，这时（1-Rj?2

）较。佣鳩j的值较大。

下一步如何判断？构造如下F统计量在模型中排除某一个解释变量Xj，估计模型；如果拟合优度与包含Xj时十分接近，则说明Xj与其它解释变量之间存在共线性。另一与判定系数法等价的检验:(2)逐步回归法以Y为被解释变量，逐个引入解释变量，构成回归模型，进行模型估计。

根据拟合优度的变化决定新引入的变量是否独立。

如果拟合优度变化显著，则说明新引入的变量是一个独立解释变量；

如果拟合优度变化很不显著，则说明新引入的变量与其它变量之间存在共线性关系。找出引起多重共线性的解释变量,将它排除出去。以逐步回归法得到最广泛的应用。注意：慎重对待排除法；采用这种方法要注意，剩余解释变量参数的经济含义和数值都发生了变化。四、克服多重共线性的方法

1、第一类方法：排除引起共线性的变量

2.第二类方法：差分法时间序列数据、线性模型：将原模型变换为差分模型:Yi=1X1i+2X2i++kXki+i

可以相对有效地消除原模型中的多重共线性。

一般讲，增量之间的线性关系远比总量之间的线性关系弱得多。例如:中国GDP与居民消费C的总量与增量数据YearGDPCONSCONS/GDPΔGDPΔCONSΔCONS/ΔGDP1980NA2976NANANANA1981490133090.675168NA333NA1982548936380.662785883290.5595241983607640210.6617845873830.652471984716446940.65522110886730.6185661985879257730.65662162810790.66277619861013365420.64561313417690.57345319871178474510.63229816519090.55057519881470493600.636561292019090.653767198916466105560.641079176211960.678774199018320113620.62019718548060.434736199121280131460.617763296017840.602703199225864159520.616765458428060.612129199334501201820.584969863742300.489753199447111272160.5776991261070340.557811199559405345290.5812471229473130.594843199668498401720.58647909356430.620587

由表中的比值可以直观地看到，增量的线性关系弱于总量之间的线性关系，可以部分克服共线性的问题。

进一步分析：

GDP与CONS(-1)之间的可决系数为0.988，△GDP与△CONS(-1)之间的可决系数为0.846

一般认为，两个变量之间的可决系数大于0.8时，二者之间存在强烈的线性关系。

原模型和差分模型经过检验都具有多重共线性，但程度不同。3.第三类方法：减小参数估计量的方差**

多重共线性的主要后果是参数估计量具有较大的方差，所以采取适当方法减小参数估计量的方差，虽然没有消除模型中的多重共线性，但确能相对消除多重共线性造成的后果。例如：①增加样本容量，可使参数估计量的方差减小。*②岭回归法（RidgeRegression）*②岭回归法（RidgeRegression）岭回归法，以引入偏误为代价减小参数估计量的方差。具体方法是：引入矩阵D，使参数估计量为其中矩阵D一般选择为主对角阵，即

D=aI

a为大于0的常数。显然，与未含D的参数B的估计量相比，(*)式的估计量有较小的方差。五、案例:中国粮食生产函数根据理论和经验分析，影响粮食生产（Y）的主要因素有：农业化肥施用量（X1）；粮食播种面积(X2)

成灾面积(X3)；农业机械总动力(X4);

农业劳动力(X5)已知中国粮食生产的相关数据，建立中国粮食生产函数：Y=0+1X1+2X2+3X3

+4X4

+4X5

+中国粮食生产与相关投入资料情况表DependentVariable:YIncludedobservations:18VariableCoefficientStd.Errort-StatisticProb.

C-12815.7514078.90-0.9102800.3806X16.2125620.7408818.3853730.0000X20.4213800.1269253.3199190.0061X3-0.1662600.059229-2.8070650.0158X4-0.0977700.067647-1.4452990.1740X5-0.0284250.202357-0.1404710.8906R-squared0.982798

Meandependentvar44127.11AdjustedR-squared0.975630

S.D.dependentvar4409.100S.E.ofregression688.2984

Akaikeinfocriterion16.16752Sumsquaredresid5685056.

Schwarzcriterion16.46431Loglikelihood-139.5077

Hannan-Quinncriter.16.20845F-statistic137.1164

Durbin-Watsonstat1.810512Prob(F-statistic)0.000000

1.用OLS法估计上述模型：

R2接近于1；

给定=5%，查得F临界值F0.05(5,12)=3.11

F=137.11>3.11故认上述粮食生产的总体线性关系显著成立。但X4

、X5

的参数未通过t检验，且符号不正确，故解释变量间可能存在多重共线性。

(-0.91)(8.39)(3.32)(-2.81)(-1.45)(-0.14)X1X2X3X4X5X11.000.010.640.960.55X20.011.00-0.45-0.040.18X30.64-0.451.000.690.36X40.96-0.040.691.000.45X50.550.180.360.451.00

2.检验简单相关系数发现：

X1与X4间存在高度相关性。列出X1，X2，X3，X4，X5的相关系数矩阵：3.找出最简单的回归形式选第1个式子为初始的回归模型。分别作Y与X1，X2，X3，X4，X5间的回归：

(25.58)(11.49)R2=0.8919F=132.1DW=1.56

(-0.49)(1.14)R2=0.075F=1.30DW=0.12

(7.25)(1.74)R2=0.1596F=3.04DW=0.94

(-1.04)(2.66)R2=0.3064F=7.07DW=0.36

(17.45)(6.68)R2=0.7527F=48.7DW=1.11

4.逐步回归将其他解释变量分别导入上述初始回归模型，寻找最佳回归方程。回归方程以Y=f(X1，X2，X3)为最优：5.结论课堂练习1、什么是多重共线性？产生多重共线性的经济背景是什么？多重共线性的：κ鞘裁矗课裁椿嵩斐烧庑┪：Γ2、检验多重共线性的方法思路是什么？有哪些克服方法？