BVAR模型简介

贝叶斯向量自回归模型（BVAR）简介一、贝叶斯方法原理简介§1贝叶斯方法起源英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统计学者，组成数理统计学中的贝叶斯学派，其形成可追溯到20世纪30年代。到50～60年代，已发展为一个有影响的学派。时至今日，其影响日益扩大。§2贝叶斯定理及其特点记),(θyp为一个随机观察向量y的联合概率密度函数，θ为一个参数向量，它也看成是随机的。根据通常对概率密度的运算有：)()|()()|(),(yyθθθyθyppppp(1.2.1)因而)()|()()|(yθyθyθpppp(1.2.2)其中0)(yp。将上式表达如下：(|)()(|)pppθyθyθ先验概率密度似然函数(1.2.3)其中表示成比例，(|)pθy是在给定样本信息y后，参数向量θ的后验概率密度，()pθ是参数向量θ的先验概率密度，(|)pyθ看作θ的函数，就是熟知的似然函数。式(1.2.3)将所有的先验的、样本的信息融入其中，先验信息通过先验密度进入后验密度，而所有的样本信息通过似然函数进入。贝叶斯推断的一般模式：先验信息样本信息后验信息（见图1）图1贝叶斯推断的基本模式贝叶斯学派认为，先验分布反映了实验前对总体分布的认识，在获得样本信息后，人们对这个认识有了改变，其结果就反映在后验分布中，即后验分布综合了参数先验分布和样本信息。由此可以看出，频率学派统计推断是“从无到有”的过程：在实验前，关于未知参数的先验信息贝叶斯定理后验分布预报密度样本信息情况是一无所知，而试验后则有些了解，但对了解多少并无普遍的表述方法，在实践中有赖于所使用的统计量的针对性。贝叶斯推断则不然，它是一个“从有到有”的过程，且结果清楚自然，符合人们的思维习惯。根据所获得的信息修正以前的看法，不一定从零开始。从本质上说，贝叶斯推断方法概括了一般人的学习过程。贝叶斯方法只能基于参数的后验分布来分析问题。也就是说，在获得后验分布后，如果把样本、原来的统计模型（包括总体分布和先验分布）都丢掉，一点也不会影响将来的统计推断问题，凡是符合这个准则的推断就是贝叶斯推断。据此，频率学派中的矩估计、显著性统计检验和置信区间估计都不属于贝叶斯推断的范畴，但MLE估计则可视为均匀先验分布下的贝叶斯估计。因此，作为频率学派中一个很重要的极大似然估计，不过是在一种很特殊的先验分布下的贝叶斯估计而已。§3先验分布理论式(1.2.3)中()pθ表示的先验概率密度代表了我们对于一个模型中参数的先验信息，是一个事前的自觉的认识（分“基于数据”的先验和“非基于数据”的先验），即在贝叶斯方法中，关于模型参数的先验信息。先验分布是贝叶斯推断理论的基础和出发点，它大体上可以分为扩散先验分布和共轭先验分布两大类。§3.1扩散先验分布3.1.1位置参数的扩散先验分布如果随机变量Y的分布密度函数为(),fy，则称为位置参数。假设没有信息可以被利用，现在要确定的先验分布。如果将随机变量Y做平移变换，ZYa，同时对位置参数也做同样的平移变换a，则Z的分布密度函数为(),fz，显然(,)Y与(,)Z有相同的统计结构，从而和有相同的先验分布()p和概率空间。由Radom-Nikodym定理有()(),ppa(1.3.1)取a，可以得到(),pconst，从而位置参数的扩散先验分布为()1,p(1.3.2)对于正态分布20(,)N，0已知，此时是位置参数，利用上述结论，参数的扩散先验分布为()1,pR(1.3.3)3.1.2尺度参数的扩散先验分布如果随机变量Y的密度函数的形式为1,0yf，则称为尺度参数。如果改变尺度单位，令,,0ZaYa，易知Z的分布密度函数为1zf；同样地，(,)Y与(,)Z有相同的统计结构，和有相同的先验分布()p，由Radom-Nikodym定理，对于尺度参数，在无先验信息可利用时，尺度参数的先验密度函数，()p可取做1(),0p(1.3.4)对于正态分布20(,)N，0已知，0未知，此时标准差是尺度参数，利用上述结论，参数的扩散先验分布为1(),0p(1.3.5)§3.2共轭先验分布共轭分布是贝叶斯分析中常见的另一类参数先验分布，其思想基础是先验的规律和后验的规律具有一致性，这一要求的具体化就是先验分布和后验分布要属于同一类分布族。对于每个具体的分布来说，都有其共轭分布，下面利用似然函数的因子分解式和充分统计量等分析方法来构造所需的共轭先验分布。定理3.2.1假设12,,,nYYY是来自分布密度函数为(|)fy，的总体的一个样本，12(,,,)nnttYYY是参数的充分统计量，即似然函数可做下面分解：11()(|)(,)(,,,)ninnniLfYgthYY(1.3.6)其中12,,,)nhYYY（与参数无关。如果存在函数()p，它满足如下两个条件：（1）()0,p；（2）(,)()nngtpd有限，则为参数的共轭分布族。这里只介绍共轭先验分布的具体定义，有关它的相关结论见参考文献[2]。§4贝叶斯方法的优点贝叶斯理论的哲理有很大的吸引力，并且方法简单，它在统计推断模式上与频率学派的不同之处在于：频率学派认为，似然函数概括了有关参数的全部信息，因此关于参数θ的统计推断只要利用似然函数就够了；而贝叶斯方法既利用了似然函数，又利用了参数先验信息。如果先验信息很少或者没有先验信息，这时贝叶斯推断方法所得到的结论与频率方法基本相同。与频率方法比较，贝叶斯方法有以下几方面优点：①贝叶斯方法充分利用了样本信息和参数的先验信息，在进行参数估计时，通常贝叶斯估计量具有更小的方差或平方误差，能得到更精确的预测结果；②贝叶斯HPD置信区间（最高后验概率密度区间）比不考虑参数先验信息的频率置信区间短；③能对假设检验或估计问题所做出的判断结果进行量化评价，而不是频率统计理论中的接受、拒绝的简单判断。二、贝叶斯向量自回归模型（BVAR）在变量较多，滞后阶数较高时，即所要估计的参数较多的情况下，Bayesian估计方法提供了一个较好的方法，拟合效果要比传统的极大似然估计方法好。§1贝叶斯非限制性VAR模型如果令12(,,,)Ttttmtyyyy表示m个变量在t点处的取值，则向量序列ty的滞后阶数为p的非限制性VAR(p)模型可以表示为1122,1,2,tttptptctnyAyAyAyu(2.1.1)此处c是一个m维向量，,1,2,jjmA均为mm的系数矩阵，向量tu是一个m维白噪声向量，即~...(,),1,2,tmiidNtnu0Σ而Σ是一个mm正定阵向量。易知非限制性VAR(p)模型中的每个方程的解释变量是相同的。可以将(2.1.1)化成多方程模型系统形式,1,2,TtttztnyBu(2.1.2)其中1122(1)1(1)1,TTtTttTtppmpmpmyyycABzAA进一步，若将向量,TttyBz和,1,2,,ttnu的转置分别按行依次排列，各自形成一个nm矩阵，则上述n个方程可以简化为一个更为紧凑的矩阵表达形式,~(0,)nmnNYZBUUΣI(2.1.3)其中特别地，对于扩散先验分布，非限制性VAR(p)模型参数的后验分布有如下结论：定理1.1在扩散先验分布(1)/2(,)||mBΣΣ下，非限制性VAR(p)模型参数的后验分布为ˆ(|,)~(,,,),(|,)~(,),1TkmmMtnkIWnmkmpBYZBZZSΣYZS(2.1.4)其中11ˆ(),[()]TTTTTmBZZZYSYIZZZY§2贝叶斯限制性VAR模型在VAR(p)模型中，模型系数B可能受到某些条件的限制，如各方程中解释变量并不完全相同，某些变量可能在部分方程中出现，但并不出现在其他方程中；或者，部分方程中有线性趋势项或季节变量，而其他方程不包含这些变量。根据Zeller的观点，在一般排斥性限制条件下，(2.1.1)式中的VAR(p)模型模型能够写成如下似不相关模型：,1,2,,iiiiYZim(2.2.1)此处iY是由第i个变量n个观测值构成的n维向量，iZ是第i个变量单方程模型的ink设计矩阵，它由变量12,,,myyy的部分滞后项组成；i是第i个变量单方程模型的ik维系数向量，i是n维正态随机误差向量。若将这个方程写成一个矩阵形式，则有,~(,)mnnYZN0ΣI(2.2.2)其中111122220000,,,00mmmmYZYZYZYZ由于这一情形不作为我们研究的重点，所以这一部分的相关结论暂时省去，详见参考文献[3]。§3共轭先验分布下VAR模型的贝叶斯分析对于一般共轭分布而言，由于超参数太多，VAR(p)模型的贝叶斯推断只具有理论上的意义，而不能应用于实际预测分析中，本节研究一类特殊的参数共轭先验分布：Minnesota共轭先验分布下VAR(p)模型的贝叶斯分析理论。Minnesota先验分布是Litterman于1986年提出来的，它主要用于解决共轭先验分布下贝叶斯VAR(p)模型中超参数过多问题，提高模型的预测精度。§3.1Minnesota先验分布如果(2.1.1)式的VAR(p)模型不含常数项，则模型中的具体方程如下：11,1,2,,;1,2,,.pmitijrjtritjryayuimtn(2.3.1)显然ijra表示第i个方程中变量jy的r阶滞后项jry的系数，如果随机参数ijra服从均值为ijr、方差为2ijrS的正态分布，此时模型(2.3.1)中参数先验分布中需要确定的超参数至少有22mp个：2mp个先验均值ijr和2mp个先验方差2ijrS。如果不考虑先验信息的可取性，在一般情况下要合理地给定这22mp个超参数的取值是相当复杂和困难的，因此，必须想办法减少需要赋值的超参数的数量，确定超参数的合理取值，提高模型的预测能力。Minnesota先验分布就是解决这一问题的有效方法，它的基本假定包括以下几个方面：（1）正态性12(,,)~(,)tmmuuuuN0Σ；（2）协方差阵Σ和系数,1,2,,,1,2,,ijraimrp相互独立；（3）协方差阵Σ的模型先验分布取为扩散先验分布，即(1)/2(),0mΣΣΣ(2.3.2)（4）ijra相互独立服从正态分布2(,)ijrijrNS，ijr表示参数ijra的最佳猜测值，而2ijrS反映了对这个猜测的信心，其取值越小表示对此猜测的信心越大；（5）均值ijr按照下述公式确定：1,,10,ijrijr，其他情况，(2.3.3)即方程左边的变量只由其系数为1的滞后一阶变量表示；（6）标准差ijrS可以分解为4个因子的乘积，即()(,)iijrjsSgrfijs(2.3.4)此处是总体紧度，它的取值大小反映了分析人员对先验信息的信心大小程度，较小的值代表了对先验信息的较大把握；()gr是r阶滞后变量相对一阶变量的紧度，它表示过去信息比当前信息有用程度的减少；函数(,)fij是第i个方程中第j个变量相对于第i个变量的紧度，is是变量iy的单变量自回归模型的标准差。§3.2滞后延迟函数在Minnesota先验分布中，滞后延迟函数()gr的选择必须能反映这样一个基本信念：随着滞后长度的增加，滞后变量的系数趋向于零