R软件及其在金融定量分析中的应用-CH02.

R软件及其在金融定量分析中的应用主编：许启发、蒋翠侠制作：侯奇华、王侠英2014年10月编写第2章基于R软件的传统计算第一节统计分析第二节经济计量分析第三节时间序列分析第四节优化理论与方法第一节统计分析多元回归分析模型表示式中，为回归系数，需要通过样本观测数据来估计；为随机误差项，通常设定为；为解释变量数目，多元线性回归模型要求。011kkYXX01,,,k2~(0,)N2kk第一节统计分析多元回归分析在给定解释变量条件下，对式(2.1)两边同求条件期望，可得式中，为解释变量；为给定条件下的条件期望。011(|)kkEYXXX12(,,,)kXXXX(|)EYX第一节统计分析多元回归分析参数估计一般地，对多元线性回归模型，可以采用最小二乘方法与极大似然方法，实现参数估计。这里，给出其最小二乘估计的矩阵与向量表示，其核心思想在于：最小化残差平方和函数系数向量的估计21ˆargmin()()()()niiiQyβββxβYXβYXβ1ˆ()βXXXY第一节统计分析多元回归分析拟合优度•核心思想：平方和分解•表示•，拟合优度越接近1，表示回归模型拟合程度越好。21ESSRSSRTSSTSS201R2R第一节统计分析多元回归分析拟合优度式中，TSS度量了样本数据的总体信息；ESS度量了回归模型能够测度的信息；而RSS度量了剩余信息，即不能由回归模型测度的信息。第一节统计分析多元回归分析拟合优度•TSS=，为总离差平方和•ESS=，为回归平方和•RSS=，为残差平方和•TSS度量了样本数据的总体信息；ESS度量了回归模型能够测度的信息；而RSS度量了剩余信息，即不能由回归模型测度的信息。21()niiYY21ˆ()niiYY21ˆ()niiiYY第一节统计分析多元回归分析显著性检验（回归方程）•假设•；•构造统计量F012:0kH112:,,,kH/~(,1)/(1)ESSkFFknkRSSnk第一节统计分析多元回归分析在给定的显著性水平下，得到相应的临界值，简记为，若，则拒绝原假设，接受备选假设，意味着回归方程整体显著；若，则接受原假设，意味着回归方程整体上不显著。(,1)FknkFFF0H1HFF0H第一节统计分析多元回归分析显著性检验（回归系数）•提出原假设与备择假设：•；•构造相应的检验统计量t：0:0iH1:0,1,2,,iHikˆˆˆˆ~(1)iiiiiittnkSS第一节统计分析多元回归分析在给定的显著性水平下，得到相应的临界值。若，则拒绝原假设，接受备选假设，意味着解释变量对响应变量具有显著影响；反之，则不具有显著影响。在R软件中，直接报告该检验的P值=，如果P值小于（与等价），则拒绝原假设，意味着解释变量存在显著影响。/2(1)tnk/2itt0H1HiXY2Pr()itt/2itt0HiX第一节统计分析多元回归分析模型诊断•第一，残差分析•第二，影响分析–1.Cook距离–2.DFFITS准则•第三，多重共线性分析第一节统计分析多元回归分析模型预测•1.点预测•2.区间预测–对于给定的置信水平，则可以得到预测值的置信区间如下：00ˆˆYXβ0/200/2ˆˆˆˆ()()YteYYte第一节统计分析多元回归分析案例分析逐步回归分析逐步回归的原理•将与响应变量有关的所有解释变量都列出，在逐步回归的过程中，依据一定的准则逐个引入解释变量；•每当引入一个解释变量，都需要对所有的解释变量进行逐个检验，一旦出现不满足显著性检验的变量就剔除；•依据一定的准则重复上述“进入”与“退出”步骤，直到既没有新的解释变量的“进入”，也没有新的解释变量“退出”。第一节统计分析逐步回归分析变量选择准则•1.F检验–“进入”步骤。–“退出”步骤。•2.调整R2•3.AIC准则第一节统计分析2211(1)1anRRnk12ˆ2ln(;,,,)2AICLYYYkβ逐步回归分析案例分析第一节统计分析第一节统计分析聚类分析聚类分析的指标•Q型聚类度量相似性用距离，设表示第i个样本的第k个指标。表示第i个样本与第j个样本之间的距离。对于常用的四种距离，定义分别如下：•1.绝对值距离式(1,2,,)ikxkpijd1pijikjkkdxx第一节统计分析聚类分析•2.欧几里得距离式•3.闵可夫斯基距离式•4.切比雪夫距离21()pijikjkkdxx1/1(),0qpqijikjkkdxxqmaxijikjkdxx第一节统计分析聚类分析•度量指标变量之间的相似程度一般用相似系数，相似系数的具体形式有两种，即夹角余弦与相关系数，具体定义如下：•1.夹角余弦•2.相关系数式12211nkikjkijnnkikjkkxxcxx12211()()()()nkiikjjkijnnkiikjjkkxxxxrxxxx第一节统计分析聚类分析数据标准化•1.中心化变换•，•2.标准化变换•，•表示样本标准差，定义如下：ijijjxxx1,2,,;1,2,,injp11njkjkxxnijjijjxxxs1,2,,;1,2,,injp211()1njkjjksxxn第一节统计分析聚类分析•3.极差标准化变换式,1,2,,;1,2,,maxminijjijkjkjxxxinjpxx第一节统计分析聚类分析•3.极差标准化变换式,1,2,,;1,2,,maxminijjijkjkjxxxinjpxx第一节统计分析聚类分析•3.极差标准化变换式,1,2,,;1,2,,maxminijjijkjkjxxxinjpxx第一节统计分析聚类分析系统聚类方法•1.最短距离法类与之间的距离为两类最近样本的距离，即设类与类合并成一个新类为，则任一类与的距离是：min{|,}pqijipjqDdXGXGmin{|,}min{min{|,},min{|,}}min{,}krijikjrijikjpijikjqkpkqDdXGXGdXGXGdXGXGDD第一节统计分析聚类分析•2.最长距离法类与之间的距离为两类最长样本的距离，即max{|,}pqijipjqDdXGXGmax{|,}max{max{|,},max{|,}}max{,}krijikjrijikjpijikjqkpkqDdXGXGdXGXGdXGXGDD第一节统计分析聚类分析•3.重心法利用，得到22,222()()11()()122(2)krkrkrkrXXkppqqkppqqrrppkkkpkqppppqpqqqqrrrDdXXXXXmXmXXmXmXmmmmXXXXXXmXXmmXXmXXnnm2222pqpqkrkpkqpqrrrrmmmmDDDDmmmm1()kkpkkqkkrXXmXXmXXm第一节统计分析聚类分析案例分析第一节统计分析因子分析模型表示设表示个变量，满足：则称为公共因子，即从变量中抽象出来的量，表示这几个变量背后的潜在变量，是影响某几个变量的共同因子。(1,2,,)iXipp11111211122212222212mmpppppmpmXaaaFXaaaFXaaaF(1,2,,;)jFjmmpiX第一节统计分析因子分析方差分解•已知因子分析的模型如下：•两边求方差，得到•根据前面的的性质，进一步得•即m个共同因子与特殊因子对变量X的贡献率为1。1122iiiiimmiXaFaFaF2221122var()var()var()var()var()iiiimmiXaFaFaF,F2211mijija第一节统计分析因子分析模型估计设样本观测矩阵的协方差矩阵为，是该协方差矩阵对应的特征值，且。设为对应标准正交化后的特征向量。当公共因子数和指标数相同时，由矩阵论相关知识可得：Σ12,,,p12p12,,,puuu11122211221(,,,)piiippipppuuΣUUuuuuuu第一节统计分析因子分析但实际情况是公共因子数，假设后个因子不重要，并且不考虑特殊因子。则有：则为因子载荷矩阵。mppm11221122(,,,)mmmmuuΣuuuAAuA第一节统计分析因子分析因子旋转•1.理论依据已知因子分析模型如下：其中，为公共因子向量，对实施正交变换：，令。则并且XAFμFFNMNFXANMμvar()var()var()MNFNFNIcov(,)cov(,)cov(,)MμNFμNFμ0var()var()var()var()XANMμANMNADAAD第一节统计分析因子分析因子旋转•基于方差最大的因子旋转设，则因子载荷矩阵为：不妨取正交矩阵那么2N1112212212mmaaaaAaacossinsincosN第一节统计分析因子分析是矩阵的因子载荷矩阵。111211121112212221222122121212cossinsincoscossinsincoscossinsincosmmmmmmaaaabbaaaabbaaaabbHM第一节统计分析因子分析因子得分•因子得分函数•可用于计算公共因子的估计值，即因子得分。1122,(1,2,,)jjjjnnFXXXjk第一节统计分析因子分析综合评价可以使用各因子得分，对样本观测进行综合评价。通过各公共因子的重要程度，对因子得分进行加权求和，可得式中，由综合得分值，可以对样本观测进行排序，得到综合评价结果。1122ˆˆˆˆmmFwFwFwF1212var()var()var()var()iiimmFwFFFˆF第一节统计分析因子分析案例分析第二节经济计量分析数据测量层次定类数据定序数据定距数据定比数据第二节经济计量分析二元选择模型线性概率模型iiiYX0,0,011,1iiiiiXpXXX第二节经济计量分析二元选择模型线性概率模型•常用的变换：–（1）累积正态分布函数，得到Probit模型；–（2）Logistic函数，得到Logit模型；–（3）极值分布，得到Extreme模型。**Pr(1)Pr()Pr()()()iiiiiipYzzzzFzFX第二节经济计量分析计数数据模型Poisson模型•Poisson模型中使用了最简单的Poisson分布，并且使用响应变量条件期望与均值函数之间的连接关系：对于响应变量，其样本观测值都来自参数为的Poisson分布，式中，为一指标变量，它和自变量有关。(,)E(|,)exp()mYXβXβXβYy(;)!yfyey0,1,2,,yn第二节经济计量分析计数数据模型由Poisson分布的特点：，有E(|)var(|)YYXXeXβ(,)(,)(|,)!mye