1-回归分析

第一章多元统计分析方法（回归分析）计算机地质学安全工程学院:刘德民E-mail:[e-mail]办公地点:安科楼四楼4012Surfer界面环境与菜单简介二）Surfer创建基本等值线图三）Surfer绘制三维图形四）Surfer图形的高级处理1、绪论2、一元线性回归3、多元线性回归4、计算机求解方法5、思考题主要内容31绪论1.1课程简介本课程是地质工程专业开设的专业选修课。主要讲授计算机在地质学中的应用，详细讲解地质工作中常用的数学模型及计算机实现方法。计算机地质学=数学地质+计算机技术41绪论1.2课程的基本要求（1）掌握常见的多元统计分析方法及在地质学中的应用；（2）熟悉Matlab，并能利用其实现地质学中常用的方法；（3）理解人工神经网络原理，掌握其Matlab的实现方法；（4）熟悉FLAC3D，并能建立简单的模型；51绪论1.3教材（第三章、第四章）61绪论1.4课程安排第一章多元统计分析方法10学时第二章MatLab地学运算基础6学时（上机8学时）第三章人工神经网络原理及应用6学时（上机2学时）第四章FLAC3D数值模拟分析8学时（上机6学时）71绪论1.5考核方式考核方式：70%考试成绩+30%平时成绩平时成绩：上机+出勤+作业82一元线性回归2.1基本概念一元线性回归是处理两个变量x与y之间的关系，即根据由试验、分析取得的数据提出两者之间的经验公式。两个变量之间的关系有线性和非线性两种，线性回归讨论的是线性关系；有些非线性关系可以转化成线性关系处理。92一元线性回归设随机变量y与变量x间存在着某种相关关系，这里，x是可以控制或可以精确观察的变量，如年龄、试验时的温度、施加的压力、电压等。换句话说，我们可以随意指定n个值x1,x2,...,xn。因此，为方便计，我们干脆不把x看成随机变量，而当作通常的自变量．102一元线性回归由于y的随机性，对于x的每一确定的值，y有它的分布。因此，若y某些数字特征存在的话，则它们的值随x取确定值而确定。显然，我们可以通过一组样本来估计数字特征(特别是数学期望)，从而，我们可以解决如下问题：（1）预测问题：在一定置信度下，估计出当x取某一值x0时，随机变量y取值的情况。（2）控制问题：在一定置信度下，控制自变量x的取值范围，使y在给定的范围内取值。112一元线性回归这里的样本是指：对于x的取定的一组不全相同的值x1,x2,...,xn作独立试验,得到n对观察值(x1,y1)，(x2,y2),…,(xn,yn)，其中yi是在x=xi时随机变量y所取的值，这n对观察值就是一组样本。在随机变量y的各数字特征中，最重要的是它的数学期望=(x)，这个函数(x)称为y对x的回归。回归分析的基本内容是怎样来估计(x)，然后利用估计结果作预测或控制。估计(x)的问题又称为求y对x的回归问题。122一元线性回归例1．在某煤矿取得18个煤样，分析测得的煤的灰分含量和容重含量列于下表，试求煤的灰分对容重的回归关系。样品号123456789容重(xi)1.51.21.71.41.81.31.31.51.7灰分(yi)254302036752433样品号101112131415161718容重(xi)1.31.51.51.61.41.61.51.41.5灰分(yi)417242562624209132一元线性回归xbay~^^＝称为y对x的线性回归方程或回归方程，其图形称为回归直线。142一元线性回归2.2计算公式n1iixn1xn1iiyn1yn1in1i22i2n1ii2in1i2ixx)x(n1x)x(n1x)xx(lniniiniiiniiyyynyynyyyl112221212)(1)(1)(152一元线性回归niiiniiixyyxnyxyyxxl111))((xxxyllbˆxbˆyaˆ上例中，=59.176,=-68.943bˆaˆ162一元线性回归2.3线性假设的显著性检验回归分析的显著性检验，就是用统计分析的方法来检验x与y之间的线性关系是否密切，也就是检验回归方程是否显著。观察值y1,y2,...,yn之间所存在的差异，是由两个因素引起的：一个是变量x的取值不同，另一个是试验误差等其它因素的影响。172一元线性回归总离差平方和回归平方和偏差平方和可证：这一关系在多元统计分析中普遍存在，必须牢记。yyniiTlyyS＝12)(xx2xyn1i2iRll)yy~(Sn1i2iiD)y~y(SDRTSSS182一元线性回归F检验:回归方程是否显著，或线性关系是否密切，判别标准是SD的大小，即SD越小越好。同时，在总波动（ST）不变的条件下，SD小，SR就大，SR/SD也就大；反之，SD大，SR就小，SR/SD也就小，这是一种直观的看法。假设H0：y与x无线性关系(b=0)，可证统计量)2n,1(F~)2n/(S1/SFDR192一元线性回归F检验:对确定的显著性水平(检验水平)，查F分布表得到F(1,n-2),若FF(1,n-2)，就拒绝原假设，即认为线性回归效果显著；若FF(1,n-2)，就接受原假设，即认为线性回归效果不显著。202一元线性回归F检验:F=62.961,若取显著性水平为0.05，查得F0.05(1,16)＝4.49，故在在显著性水平0.05下，拒绝假设H0，即认为线性回归效果是显著的。或可认为在95％的置信度下，认为线性回归效果是显著的。212一元线性回归r检验:对给定的观察值而言，ST是不变的，SR大则SD小；SD越小，SR/ST越接近1。所以可引入无量纲指标r2=SR/ST来检验y与x之间的线性关系是否密切。称yyxxxyTRlllSSr为y与x的线性相关系数，简称相关系数。上例中，8930.05.1866425.015.25lllryyxxxyr2=0.7974222一元线性回归232一元线性回归242一元线性回归2.4一元线性回归应用举例——预报和控制y的取值所谓预报,就是对任一给定的x0值,可以利用经验公式来推断在这点的观察值(试验值)y0大致在什么范围内,其置信水平为(1-α),置信区间为:252一元线性回归置信区间上、下限所形成的曲线对称地落在经验直线的两侧,且呈喇叭形：262一元线性回归思考题：背景知识：一项建筑工程在设计中需要考虑建筑地基土的承载力,而建筑地基土的承载力受多种指标的影响,其中影响较大的指标是抗剪强度指标,即建筑地基土的凝聚力C和内摩擦角φ,这两个指标反映了抗剪强度(应力)的大小。剪应力τ随垂直压力P的大小变化而变化,它们之间的关系为经验公式:τ=C+P·tgφ式中C———凝聚力,φ———内摩擦角272一元线性回归问题：某房产开发区对某建筑地基土样进行4次试验,其结果如下:求地基土的内摩擦角φ及凝聚力C,检验其效果,并预报当垂直压力p0=600所对应的剪应力的范围,置信水平(1-α)为0.95。282一元线性回归292一元线性回归302一元线性回归312一元线性回归322一元线性回归332一元线性回归342一元线性回归352一元线性回归当然,置信水平越高,预报区间就越长。此例所得结果虽然预报区间长,不尽理想,但对生产实践仍具有指导意义,它提供了一种估值方法和预报范围。此例之所以置信区间拉得如此宽,究其原因在于试验的次数n=4太少,样本容量太小,造成如果结果,如果把样本容量提高到n=20或n=50,则所得结果可信度将更高,置信区间将极大地缩短。363、多元线性回归3.1多元线性回归模型设观察得到容量为n的样本(m个自变量，1个应变量)：x11,x12,...,x1m;y1x21,x22,...,x2m;y2...xn1,xn2,...,xnm;yn373、多元线性回归假定y与xj,(j=1,2,...,m)之间存在着线性关系：y=0+1x1+2x2+...+mxm+～N(0,2)是随机项。我们的任务是从样本数据来估计参数，即由下式：nnmm2n21n10n2m2m222211021m1m12211101εxβ...xβxββy...............................εxβ...xβxββyεxβ...xβxββy383、多元线性回归估计参数0,1,2,...,m；而1,2,…,n相互独立且服从相同的分布N(0,2)，(未知)。nnmm2n21n10n2m2m222211021m1m12211101εxβ...xβxββy...............................εxβ...xβxββyεxβ...xβxββy393、多元线性回归3.2回归系数的最小二乘估计设b0,b1,b2,…,bm为0,1,2,...,m的估计,我们称使Q(0,1,2,...,m)达到最小的b0,b1,b2,…,bm为0,1,2,...,m的最小二乘估计。n1i2mim2i21i10i)]x...xx([yββββ403、多元线性回归0,1,2,...,m的最小二乘估计应满足下列方程组：M)1,2,...,(j0Q0Qj0＝413、多元线性回归即：解方程组即可求出0,1,2,...,mn1iimmim2i21i10in1i2imim2i21i10in1i1imim2i21i10in1imim2i21i10i0x)x...xx(y...............................0x)x...xx(y0x)x...xx(y0)x...xx(yββββββββββββββββ423、多元线性回归3.3回归系数的最小二乘估计矩阵解法Tm21b...bb＝BTm21...＝βn1iiyn1yn1iijjm1,2,...,jxn1x（1）设矩阵为的估计量，先求出,再建立矩阵433、多元线性回归（2）建立矩阵,nm2n1nm22221m11211x...xx............x...xxx...xxXm21y...yyYyyyiijijijxxX其中,443、多元线性回归（3）求解,,YXX)XB＝1TT(m1jjj0xbyby~则有y的估计=b0+b1x1+b2x2+...+bmxm453、多元线性回归3.3检验)1mn,m(F~)1mn/(Sm/SFDR对确定的显著性水平(检验水平)，查F分布表得到F(m,n-m-1),若FF(m,n-m-1)，就拒绝原假设，即认为线性回归效果显著；若FF(m,n-m-1)，就接受原假设，即认为线性回归效果不显著。463、多元线性回归3.4应用实例-影响煤层瓦斯赋存规律的多地质因素回归分析研究影响煤层瓦斯赋存及分布的因素是多种多样的,通过对瓦斯地质规律的研究可知,影响淮南潘一矿13-1煤瓦斯含量和分布规律的地质因素主要有:煤层埋藏深度、地质构造、煤层顶底板岩性、煤层厚度和煤的变质程度等。为了研究各因素与瓦斯赋存的关系,便于建立预测数学模型,把地质构造、顶底板岩性这些通常定性化描述因素,根据其本身的特性和对瓦斯赋存的影响进行科学地量化,转化为定量因素。473、多元线性回归（1）煤层埋藏深度煤层的埋藏深度越深,煤层中的瓦斯向地表运移的距离就越长,散失就越困难。同时,深度的增加也使煤层在上覆压力的作用下降低了透气性,有利于保存瓦斯。在研究区内新生界直接不整合在二叠系上石盒子组煤系之上,中间的地层全部缺失,影响煤层瓦斯含量应与不整合面(即基