水文随机分析五、六章091118

2020/1/20水文水资源学院1第五章方差分析第一节单因素方差分析第二节多因素方差分析2020/1/20水文水资源学院2第一节:单因素方差分析（引例）某农科所为了比较四种不同的肥料对农作物产量的影响，进行了下面试验。他们选择采用一块肥沃程度比较均匀的土地，分成十六块。为了减少土地肥沃程度的影响，作了以上试验安排：A1表示第一种肥料A3表示第三种肥料A2表示第二种肥料A4表示第四种肥料2020/1/20水文水资源学院3每种肥均施在由上到下不同层次的土地中，并可得出16块土地农作物产量通过上表，来推断不同肥料对农作物产量有无影响？如果影响显著，施哪一种肥料产量最高，即哪一种肥料最好？2020/1/20水文水资源学院4在统计学中，考虑因素称为因子，因子不同状态称为水平，上例中一个因子是肥料，有四个不同水平，A1，A2，A3，A4。由上表又可知，肥料不同可能产生产量不同。因此，施用不同肥料所得产量不可以当作来自同一总体的样本，而应看作4个不同总体.4321,,,xxxx抽取的样本长度为4的样本。通常假定)4,,2,1(),(2iuNxii这里要求假定方差相等，即方差齐性，那么要知道四种不同肥料对农作物产量的影响有无显著差别,这个问题可归结为作检验：12341:,oHuuuuH2020/1/20水文水资源学院512r总体kAAA2112111kyyy22212kyyykrrryyy21r21参数结果因子一、数学模型①将作分解ijy21,2,1,2,(0)ijiijikyujrN真值试验误差是随机变量，②求i，2020/1/20水文水资源学院6其中反映了水平对试验结果的影响，称作水平的主效应，总结方差分析模型如下：iiAiAijiijkiiiikiiyk0111),0(021Nyijkiiijiij相互独立且其中,进行估计应由已知为未知ijiy,,2020/1/20水文水资源学院7二、与估计i11111()()(1,2,)krrijiijiijjiiuyyyykrryyyik无偏估计无偏估计三、统计检验22211211221121122)()()()()(组间差误总总总由SSyyyySyyyySyySkirjiikirjijkirjiiijkirjij2020/1/20水文水资源学院8当固定时，当A不同水平引起变化显著，则较大，此时则较少，反之当A不同水平引起变化不显著时不大时这些就大。2总S2S组间2误S因此，可以通过比较与大小来检验不同水平引起的差异是否显著，记2组间SkouuuH21:当成立时oH22/(1)(1,)/()(1,)(1,)ooSkFFknkSnkFknkknkrFFknkHFFHk组间误给定显著水平，查出因子试验次数当接受拒绝，即认为个水平对试验结果的影响显著。这就是方差分析一般步骤。2020/1/20水文水资源学院92222:44,164413.752678.251735.52678.25/36.1731735.5/(164)0.10261okrknkrSSSSFFH总组间误组内例子拒绝即认为肥料对农作物产量的影响显著2020/1/20水文水资源学院10第二节:多因素方差分析（双因素方差分析）一、模型第一节仅考虑一个因子即肥料，在实际中，常考虑多个因子影响问题，故需涉及多因素方差分析，下面仅以2个因素方差分析rkB，，BB，rBA，，AAkABA.,,,2121即个水平有即个水平有为两个因子设两个因子共有krn个水平组合，对每个组合仅做次试验，试验数据记为),,2,1,,,2,1,,,2,1(rjkintyijt假设对不同水平组合,,()ijAiBju试验结果的真值理论值为ijtijijtyu试验误差),0(~2Nijt独立同分布（这是假定）2020/1/20水文水资源学院11记：kiijijiiirjijikirjijBBvkvAArkr1111)3(,1)2(,1)1(1真值或理论值不同水平因子反映水平的真值或理论值不同水平因子反映则有()()()ijiiijijvvijirr模型：11112000(0,)ijtijijijtrkrkijijijiaijijtyrrrNZ相互独立2020/1/20水文水资源学院12需解决问题①参数估计0:::1121102101ijrkrHHH②假设检验：2020/1/20水文水资源学院13二、参数估计可以证明都是无偏估计Z：统计检验22111()krnijtijtSyy总2222ABBASSSS误总方差jiijijntijtijjjkintijtjiirjntijtikirjntijtyyyrynyyyynkyyyynryynkry..1.11..11.11111112020/1/20水文水资源学院14kirjntijijtyyS11122)(残差平方误221()kAiiSrnyy221()rBjjSknyy2211()krABijijijSnyyyyA因子组间差B因子组间差AB联合因子当H01成立))1(,1(~)1(/)1/(221nkrkFnkrSkSFA误当H10成立))1(,1(~)1(/)1/(222nkrrFnkrSrSFB误当H11成立))1(),1)(1((~)1(/)1)(1/(223nkrkrFnkrSrkSFAB误当拒绝原假设定义。FF2020/1/20水文水资源学院15例子纤维弹性大小ABA10A24A38A412B146071，7373，7576，7375，73B252072，7376，7479，7773，72B358075，7378，7774，7570，71B464077，7574，7474，7369，69解：这里10.0,2,4nrk06.246.2321FFF拉升倍数收缩率2020/1/20水文水资源学院16由表中可知，收缩率A，收缩率A与拉伸倍数B的交互作用非常明显，而拉伸倍数本身对合成纤维的弹性影响并不显著，因此应重点考虑收缩率A,及其收缩率A与拉伸倍数B配合以便产品质量最优。当然，实际方差分析时应增大n值，以便使得结果更具说明力。2020/1/20水文水资源学院17第六章聚类分析聚类标准系统聚类法2020/1/20水文水资源学院18在实际工作中，常会碰到分类问题，如一批产品要分成一级品、二级品等。在地质勘探中也要对岩石样本进行分类，对一些水质取样样品，常常也需要作分类，另还可能要对水质评价指数作分类等等。以前一般是靠经验和专业知识实现分类。目前比较严格数学分析方法就是聚类分析。2020/1/20水文水资源学院19第一节聚类标准在分类学中，通常把某种性质相近的东西归一类，而把性质不相近或差异较大的东西不归为同一类。给定一些指标或样品，我们要从数学上对它们分类，我们希望很相似指标或样品归为一类。通常可用距离或相似系数来表示。一、距离设指标个数m，有n个样品，xij为实数，我们可以定义距离，满足以下三条性质：),,2,1(),,,(,,,,2121nixxxXXXXTimiiinijjidYX为之间与)(2020/1/20水文水资源学院20①jidjidijij0;,,0且非负值②jiijdd对称性③kjidddkjikij,,三角形性质∴dij可以作为度量样品之间相似程度的一种度量，dij愈小，愈相似.jixx,常见距离①绝对值距离1(1)mijikjkkdxx当样品指标仅为1，此时距离，这是我们日常生活中常见距离概念。以上公式只是由一维扩展到m维状况而已。jiijxxd)1(2020/1/20水文水资源学院21②欧氏距离dij(2)1/221(2)()mijikjkkdxx③明考夫斯基距离1/1()()qmqijikjkkdqxx（q为常数）④契比雪夫距离mkxxdjkikij1max)(一般对样品作聚类分析时使用上述距离作为是否相似的指标，使用较多的常见绝对值距离。2020/1/20水文水资源学院22二、相似系数（研究m个不同指标聚类分析时用到）设有m个指标（变量），x1,x2,…,xm，根据这m个指标采集到的n个样本仍记为),,2,1(),,,(21nixxxxTimiii要考察xi，xj之间相似程度，可定义Cij指标；Cij满足以下三个条件：①②③jiCij,11iiCi,ijjiCCij这样越接近于1，说明之间关系越密切。ijCjixx,2020/1/20水文水资源学院23常用定量指标2/111221][)1(nknkkjkinkkjkiijxxxxCnkkjjnkkiinknkjkjikijkjnkikiijnxxnxxxxxxxxxxC112/111221/,/])()([)()()2(Cij(2)事实上就是指标xi，xj在n个样品下相关系数根据相关系数定义（含义），相关系数是反映两个变量线性相关程度大小的一种变量，所以Cij(2)可以用来反映两种指标密切程度的一个量。2020/1/20水文水资源学院24第二节:系统聚类法一、样品分类最常用的一种聚类分析方法，其基本思想是先将样品各成一类，然后定义类与类之间距离，将距离最短的两类合并成一个新类，再计算新类与其余类之间的距离，将距离最短的两类再合为一个新类，如此下去直到合并为一个大类为止。一般步骤：（1）计算样品两两之间的距离dij，记D(0)=(dij)；（2）将每一个样本各成一类；（3）将距离最小的两类合并与一新类；2020/1/20水文水资源学院25（4）计算新类与当前各类距离，若类的个数等于1，转到第5步，否则回到（3）；（5）画聚类图；（6）决定类的个数及类。注意：样品之间两两距离可用第一节介绍方法，如绝对值距离、欧氏距离等，但类与类之间距离有以下多种方法。2020/1/20水文水资源学院26①最短距离法dij表示样品之间的距离，设G1，G2…表示类Gs与类Gt之间距离用Dst表示（注意Gs,Gt可能分别由若干个样品组成）jixx与最短距离法定义类之间距离为Dst=min(dij)tGjGi,5表示Dst是代表两类中样品之间距离最近值。②最长距离法与上述相反Dst=max(dij)tGjGi,52020/1/20水文水资源学院27设有6个样品，为了简单起见，每个样品仅一个指标。把六个样品仅用6个数字表示：1，2，5，7，9，10，试用最短距离法进行分类；样品之间距离dij采用绝对值距离。①首先计算D(0)（按步骤来）010320542087530986410)1(D对称的矩阵数G写出一下三角阵即可。②把每个样品当作一类G1，G2，…，G62020/1/20水文水资源学院28③考察哪两个类距离最小，{G1,G2}，{G5,G6}，dij都是1。记新类G7={G1,G2}，G8={G5,G6}④这样新类与其他类有四个：G3，G4，G7，G8。由于还是有4类，回到（3），仍要计算类与类之间距离。G7G3G4G88437)1(0204207530GGGGDD73=min(d