重庆工商大学数学建模算法讲义第10章 数据的统计描述和分析

-201-第十章数据的统计描述和分析数理统计研究的对象是受随机因素影响的数据，以下数理统计就简称统计，统计是以概率论为基础的一门应用学科。数据样本少则几个，多则成千上万，人们希望能用少数几个包含其昀多相关信息的数值来体现数据样本总体的规律。描述性统计就是搜集、整理、加工和分析统计数据，使之系统化、条理化，以显示出数据资料的趋势、特征和数量关系。它是统计推断的基础，实用性较强，在统计工作中经常使用。面对一批数据如何进行描述与分析，需要掌握参数估计和假设检验这两个数理统计的昀基本方法。我们将用Matlab的统计工具箱(StatisticsToolbox)来实现数据的统计描述和分析。§1统计的基本概念1.1总体和样本总体是人们研究对象的全体，又称母体，如工厂一天生产的全部产品（按合格品及废品分类），学校全体学生的身高。总体中的每一个基本单位称为个体，个体的特征用一个变量（如x）来表示，如一件产品是合格品记0=x，是废品记1=x；一个身高170（cm）的学生记170=x。从总体中随机产生的若干个个体的集合称为样本，或子样，如n件产品，100名学生的身高，或者一根轴直径的10次测量。实际上这就是从总体中随机取得的一批数据，不妨记作nxxx,,,21L，n称为样本容量。简单地说，统计的任务是由样本推断总体。1.2频数表和直方图一组数据（样本）往往是杂乱无章的，做出它的频数表和直方图，可以看作是对这组数据的一个初步整理和直观描述。将数据的取值范围划分为若干个区间，然后统计这组数据在每个区间中出现的次数，称为频数，由此得到一个频数表。以数据的取值为横坐标，频数为纵坐标，画出一个阶梯形的图，称为直方图，或频数分布图。若样本容量不大，能够手工做出频数表和直方图，当样本容量较大时则可以借助Matlab这样的软件了。让我们以下面的例子为例，介绍频数表和直方图的作法。例1学生的身高和体重学校随机抽取100名学生，测量他们的身高和体重，所得数据如表表1身高体重数据身高体重身高体重身高体重身高体重身高体重1727516955169641716516747171621686716552169621686516662168651645917058165641605517567173741726416857155571766417269169581765717358168501695216772170571665516149173571757615851170631696317361164591656216753171611667016663172531736017864163571695416966178601776617056167541695817373170581606517962172501634717367165581766316252-202-1656617259177661826917575170601706216963186771746616350172591766016676167631725717758177671697216650182631766817256173591746417159175681655616965168621776418470166491717117059（i）数据输入数据输入通常有两种方法，一种是在交互环境中直接输入，如果在统计中数据量比较大，这样作不太方便；另一种办法是先把数据写入一个纯文本数据文件data.txt中，格式如例1的表1，有20行、10列，数据列之间用空格键或Tab键分割，该数据文件data.txt存放在matlab\work子目录下，在Matlab中用load命令读入数据，具体作法是：loaddata.txt这样在内存中建立了一个变量data，它是一个包含有1020×个数据的矩阵。为了得到我们需要的100个身高和体重各为一列的矩阵，应做如下的改变：high=data(:,1:2:9);high=high(:)weight=data(:,2:2:10);weight=weight(:)（ii）作频数表及直方图求频数用hist命令实现，其用法是：[N,X]=hist(Y,M)得到数组（行、列均可）Y的频数表。它将区间[min(Y),max(Y)]等分为M份（缺省时M设定为10），N返回M个小区间的频数，X返回M个小区间的中点。命令hist(Y,M)画出数组Y的直方图。对于例1的数据，编写程序如下：loaddata.txt;high=data(:,1:2:9);high=high(:);weight=data(:,2:2:10);weight=weight(:);[n1,x1]=hist(high)%下面语句与hist命令等价%n1=[length(find(high158.1)),...%length(find(high=158.1&high161.2)),...%length(find(high=161.2&high164.5)),...%length(find(high=164.5&high167.6)),...%length(find(high=167.6&high170.7)),...%length(find(high=170.7&high173.8)),...%length(find(high=173.8&high176.9)),...%length(find(high=176.9&high180)),...%length(find(high=180&high183.1)),...%length(find(high=183.1))][n2,x2]=hist(weight)subplot(1,2,1),hist(high)subplot(1,2,2),hist(weight)计算结果略，直方图如图1所示。-203-15016017018019005101520253040506070800510152025图1直方图从直方图上可以看出，身高的分布大致呈中间高、两端低的钟形；而体重则看不出什么规律。要想从数值上给出更确切的描述，需要进一步研究反映数据特征的所谓“统计量”。直方图所展示的身高的分布形状可看作正态分布，当然也可以用这组数据对分布作假设检验。例2统计下列五行字符串中字符a、g、c、t出现的频数1.aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggagg2.cggaggacaaacgggatggcggtattggaggtggcggactgttcgggga3.gggacggatacggattctggccacggacggaaaggaggacacggcggacataca4.atggataacggaaacaaaccagacaaacttcggtagaaatacagaagctta5.cggctggcggacaacggactggcggattccaaaaacggaggaggcggacggaggc解把上述五行复制到一个纯文本数据文件shuju.txt中，放在matlab\work子目录下，编写如下程序：clcfid1=fopen('shuju.txt','r');i=1;while(~feof(fid1))data=fgetl(fid1);a=length(find(data==97));b=length(find(data==99));c=length(find(data==103));d=length(find(data==116));e=length(find(data=97&data=122));f(i,:)=[abcdea+b+c+d];i=i+1;endf,he=sum(f)dlmwrite('pinshu.txt',f);dlmwrite('pinshu.txt',he,'-append');fclose(fid1);我们把统计结果昀后写到一个纯文本文件pinshu.txt中，在程序中多引进了几个变量，是为了检验字符串是否只包含a、g、c、t四个字符。1.3统计量假设有一个容量为n的样本（即一组数据），记作),,,(21nxxxxL=，需要对它进行一定的加工，才能提出有用的信息，用作对总体（分布）参数的估计和检验。统计量就是加工出来的、反映样本数量特征的函数，它不含任何未知量。下面我们介绍几种常用的统计量。-204-（i）表示位置的统计量—算术平均值和中位数算术平均值（简称均值）描述数据取值的平均位置，记作x，∑==niixnx11（1）中位数是将数据由小到大排序后位于中间位置的那个数值。Matlab中mean(x)返回x的均值，median(x)返回中位数。（ii）表示变异程度的统计量—标准差、方差和极差标准差s定义为2112)(11⎥⎦⎤⎢⎣⎡−−=∑=niixxns（2）它是各个数据与均值偏离程度的度量，这种偏离不妨称为变异。方差是标准差的平方2s。极差是),,,(21nxxxxL=的昀大值与昀小值之差。Matlab中std(x)返回x的标准差，var(x)返回方差，range(x)返回极差。你可能注意到标准差s的定义（2）中，对n个)(xxi−的平方求和，却被)1(−n除，这是出于无偏估计的要求。若需要改为被n除，Matlab可用std(x,1)和var(x,1)来实现。（iii）中心矩、表示分布形状的统计量—偏度和峰度随机变量x的r阶中心矩为rExxE)(−。随机变量x的偏度和峰度指的是x的标准化变量DxExx/)(−的三阶中心矩和四阶中心矩：()[](),)()()()(2/3331xDxExExDxExE−=⎥⎥⎦⎤⎢⎢⎣⎡⎟⎟⎠⎞⎜⎜⎝⎛−=ν()[]().)()()()(2442xDxExExDxExE−=⎥⎥⎦⎤⎢⎢⎣⎡⎟⎟⎠⎞⎜⎜⎝⎛−=ν偏度反映分布的对称性，01ν称为右偏态，此时数据位于均值右边的比位于左边的多；01ν称为左偏态，情况相反；而1ν接近0则可认为分布是对称的。峰度是分布形状的另一种度量，正态分布的峰度为3，若2ν比3大得多，表示分布有沉重的尾巴，说明样本中含有较多远离均值的数据，因而峰度可以用作衡量偏离正态分布的尺度之一。Matlab中moment(x,order)返回x的order阶中心矩，order为中心矩的阶数。skewness(x)返回x的偏度，kurtosis(x)返回峰度。在以上用Matlab计算各个统计量的命令中，若x为矩阵，则作用于x的列，返回一个行向量。对例1给出的学生身高和体重，用Matlab计算这些统计量，程序如下：clcloaddata.txt;high=data(:,1:2:9);high=high(:);weight=data(:,2:2:10);weight=weight(:);-205-shuju=[highweight];jun_zhi=mean(shuju)zhong_wei_shu=median(shuju)biao_zhun_cha=std(shuju)ji_cha=range(shuju)pian_du=skewness(shuju)feng_du=kurtosis(shuju)统计量中昀重要、昀常用的是均值和标准差，由于样本是随机变量，它们作为样本的函数自然也是随机变量，当用它们去推断总体时，有多大的可靠性就与统计量的概率分布有关，因此我们需要知道几个重要分布的简单性质。1.4统计中几个重要的概率分布1.4.1分布函数、密度函数和分位数随机变量的特性完全由它的（概率）分布函数或（概率）密度函数来描述。设有随机变量X，其分布函数定义为xX≤的概率，即}{)(xXPxF≤=。若X是连续型随机变量，则其密度函数)(xp与)(xF的关系为∫∞−=xdxxpxF)()(.上α分位数是下面常用的一个概念，其定义为：对于10α，使某分布函数α−=1)(xF的x，称为这个分布的上α分位数，记作αx。我们前面画过的直方图是频数分布图，频数除以样本容量n，称为频率，n充分大时频率是概率的近似，因此直方图可以看作