第10章-数据处理

1第十章试验数据处理2本章主要内容•§10-1测量误差•§10-2单随机变量的数据处理•§10-3多变量数据的处理•§10-4其它方法5§10-1测量误差一、误差分类测量值与真值之间的差叫做测量误差，它是由使用仪器、测量方法、周围环境、人的技术熟练程度和人的感官条件等的技术水平和客观条件的限制所引的。1．随机误差随机误差的发生是随机的，其数值变化规律符合一定统计规律，通常为正态分布规律。因此，随机误差的度量是用标准偏差。随机误差通常是由于环境条件的波动以及观察者的精神状态等测量条件引起的。6§10-1测量误差2.系统误差系统误差是在一组测量中，常保持同一数值和同一符号的误差，因而系统误差有一定的大小和方向，它是由于测量原理的方法本身的缺陷、测试系统的性能、外界环境(如温度、湿度、压力等)的改变、个人习惯偏向等因素所引起的误差。3.粗大误差又称过失误差，它是由于设计错误或接线错误、或操作者粗心大意看错、读错、记错等原因造成的误差。7§10-1测量误差征测量结果与被测量真值的接近程度，它反映系统误差的大小。而精度则反映测量的总误差。二、精密度、准确度和精度精密度表征在相同条件下多次重复测量中测量结果的互相接近，互相密集的程度，它反映随机误差的大小。准确度表8§10-2单随机变量的数据处理一、误差估计Q'Qx'Qx'测量误差测量值真值绝对误差相对误差9§10-2单随机变量的数据处理在实际测量中，测量误差是随机变量，因而测量值也是随机变量。因真值无法测到，故用大量观测次数的平均值近似地表示，并对误差的特性和范围作出估计。1.算术平均值当未知量x0被测量n次，并被记录为x1,x2,…，xn个数，那么，xr=x0+er,其中er是观测中的不确定度，或正或负。n次测量的算术平均值为neeexnxxxxnn2102111§10-2单随机变量的数据处理2．标准误差标准误差σ反映了测量值在算术平均值附近的分散和偏离程度。3．变异系数Cv112nxxniiσ标准误差(样本均方差、标准离差、标准差)xCv12§10-2单随机变量的数据处理二、误差的分布规律随机误差一般具有以下特征(正态分布)：（1）单峰值。绝对值小的误差比绝对值大的误差出现的次数多。（2）对称性。绝对值相等的正误差与负误差出现的次数相等。（3）抵偿性。随着测量次数的增加，随机误差的平均值趋于0。（4）有界性。在怀定的测量条件下，随机误差的绝对值不会超过一定界限。13§10-2单随机变量的数据处理随机误差正态分布特征：式中y为测量误差的概率密度。22221)(xxiey)(xxix332214§10-2单随机变量的数据处理在某一区间内将y积分可得计算误差落在此区间内的测量值出现的概率：误差区间概率(%)-σ~+σ68％；-2σ~+2σ95％；-3σ~+3σ99.7％。在一般情况下，99.7％已可认为代表多次测量的全体，所以把±3σ叫作极限误差。x332215§10-2单随机变量的数据处理三、可疑数据的舍弃在多次测量中，有时会遇到个别测值和其它多数测值相差较大的情况，这些个别数据就是所谓的可疑数据。对于可疑数据，可以利用正态分布来决定取舍。因为在多次测量中，误差在-3σ~+3σ之间时，其出现概率为99.7％，也就是说，在此范围之外的误差出现的概率只有0.3％，即测量300多次才可能遇上1次。若只进行10~20次的有限测量，可以认为超出±3σ的误差已不属于随机误差，应将其舍弃。16§10-2单随机变量的数据处理如果测量了300次以上，就有可能遇到超出±3σ的误差，因此，有的大的误差仍属于随机误差，不应该舍去。由此可见，对数据保留的合理误差范围是同测量次数n有关的。下表为一种试验值舍弃标准，超过的可以舍去，其中n为测量次数，di是合理的误差限，σ是根据测量数据算得的标准误差。17§10-2单随机变量的数据处理[使用方法]（1）计算测量数据的均值和标准误差。（2）找出可疑值，计算（3）将计算出的di/σ值与表中值相比，若大于表中值则应当舍弃，舍弃后再对下一个可疑值进行检验，若小于表中值，则可疑值是合理的。注意：这种方法只适合误差只是由测试技术原因样本代表性不足的数据的处理，对现场测试和探索性试验中出现的可疑数据的舍弃，必须要有严格的科学依据，而不能简单地用数学方法来舍弃。xx//xxdki18§10-2单随机变量的数据处理四、处理结果的表示1.实例[例1]同一岩体的10个岩石试件的抗压强度分别为:15.2,14.6,16.1,15.4,15.5,14.9,16.8,18.3,14.6,15.0。(1)计算平均值和标准误差：(2)剔除可疑值：第8个数据18.3疑为可疑数据，故18.3应当剔除。9912921616015301810.....ddMPaMPa161615.σc.19§10-2单随机变量的数据处理(3)再计算其余9个值的算术平均值和标准误差：在余下的9个数据中再检查可疑数据，取与平均值偏差最大的第7个数据16.8,这个数据是合理的。9219081786031581610.....ddMPaMPa7860315..σc20§10-2单随机变量的数据处理(4)处理结果用算术平均值和极限误差表示为根据误差的分布特征，该种岩石的抗压强度在12.94~17.66MPa的概率是99.7%，正常情况下的测试结果不会超出该范围。(MPa)362315786033153....cc22§10-2单随机变量的数据处理2.保证极限法K保证率0.000.00.6750.01.0068.01.64590.02.0095.02.5899.03.0099.7x332223§10-2单随机变量的数据处理在实用上，保证值是以偏于安全为原则来选取最大值或最小值。如承载力等指标采用最小值；含水量等指标采用最大值。采用最小值时，保证值表示大于该值的数据出现的概率等于所选取的保证率，采用最大值时，保证值表示小于该值的数据出现的概率等于所选取的保证率。kxkx24§10-2单随机变量的数据处理[例2]岩石抗压强度均值15.3MPa,标准差为0.786MPa[例3]含水量平均值为40%,标准差为5%(MPa)5141.cck大于该值保证率50%(MPa)71322.cck(MPa)91233.cck大于该值保证率95%大于该值保证率99.7%%451wwk大于该值保证率50%大于该值保证率95%大于该值保证率99.7%%5022wwk%5533wwk25§10-3多变量数据的处理——经验公式的建立在试验研究中，不但要测量随机变量的平均值和分布特性，更重要的是要研究一些变量之间的相互关系，以探求物理量之间相互变化的内在规律。对于两个以上变化着的物理量的试验数据处理，通常有如下三种方法：(1)列表法。根据试验的预期目的和内容，合理地设计数表的规格和形式，使其具有明确的名称和标题，能够对重要的数据和计算结果突出表示，有清楚的分项栏目、必要的说明和备注，试验数据易于填写等。该法简单易作，数据易于参考比较，形式紧凑，同一表中可表示多个变量的变化，但数据变化趋势不如图解法明了直观。26§10-3多变量数据的处理——经验公式的建立(2)图形表示法。在选定的坐标系中，根据试验数据画出几何图形来表示试验结果，通常采用散点图。其优点是：数据变化的趋向能够得到直观、形象的反映。缺点是：超过三个变量就难于用图形来表示，绘图含有人为的因素，同一原始数据因选择的坐标和比例尺的不同也有较大的差异。27§10-3多变量数据的处理——经验公式的建立(3)解析法。也称方程表示法和计算法，是通过对试验数据的计算，求出表示各变量间关系的经验公式。其优点是结果的统一性克服了图解法存在的主观因素的影响。最简单的情况是对于两个或多个存在着统计相关的随机变量，根据大量有关的测量数据来确定它们之间的回归方程(经验公式)。这种数学处理过程也称为拟合过程。回归方程的求解包括两个内容：①回归方程的数学形式的确定；②回归方程中所含参数的估计。28§10-3多变量数据的处理——经验公式的建立一、一元线性回归设有一组试验数据：(x1,y1)．(x2,y2)，…，(xn,yn)，一元线性回归分析的目的就是要找出一条直线方程，使它既能反映各散点的总的规律，又能使其与各散点之间的差值的平方和最小。设欲求的直线方程为则要求22iiibxayyyQˆminbxayˆ29§10-3多变量数据的处理——经验公式的建立根据极值定理，有解方程得iiyxbnaaQ:0iiiyxxbxabQi20:2)())((xxyyxxbiiixbya30§10-3多变量数据的处理——经验公式的建立求出a和b之后．还必须检验两个变量间相关的密切程度，只有二者相关密切时，直线方程才有意义。现在进一步分析残差平方和Q：若Q＝0，则全部散点均落在直线上，则22222xxbyyQbxxbyybxayQiiiiii或0222xxbyyii31§10-3多变量数据的处理——经验公式的建立令式中r——线性相关系数。r＝±1，表示完全线性相关；r＝0表示线性不相关。因而r表示两量的相关密切程度。注意:只有当r的绝对值大到一定程度时，才可用回归直线来近似地表示x与y的关系。此时称相关系数显著，即x与y关系密切。通常也只有在此情况下，才能判定x与y存在线性关系。2222yyxxbrii32§10-3多变量数据的处理——经验公式的建立34§10-3多变量数据的处理——经验公式的建立通常，回归方程的显著性检验采用F检验法。查F分布表(一元回归,ν1=1,ν2=n-2)中三种不同显著性水平α的数值，设记为Fα(1,n-2)，将这三个数与由上式计算的F值进行比较:F＞F0.01(1,n-2)，回归高度显著(在0.01水平上显著)；F0.05(1,n-2)~F0.01(1,n-2)，回归显著(在0.05水平上显著)；F0.10(1,n-2)~F0.05(1,n-2)，回归在0.1水平上显著；F＜F0.1(1,n-2)，回归不显著—y对x的线性关系不密切。niiyyUnQUF122)ˆ()/(35§10-3多变量数据的处理——经验公式的建立36§10-3多变量数据的处理——经验公式的建立37§10-3多变量数据的处理——经验公式的建立38§10-3多变量数据的处理——经验公式的建立则一元线性回归方程的表达形式为若将离散点和回归曲线及上下误差限曲线同时绘于图上，则落在上下误差线外的点必须舍去。2nQ可用计算回归方程的均方差估计其精度，并判断试验点中是否有可疑点需舍去。一元线性回归方程均方差为3bxaybxay33yx39§10-3多变量数据的处理——经验公式的建立二、可线性化的非线性有时，自变量与因变量之间是非线性关系，但可以通过对自变量作适当的变换，把一个非线性的相关关系转化成线性的相关关系，然后用线性回归分析来处理。既然自变量可以变换，那么能否对因变量y也作适当的变换呢?这需要慎重对待，因为y是一个随机变量,对y作变换会导致y的分布改变，即有可能导致随机误差项不满足服从零均值正态分布这个基本假定。但在实际工作中，习惯于对回归函数y=f(x)中的自变量x与因变量y同时作变换，以便使它成为一个线性函数。40§10-3多变量数据的处理——经验公式的建立•xbay1:双曲线41§10-3多变量数据的处理——经验公式的建立baxy:幂函数42§10-3多变量数据的处理——经验公式的建立bxaey:指数函数43§10-3多变量数据的处理——