第二章实验数据的处理-2.

计算物理学[e-mail]1/372.2实验数据错误值的剔除错误值（过失误差）的处理测量数据在其采集、传输与记录过程中，有可能造成数据丢失或个别数据产生不切合实际的偏差，这种数据称为错误值，或称为奇异项或坏值。1.人为因素（读错、记录错、操作错）2.不符合实验条件的环境突变（突然振动、电磁干扰等）024681012141618200.00.51.01.52.02.53.03.5024681012141618200.00.51.01.52.02.53.03.5YX计算物理学[e-mail]2/372.2实验数据错误值的剔除剔除错误值的目的：主要是恢复数据的客观真实性，而不是为了提高精度。剔除错误值基本思想：规定一个置信水平，确定一个置信限度，凡是超过这个限度的误差，就认为它不属于随机误差的范围，是错误值，从而予以剔除。由于置信限度与统计量的分布及测量次数有关，剔除了一次坏值后，还需对留下的数据重新检验，直到满足置信限度。计算物理学[e-mail]3/372.2实验数据错误值的剔除剔除错误值的常用方法1.拉依达方法：非等置信概率2.肖维勒方法：等置信概率3.一阶差分法：预估比较法计算物理学[e-mail]4/372.2实验数据错误值的剔除1拉依达方法如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。这种方法用于正态分布的数据，当n→∞时，其置信概率为99.7%。实际中，即使是在正态分布的条件下，由于测量次数不同，其置信概率就不同，可见拉依达方法是一种非等置信概率方法。计算物理学[e-mail]5/372.2实验数据错误值的剔除2肖维勒方法对于遵从正态分布的情况，在n次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。这实质上是规定了置信概率为1-1/2n，根据这一置信概率，可计算出肖维勒系数，也可从表中查出，当要求不很严格时，还可按下列近似公式计算。10.4()nlnn计算物理学[e-mail]6/372.2实验数据错误值的剔除肖维勒系数表nωnnωn31.38132.0741.53142.1051.65152.1361.73202.2471.80302.3981.86402.4991.92502.58101.961002.81112.002003.02122.035003.20计算物理学[e-mail]7/372.2实验数据错误值的剔除如果某测量值与平均值之差的绝对值大于标准偏差与肖维勒系数之积，则该测量值xi被剔除。肖维勒方法是一种等置信概率方法。xnisxx计算物理学[e-mail]8/372.2实验数据错误值的剔除3一阶差分法一阶差分法是一种预估比较法，是用前两个测量值来外推即预估新的测量值，然后用预估值与实际测量值比较，并事先给定其允差限值，称作误差窗，以此来决定该测量值的取舍。预估值：比较判别：xxWnn计算物理学[e-mail]9/372.2实验数据错误值的剔除3一阶差分法一阶差分法特点：1.适合于实时数据采集与处理过程2.精度除了与误差窗的大小有关外，还与前两点测量值的精确度有关3.如果被测物理量的变化规律不是单调递增或单调递减函数，这一方法将在函数的拐点处产生较大的误差，严重时将无法使用计算物理学[e-mail]10/372.2实验数据错误值的剔除例2.2.1利用肖维勒方法对下列数据的错误值进行剔除1.50341.50621.50341.50241.49852.50001.50071.50671.49931.4969inxxxS211niixxxSn上列数据保存于文件erro.datnnn104.()计算物理学[e-mail]11/372.2实验数据错误值的剔除012345678910110.511.522.533.5原始数据012345678910110.511.522.533.5错误值剔除后数据std.m计算物理学[e-mail]12/372.3实验数据的平滑滤波在物理实验中，不论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上噪声信号。为了提高数据的质量，必须去除噪声。计算物理学[e-mail]13/372.3实验数据的平滑滤波错误值剔除：0.00.20.40.60.81.01.20.81.01.21.41.61.82.02.22.4YX计算物理学[e-mail]14/372.3实验数据的平滑滤波数字滤波时域滤波频域滤波平滑滤波对一个按某种等间隔规律（如等时测量，等电压间隔测量等）测得的数据序列，对某一位置处的数据，利用其前后的数据经某种运算后，得到一个新的平滑数据，从而得到一个新的平滑后的数据序列。平滑滤波是依据随机噪声的概率统计性质，通过适当运算，使噪声抑制到满意的程度。计算物理学[e-mail]15/372.3实验数据的平滑滤波2.3.1单纯移动平均单纯移动平均法是在时域序列中，某一数据点前后对称地取出2n+1个数据（平滑宽度或平滑窗口），求其平均值作为结果序列中的数据，而取代原始数据。1211::iniiiiniNyyyyyyyynnyyynnkkiiyny121),,2,1(nNnni计算物理学2.3实验数据的平滑滤波例2.3.1分别利用3、9、15点单纯移动平均对下列数据进行平滑。计算物理学[e-mail]17/372.3实验数据的平滑滤波nnkkiiyny121),,2,1(nNnni计算物理学[e-mail]18/372.3实验数据的平滑滤波计算物理学[e-mail]19/372.3实验数据的平滑滤波优点：方法简单，计算方便。缺点：方法误差：信号失真。数据丢失：前后各n个数据无法平滑。适用性：适用于变化缓慢的数据。平滑窗口越大，平滑效果越好，但失真也越大。单纯移动平均小结计算物理学[e-mail]20/372.3实验数据的平滑滤波2.3.2加权移动平均加权的基本思想：平均区间内中心处数据的权值最大，愈偏离中心处的数据权值愈小。这样就减小了对真实信号本身的平滑作用。权重系数可以采用最小二乘原理，即使平滑后的数据以最小均方差逼近原始数据。2'minitittyy单纯移动平均采用算术平均，存在信号失真的方法误差。计算物理学[e-mail]21/372.3实验数据的平滑滤波设自变量x以步长h作等距观测的数据yxix0x1…xi-1xixi+1…xNyiy0y1…yi-1yiyi+1…yN0ixxihixxth作变换计算物理学[e-mail]22/3700000():()():iiNxxxxihxtihhxxxNhxihxtNihh2.3实验数据的平滑滤波数据变为ti+t-i1-i…-101…N-i01…i-1ii+1…Nyi+ty0y1…yi-1yiyi+1…yN构造平滑公式：'2012mitmyAAtAtAt平滑多项式的系数由最小二乘原理确定2'minminitittyy计算物理学[e-mail]23/372.3实验数据的平滑滤波即20122minittmmAAtAtAtyt取最靠近i的k=2n+1个整数值（平滑点的数目），且应保证mkN，t=-n,-n+1,…0…n-1,n计算物理学[e-mail]24/372.3实验数据的平滑滤波线性平滑：m=1平滑公式为系数由下式确定：'01ityAAt021minminittAAty0100AA01012()0()0ittittAAtyAAtyt计算物理学[e-mail]25/372.3实验数据的平滑滤波三点线性平滑k=2n+1=3,n=1，t=-1,0,1解得系数：10111011()0()0ittittAAtyAAtyt0111111()31()2iiiiiAyyyAyy计算物理学[e-mail]26/372.3实验数据的平滑滤波平滑公式为：0101111611131111601(52)()(25)iiiiiiiiiiiiyyyyAAyyyyyAyAyAy简记为：)52()()25(101611101310101611yyyyyyyyyyyy'01ityAAt0111111()31()2iiiiiAyyyAyy计算物理学[e-mail]27/372.3实验数据的平滑滤波三点线性平滑权重系数表归一系数y-1y0y1y-1’652-1y0’3111y1’6-125计算物理学[e-mail]28/372.3实验数据的平滑滤波五点线性平滑权重系数表归一系数y-2y-1y0y1y2y-2’53210-1y-1’1043210y0’511111y1’1001234y2’5-10123计算物理学[e-mail]29/372.3实验数据的平滑滤波二次平滑：m=2平滑公式为