8-数据的误差分析与信号的预处理

2020/4/27大连理工大学12020/4/27大连理工大学1PartIII数据误差分析与处理大连理工大学硕士研究生校管课程信号处理与数据分析电子信息与电气工程学部邱天爽2015年11月2020/4/27大连理工大学2第8章数据的误差分析与信号的预处理大连理工大学硕士研究生校管课程信号处理与数据分析电子信息与电气工程学部邱天爽2015年11月大连理工大学22020/4/27内容概要•§8.1引言•§8.2误差的基本概念与理论•§8.3测量不确定度的评定与估计•§8.4数据处理的最小二乘方法•§8.5回归分析•§8.6信号中趋势项和野点的去除•§8.7温度测量与数据处理应用实例大连理工大学32020/4/27§8.1引言大连理工大学42020/4/27大连理工大学5•信号处理与测试测量密切相关。•测量和测试不可回避的问题是误差问题。•误差的大致分类：随机误差；系统误差•了解误差的产生原因和特性，对误差进行一定的补偿与处理，从而改善测量精度。•这些误差消除的方法，与信号处理中的信号预处理方法是相似的。•此外，测量数据的最小二乘处理方法与回归分析，是数据分析处理的基本手段和重要内容。2020/4/27§8.2误差的基本概念与理论大连理工大学62020/4/27大连理工大学7•误差的概念：–测量误差（这里简称为“误差”）是指对一个量进行测量或测试后，所得到测量、测试结果与被测量之间的差异。可以分为绝对误差、相对误差和引用误差等。8.2.1误差的基本概念2020/4/27大连理工大学8•（1）绝对误差–绝对误差定义为测量值与其真值之差，即：–绝对误差并不是误差的绝对值，其值可以为正，也可以为负。–绝对误差表示测量值偏离其真值的程度。–绝对误差的单位与被测量相同。–由于真值不易得到，绝对误差转化为残余误差（简称为“残差”），即–为多次测量的平均值。2020/4/2700v大连理工大学9•（2）相对误差–相对误差定义为绝对误差与被测量真值之比：•（4）引用误差–引用误差定义为测量仪器的误差与仪器特定值之比：–式中，D表示测量仪器的误差，B表示测量仪器的特定值，又称为引用值，通常为测量仪器的量程。2020/4/270100%100%aDYB大连理工大学10•（1）随机误差的基本概念–是指在相同条件下，多次测量同一被测量时，测量结果的大小和符号以不可预知的方式变化的误差，又称为“偶然误差”或“不定误差”。–随机误差在一定程度上服从某种统计规律。可以运用概率统计的方法对随机误差的总体趋势和分布进行估计，并采取相应的措施减小其影响。8.2.2随机误差2020/4/27大连理工大学11•产生的原因–第一，由于测量仪器结构上不完善或零部件制造不精密而产生；–第二，测量过程中环境因素变化或干扰影响所引入；–第三，测量人员主观因素的影响。2020/4/27大连理工大学12•（2）算数平均值的概念与应用–定义：–当测量次数趋于无穷时，某次测量的绝对误差可以写为–为测量结果的数学期望；–为测量结果与期望值的偏离值，称为随机误差；–为期望值与真值的偏差，称为系统误差。2020/4/2711NiiN00([])([])iiiiiEE[]iE([])iiE0([])iE大连理工大学13•（3）测量的标准差–标准差是测量数据平均值分散程度的一种度量：–通常用残差来替代绝对误差，有：–算数平均值的标准差：2020/4/2721NiiNivi211NiivNNiiv大连理工大学14•（1）系统误差的概念–系统误差（systemerror）又称为规律误差，是指在一定的测量条件下，对同一个被测量进行多次重复测量时，误差值的大小和符号（正值或负值）均保持不变的误差；或者在条件变化时，按一定规律变化的误差。–系统误差可以通过实验或分析的方法确定其变化规律及误差的产生原因，并在测量的结果中给予修正。也可以通过改善测量条件或测量方法，使之减小或消除。–系统误差不能依靠增加测量次数来减小或消除。8.2.3系统误差2020/4/270([])iE大连理工大学15•（2）系统误差的来源–①测量仪器引入的误差。–②仪器调整引入的误差。–③测量者习惯引入的误差。–④测量条件所引入的误差。是指由温度、气压、气流、振动等条件在测量过程中发生变化所引入的误差。–⑤测量方法所引入的误差。是指由于采用不适当的测量方法或数据处理方法所引入的误差。2020/4/27大连理工大学16•（3）发现、减小和消除系统误差的方法–实验对比法：•用于发现固定系统误差，其基本思路是改变系统误差的产生条件，进行不同条件的测量。–理论分析法：•主要用于对测量进行定性的分析判断，以确定是否存在系统误差。–数据分析法：•主要用于对测量进行定量分析。2020/4/27大连理工大学17•粗大误差的概念–粗大误差（grosserror）是指明显超出规定条件预期的误差，常简称为“粗差”。–引起粗大误差的原因主要包括错误读取示值，使用有缺陷的测量器具，测量仪器受到外界振动或电磁干扰而发生指示突变等。–粗大误差必须从测量结果中剔除，否则会导致错误的结论。8.2.4粗大误差2020/4/27大连理工大学18•（1）粗大误差的判定准则–1：准则–式中，为可疑数据，为测量数据的平均值，为该数据的残差，为测量数据残差的标准差。若上式满足，则删除该数据。–2：罗曼诺夫斯基准则（又称为t分布检验准则）–先剔除一个可疑的测量值，再按照t分布来检验被剔除的测量值是否含有粗大误差。2020/4/273||||3ddvddv大连理工大学19•（2）粗大误差的消除方法–粗大误差的消除方法主要有两条准则：•第一，要适当选择粗大误差的判别准则；•第二，在存在多个粗大误差的情况下，应采用逐步剔除的方法，通常先剔除含有最大粗大误差的数据，再依次进行判别和剔除。2020/4/27大连理工大学20•（1）随机误差的合成–随机误差合成的标准差：–若各测量误差互不相关，则–误差传播系数均为1，则8.2.5误差的合成（自行阅读）2020/4/27211()2qqiiijijijiijaaa21()qiiia21qii大连理工大学21•（2）系统误差的合成–已定系统误差的合成：•已定系统误差（fixedsystemerror）是指误差的大小和符号均已确切掌握了的系统误差。–未定系统误差的合成•仅知道其极限范围而未知其准确数值的系统误差称为未定系统误差。2020/4/2711221NNNiiiyaaaa2211qrijijsR大连理工大学22•误差的分配是误差合成的相反过程，即在给定测量结果允许的总误差的条件下，如何合理确定各单项误差的问题，就是误差的分配问题。•误差分配的一般原则：•式中，表示总误差，表示各单项误差。8.2.6误差的分配（自行阅读）2020/4/2712222Nyyyyy,1,2,,iyiiaiN§8.3测量不确定度的评定与估计（自行阅读）大连理工大学232020/4/27大连理工大学24•（1）定义–测量不确定度（uncertaintyofmeasurement）是基于误差理论所建立的概念，可以理解为对测量结果的可信性、有效性的怀疑程度或不肯定程度。–测量不确定度是与测量结果相关联的参数，用于表征合理赋予被测量值的分散性。这里的“合理”是指在随机状态的测量。8.3.1测量不确定度的基本概念2020/4/27大连理工大学25•（2）测量不确定度与误差的同异–相同点：误差与不确定度二者都是由测量的系统效应和随机效应所引起的。这些效应使得被测量的真值无法确知，每个测量结果也就都具有一定的不可靠性，导致产生误差和不确定度。–不同点：•误差是相对于真值而言，是测量值与真值之差。由于真值可能不可知，故误差也不可能得到准确值。•不确定度是表示由于系统效应和随机效应的存在而对测量结果不能肯定的程度，表征了被测量值可能出现的范围。•误差和不确定度的取值不同。误差是一个差值，其符号或正或负；测量不确定度是一个区间，其值恒为正值。2020/4/27大连理工大学26•（1）标准不确定度的A类评定–标准不确定度的A类评定采用统计分析的方法进行评定。–其中，为标准不确定度，为平均实验标准差，为样本标准差。N为测量次数。一般认为N5才比较可靠。•（2）标准不确定度的B类评定8.3.2标准不确定度的评定2020/4/27()()()isusN()u()s()is大连理工大学27•合成–若不确定度相互独立：–若各分量的影响是直接的：8.3.3测量不确定度的合成2020/4/2722c11()()2iijNNxijxxiijiijfffuyuuuxxx22c1()()iNxiifuyux2c1()()iNxiuyu其中，为直接测量值的标准不确定度，为第i个测量值与第j个测量值之间的相关系数。ixuij§8.4数据处理的最小二乘方法（自行阅读）大连理工大学282020/4/27大连理工大学29•最小二乘的概念–最小二乘法（leastsquaremethod，又称最小平方法）是一种数学优化方法；–它通过最小化误差的平方和来寻找数据的最佳函数匹配；–是一种在科学技术中得到广泛关注与应用的数据处理方法。–利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。–最小二乘法还可用于曲线拟合，其他一些优化问题也可通过误差能量最小化或熵的最大化而用最小二乘法来表达。2020/4/27大连理工大学30•（1）问题描述–为了确定t个不可直接测量的未知量的估计，可对t个未知量有函数关系的直接测量量进行N次测量，得测量数据，并设：–在实际中，常取，为超定方程组，解不唯一。如何由测量数据求最可信赖解是最小二乘法要解决的问题。8.4.1最小二乘法基本原理（自行阅读）2020/4/2712,,,tXXX12,,,txxxY12,,,Nlll1112221212(,,,)(,,,)(,,,)ttNNtYfXXXYfXXXYfXXXNt大连理工大学31•（2）最小二乘法基本原理–设直接测量量的估计量为，有–设测量数据的残差：–或称为残差方程：–若测量无偏且误差独立、正态分布，标准差：–则各测量值出现在其真值附近的概率分别为2020/4/2712,,,NYYY12,,,Nyyy1112221212(,,,)(,,,)(,,,)ttNNtyfxxxyfxxxyfxxx,1,2,,iiivlyiN12(,,,),1,2,,iiitvlfxxxiN12,,,N2221ed,1,2,,2iiiiiPiN大连理工大学32–由概率乘法性质，各测量数据同时出现在相应区域的概率为：–在等精度测量中，有，由此分析上式可知，测量结果的最可信赖值应在各残差平方和为最小时求得，这就是最小二乘法的原理。–按照最小二乘法求出的估计值习惯上称为最大或然值（themostprobablevalue），又称为最可靠值，具有无偏性和最可信赖性。2020/4/272212121121eddd2NiiiNiNNiNPP12===N2222121minNNiivvvv大连理工大学33•（3）等精度测量的线性参数最小二乘原理–线性参数测量方程的估计形式为：–其残差方程为：–写为矩阵形式：2020/4/2711111221221122221122ttttNNNNttyaxaxaxyaxaxaxyaxaxax1111112212221122221122()()()ttttNNNNNttvlax