试验设计和数据处理

试验设计与数据处理***试验设计与数据处理的发展概况•20世纪20年代，英国生物统计学家及数学家费歇（R．A．Fisher）提出了方差分析•20世纪50年代，日本统计学家田口玄一将试验设计中应用最广的正交设计表格化•数学家华罗庚教授也在国内积极倡导和普及的“优选法”•我国数学家王元和方开泰于1978年首先提出了均匀设计绪论本课程研究内容：研究如何合理地安排实验，有效地获得实验数据，然后对实验数据进行综合的科学分析，以求尽快达到优化实验的目的。本课程开设的目的：将数学的纯理论转向实际应用，利用数学工具解决实际的化学、化工及环境专业问题，无论是对于目前大家即将面临的专业课学习、毕业论文实验，还是将来的生产实践，都是很有必要的。试验设计与数据处理所要解决的问题•在自然界中，有很多的现象是没有一个特定的规律——即没有一个数学模型，是不能用我们以前所学的知识所能解决的，在我们化学研究领域更是如此。比如我们在材料研究中，要研制一种新型纳米材料，它是由许多种原材料配合，再通过一定的反应过程而成。可以用多少种材料来配料，需要什么样的反应条件，这都是未知数。而且没有一定的规律可言。那就需要我们进行大量的试验来寻找它的配方及反应条件。试验设计所要作的工作就是用最少的试验次数，尽快找出这些参数的最佳范围。数据处理是对试验数据进行分析后，去掉那些对试验影响不大的因素，来确定最佳的试验方案。二、关于实验设计与数据处理本课程中主要应用的是数理统计中的统计方法理论，主要考虑的是与实验设计有关的分析并解释实验结果的统计方法。如误差检验、方差分析、回归分析等。。凡是涉及到数据的问题，只要数据中包含有相当大的实验误差，则获得满意结果的唯一稳妥的处理方法就是统计方法，除此之外别无他择。统计方法应当作为从事工业生产的科技人员所必须掌握的一门技术，用来有效地处理工业生产中的各种问题。鉴于此，本课程重点讲授应用统计学理论来解决化学、化工及环境科学与工程中的遇到的实验问题。举例说明统计学在环境科学中的应用：“化工厂经常把有毒废弃物排放到附近的河流中，这些有毒化学品对栖息在河流中的动植物往往会产生有害的影响。众所周知的DDT就对鱼类特别有害。对生活在某河流中的鱼类进行DDT含量的调查曾是一项研究工作的一部分。该河流是一条东西流向的河流，穿过一个水库，生态学家担心受污染的鱼会从河口迁移到水库危及那里的依赖鱼类生存的其他野生动物。该河干流及其支流的鱼是否被DDT污染？受污染的鱼能迁移到上游多远的地方？（提出了假设）为了回答这个问题，调查组沿着该河干流和支流进行了实地考察，在不同的地段采集鱼样共144条（由假设拟定抽样调查的方案）；对采集来的鱼样进行分类、称重、测量长度，然后用有机溶剂提取鱼肉中的DDT，测定鱼肉中的DDT含量（从调查和试验中获取数据）。很明显，这项调查并不是去捕捞河里所有的鱼，144个DDT测定值代表着从河中之鱼DDT含量这个总体中收集的一个样本，利用收集到的数据可以比较不同地段和不同鱼种之间鱼肉中DDT的含量，并确定鱼的长度和重量与DDT含量之间是否有定量关系等等（分析数据——从样本推断总体）。此例题说明了对环境问题的分析程序是：提出假设——采样——获取数据——分析数据——从样本推断总体。涉及到的一些基本术语：总体：欲研究对象的全体，又称母体个体：组成总体的每个单元为个体（总体单位）样本：总体的一部分，即从总体中抽取的部分个体（子样）数据（data）：对研究对象进行调查和观察的结果。（定性数据、定量数据）变量（variable）：具有变异性的特征或性状的量变量：采集地点、鱼种、鱼长、鱼重、鱼中DDT的浓度定量数据：鱼长、鱼重、DDT浓度产生的数据定性数据：采集地点、鱼种变量产生的数据试验设计与数据处理的意义试验设计的目的:•合理地安排试验,力求用较少的试验次数获得较好结果例：某试验研究了3个影响因素：A：A1，A2，A3B：B1，B2，B3C：C1，C2，C3全面试验：27次正交试验：9次数据处理的目的•通过误差分析，评判试验数据的可靠性；•确定影响试验结果的因素主次，抓住主要矛盾，提高试验效率；•确定试验因素与试验结果之间存在的近似函数关系，并能对试验结果进行预测和优化；•试验因素对试验结果的影响规律，为控制试验提供思路；•确定最优试验方案或配方。实验可归纳为以下几种类型：（1）物化性质研究：一般不常用统计方法；（2）产品、原料等的常规分析：系统误差大于随机误差，对误差需进行一定的设计，若想获得可靠的估计值，最好的方法就是采用统计方法；（3）材料特性试验：随机误差较大，为了获得可靠的估计值，必须从相当数量的观测值中取均值，凡是涉及此类实验的研究工作，均需采用统计法的合理设计；（4）过程研究：主要涉及的是各种实验条件的优化实验，需要对各种条件变化对过程的影响进行系统性研究，需要用到统计法的实验设计与数据处理知识。本课程的讲授内容安排（1）数据处理基础：误差理论、数据的表示方法；（2）数据处理部分：有限数据的统计处理、方差分析、回归分析；（3）实验设计部分：优选法实验设计、正交实验设计。4、教材《试验设计与数据处理》（第二版），李云雁、胡传荣编著，化工出版社，2008第1章试验数据的误差分析第1章试验数据的误差分析1、数据测量1.1数据测量的基本概念(1)物理量•物理量是反映任何物理现象的状态及其过程特征的数值量。任何物理量一般都有如下特点：物理量都是有相应的单位，数值为1的物理量称为单位物理量；同一物理量可以用不同的物理单位来描述，如能量可以用焦耳、千瓦小时等不同单位来表述。•(2)测量•以确定量值为目的的一组操作。操作的结果可得到量值，即得到数据，这组操作称为测量。例如：用米尺测得桌子的长度为1.2米。•(3)测量结果•测量结果就是根据已有的信息和条件对被测量物理量的最佳估计，既是物理量真值的最佳估计。在测量结果的完整表述中，应包括测量误差，必要时还应给出自由度及置信概率。测量结果具有重复性和复现性。•重复性是指在相同测量条件下，对同一被物理量进行连续多次测量所得结果之间的一致性。相同测量条件既称之为“重复性条件”主要包括：相同的测量程序、相同的测量仪器、相同的观测者、相同的地点、在短期内的重复测量、相同的测量环境。若每次的测量条件相同，则在一定的误差范围内，每一次测量结果的可靠性是相同的，这些测量值服从同一分布。•复现性是指在改变测量条件下，对被测量进行多次测量时，每一次测量结果之间的一致性。即在一定的误差范围内，每一次测量结果的可靠性是相同的，这些测量值服从同一分布。•(4)测量方法•根据给定的测量原理，在测量中所用的并按类别描述的一组操作逻辑次序和划分方法，常见的有替代法、微差法、零位法、异号法等。•数据测量就是用单位物理量去描述或表示某一未知的同类物理量的大小。•1.2数据测量的分类一、按计量的性质分为：检定、检验和校准•检定：由法定计量部门,为确定和证实计量器具是否完全满足检定规程的要求而进行的全部工作。检定是由国家法定计量部门所进行的测量，在我国主要是由各级计量院所以及授权的实验室来完成，是我国开展量值传递最常用的方法。检定必须严格按照检定规程运作，对所检仪器给出符合性判断，既给出合格还是不合格的结论，而该结论具有法律效应。检定方法一般分为整体检定法和分项检定法两种。•检测：对给定的产品、材料、设备、生物体、物理现象、工艺过程或服务，按照一定的程序确定一种或多种特性或性能的技术操作。检测通常是依据相关标准对产品的质量进行检验，检验结果一般记录在称为检测报告或检测证书的文件中。•校准:在规定条件下，为确定测量仪器或测量系统所指示的量值，或实物量具或参考物质所代表的量值，与对应的由标准所呈现的量值之间关系的一组操作。•二、按测量目的的分类分为：定值测量和参数检验•定值测量:按一种不确定度确定参数实际值的测量。其目的是确定被测量的量值是多少,通常预先限定允许的测量误差。•参数检验：以技术标准、规范或检定规程为依据，判断参数是否合格的测量。其目的是判断被检参数是否合格，通常预先限定参数允许变化的范围（如公差等）。•三、按测量值获得的方法分为：直接测量、间接测量和组合测量（一）直接测量法•用一个预先标定好的测量仪器去直接测量未知物理量的大小。如用万用表去测量电压、电阻、电流等；用圈尺去测量长度；用磅称测量重量等。•直接测量可表示为•y=x•式中y表示被测量的未知量，x为直接测得的量。•在由若干基本物理单位导出的物理量中，有相当多的量是无法用仪表直接测出的，如粉磨效率、选粉机的效率等。此时只能用间接测量法进行测量。（二）间接测量法把直接测量代入某一特定的函数关系式中，通过计算求出未知物理量的大小，这种方法——间接测量法。例如，用毕托管测量气流速度，直接测量压差值h。计算的特定函数关系式为11210002hg（1—2）式中：h——U型差压计的读数；——毕托管速度系数；g——重力加速度；——流体和差压计中流体密度。21,间接测量通用的函数关系式为式中：y间接测量量，直接测量量。),,(21xxfy,,21xx（三）组合测量法要测量出x和y，分别对x+y和x-y进行直接测量，得到测量值分别为l1和l2，可得测量方程组：21lyxlyx解方程组得：组合测量可以用如下的通用联立方程组表示221221llyllx0),,,,,(0),,,,,(0),,,,,(21212121221211nnnnyyyxxfyyyxxfyyyxxf式中：f1、f2、……fn——表示组合测量中的函数关系x1、x2、……——直接测量的物理量y1、y2、……——未知的物理量•误差分析（erroranalysis）：对原始数据的可靠性进行客观的评定•误差（error）：试验中获得的试验值与它的客观真实值在数值上的不一致试验结果都具有误差，误差自始至终存在于一切科学实验过程中客观真实值——真值1.3误差的概念1.3.1真值与平均值1.3.1.1真值（truevalue）•真值：在某一时刻和某一状态下，某量的客观值或实际值•真值一般是未知的•相对的意义上来说，真值又是已知的平面三角形三内角之和恒为180°国家标准样品的标称值国际上公认的计量值高精度仪器所测之值多次试验值的平均值1.3.1.2平均值（mean）（1）算术平均值（arithmeticmean）121...ninixxxxxnn等精度试验值适合：试验值服从正态分布（2）加权平均值(weightedmean)•适合不同试验值的精度或可靠性不一致时11221121......Wniinninniiwxwxwxwxxwi——权重加权和（3）对数平均值（logarithmicmean）说明：•若数据的分布具有对数特性，则宜使用对数平均值•对数平均值≤算术平均值•如果1/2≤x1/x2≤2时，可用算术平均值代替121221121221lnlnlnlnLxxxxxxxxxxxxx设两个数：x1＞0，x2＞0，则（4）几何平均值（geometricmean）•当一组试验值取对数后所得数据的分布曲线更加对称时，宜采用几何平均值。•几何平均值≤算术平均值11212...(...)Gnnnnxxxxxxx设有n个正试验值：x1，x2，…，xn，则（5）调和平均值（harmonicmean）•常用在涉及到与一些量的倒数有关的场合•调和平均值≤几何平均值≤算术平均值1121111...1ninixxxxHnn设有n个正试验值：x1，x2，…，xn，则：1.3.2误差的基本概念1.3.2.1绝对误差（absoluteerror）（1）定义绝对误差＝试验值－真值或maxtxxxxtxxx（2）说明真值未知，绝对误差也未知可以估计出绝对误差的范围：绝对误差限或绝对误差上界或ma