正态性检验和数据处理

2014年3月21日正态性检验和数据处理模块内容目的：•数据转换的常用方法•Minitab的Johnson转换•数据转换Roadmap•转换数据在流程能力Sigma水平计算中的应用比较(3种方法比较)21.线性转换:.形式:Y=aX+b.数据可以乘以一个常数.可以加上一个常数.或同时进行.简单的例子:美元转换成人民币$1=￥8.27RMB什么是数据的转换?乘或者加上一个常数不会影响数据的分布,仅改变测量单位数据转换分类：线性转换和非线性转换3YYT=Y的直方图YT表示转换后的YSQRT(Y)的直方图24681012141618202201020YFrequency12345051015SQRT(Y)Frequency改变“形状”的转换分布不再倾斜了转换以后的Y不再倾斜2.非线性转换:此类转换改变数据的形状,如方根转换4Log(Y)YYY方根-正态对数-正态YYTLog(Y)YT原始数据与转换数据的比较原始数据分布转换转换后的分布5Y1YTY1YT倒数-正态Y1YYY1倒数方根-正态原始数据分布转换转换后的分布原始数据与转换数据的比较6数据转换案例:进行对数转换决定时间的直方图决定时间的正态概率图数据背景：贷款申请的决定时间-一般为非正态数据数据文件:Decision.MTW，分析决定时间的正态性TimeFrequency50403020100403020100HistogramofTimeTimePercent6050403020100-10-20-3099.99995908070605040302010510.1Mean0.00512.31StDev9.656N100AD5.738P-ValueProbabilityPlotofTimeNormal-95%CI7输入数据，选择对数转换数据转换结果231将决定时间(Time)进行转换数据转换案例:进行对数转换8数据转换案例:对数转换后数据图转换后的决定时间的输出直方图转换后的决定时间的正态概率图图形概率图LogTimeFrequency1.61.41.21.00.80.60.420151050HistogramofLogTimeLogTimePercent2.01.51.00.50.099.99995908070605040302010510.1Mean0.2990.9855StDev0.2973N100AD0.432P-ValueProbabilityPlotofLogTimeNormal-95%CI9统计质量工具Johnson转换Percent6030099.99990501010.1N100AD5.738P-Value0.005Percent40-499.99990501010.1N100AD0.267P-Value0.680ZValueP-ValueforADtest1.21.00.80.60.40.20.600.450.300.150.000.74RefPP-ValueforBestFit:0.680058ZforBestFit:0.74BestTransformationType:SUTransformationfunctionequals-3.41413+1.24801*Asinh((X-1.68038)/1.02785)ProbabilityPlotforOriginalDataProbabilityPlotforTransformedDataSelectaTransformation(P-Value=0.005means=0.005)JohnsonTransformationforTime得到转换的方程数据转换–MinitabJohnson10关于不正态的问题（1）数据正态吗？11关于不正态的问题（1）如果有一个异常值，数据还正态吗？12关于不正态的问题（2）如果把它们堆叠起来……13关于不正态的问题（2）有两列正态分布的数据14数据转换Roadmap数据连续？数据正态？否是数据初步分析数据有缺陷？否是否数据量是异常点分层收集更多数据分析去除异常点后分析数据层别后分析转换可否？BOX-COX是Johnson转换IndividualDistributionIdentification离散数据处理正态数据处理否定义Defect，计算DPMO用转换后的数据再进行相关分析注:规格界限需要转换均值和标准偏差不能转换15转换数据在流程能力SIGMA水平计算中的应用16三种方法计算流程Sigma水平的案例你可以用3种选择来计算流程的Sigma水平:方法1:计算缺陷率(DPMO):当作离散数据计算缺陷PPM方法2:用原始数据:将非正态数据当作正态数据来处理方法3:用转换后的数据:将近似的正态分布当作正态分布假设你有关于周期时间的非正态分布数据17目的:明确用不同方法计算的结果的差别依赖于是否转换数据时间:30分钟数据:文件:Decision.mtw规格上限为(USL)14三种方法计算流程Sigma水平的案例18