第5章-功效函数

第5章功效函数第5章功效函数假设检验回顾•假设检验回顾；•参数功效函数；数效数•非参数功效函数；•功效函数性质•功效函数性质；•Lehmann提法下的功效函数；•Lehmann提法下功效函数计算；•局部最强秩检验；局部最强秩检验；•功效函数统计模拟；假设检验假设检验•零假设(Nullhypothesis);•备择假设(Alternativehypotheis);备择假设(Alternativehypotheis);•检验统计量(Teststatistics);•拒绝域或者临界域(Criticalregion);假设检验实例(I)假设检验实例(I)例1通过检查产品来判定生产线上是否正常工作•例1:通过检查产品来判定生产线上是否正常工作。若次品率不超过0.05认为正常，超过认为不正常。随机抽取N个样本需要采用什么措施来使机器随机抽取N个样本，需要采用什么措施来使机器正常工作？次品率从项分布•次品率服从二项分布B(N,p).•统计量T：N次中观察到的次品个数•统计量T：N次中观察到的次品个数.•拒绝域：,C0的确定与两类错误有关。假设检验实例(II)假设检验实例(II)例电话交换台单位时间接收到的呼叫次数从•例2：电话交换台单位时间接收到的呼叫次数服从Poisson分布P(),0.其中为单位时间内接收到的平均呼叫次数的平均呼叫次数。•统计量•H0下，平均呼叫次数要小，则观测到的呼叫次数要小而在H下观测到的呼叫次数大故拒绝要小，而在H1下，观测到的呼叫次数大。故拒绝域形如假设检验两类错误假设检验两类错误第类真•第一类错误：以假当真;•第二类错误：以真当假;第二类错误：以真当假;•功效：以真当真的概率(越大越好).决策接受拒绝接受H0拒绝H0真第一类错误实情形H0成立正确判断(FalsePositive)H不成立第二类错误(FlNti)正确判断概率1(功效)形H0不成立(FalseNegative)概率=1-(功效)机器学习中的交叉验证机器学习中的交叉验证Kfldlidti•K-foldcross-validation.–Randomlypartitionthesamplesintoequallysizedksets.Eachtimeholdonesetasunknown,usesamplesfromtherestk-1setstiidtdkditifastrainingdataandmakepredictionsforsamplesinthehold-downsetandcompareitwithitsoriginalannotationRepeattheabovewithitsoriginalannotation.Repeattheaboveprocessktimes.•Leaveoneoutmethod•Leave-one-outmethod.机器学习中预测效果的度量机器学习中预测效果的度量预测NegativePositive真TNtiFlPiti真实情NegativeTrueNegative(TN)FalsePositive(FP)FalseNegativeTruePositive情形PositiveFalseNegative(FN)TruePositive(TP)机器学习中预测效果的度量(II)机器学习中预测效果的度量(II)•Sensitivity(Sn).•FalsePositiveRate(FPR).()•CorrelationCoefficient(CC).•ApproximateCorrelation(AC)•ApproximateCorrelation(AC).机器学习中预测效果的度量(III)机器学习中预测效果的度量(III)•ROC:ReceiverOperatingCharacteristicorRelativeOperatingCharacteristic.Truepositiveproportionv.s.False-positiveproportion.•AUC:AreaundercurveAUC:Areaundercurve.机器学习中预测效果的度量(IV)机器学习中预测效果的度量(IV)有样本时采的度•对只有正样本时往往采用下面的量度–Precision:fractionoftruepredictioninallppositivepredictions.–Recall:fractionoftruepredictionsinallrealRecall:fractionoftruepredictionsinallrealpositives.ROC:PrecisionVSRecall–ROC:PrecisionVSRecall.–AUC:areaundercurve.参数分布族下的两类错误率参数分布族下的两类错误率•零假设•备择假设备择假设•拒绝域W•第一类错误率：•第二类错误率：•第二类错误率：参数功效函数定义参数功效函数定义义功效数检验•定义5.1(功效函数)对于假设检验问题,拒绝域为W。则称样本点落入拒绝域的概率为功效函数即率为功效函数，即•功效函数和两类错误当时()()第类错误率–当时，g()=(),第一类错误率；–当时，g()=1-(),功效；参数功效函数计算(I)参数功效函数计算(I)对于例1•对于例1.•概率分布:•拒绝域:参数功效函数计算(II)参数功效函数计算(II)•对于例2.•概率分布：概率分布：•拒绝域：•第一类错误•第二类错误例子1的功效函数(I)例子1的功效函数(I)对例若拒绝域为•对例1，若N=10，拒绝域为•计算得到下面的表格pG(p)pG(p)pG(p)pG(p)0.000.0000.250.47440.500.94530.750.9996005001150300617205509726080099990.050.01150.300.61720.550.97260.800.99990.100.07020.350.73840.600.98770.851.00000.150.17980.400.83270.650.99520.901.00000.200.32220.450.90040.700.99841.001.0000例子1的功效函数(II)例子1的功效函数(II)参数无偏检验参数无偏检验义偏检验•定义5.2:(无偏检验Unbiasedtest)H0不成立时拒绝H0的概率大于或者等于H0成立时拒0概率大等0拒绝H0的概率。•对应于功效函数即参数相合检验参数相合检验定义53称个检验序列对H中的所有备择选择•定义5.3称一个检验序列对H1中的所有备择选择是相合的，如果H1下的任意一个固定的备择选择，当样本量趋于无穷时检验的功效趋于10而序当样本量趋于无穷时，检验的功效趋于1.0,而序列中每个检验的显著水平，尽可能地趋于但不超过某一固定的显著水平0过某固定的显著水平0.•对例1固定检验水平后对于给定的样本量n可•对例1,固定检验水平后，对于给定的样本量n,可以决定一个阈值Tn,拒绝域为功效函数为为形式参数的非参数检验形式参数的非参数检验位检验连续•例如位置检验：F(x)连续，F(x)关于0点对称。H0:=0H1:0.()关点01•形式参数=(,F(t)).零假设{(0F(t))|F(t)连续关于0点对•零假设：0={(0,F(t))|F(t)连续关于0点对称}。•备择假设：1={(,F(t))|0,F(t)连续关于0点对称}0点对称}。基于形式参数的功效函数基于形式参数的功效函数义功效数被拒绝•定义5.4(功效函数)g()=P(H0被拒绝)•定义55(检验水平)对于形式参数零假定义5.5(检验水平)对于形式参数零假设：备择假设：对应功效函数为g()其检验称为是水平的如果g().其检验称为是水平的，如果特别地如果则称此检验是特别地，如果则称此检验是精确水平为的。基于形式参数的功效函数基于形式参数的功效函数定义无偏检验对假设检验问题•定义5.6(无偏检验)对假设检验问题H0:H1:的一个水平为的检验称着是水平无偏的如果功效数满足偏的，如果功效函数满足•定义5.7(相合检验)设检验统计量序列{Tn}是假设检验问题H0:H1:的一个水平为检验问题H0:H1:的个水平为的检验序列，称检验序列对备择假设1是相合的，如果对有如果对有功效函数性质(无偏性)功效函数性质(无偏性)定对单样本位置检验问题设随机变量•定理5.1对于单样本位置检验问题，设随机变量X1,,Xn独立同分布，分布函数为F(x-),函数F(t)连续关于点对称检验统连续关于0点对称。检验H0:=0H1:0.统计量为S(X1,,Xn),拒绝域为如果满足果S满足则这个检验的功效函数对单调，即定理51证明定理5.1证明考虑的机变•证明：考虑平移后的随机变量相互独立同分布,分布函数为因此当时，由条件有集合间的包含关系功效函数性质(无偏性)功效函数性质(无偏性)定对单样本位置检验问题设随机变量•定理5.1’对于单样本位置检验问题，设随机变量X1,,Xn独立同分布，分布函数为F(x-),函数F(t)连续关于点对称检验统连续关于0点对称。检验H0:=0H1:0.统计量为S(X1,,Xn),拒绝域为如果满足果S满足则这个检验的功效函数对单调，即单样本位置检验单样本位置检验设连续关点对称设F(t)连续关于0点对称,•T检验•符号检验•Wilcoxon符号秩检验位置检验统计量满足定理51条件位置检验统计量满足定理5.1条件说明说明•符号检验B和符号秩检验对一切连续关于0•符号检验B和符号秩检验对一切连续关于0点对称的分布函数类是适应于任意分布的，即对任意分布数只要检验水平相同即对任意分布函数，只要检验水平相同，对•但T检验不是适应于任意分布的，功效函数依赖于分布函数可以验证存在当依赖于分布函数。可以验证，存在21,当F1是正态分布，F2是Cauchy分布，(F)(F)g(2,F1)g(1,F2).两样本功效函数性质(无偏性)两样本功效函数性质(无偏性)定设随机变量独立同分布分布•定理5.2设随机变量X1,,Xm独立同分布，分布函数为F(x)连续，随机变量Y1,,Yn独立同分布，分布数为假设检验问题布函数为F(x-).假设检验问题H0:=H1:0.对上述两样本问题有统计量S(X1,,Xm;y1,,yn),拒绝域为如果满足拒绝域为如果S满足则这个检验的功效函数对单调，即Wilcoxon秩和统计量满足定理5.2条件功效函数性质(相合性)功效函数性质(相合性)检验序构的检验•定理5.3以检验序列{Tn}构造的假设检验问题设其拒绝域形如：其拒域如若存在函数K(),使得且K()=K0为常数，又且K()K0为常数，又对临界值Cn有则检验序列{Tn}对备择假设集合是相合的备择假设集合1是相合的。定理53证明定理5.3证明令•证明：令即{T}对相合即{Tn}对1相合。单样本位置检验的相合性判断(I)单样本位置检验的相合性判断(I)关点对称•F(t)关于0点对称。H0:=0H1:0.符号检验统计量W+是参数=Pr(X1+X2)的统计量故U统计量。故•当=0时F(x)关于0点对称•当=0时，F(x)关于0点对称，单样本位置检验的相合性判断(II)单样本位置检验的相合性判断(II)当时关对称•当0时，F(x-)关于对称下面来看w(n)的极限由U统计量特性•下面来看w(n,)的极限，由U统计量特性，•拒绝域拒绝域单样本位置检验的相合性判断(III)单样本位置检验的相合性判断(III)令为正态分布的分位点则•令Z为正态分布的1-分位点，则•即定理5.3的条件均满足，故检验对0是相合的。两样本位置检验的相合性判断(I)两样本位置检验的相合性判断(I)•H0:=0H1:0.用Mann-Whitney统计量U进行检验。U是参数的统计量令参数=Pr(XY