机器学习之评估假设.

Date:25.12.2019File:ML5.1MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering第5章算法的评估与比较(EvaluatingHypotheses)Date:25.12.2019File:ML5.2MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering概述•对学习算法的精度进行评估是机器学习中的基本问题•本章用统计方法估计算法精度，主要解决以下三个问题：–已知一个假设在有限数据样本上观察到的精度，怎样估计它在其它实例上的精度？即如何评估一个学习算法在给定问题上的期望误差率？–如果一个算法在某些数据样本上好于另一个，那么一般情况下该算法是否更准确？即给定两个学习算法，如何就给定应用来判断一个算法的误差率比另一个低。–当数据有限时，怎样高效地利用这些数据，通过它们既能学习到假设，还能估计其精度？•统计的方法，结合有关数据基准分布的假定，可以用有限数据样本上的观察精度来逼近整个数据分布上的真实精度。Date:25.12.2019File:ML5.3MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering动机•对学习到的假设进行尽可能准确地性能评估十分重要–为了知道是否可以使用该假设–是许多学习方法的重要组成部分•当给定的数据集有限时，要学习一个概念并估计其将来的精度，存在两个很关键的困难：–估计的困难•使用与训练样例和假设无关的测试样例–估计的方差•即使假设精度在独立的无偏测试样例上测量，得到的精度仍可能与真实精度不同。•测试样例越少，产生的方差越大•重点讨论对学到的假设的评估、对两个假设精度的比较、两个学习算法精度的比较Date:25.12.2019File:ML5.4MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering学习问题的框架•有一所有可能实例的空间X，其中定义了多个目标函数，假定X中不同实例具有不同的出现频率。一种合适的建模方式是，假定存在一未知的概率分布D，它定义了X中每一实例出现的概率。•学习任务是在假设空间上学习一个目标概念，训练样例的每一个实例按照分布D独立地抽取，然后连同正确的目标值提供给学习器。Date:25.12.2019File:ML5.5MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering评估假设的问题•给定假设h和包含若干按D分布抽取的样例的数据集，如何针对将来按同样分布抽取的实例，得到对h的精度最好估计•这一精度估计的可能的误差是多少Date:25.12.2019File:ML5.6MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering样本错误率和真实错误率•定义：假设h关于目标函数f和数据样本S的样本错误率（标记为errors(h)）•定义：假设h关于目标函数f和分布D的真实错误率（标记为errorD(h)）Sxsxhxfnherror))(),((1)(otherwisexhxfxhxf)()(01))(),((||Sn)]()([Pr)(xhxfherrorDxDDate:25.12.2019File:ML5.7MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering样本错误率和真实错误率（2）•想知道的是假设的真实误差，因为这是在分类未来样例时可以预料到的误差。•能测量的只是样本错误率，因为样本数据是我们知道的。•要考虑的问题是：样本错误率在何种程度上提供了对真实错误率的估计？Date:25.12.2019File:ML5.8MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering离散值假设的置信区间•先考虑离散值假设的情况，比如：–样本S包含n个样例，它们的抽取按照概率分布D，抽取过程是相互独立的，并且不依赖于假设h–n=30–假设h在这n个样例上犯了r个错误•根据上面的条件，统计理论可以给出以下断言：–没有其它信息的话，真实错误率errorD(h)最可能的值是样本错误率errorS(h)=r/n–有大约95%的可能性，真实错误率处于下面的区间内：nherrorherrorherrorSSS))(1)((96.1)(Date:25.12.2019File:ML5.9MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering举例说明•数据样本S包含n=40个样例，并且假设h在这些数据上产生了r=12个错误，这样样本错误率为errorS(h)=12/40=0.3•如果没有更多的信息，对真实错误率errorD(h)的最好的估计即为0.3•如果另外收集40个随机抽取的样例S’，样本错误率errorS’(h)将与原来的errorS(h)存在一些差别•如果不断重复这一实验，每次抽取一个包含40样例的样本，将会发现约95%的实验中计算所得的区间包含真实错误率•将上面的区间称为errorD(h)的95%置信区间估计Date:25.12.2019File:ML5.10MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering置信区间表达式的推广•常数1.96是由95%这一置信度确定的•定义zN为计算N%置信区间的常数（取值见下），计算errorD(h)的N%置信区间的一般表达式（公式5.1）为：（5.1）•可以求得同样情况下的68%置信区间，从直觉上可以看出68%置信区间要小于95%置信区间，因为减小了要求errorD(h)落入的概率nherrorherrorzherrorSSNS))(1)(()(confidencelevel50%68%80%90%95%98%99%z-score0.671.001.281.641.962.332.58Date:25.12.2019File:ML5.11MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering置信区间表达式的推广（2）•公式5.1只能应用于离散值假设，它假定样本S抽取的分布与将来的数据抽取的分布相同，并且假定数据不依赖于所测试的假设；•公式5.1只提供了近似的置信区间，这一近似在至少包含30个样例，并且errorS(h)不太靠近0或1时很接近真实情况•判断这种近似是否接近真实的更精确规则是：5))(1)((herrorherrornSSDate:25.12.2019File:ML5.12MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering统计学中的基本定义和概念•随机变量•某随机变量Y的概率分布•随机变量Y的期望值或均值•随机变量的方差•Y的标准差•二项分布•正态分布•中心极限定理•估计量•Y的估计偏差•N%置信区间Date:25.12.2019File:ML5.13MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering错误率估计和二项比例估计•样本错误率和真实错误率之间的差异与数据样本大小的依赖关系如何？•给定从总体中随机抽取的某些样本的观察比例，估计某个属性在总体的比例•此处，感兴趣的属性是：假设h对实例错误分类Date:25.12.2019File:ML5.14MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering错误率估计和二项比例估计（2）•测量样本错误率相当于在作一个有随机输出的实验•从分布D中随机抽取n个独立的实例，形成样本S，然后测量样本错误率errorS(h)•将实验重复多次，每次抽取大小为n的不同的样本Si，得到不同的，取决于Si的组成中的随机差异•被称为一随机变量，一般情况下，可以将随机变量看成一个有随机输出的实验。随机变量值即为随机实验的观察输出)(herroriS)(herroriSDate:25.12.2019File:ML5.15MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering错误率估计和二项比例估计（3）•设想要运行k个这样的随机实验，得到k个随机变量值，以图表的形式显示观察到的每个错误率值的频率；•当k不断增长，该图表将呈现二项分布。Date:25.12.2019File:ML5.16MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering二项分布•有一非均质硬币，要估计在抛硬币时出现正面的概率p；•投掷硬币n次并计算出现正面的次数r，那么p的一个合理估计是r/n；•如果重新进行一次实验，生成一个新的n次抛硬币的集合，出现正面的次数r可能与前不同，得到对p的另一个估计；•二项分布描述的是对任一可能的r值，这个正面概率为p的硬币抛掷n次恰好出现r次正面的概率。Date:25.12.2019File:ML5.17MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering二项分布（2）•从抛掷硬币的随机样本中估计p与在实例的随机样本上测试h以估计errorD(h)是相同的问题•一次硬币抛掷对应于从D中抽取一个实例并测试它是否被h误分类•一次随机抛掷出现正面的概率p对应于随机抽取的实例被误分类的概率errorD(h)•二项分布给出了一个一般形式的概率分布，无论用于表示n次硬币出现正面的次数还是在n个样例中假设出错的次数•二项分布的具体形式依赖于样本大小n以及概率p或errorD(h)Date:25.12.2019File:ML5.18MachineLearningPengKaixiang2015.Allrightsreserved.MachineLearningforControlEngineering应用二项分布的条件•有一基本实验，其输出可被描述为一随机变量Y，随机变量Y有两种取值•在实验的任一次尝试中Y=1的概率为常数p，它与其它实验尝试无关，因此Y=0的概率为1-p•p为预先未知，面临的问题是如何估计•基本实验的n次独立尝试按序列执行，生成一个独立同分布的随机变量序列•随机变量R表示n次实验中出现Yi=1的次数，它取特定值r的概率由二项分布给出（5.2）rnrpprnrnrR