统计学习_感知机学习实验报告

作业5编程题实验报告（一）实验内容：实现感知机学习算法的原始形式和对偶形式。使用如下的徐并联样本测试你的程序是否正确：112233(3,3),1,(4,3),1,(1,1),0TTTxyxyxy这组样本是现行可分的，因此学习算法应当收敛，且最终得到的模型能够对样本正确分类。（二）实验原理：1）感知机学习算法原始形式：对于实验要求的二类分类问题，考虑代价函数为：Tnnntωx|sign()TnnNntωx对于分类错误的点，进行以下的更行：(1)()nntωωx在实验中，输入矩阵取为：T1T2T31,3,31,4,31,1,1xXxx目标矩阵取为：TT123111Tttt由于代价函数计算公式，这里的31t，而不是取0。相应的：T012ω其中，0为偏差项。2）感知机学习算法对偶形式：考虑满足更新条件：()0TnnnmmmnmttatxTωxx(1)()nnaa（三）实验运行结果：1）画出训练样本分类情况：在感知机算法计算前，在matlab画出了输入数据的分类情况（如图1所示），蓝色点表示分类为0（实验中考虑为分类为-1）。红色点表示分类为1。图1训练样本分类情况2）感知机学习算法原始形式：设T(0)000ω，为模型初始值，1，经过判断分类正确性，迭代更行ω，得到以下分类边界（如图2所示，黑色线表示最终收敛后的决策边界）。最后得到的T731ω。图2感知机学习算法原始形式3）感知机学习算法对偶形式：设T(0)000a，为模型初始值，1，经过判断分类正确性，迭代更行a，得到以下分类边界（如图3所示，黑色线表示最终收敛后的决策边界）：图3感知机学习算法对偶形式最后得到的T1110a，T35155ω（四）实验结果分析和讨论：1）由于设定ω和a初始值时，对于ω均满足T(0)000ω，观察最终实现感知机学习算法的原始形式和对偶形式得到的决策边界，可以看出，两种形式完全一致。这是由于感知机的这两种形式的学习规则其实是一样的，只是利用的信息不同。2）实现感知机学习算法的原始形式时，对于训练样本的分类结果nt，正确的取值应该是1nt；3）实现感知机学习算法的对偶形式时，由于采用的初始值T(0)000a，所以得到相应的T(0)000ω，这就使得已知的更新条件()0TnnnmmmnmttatxTωxx不符合（此时()0TnnnmmmnmttatxTωxx），于是在实验中，对更新条件做了以下修改：sign()sign[()]1TnnnmmmnmttatxTωxx；4）通过实验中更改ω和a初始值可以发现，最后收敛得到的模型值不相同，这也说明感知机结果不唯一，对不同初始值有不同的结果。