决策树学习算法ID3的研究

!!#$#!%$&’(!$&()$*#)’*$!!*#%#(!#$%&%’()*+,%)-&-+,.(%%/%’(,-,0120+(-3*4+5!#$!!+,-./01234,-.3506781298:;=?@A01A98BB28CD0E012F8BG=A710AH10IJD0E012$!!97015KL)KL)KL)KL)16&3(’)3KL)0M=7NG5B28?0=7:8COA0M081=?B5?1012JP8?=70M?5M81;?M1=O=7Q;?MM012:=78O8COA0M081=?51O518;=0:0ROOA0M081=?B5?10125B28?0=7:8CKL)M;A05BBGQ;B501O78S=8MBA==7?2B5=0818COA0M0815==?0T=081JU7?8275101M=51A=7;5;?M78SO=7;?8AO?8CMBA=6012=7OA0M0815==?0T=08101O=50B5==7C0?M==0:5MSBB5MO0MAMMO=75B28?0=7:JK121?5B=78;=0::OA0M081=?A51TC81OTGKL)5B28?0=7:J7%89+(:&OA0M081=?B5?10125B28?0=7:8CKL):5A701B5?10121=?8;G01C8?:5=0812501UF$VUF)$J%,;GM18$!!#KL)KL),MWM,)KL)KL)KL)KL)WM;X;#Y$#;X(W1=?8;GWMY#;XB82!;X#;#B82!;#B82!Y!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!$J!/J$&&!J!K514Z0==1JJ/J$&&%J)Z0BB05:P8?OZ0BB05:U8;;JL,U,@U[H9UH[W@S0=79XX/JF[W-6UK9W4,\\$&&’J(J9!/J$&&’J%!!*!#$%&’()#*#*+,#,$%&’()#-./0$%&’()#,*!,1234.*##,####$%&’()#,$%&’()#*#526$#*526$#*+$%&’()#0-./0$%&’()#,*789:*##89:!#!89:;;;==00===0=000#$%&’()#+07;3’77=707;3’77=7+;,+?$%&’()#+0?73’?=?073’=?+@AB;C:,+?$%&’()#+073’=?0?73’=?+@AB;C:526$#+$%&’()#0-./0$%&’()#,+;0;$@AB;C:=;$@AB;C:+@A@C;D526$#+@A?!B;526$#+@526$#%526$#%526$#;;C526$#+@A:;;:526$#+@A@?!D@@!!#$%&!!#$%&’())*+)!#$*+)*+)*+)*,-.%/-,*+)*+)0%#$*+)*+)*+)*+)12#$3$456745674567%%&45674567&879:’68;&=4567?)’@#ABCD33-6@BC#$DEDF$#$G@6/DHIJFK@B!FH.#334J33DGDLFD&&’8806(6@6’88;6)12#$3$MN6*$O2BA#J$JPODB#&#J$AFDD&M6@BC#$DEDF$#$G’8Q;5Q’:’=;6Q(==(7!!#!#!$%&’(%&$)%*#+’*%!!*#&#+!#$%&’(’)**+,+-’./0&1+23&*.44&,+(+&’5#/-46+’+’0)+’),-./01234567-89:;2:0/=9:529?-.@A;02B0185C4DEF;45G56HIJ0KF7:;5=5;LH4C@1423J;15J13M0:5?NG)+’)7:;5.741(,-K64D;F:E3F4E;51F:1334J;F;45D0K13D1O;L;O1O;52F4FP43F613HQ:1C;D3F;3F4C;5OF:1CD1R015F31FHQ:131J45O;3F4031F:1CD1R015F;F1E31FF46151DF1334J;F;45D0K13HS;3J033F:1J:DJF1D;3F;J5O3:4DFJ4E;564CF:1J0DD15FK64D;F:E3F4E;51334J;F;45D0K135OTD4T43154F:1DK64D;F:EF4E;51C3F1DH=5K;U1F:14F:1DK64D;F:E3F:;3K64D;F:E1ET:3;345F:103614CO4E;5U54PK1O615OF:1TD1TDF;454CF:1332F1EF;JKK03;564CF:1334J;F;45D0K13H8-%9&1$4334J;F;45D0K13CD1R015F;F1E#31FJ5O;OF1;F1E#31FOFO;JF;45DQV+%H$-:///;-6DPK-8W+-TD;4D;-TD;4D;Q;O-TD;4D;?XD;O-8W!!#%!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!)HYH%&&+H*Q0V1;#K1;7:056Z15#4H-51PO1J;3;45#FD11JK323;C;JF;45K64D;F:EC4DEJ:;51K1D5;567H85VD4J11O2;5634CF:1%&&!8GGG85F1D5F;45K745C1D15J145Q44K3C4D-DF;C;J;K85F1KK;615J1-DK;56F45%&&!H$HGN[AH:FFTPPPH;#T4P1DHJ4EHJ5;T4P1DK;XD\BX&(%%*H:FEH’HYH!H&!!*决策树学习算法ID3的研究作者：杨明，张载鸿作者单位：北京工业大学,计算机学院,北京,100022刊名：微机发展英文刊名：MICROCOMPUTERDEVELOPMENT年，卷(期)：2002，12(5)被引用次数：44次参考文献(7条)1.MitchellTMachineLearning19972.徐立本机器学习引论19963.QuinlanJRInductionofdecisiontrees1986(04)4.李习彬熵、信息、控制与系统的组织化程度19935.TuPei-lei.ChungJen-yaoAnewdecision-treeclassificationalgorithmformachinelearning19926.刘小虎决策树的优化算法7.郑扣根人工智能2000相似文献(10条)1.学位论文谢竞博关于模糊决策树生成过程中启发式算法的研究2004模糊决策树由于结合了模糊集合理论和决策树学习二者的优势于一身,现已成为一种非常有效、实用的学习方法.目前已被成功地应用于医疗诊断、贷款申请中的信用风险评估等多领域的自动知识获取中.由于构建最优化的模糊决策树已被证明是NP-hard问题,因此,一般采用启发式方法来构建模糊决策树.在目前存在的几种常见的启发式算法中,较普遍的、效果较好的是FUZZY-ID3算法,它将模糊信息增益(即属性与类之间的交互信息)作为启发式,这使得模糊信息熵快速收敛,从而通过较少的计算获得一棵规模较小的树.但现存的启发式算法一般只考虑到属性与类之间的相关性,所略了各属性之间的相关性(属性冗余)对结果的影响.因此,该文在详细分析了属性之间的相关性对构建模糊决策树的影响以及FUZZY-ID3算法在此方面的不足之后,提出了FUZZY-ID3算法的扩展算法.扩展算法中采用新的启发式,其宗旨是在选择测试属性时,要求该属性不仅与类的交互信息(相关性)最大,而且与已经使用过的属性之间的交互信息(相关性)最小,从而将对属性间冗余信息的处理结合到模糊决策树的构建过程中.文中选用大量的实验数据及图表对FUZZY-ID3算法及其扩展算法进行对比分析.结果表明:对于某类数据集,扩展算法能够得到规模更小且测试准确率更高的模糊决策树.其它情况下,二者得到的模糊决策树相同.2.期刊论文魏涛.WEITao改进的ID3算法及其在教育信息挖掘中的应用-上海海事大学学报2005,26(3)为有效利用上海海事大学教学管理工作多年来积累的大量数据,对分类规则挖掘常用的ID3算法进行研究,结合教育信息的特点对ID3算法进行改进,以此为基础设计并实现了教育信息挖掘系统;利用所实现的系统对学生成绩和基本信息数据库进行挖掘分析,找出课程之间的相关性以及学生基本信息对学生就业方向的影响,并对挖掘结果进行比较分析,为学校的教学管理提供参考.3.学位论文万永锋决策树学习算法在金融自助设备监控系统中的应用2007自动取款机等自助设备在金融行业运用多年，为金融机构拓展服务时间和服务地域，提高工作效率，降低运营成本做出了巨大贡献。随着金融机构对自助设备依赖程度的不断提高，对自助设备运行维护的要求也在不断提升。因此，高效可靠的自助设备监控系统就成为金融机构必不可少的软件系统之一。决策树学习是机器学习中较常用的一种方法。它能够直接体现数据的特点，便于理解，具有较好的分类预测能力，并能方便地提取决策规则。将决策树学习方法引入金融自助设备监控系统后，可由系统对自助设备主要模块的运行数据进行分析处理，及时预测和发现故障，从而减少自助设备停机时间，提高自助设备开机率。本文首先研究了决策树学习方法的基本原理、工作过程、评价指标和适用问题，简要介绍了经典的ID3算法以及由ID3算法演变和改进而来的C4.5、CART、SLIQ、SPRINT和PUBLIC算法，并对它们进行了对比分析。然后针对自助设备运行数据的特点引入先验知识优化参数，提出改进算法-先验知识优化(Priori-KnowledgeOptimized)的ID3算法，简称PKO-ID3算法。PKO-ID3算法对ID3算法中的属性选择标准进行了改进，加强了重要属性权重，降低了非重要属性的权重，把加权和转换为加权和加先验知识优化，使生成决策树时数据量少但较为重要的数据元组不会被淹没，降低了属性值较多但并不重要的属性对决策树生成的影响，最终使决策树减少了对取值较多的属性的依赖性。最后，在交通银行郑州分行自助设备监控系统中对PKO-ID3算法进行实际应用。理论分析和实际应用结果表明，本文提出的改进算法改善了经典的ID3算法的性能，表现出了良好的分类效果。4.学位论文唐玉鹏细胞图像特征提取技术与ID3识别算法研究及实现2008细胞图像自动检验与识别是生物医学工程领域的热点问题，具有重大的理论和实践意义，可以提高医学检验的效率，将医生从繁杂的重复性劳动中解脱出来，并且摆脱对检验者知识和经验的依赖，提高检验的权威性。论文围绕细胞图像特征提取技术和决策树自动识别ID3算法进行了研究，主要完成了以下工作：(一)在研究传统的图像形状特征提取方法基础上，提出了一种基于图像边界角点检测的多边形近似形状特征提取算法，定义了边界梯度变化直方图的均方梯度、方向梯度中值、阈值面积比、角点数与顶点数比四维特征，很好地描述了管型和结晶细胞边界特点。(二)提出了一种融合纹理谱图像增强技术和统一Hu矩不变性特征提取的新方法。实验表明，该方法提取的纹理特征能够很好地区分红细胞和白细胞。(三)针对样本数据分布先验知识少的特点，提出了一种基于特征直方图均衡的数据规范化方法，可以将样本数据的各种分布规律转换为均匀分布，增强数据的可分性，加快决策树学习速度。(四)采用C-均值聚类算法实现了决策树ID3算法，可以消除ID3算法选择取值较多特征的倾向，提高决策树学习的效率和应用的精度。(五)共提取了25维细胞图像形状和纹理特征组成特征库，实现了细胞图像的自动识别，该