决策树DTC数据分析及鸢尾数据集分析

决策树DTC数据分析及鸢尾数据集分析一.分类及决策树介绍1.分类分类其实是从特定的数据中挖掘模式，作出判断的过程。比如Gmail邮箱里有垃圾邮件分类器，一开始的时候可能什么都不过滤，在日常使用过程中，我人工对于每一封邮件点选“垃圾”或“不是垃圾”，过一段时间，Gmail就体现出一定的智能，能够自动过滤掉一些垃圾邮件了。这是因为在点选的过程中，其实是给每一条邮件打了一个“标签”，这个标签只有两个值，要么是“垃圾”，要么“不是垃圾”，Gmail就会不断研究哪些特点的邮件是垃圾，哪些特点的不是垃圾，形成一些判别的模式，这样当一封信的邮件到来，就可以自动把邮件分到“垃圾”和“不是垃圾”这两个我们人工设定的分类的其中一个。分类学习主要过程如下：（1）训练数据集存在一个类标记号，判断它是正向数据集（起积极作用，不垃圾邮件），还是负向数据集（起抑制作用，垃圾邮件）；（2）然后需要对数据集进行学习训练，并构建一个训练的模型；（3）通过该模型对预测数据集进预测，并计算其结果的性能。2.决策树（decisiontree）决策树是用于分类和预测的主要技术之一，决策树学习是以实例为基础的归纳学习算法，它着眼于从一组无次序、无规则的实例中推理出以决策树表示的分类规则。构造决策树的目的是找出属性和类别间的关系，用它来预测将来未知类别的记录的类别。它采用自顶向下的递归方式，在决策树的内部节点进行属性的比较，并根据不同属性值判断从该节点向下的分支，在决策树的叶节点得到结论。决策树算法根据数据的属性采用树状结构建立决策模型，决策树模型常用来解决分类和回归问题。常见的算法包括：分类及回归树（ClassificationAndRegressionTree，CART），ID3(IterativeDichotomiser3)，C4.5，Chi-squaredAutomaticInteractionDetection(CHAID),DecisionStump,随机森林（RandomForest），多元自适应回归样条（MARS）以及梯度推进机（GradientBoostingMachine，GBM）。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。示例1：下面举两个例子，参考下面文章，强烈推荐大家阅读，尤其是决策树原理。算法杂货铺——分类算法之决策树(Decisiontree)-leoo2sk这个也是我上课讲述的例子，引用上面文章的。通俗来说，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：女儿：多大年纪了？母亲：26。女儿：长的帅不帅？母亲：挺帅的。女儿：收入高不？母亲：不算很高，中等情况。女儿：是公务员不？母亲：是，在税务局上班呢。女儿：那好，我去见见。这个女孩的决策过程就是典型的分类树决策。相当于通过年龄、长相、收入和是否公务员对将男人分为两个类别：见和不见。假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员，那么这个可以用下图表示女孩的决策逻辑。示例2：另一个课堂上的例子，参考CSDN的大神lsldd的文章，推荐大家阅读学习信息熵。用Python开始机器学习（2：决策树分类算法）假设要构建这么一个自动选好苹果的决策树，简单起见，我只让他学习下面这4个样本：[python]viewplaincopy1.样本红大好苹果2.01113.11014.20105.3000样本中有2个属性，A0表示是否红苹果。A1表示是否大苹果。本例仅2个属性。那么很自然一共就只可能有2棵决策树，如下图所示：示例3：第三个例子，推荐这篇文章：决策树学习笔记整理-bourneli决策树构建的基本步骤如下：1.开始，所有记录看作一个节点；2.遍历每个变量的每一种分割方式，找到最好的分割点；3.分割成两个节点N1和N2；4.对N1和N2分别继续执行2-3步，直到每个节点足够“纯”为止。二.鸢尾花卉Iris数据集在Sklearn机器学习包中，集成了各种各样的数据集，上节课讲述Kmeans使用的是一个NBA篮球运动员数据集，需要定义X多维矩阵或读取文件导入，而这节课使用的是鸢尾花卉Iris数据集，它是很常用的一个数据集。数据集来源：Irisplantsdataset-KEELdataset该数据集一共包含4个特征变量，1个类别变量。共有150个样本，鸢尾有三个亚属，分别是山鸢尾(Iris-setosa)，变色鸢尾(Iris-versicolor)和维吉尼亚鸢尾(Iris-virginica)。iris中文指鸢尾植物，这里存储了其萼片和花瓣的长宽，一共4个属性，鸢尾植物又分三类。iris里有两个属性iris.data，iris.target。data里是一个矩阵，每一列代表了萼片或花瓣的长宽，一共4列，每一列代表某个被测量的鸢尾植物，一共采样了150条记录。代码如下：[python]viewplaincopy1.#导入数据集iris2.fromsklearn.datasetsimportload_iris3.4.#载入数据集5.iris=load_iris()6.#输出数据集7.printiris.data输出如下所示：[python]viewplaincopy1.[[5.13.51.40.2]2.[4.93.1.40.2]3.[4.73.21.30.2]4.[4.63.11.50.2]5.[5.3.61.40.2]6.[5.43.91.70.4]7.[4.63.41.40.3]8.[5.3.41.50.2]9.[4.42.91.40.2]10.....11.[6.73.5.22.3]12.[6.32.55.1.9]13.[6.53.5.22.]14.[6.23.45.42.3]15.[5.93.5.11.8]]target是一个数组，存储了data中每条记录属于哪一类鸢尾植物，所以数组的长度是150，数组元素的值因为共有3类鸢尾植物，所以不同值只有3个。种类：IrisSetosa（山鸢尾）IrisVersicolour（杂色鸢尾）IrisVirginica（维吉尼亚鸢尾）[python]viewplaincopy1.#输出真实标签2.printiris.target3.printlen(iris.target)4.#150个样本每个样本4个特征5.printiris.data.shape输出结果如下：[python]viewplaincopy1.[00000000000000000000000000000000000002.00000000000001111111111111111111111113.11111111111111111111111111222222222224.22222222222222222222222222222222222225.22]6.1507.(150L,4L)可以看到，类标共分为三类，前面50个类标位0，中间50个类标位1，后面为2。下面给详细介绍使用决策树进行对这个数据集进行测试的代码。三.决策树实现鸢尾数据集分析1.DecisionTreeClassifierSklearn机器学习包中，决策树实现类是DecisionTreeClassifier，能够执行数据集的多类分类。输入参数为两个数组X[n_samples,n_features]和y[n_samples],X为训练数据，y为训练数据的标记数据。DecisionTreeClassifier构造方法为：[python]viewplaincopy1.sklearn.tree.DecisionTreeClassifier(criterion='gini'2.,splitter='best'3.,max_depth=None4.,min_samples_split=25.,min_samples_leaf=16.,max_features=None7.,random_state=None8.,min_density=None9.,compute_importances=None10.,max_leaf_nodes=None)鸢尾花数据集使用决策树的代码如下：[python]viewplaincopy1.#-*-coding:utf-8-*-2.3.CreatedonFriOct1421:44:1920164.5.@author:杨秀璋6.7.8.#导入数据集iris9.fromsklearn.datasetsimportload_iris10.11.#载入数据集12.iris=load_iris()13.14.printiris.data#输出数据集15.printiris.target#输出真实标签16.printlen(iris.target)17.printiris.data.shape#150个样本每个样本4个特征18.19.20.#导入决策树DTC包21.fromsklearn.treeimportDecisionTreeClassifier22.23.#训练24.clf=DecisionTreeClassifier()25.clf.fit(iris.data,iris.target)26.printclf27.28.#预测29.predicted=clf.predict(iris.data)30.31.#获取花卉两列数据集32.X=iris.data33.L1=[x[0]forxinX]34.printL135.L2=[x[1]forxinX]36.printL237.38.#绘图39.importnumpyasnp40.importmatplotlib.pyplotasplt41.plt.scatter(L1,L2,c=predicted,marker='x')#cmap=plt.cm.Paired42.plt.title(DTC)43.plt.show()输出结果如下所示，可以看到分位三类，分别代表数据集三种鸢尾植物。2.代码优化在课堂上我讲过，这里存在两个问题：1.前面鸢尾Iris数据集包括四个特征（萼片长度、萼片宽度、花瓣长度、花瓣宽度），上面代码中L1=[x[0]forxinX]我获取了第一列和第二列数据集进行的绘图，而真是数据集中可能存在多维特征，那怎么实现呢？这里涉及到一个降维操作，后面会详细介绍。2.第二个问题是，分类学习模型如下所示，它的预测是通过一组新的数据集。而上面的代码predicted=clf.predict(iris.data)是对整个的数据集进行决策树分析，而真是的分类分析，需要把一部分数据集作为训练，一部分作为预测，这里使用70%的训练，30%的进行预测。代码如下：[python]viewplaincopy1.#训练集2.train_data=np.concatenate((iris.data[0:40,:],iris.data[50:90,:],iris.data[100:140,:]),axis=0)3.#训练集样本类别4.train_target=np.concatenate((iris.target[0:40],iris.target[50:90],iris.target[100:140]),axis=0)5.#测试集6.test_data=np.concatenate((iris.data[40:50,:],iris.data[90:100,:],iris.data[140:150,:]),axis=0)7.#测试集样本类别8.test_target=np.concatenate((iris.target[40:50],iris.target[90:100],iris.target[140:150]),axis=0)优化后的完整代码如下所示，同时输出准确率、召回率等。[python]viewplaincopy1.#-*-coding:utf-8-*-2.3.