决策树方法

知识与能力教学目标过程与方法通过决策树概念的介绍和决策树法解决具体案例的演示，使学生对决策树法有深刻的理解并能够独立的运用决策树法进行案例决策.1.了解决策树以及各组成部分.2.能用决策树法解决决策问题情感态度与价值观通过决策树方法的学习，对数形结合思想有更加深刻的理解，并对风险决策有更进一步的认识.决策树的简介决策树(DecisionTree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。决策树是以实例为基础的归纳学习算法。它从一组无次序、无规则的元组中推理出决策树表示形式的分类规则；采用自顶向下的递归方式，在决策树的内部节点进行属性值的比较，并根据不同的属性值从该节点向下分支，而叶节点是要学习划分的类。从根节点到叶节点的一条路径就对应着一条合取规则，整个决策树就对应着一组析取表达式规则。决策树的构造决策树图示决策点方案枝状态枝机会点后果点名词解释决策点：一般用方形框表示决策者在这里对各行动方案进行选择.方案枝：由决策点引出的代表行动方案的线段.机会点：方案枝末端的圆.状态枝：由机会点引出的代表可能发生的状态的线段.后果点：状态枝末端的三角形.d1d2d3P(h1)P(h2)P(h1)P(h2)P(h1)P(h2)l(d1,h1)l(d1,h2)l(d2,h1)l(d2,h2)l(h3,h1)l(h3,h2)决策树的一般表示：d1,d2,d3表示3种行动方案.P(h1),P(h2)表示2种可能状态的概率，l(d,h)(或q(d,h))则表示损益函数的值.之后先计算出损益函数的均值写在机会点上，再根据决策目标选择最优方案，最后剪去其他方案.决策树的剪枝预先剪枝是在树的生长过程中设定一个指标，当达到该指标时就停止生长，这样做容易产生“视界局限”，就是一旦停止分支，使得节点N成为叶节点，就断绝了其后继节点进行“好”的分支操作的任何可能性。不严格的说这些已停止的分支会误导学习算法，导致产生的树不纯度降差最大的地方过分靠近根节点。后剪枝中树首先要充分生长，直到叶节点都有最小的不纯度值为止，因而可以克服“视界局限”。然后对所有相邻的成对叶节点考虑是否消去它们，如果消去能引起令人满意的不纯度增长，那么执行消去，并令它们的公共父节点成为新的叶节点。这种“合并”叶节点的做法和节点分支的过程恰好相反，经过剪枝后叶节点常常会分布在很宽的层次上，树也变得非平衡。剪枝是决策树停止分支的方法之一，剪枝有分预先剪枝和后剪枝两种。1.明确问题的决策目标，所有行动方案，所有可能状态，状态分布列，损益函数的所有取值；2.从左到右依次画出决策点，方案枝，机会点，机会枝后果点，并标注；3.计算并标注机会点的值；4.根据决策目标选择最优方案，并剪去其他方案枝.绘制决策树的步骤：为了适应市场的需要，某地准备扩大电视机生产。市场预测表明：产品销路好的概率为0.7；销路差的概率为0.3。备选方案有三个：第一个方案是建设大工厂，需要投资600万元，可使用10年；如销路好，每年可赢利200万元；如销路不好，每年会亏损40万元。第二个方案是建设小工厂，需投资280万元；如销路好，每年可赢利80万元；如销路不好，每年也会赢利60万元。第三个方案也是先建设小工厂，但是如销路好，3年后扩建，扩建需投资400万元，可使用7年，扩建后每年会赢利190万元。试作出决策。计算各点期望值：点②：0.7×200×10+0.3×（-40）×10-600（投资）=680（万元）点⑤：1.0×190×7-400=930（万元）点⑥：1.0×80×7=560（万元）比较决策点4的情况可以看到，由于点⑤（930万元）与点⑥（560万元）相比，点⑤的期望利润值较大，因此应采用扩建的方案，而舍弃不扩建的方案。把点⑤的930万元移到点4来，可计算出点③的期望利润值。点③：0.7×80×3+0.7×930+0.3×60×（3+7）-280=719（万元）最后比较决策点1的情况。由于点③（719万元）与点②（680万元）相比，点③的期望利润值较大，因此取点③而舍点②。这样，相比之下，建设大工厂的方案不是最优方案，合理的策略应采用前3年建小工厂，如销路好，后7年进行扩建的方案。解：决策树易于理解和实现，人们在在学习过程中不需要使用者了解很多的背景知识，这同时是它的能够直接体现数据的特点，只要通过解释后都有能力去理解决策树所表达的意义。对于决策树，数据的准备往往是简单或者是不必要的，而且能够同时处理数据型和常规型属性，在相对短的时间内能够对大型数据源做出可行且效果良好的结果。易于通过静态测试来对模型进行评测，可以测定模型可信度；如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。小结1)对连续性的字段比较难预测。2)对有时间顺序的数据，需要很多预处理的工作。3)当类别太多时，错误可能就会增加的比较快。4)一般的算法分类的时候，只是根据一个字段来分类。小结