机器学习的挑战(周志华)

机器学习及其挑战周志华南京大学软件新技术国家重点实验室2003年12月27日机器学习及其重要性机器学习角色的转变五个挑战问题汇报内容机器学习经典定义：利用经验改善系统自身的性能[T.Mitchell,Book97]随着该领域的发展，主要做智能数据分析典型任务：预测例如：天气预报机器学习（续）数据挖掘数据库机器学习数据分析技术数据管理技术美国航空航天局JPL实验室的科学家在《Science》（2001年9月）上撰文指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，……，该领域在今后的若干年内将取得稳定而快速的发展重要性生物信息学计算金融学分子生物学行星地质学……工业过程控制机器人……遥感信息处理信息安全机器学习重要性：例子—网络安全入侵检测：是否是入侵？是何种入侵？如何检测？•历史数据：以往的正常访问模式及其表现、以往的入侵模式及其表现……•对当前访问模式分类这是一个典型的预测型机器学习问题常用技术：神经网络决策树支持向量机k近邻序列分析聚类…………重要性：例子—生物信息学常用技术：神经网络支持向量机隐马尔可夫模型k近邻决策树序列分析聚类…………重要性（续）计算机科学在过去十年中发展极为迅速，今后会快速稳定地发展、对科学做出更大贡献的领域[E.Mjolsness&D.DesCoste,Science01]人工智能中最活跃、应用潜力最明显的领域（之一）[T.G.Dietterich,AIMag97]美国、欧洲各国都投入了大量人力物力大型公司如波音、微软、通用电器等都有研究课题已有一些研究成果进入产品机器学习角色的转变如果我们想做出重要的贡献，首先需要把握住该领域发展的脉搏机器学习现在似乎已经发展到一个新阶段机器学习起源于人工智能对人类学习能力的追求，上一阶段的研究几乎完全局限在人工智能这一领域中（学习本身是目的）而现在，机器学习已经开始进入了计算机科学的不同领域，甚至其他学科，成为一种支持技术、服务技术（学习本身是手段）机器学习角色的转变（续）现阶段对机器学习的研究可能不应再过多地强调模拟人的学习能力可能应该把机器学习真正当成一种支持技术（手段而非目的），考虑不同领域甚至不同学科对机器学习的需求，找出其中具有共性的、必须解决的问题，并进而着手研究我们暂且把这种视角下的机器学习称为：“普适机器学习”（PervasiveML）挑战问题(1)：泛化能力共性问题：几乎所有的领域，都希望越准越好提高泛化能力是永远的追求目前泛化能力最强的技术：支持向量机（SVM）产生途径：理论-实践集成学习（ensemblelearning）产生途径：实践-理论挑战问题(1)：泛化能力（续）第一个挑战问题：今后10年能否更“准”？如果能，会从哪儿来？挑战问题(2)：速度共性问题：几乎所有的领域，都希望越快越好加快速度也是永远的追求“训练速度”vs.“测试速度训练速度快的往往测试速度慢：k近邻测试速度快的往往训练速度慢：神经网络挑战问题(2)：速度（续）第二个挑战问题：今后10年能否更“快”？能做到“训练快”、“测试也快”吗？如果能，如何做？挑战问题(3)：可理解性共性问题：绝大多数领域都希望有“可理解性”例子：医疗诊断地震预测目前强大的技术几乎都是（或基本上是）“黑盒子”神经网络、支持向量机、集成学习“黑盒子”能满足需要吗？挑战问题(3)：可理解性（续）第三个挑战问题：今后10年能否产生“白盒子”？是和“黑盒子”完全不同的东西，还是从“黑盒子”变出来？挑战问题(4)：数据利用能力传统的机器学习技术—对有标记数据进行学习“标记”——事件所对应的结果共性问题：随着数据收集能力飞速提高、Internet的出现，在大多数领域中都可以很容易地获得大量未标记数据例子：医学图象分析垃圾邮件过滤没有标记的数据是没用的吗？挑战问题(4)：数据利用能力（续）共性问题：在绝大多数领域中都会遇到“坏”数据，有时甚至只有“坏”数据例子：海军舰队Web“坏”数据——大量噪音、属性缺失、不一致、……传统的“坏”数据处理方式—“扔掉”“坏”数据一点用也没有吗？第四个挑战问题：今后10年能否“数据通吃”？如何“吃”？挑战问题(4)：数据利用能力（续）挑战问题(5)：代价敏感目前的机器学习技术—降低错误率“错误”是没有区别的吗？把“好”当成“坏”把“坏”当成“好”共性问题：大多数领域中的错误代价都不一样例子：入侵检测癌症诊断一样吗？第五个挑战问题：今后10年能否“趋利避害”？在达到较低的总错误率的基础上，如何“趋”、如何“避”？挑战问题(5)：代价敏感（续）挑战问题：……More……在任何一个挑战问题上取得突破性进展，都可能成为对机器学习的重要贡献谢谢！恭请各位专家批评指正！