经典机器学习算法优缺点比较

经典机器学习算法优缺点比较算法优点缺点决策树计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征；容易过拟合（后续出现了随机森林，减小了过拟合现象）；朴素贝叶斯对小规模的数据表现很好，适合多分类任务，适合增量式训练。对输入数据的表达形式很敏感。对关联性强的特征表现不好Logistic回归：实现简单；分类时计算量非常小，速度很快，存储资源低；容易欠拟合，一般准确度不太高；只能处理两分类问题，且必须线性可分；KNN可用于非线性分类；训练时间小；准确度高，对数据没有假设，对outlier不敏感；计算量大；样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；需要大量的内存；SvmLibsvm/liblinear低泛化误差；容易解释；计算复杂度较低；对参数和核函数的选择比较敏感；原始的SVM只比较擅长处理二分类boosting低泛化误差；容易实现，分类准确率较高，没有太多参数可以调；对outlier比较敏感；GDBT（MART）迭代决策树GBDT几乎可用于所有回归问题（线性/非线性）；亦可用于二分类问题（设定阈值，大于阈值为正例，反之为负例）；可以解决过拟合问题；