计算机科学与技术学院

计算机科学与技术学院中文文本分类专题ChineseTextClassification苏州大学计算机科学与技术学院何为文本分类在给定的分类模型下，根据文本的内容让计算机自动判断文本类别的过程从数学的角度是一个映射的过程将一个未表明类别的文本映射到已有的类别中可以一对一，也可以一对多文本分类的类型根据需要的不同单类别分类每个文档必须归属一个类别多类别分类一篇文档可以属于多个类夜可以不属于任何类文本分类的方式以文档为中心的分类Document-PivotedTextCategorization给定一篇文档，遍历所有类别，判断它属于的类以类别为中心的分类Category-PivotedTextCategorization假定某个类别，在给定的文档集中找出属于该类的文档子集中文文本分类系统自动分词特征选择与抽取文本计算模型文本识别算法中文文本分类系统结构图被分类的文本形式化表示训练样本预处理特征提取分类器输出类型分类评估文本分类的发展可行性研究阶段1958-1964试验研究阶段1965-1974实用化阶段1975至今中文始于20世纪80年代文本特征的选择预处理去除格式标记去除停用词自动分词词性标注词频统计文本特征的选择目的提高分类效率、减少计算复杂度去除不带分类信息和信息量较少的词一个特征词条在一个文档中出现的次数越多，它与该文档对应的主题越相关一个特征词在越过的文档中出现，它对类别区分度的作用越小用权值来表示一个词的作用文本分类方法（一）Rocchio方法相似度方法为每类文本集生成中心向量确定文本向量计算文本向量与每类文本集中心向量的相似度取相似度的最大值文本分类方法（二）贝叶斯方法计算文本属于某个类别的概率具体步骤：计算特征词属于每个类别的概率向量新文本到达，根据切分出的特征词，计算该文本属于不同类的概率比较计算出的多个概率，并决定类型文本分类方法（三）KNN方法K近邻方法将每个文本看称平面上的一个点选择几个中心点，计算每个点和它们的距离小于指定的K值，则为它们的邻居这样可以把文档分成很多个类别不断矫正每个类别的中心点特点：开始效果差，后来越来越好文本分类方法（四）（五）SVM支持向量机DecisionTree决策树方法选择阈值文本分类的方法化分类为数学计算通常是计算出一个值该值小于指定的阈值则为该类如何确定阈值？平均法CSV阈值法均衡阈值法固定阈值法各种方法都有优缺点、根据不同需要选择使用评估方法查全率分类的正确文本数/应有的文本数准确率分类的正确文本数/实际分类的文本数F1测试值查全率×查准率×2/(查全率+查准率)