浅谈中文分词技术

浅谈中文分词技术一个中文文本从形式上看是由汉字（包括标点符号等）组成的一个字符串。由字可组成词，由词可组成句子，进而由一些句子组成段、节、章、篇。可见，如果需要处理一篇中文语料，从中正确的识别出词是一件非常基础而重要的工作。1.中文分词概述显而易见，中文以字为基本书写单位，词语之间没有明显的区分标记。中文分词就是由机器在词与词之间加上标记进行区分。例如：输入：我是学生。输出：我/是/学生/。1.1中文分词的关键问题中文分词的关键问题为：切分歧义消解和未登录词识别1.2歧义切分定义歧义切分的表示可以由下示例：输入待切分句子：提高人民生活水平可以切分输出：提高/人民/生活/水平或者切分输出：提/高人/民生/活水/平明显第二个输出为歧义切分1.3未登录词定义常见的未登录词有实体名词、专有名词与新词实体名词包括有：中国人名：李素丽老张李四王二麻子中国地名：定福庄白沟三义庙韩村河马甸翻译人名：乔治·布什叶利钦包法利夫人酒井法子翻译地名：阿尔卑斯山新奥尔良约克郡机构名：方正公司联想集团国际卫生组织外贸部商标字号：非常可乐乐凯波导杉杉同仁堂专业术语和新词语专业术语：万维网主机板模态逻辑贝叶斯算法缩略语：三个代表五讲四美打假扫黄打非计生办新词语：卡拉OK波波族美刀港刀未登录词没有明确边界，缺少英语中的分隔符、大小写、词的形态、冠词等语法信息，识别比较困难。因此通常每一类未登录词都要构造专门的识别算法。2.分词主要技术方法2.1基于词典的分词词典中一般存储着：词、词频、词性等信息，可以通过统计标注好的熟语料和常用词典得到。基于词典分词方法首先需要对句子进行原子切分，即找出句子中可能蕴含组成的所有词，然后构成词图。还是之前例子，输入：提高人民生活水平输出所有包括的词：提提高高高人人人民民民生生生活活活水水水平平则可以构成词图如下：上述工作主要重点是词典存储于并快速匹配，多采用双数组Tie树的方法生成词典树，用自动机匹配词串。2.1.1词典分词的歧义消解问题歧义消解可以转换为对于上述在词图上寻找统计意义上的最佳路径。常用一元、二元模型进行基于一元模型进行评价：统计词表中每个词的词频，并将其转化为路径代价C=-log(f/N)切分路径的代价为路径上所有词的代价之和寻求代价最小的路径。上述例子就是根据词典中提高高人人民民生生活活水水平平这几个词的词频f，认为词频越高的路径代价越小，找出最短的路径。基于二元模型进行评价：相对于一元模型，二元模型还需要一个词转移统计词典，例如记录了提高衔接人民的次数，词转移统计词典实质上是一个稀疏矩阵。基于二元模型进行评价需要在一元模型的基础上增加转移路径代价。词典中转移次数多的衔接认为该衔接转移路径代价小。计算方法可以用Viterbi算法。2.1.2词典分词的未登陆词问题简单来说，可以将未登陆词的识别转换成序列标注问题即打标签，然后用ＨＭＭ或其它统计学习方法求解。例如中国人名识别可以表示为（姓＋名）的形式，例如对于一个人名：金三胖可以正确标注序列为：金／姓三胖／名，则人名可以识别出来。具体可参见张华平相关论文《基于层叠隐马尔可夫模型的中文命名实体识别》、《基于角色标注的中国人名自动识别研究》、《基于角色标注的中文机构名识别》。2.2基于字的分词基于字的分词可以平衡的看待词表词和未登录词的识别问题。汉语中词都是有字组成的，可以将分词视为字的序列标注问题。例如对于“占”这个字可以有以下词位标注词首B占领词尾E抢占词中M独占鳌头单字词S已占全国基于字的分词实现很简单，例如对于句子上海/计划/到/本/世纪/末/实现/人均/国内/生产/总值/五千美元/。可以有如下词位序列标注：上/B海/E计/B划/E到/S本/S世/B纪/E末/S实/B现/E人/B均/E国/B内/E生/B产/E总/B值/E五/B千/M美/M元/E。/S根据标注BMES实现了分词。转换成序列标注问题后常用算法有HMM(隐马模型)、MEMM(最大熵隐马模型)、CRF等。下面简单比较一下：隐马模型一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特征，限制了特征的选择。最大熵隐马模型则解决了隐马的问题，可以任意选择特征，但由于其在每一节点都要进行归一化，所以只能找到局部的最优值，同时也带来了标记偏见的问题，即凡是训练语料中未出现的情况全都忽略掉。条件随机场则很好的解决了这一问题，他并不在每一个节点进行归一化，而是所有特征进行全局归一化，因此可以求得全局的最优值。2.3主要分词技术评价基于词典的分词优点：速度快，效率高，易修改，灵活性强。基于词典的分词缺点：主要依赖词典和规则库，对于歧义词和未登录词的识别能力较低。基于字的分词的优点：对于歧义词和未登录词的识别能力较好。基于字的分词的缺点：（1）模型体积大占内存。例如一个可供生产环境用的CRF模型至少使用前中后3个字符的组合做特征模板，在一两百兆的语料上训练，模型体积至少上百兆。（2）速度慢。相较于基于词语的BiGram分词器，一个拖速度的地方是特征函数的查询次数多、速度慢，另一个弱点则是概率图的节点更多（4倍文本长度个节点，4是BMES标签的个数）。（3）不易修改。有时候用户对分词结果不满意，却无法方便地修正它。包括CRF在内的其他模型都需要重新训练，或者修改代码。而基于词语的NGram词典和词频词典可以轻松修改。