第一章-自然语言处理概论

关毅[e-mail]研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心第一章自然语言处理概论1、开场白2、自然语言处理概论3、学习方法主要内容研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心欢迎大家加入可能是世界上人数最多的自然语言处理团队！1、开场白研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心哈尔滨工业大学计算机学院的自然语言处理团队起源80年代初王开铸教授，俄汉机器翻译李生教授，汉英机器翻译研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心哈尔滨工业大学计算机学院的自然语言处理团队（续）主要研究室语言技术研究中心社会计算与信息检索研究中心智能接口与人机交互研究中心……研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心个人简介关毅1992年开始进入自然语言处理领域主要工程项目微软拼音输入法BOPOMOFO汉字输入系统Weniwen搜索引擎主要科学贡献关于相似的研究-提出系统相似度测度理论现为哈工大计算机学院语言技术研究中心教授，博士生导师研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心课程概貌研究生专业必修课：自然语言处理学时：32学时+16学时授课方式：课堂讲授+课后上机练习考察方式：闭卷考试实验课研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心几个时间段二十多年崛起于80年代初的统计自然语言处理技术，已经成为自然语言处理的主流技术本课程重点介绍统计语言处理技术，特别是基于统计的汉语词法分析技术研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心几个时间段（续）六十多年自然语言处理技术起源于人们对机器翻译技术的研究，从1946年算起至今，已有60多年的历史了“目前一些试用过的用户表示，改进后的翻译服务在质量方面令人惊讶。对于那些从未使用机器翻译的用户来说，他们完全可以通过翻译后的文本理解原文的意思，一些细微的错误并不会引起太大的麻烦。”--FranzJosefOch研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心几个时间段（续）还需要多少年才能实现计算机与人类无障碍地沟通？1968年的美国影片《2001太空奥德赛》机器人HAL和Dave进行了如下对话：DaveBownman:Openthepodbaydoors,HAL.(DaveBownman：HAL,请你打开太空舱的分离门。)HAL:I’msorryDave,IamafraidIcan’tdothat.(HAL：对不起，Dave，我恐怕不能这样做。)研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心几个时间段（续）自然语言处理是一个“AIcomplete”问题自然语言与（分子）生物学有着深刻的渊源生物学中有着至少500年也解决不完的有趣问题—DonaldE.Knuth研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心自然语言处理中的歧义问题在自然语言处理的各个阶段广泛大量地存在着形形色色的歧义问题，这是自然语言与人工语言的根本差别之一，也是自然语言处理的难点所在研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心自然语言处理中的歧义问题（续）词法分析歧义分词严守一把手机关了严守/一把手/机关/了严守一/把/手机/关/了词性标注我/pro计划/v考/v研/n我/pro完成/v了/aux计划/n命名实体识别秦兵坑杀赵军40万于长平研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心自然语言处理中的歧义问题（续）语法分析歧义咬死了猎人的狗那只狼咬死了猎人的狗咬死了猎人的狗失踪了研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心自然语言处理中的歧义问题（续）语义分析歧义Atlast,acomputerthatunderstandsyoulikeyourmother.–1985McDonnell-Douglasad含义1：计算机会象你的母亲那样很好地理解你（的语言）含义2：计算机理解你喜欢你的母亲含义3：计算机会象很好地理解你的母亲那样理解你研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心自然语言处理中的歧义问题（续）语用分析歧义“你真坏”至少有如下三种理解：当人们对干了坏事的成年人说时，是一种严厉的斥责当妈妈对淘气的儿子说时，实际表达的是对儿子的一种疼爱当恋爱中的女孩对男友说这句话时，则是女孩在男友面前撒娇的一种表现……研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心自然语言处理中的歧义问题（续）自然语言处理应用中的歧义问题音字转换例jiqifanyijiqiyingyongjiqilerenmenjiqinonghoudexingqu研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心几点感性认识有点繁琐枯燥“从繁体词库到简体词库”要求同学们一丝不苟的认真精神充满乐趣“机器翻译及其应用激起了人们极其浓厚的兴趣”要求同学们有愚公移山，坚持到底的精神研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心几点感性认识（续）团队合作“128个字节的偏移量”要求同学们善于协作，有团队精神独创精神“一只美丽的小花猫”要求同学们勇于创新研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心本人印象深刻的至理名言取法其上，仅得其中；取法其中，仅得其下；取法其众，得其上。-中国古代思想家Everyimportantideaissimple-列夫.托尔斯泰研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心本人印象深刻的至理名言Thegrandaimofallscienceistocoverthegreatestnumberofempiricalfactsbylogicaldeductionfromthesmallestnumberofhypothesesoraxioms-爱因斯坦研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心两件宝贝MindjetMindManagerEndnote/Mendeley/NoteExpress研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心哈工大-阿里巴巴联合实验室教材ChristopherManningandHinrichSchutze:FoundationsofStatisticalLanguageProcessing,MITpress,1999（有中译本，译者苑春法等）自然语言处理综论DanielJurafsky&JamesH.Martin著冯志伟孙乐译王晓龙、关毅《计算机自然语言处理》清华大学出版社2005年研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心2、自然语言处理概论什么是自然语言处理定义1：自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力（linguisticcompetence）和语言应用（linguisticperformance）的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断地完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。---BillManaris,1999研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心解题本学科的主题与背景：“自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。”人人交际中的语言问题例如语言不通的问题，促进了机器翻译这一语言处理中最重要的应用之一的发展人机交际中的语言问题例如语言文字的输入输出问题，促进了智能化人机接口技术的研究研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心为什么要研究自然语言处理从科学研究的角度：探寻人类通过语言来交互信息的奥秘，更好地理解语言本身的内在规律从实际应用的角度：构建更加有效的人机交互方式研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心解题（续）两类不同的语言处理模型（Chomsky）能力模型通常是基于语言学规则的模型，建立在人脑中先天存在语法通则这一假设的基础上，认为语言是人脑的语言能力推导出来的，建立语言模型就是通过建立人工编辑的语言规则集来模拟这种先天的语言能力。又称“理性主义的”语言模型建模步骤语言学知识形式化形式化规则算法化算法实现研究生专业必修课自然语言处理,2014年秋季[e-mail]哈尔滨工业大学计算机学院语言技术研究中心解题（续）应用模型根据不同的语