语料库PPT课件

20130109A国家语委语料库建设1991年12月国家语委语言文字应用管理司提出立项建议1992年4月国家语委语言文字应用管理司在京组织召开了现代汉语语料库选材原则专家论证会1993年1月制订《现代汉语语料库选材原则》1993年9月召开了现代汉语语料库选材专家审定会2001年底建成7000万字的生语料库2003年底已完成4500万字语料的词语切分和词性标注加工20130109A现代汉语语料库的主要用途及选材规模主要用途语言文字的信息处理语言文字规范和标准的制定语言文字的学术研究语文教育语言文字的社会应用选材规模规模较大的通用语料库，其选材字数拟定在5000万字左右，包括抽样材料和整篇材料。教材字数另计。20130109A选材的分类依据材料内容，选材大体作如下分类：教材大中小学教材单作一类，约2000万字。不计入5000万字的语料之内。人文与社会科学的语言材料，包括：政法（含哲学、政治、宗教、法律等）；历史（含民族等）社会（含社会学、心理、语言、教育、文艺理论、新闻学、民俗学等）；20130109A经济；艺术（含音乐、美术、舞蹈、戏剧等）；文学（含口语）；军体；生活（含衣食住行等方面的普及读物）。自然科学（含农业、医学、工程与技术）报刊应用文20130109A3．选材年限及密度教材类选取现在通用的教材为建库的语言材料。中小学课本所选内容涉及各个学科的基本知识，一般为典范的现代汉语作品，具有相当的普及性、代表性。人文与社会科学类以1919年为上限，选取五四以来的语言材料。对五四以来各个历史时期的语料采取不等密度选用的方式。20130109A1919——1925年鉴于五四时期的白话文仍留有文言痕迹，拟选用少量的对后世影响较大的代表性作品。被选用的作品在行文上要尽量符合现代汉语的规范。这部分语料拟占人文与社会科学类的5%。1926——1949年白话文逐步脱离文言痕迹，现代汉语日趋成熟的时期。这部分语料拟占人文与社会科学类的15%。1950——1965年中华人民共和国的成立给社会文化生活带来巨大变化，新词新语大量涌现。这部分语料拟占人文与社会科学类的25%。1966——1976年文化大革命时期产生的作品，其中许多随着文革的结束而仅作为历史词语存于现代汉语之中。这部分语料拟占人文与社会科学类的5%。1977——新时期的语料代表了现代汉语的最新发展。这部分语料拟占人文与社会科学类的50%。20130109A自然科学（含农业、医学、工程与技术）类目前比较通用的中、小学各科教材。目前比较通用的具有通论性质的大学各科基础必修课程的教材。涉及自然科学各个门类的科普读物。20130109A现代汉语语料库选材字数的分布人文与社会科学的语言材料占全部5000万字语料的60%，为3000万字。这3000万字在各个学科的分布见表一。文学的语言材料占人文与社会科学类的50%，共1500万字。这1500万字在不同体裁、题材的语料的分布见表二。长、中、短篇小说的选取比例大致为：长：中：短=1：2：320130109A语料的通用性原则和描述性原则语料的通用性原则作为通用型语料库，现代汉语语料库应真实地反映现代汉语在文字、词汇、语法、语义等方面的全貌。现代汉语语料库在语料的选择上，应当具有区别性特征。有别于专业性。有别于地域性。有别于纯口语性。为确保5000万字语料的质量，尽可能地提高所选语料在采字、采词、采句和采义等方面的涵盖量，选材不仅要考虑到语料的时间层次、文化层次和社会使用面层次，还应采取“抓住中心，其他补充”的方式。时间层次。文化层次。以具有高中文化程度的人能够阅读的语料为主，其他文化程度为辅。社会使用面层次。以社会使用面较为广泛的语料为主，其他语料为辅进行补充；以人文与社会科学为主，自然科学为辅；以门类为主，以语体为辅，对门类进行补充。20130109A语料的描述性原则从现代汉语语料库建设的主要用途出发，语料应在必要的人工干预的前提下，做描述性选取，以便为语言文字的规范与科研提供客观的科学依据。为了保证现代汉语的字、词、句、义在语料中具有合理的出现频率，语料的选择应在控制比例的前提下，尽量做到采样广泛。20130109A样本原则语言材料的多样性选用政论性文章、新闻报道、各类文学艺术作品、科普读物、通俗读物、学术专论及各种应用文语体等现代汉语作品。语言材料的完整性2000字以下的文章原则上全篇采用。报纸可采取整篇文章、整版和整张相结合的方式。语言材料的遍历性选材要注意各学科，各学科分支，各行各业，以及社会生活各个领域的语言文字应用的代表性。20130109A语料抽样抽样的数量与方式书籍抽样数量一般占全书字数的3——5%，字数最多不超过10000字。样本容量2000字，允许±500字的伸缩。报纸采用整版（4版或8版）选用的方式。不同的报纸选用不同的月份，以免内容重复。报纸上的广告、启事等归在应用文类，不在报刊类语料的统计之列。刊物每本刊物上所选的总字数原则上不超过5000字。样本容量2000字，允许±500字的伸缩。20130109A对同一版面的不同文章，按从上至下、从左到右的顺序选取。一个样本必为同一作者的同一篇文章，限字数不限样本数（报刊除外）。每个样本之中必为连续的语料内容。应用文（包括广告、说明书等）2000字以内的应用文宜整篇选用。对于篇幅较长的应用文，所选样本的容量为2000字，允许±500字的伸缩。20130109A补充以上有关选材年限及密度的规定是着眼于科学的整体发展而制定的。各个学科的发展在不同的年代并不是齐头并进的，可根据具体情况适当调整依年限分布的比例、字数。调整的理由、调整后的比例和字数当详细说明，并作为附件收于清单之后。大学教材门类以国家规定的大学基础必修课为准。避免选取文言色彩较重的篇章作语料，例如鲁迅等作家的作品不宜用作语料。避免选取诗歌作语料；剔除篇章中诗歌形式的内容。20130109A设计样本分布表一：人文与社会科学类科目比例字数1919-19251926-19491950-19651966-19761977-5%15%25%5%50%哲学8.3%25012.537.562.512.5125历史8.3%25012.537.562.512.5125社会8.3%25012.537.562.512.5125经济8.3%25012.537.562.512.5125艺术8.3%25012.537.562.512.5125文学50%15007522537575750其他8.3%25012.537.562.512.512520130109A设计样本分布表二：文学类（含口语）体题裁材比例1919-19251926-19491950-19651966-19761977-5%15%25%5%50%小说30%45022.567.5112.522.5225散文（杂文）20%30015457515150传记10%1501522.537.51575报告文学10%15050100科幻10%15050100口语20%3001545751515020130109A1993年1月制订《现代汉语语料库选材原则》具体选材任务分别由中国社会科学院语言所、北京师范大学中文系和中国人民大学中文系三个课题组承担。选材工作自1992年底开始，按照通用性、描述性、实用性等原则系统地抽样选择了1919-1992年的现代汉语语言材料7000万字，由人文与社会科学、自然科学及综合三个大类约40个小类组成。20130109A1.人文与社会科学类划分为8个大类和30个小类：（1）政法：哲学、政治、宗教、法律；（2）历史：历史、考古、民族；（3）社会：社会学、心理、语言文字、教育、文艺理论、新闻、民俗；（4）经济：工业经济、农业经济、政治经济、财贸经济；（5）艺术：音乐、美术、舞蹈、戏剧；（6）文学：小说、散文、传记、报告文学、科幻、口语；（7）军体：军事、体育；（8）生活。20130109A2.自然科学划分为6类：数理、生化、天文地理、海洋气象、农林、医药卫生。3.综合类语料由应用文和难于归类的其他语料两部分组成。应用文使用很广泛，主要涉及以下6类：（1）行政公文：请示、报告、批复、命令、指示、布告、纪要、通知等；（2）章程法规：章程、条例、细则、制度、公约、办法、法律条文等；（3）司法文书：诉讼、辩护词、控告信、委托书等；（4）商业文告：说明、广告、调查报告、经济合同等；（5）礼仪辞令：欢迎词、贺电、讣告、唁电、慰问信、祝酒词等；（6）实用文书：请假条、检讨、申请书、请愿书等。20130109A语料来源包括教材、报纸、综合性刊物、专业刊物、图书等。每个样本的容量为2000字左右，书籍的抽样字数一般占全书总字数的3-5%，最多不超过10000字；每本刊物上所选的总字数原则上不超过5000字。各类语料所占比例如下：人文与社会科学类语料占语料总量的59.6%，自然科学类语料占语料总量的17.24%，综合类语料占语料总量的9.36%，取材于报纸的语料，难于划分门类和语体，因此单独计算，报纸语料占语料总量的13.79%。另外，取材于教材的语料总量有2000万字，已经按学科计入各类语料。20130109A当前语料库样本分布-类别050000001000000015000000200000002500000030000000字数文学社会经济报纸其他政法艺术农林历史生化数理医药卫生天文地理海洋气象行政公文工业生活军体行政文书实用文书司法文书商业文告礼仪辞令20130109A当前语料库样本分布-时间050000010000001500000200000025000003000000350000040000004500000年份20130109A标注语料库词语切分分词词表词表结构化词类标注信息处理用现代汉语词类标记集规范句法树库已完成5000万字词语切分和词类标注语料库20130109A语料库标注加工语料库加工软件系统分词词表20130109A现代汉语词语切分歧义数据库歧义点,歧义类型,歧义消解结果基于国家语委语料库超大规模通用平衡语料库2002,863项目1亿字基于国家语委语料库选材原则网络电子文本为主段落级XML标注20130109A谢谢!