从应用的角度看知识图谱的价值和挑战-胡国平(1)

从应用角度来看知识图谱的价值和挑战科大讯飞研究院胡国平2014年10月17日武汉01:21:43第二届全国中文知识图谱研讨会•本次知识图谱研讨会–着重探讨中文知识图谱的构建的资源、技术、方案、策略以及待研究问题和挑战–促进研究单位之间以及研究界和产业界之间的学术交流–探索今后大规模中文知识图谱构建的研讨与合作机制讯飞研究院简介•科大讯飞公司（中文信息领域的三个上市公司之一）下设的专门从事语音及语言核心技术研究的部门•指导思想：用正确的方法，做有用的研究讯飞发展史上“有用的研究”1999~语音合成引擎厂商2002~语音评测教育学习2005~语音识别运营商&安全2011~语音交互移动互联交流内容一、讯飞在知识图谱领域的一些尝试二、从应用看知识图谱的价值和挑战从应用角度来看知识图谱的价值和挑战什么是知识图谱(KnowledgeGraph)?•知识图谱旨在描述真实世界中存在的各种实体或概念及其关系，一般用三元组表示•知识图谱亦可被看作是一张巨大的图，节点表示实体或概念，边则由属性或关系构成中国国家美国日本英国北京9,634,057平方公里13.5404亿2069.3万北纬38°56'东经116°20'3.1525亿华盛顿9,629,091平方公里北纬38°53′西经77°02'178平方公里16410平方公里1.26亿377835平方公里东京2188平方公里东经140°50'北纬35°44'……人口知识图谱构建后台的技术族Web字典,术语表,百科,书本知识获取++已有知识库知识融合知识验证知识图谱现有的大规模知识名称规模Yago1千万实体，35万类别，1.8亿事实，100种属性，100语言Dbpedia4千万实体，250类别，5亿事实，6000种属性，Freebase2千5百万实体，2000主题，1亿事实，4000种属性谷歌知识图谱5亿实体名字，35亿条事实NELL3百万实体名字，300类别500属性，100万事实1千5百万学习规则中文知识库•传统的语言类知识库，基于人工编写方式，构建了一系列的中小规模中文知识库–知网(HowNet)[董振东和董强,1999]–《同义词词林》[梅家驹等,1996]–概念层次网络(HNC)[黄曾阳,1997]•大规模事实类知识库，针对自身业务需要建立–百度知心，优化搜索–搜狗知立方，优化搜索–阿里巴巴知识库(商品知识库)讯飞的一些初步尝试•重点探索了如何基于互联网构建高质量的大规模音乐知识库音乐领域•重点探索了如何基于知识库改进自动客服系统10086客服领域音乐领域•任务定义：想听什么，想问什么，直接说–放一首王力宏的歌（王力宏_歌手）–我想听江南style神曲(江南style_歌曲)–来一首他一定很爱你，阿杜的（阿杜_歌手_他一定很爱你_歌曲）–来首儿歌（儿歌_标签）–我想听一首歌吻吻的幸福(稳稳的幸福_歌曲，需容错)–播放周杰伦的新歌（周杰伦_歌手，歌曲属性为“新”）–周董和费玉清合作的那首歌（周杰伦_歌手&费玉清_歌手）–周杰伦和哪些台湾女歌手合作过（知识问答）–神话是孙楠和谁合唱的（知识问答）语音识别的突破，大大激发了语音理解的需求歌手6万歌曲260万专辑44万标签2000类系统实现互联网各种音乐相关信息下载融合语义理解曲库查询语音识别基于互联网的音乐曲库构建+基于人工规则的语义理解结果生成基于互联网的音乐曲库构建•遇到了一系列的问题–同一个歌曲有多个歌手演唱过的版本，甚至多个完全不同的歌曲，网上信息比较混乱同庾澄庆版另一首歌同庾澄庆版，但是没有人声，何真真是演奏者基于互联网的音乐曲库构建•遇到了一系列的问题–同一个歌曲有多个歌手演唱过的版本，，甚至多个完全不同的歌曲，网上信息比较乱–歌曲的标签体系比较乱，需要融合•“蓝调”“布鲁斯”（对应的英文都是Blues）•“慢摇”“R&B”“HIP&HOP”•“戏曲”“京剧”“昆曲”“黄梅戏”（相互平行）•“纯音乐”“钢琴曲”“古筝”“萨克斯”–歌曲名、歌手名很随意•我想给我的朋友点首我爱你中国这首歌音乐曲库重构•音乐曲库重构–以事件本体为依据重构音乐本体库，替换三元组方案三元组：（那英_Subject，演唱_Predicate，春暖花开_Object）事件本体：（那英_主体，演唱_动作，春暖花开_客体，蛇年春晚_场合，2013年2月9日_时间）音乐曲库重构艺人名称经纪公司代表作品歌手乐队性别出生日期成员成立时间解散时间歌曲名称歌词语言词作者曲作者演唱MP3时间介绍ISAmnIDISA标签专辑ID场合ID场合ID别名时间地点影视剧综艺节目晚会演唱会季期集部isaisaisaisa名称细化细化新增基于人工规则的语义理解神话是孙楠和谁合唱的？文法解析知识库查询SPARQL查询语句生成答案生成孙楠和韩红合唱了神话韩红歌手6万歌曲260万专辑44万标签2000类param:singer孙楠#param:song神话#predicate:chorusWith神话是孙楠和谁合唱的查询神话这首歌曲的演唱者，演唱者要包括孙楠，输出还包括的另外一个演唱者文法规则模板基于曲库资源的理解和纠错识别结果：我是你的安东尼演唱的文法规则：{歌曲名}{歌手名}演唱的容错结果：倪安东（歌手名）我是你的（歌曲名）识别结果：汪峰的北京青年文法规则：{歌手名}的{歌曲名}容错结果：汪峰（歌手名）北京北京（歌曲名）讯飞的一些初步尝试•音乐领域•10086客服领域智能客服领域智能客服：改变传统的按键式自助服务，用户使用自然语音与系统交互，实现菜单扁平化，提升用户满意度，减轻人工服务压力，降低运营成本。10086智能客服1.帮我查询话费。2.办理彩铃业务。3.开通5元30M套餐。4.我要交100元话费1.怎样退订国内移动数据5元？2.办两城一家后给省内打电话,是怎么收费的？3.怎么办理10元100M流量包？4.我要到新加坡去旅游，需要办什么手续？业务办理类：业务咨询类：总体思路结构化知识库移动作业手册原始文档知识库安徽移动Web版知识库人工参与的本体知识库构建领域专家文档知识库本体概念设计ontology标注模板人工标注标注结果实例化本体知识库知识库结构个人业务描述框架知识库结构个人信息描述框架知识库结构主套餐描述框架知识库结构当前规模：106属性，100业务，3102个三元组完整知识库结构基于本体库的咨询问答服务基于槽信息抽取的问题理解基于SparQL答案生成语义框架表示咨询类问题问题：怎么办理10元100M流量包？答案答案：对不起，没有找到10元100M的流量套餐，但是有以下套餐:10元70M;5元30M;50元500M.Select?money?amount?open_way{?busihas_name“流量”.?busicontain_pack?pack.?packhas_money?money.?packhas_amount?amount.?packhas_open_way?open_way}问题焦点开通方式问题类型怎么操作开通业务流量金额10元数量100M词汇级句子级基于本体库的咨询问答服务基于槽信息抽取的问题理解基于SparQL答案生成语义框架表示咨询类问题问句：办两城一家后给省内打电话,是怎么收费的?答案答案：开通后省内定点市打电话每分钟0.29元Select?money?amount?open_way{?busihas_name“两城一家”…….问题焦点开通方式问题类型怎么操作开通业务流量金额10元数量100M词汇级句子级业务名称：两城一家省内套餐关键动词：是、拨打、收费参数：地区-省内关键名词：两城一家、电话问题类型：how问题焦点：资费题目（改编自2012年海南省高考文综地理试卷）7月1日下列城市白昼最长的是？A.悉尼B.上海C.雅加达D.莫斯科题目理解知识库检索逻辑推理7月1日左右，北半球昼长夜短纬度越高昼越长悉尼南纬33度55分上海北纬31度11分雅加达南纬6度10分莫斯科北纬55度45分莫斯科北纬度最高莫斯科白昼最长，选D常识知识获取考察四个城市，按daytime(city,7月1日）排序，取最大值的一个答案863类人答题任务难度分析类人答题系统的研发需要多种知识库的支撑！交流内容一、讯飞在知识图谱领域的一些尝试二、从应用看知识图谱的价值和挑战从应用角度来看知识图谱的价值和挑战人工智能的三个阶段计算智能感知智能认知智能能存会算能听会说、能看会认能理解会思考一、知识图谱研发需区分并针对应用应用场景搜索：展示及优化搜索结果音乐：难在构建曲库客服：对自动客服的帮助有限•和NLP一样，不同应用场景，对知识图谱的需求点和难点差别很大•潜在应用价值的发现，能拉动知识图谱的研究水平和投入的提升答题：需要各种常识和学科知识库二、积极探索知识图谱对理解的价值•列表型资源的利用•基于知识图谱的纠错知识图谱对语义理解本身的帮助有限•给你一个苹果，再给你一个苹果，你有几个苹果了•给你一个苹果，你吃了一个苹果，你有几个苹果了记忆超出任何人，但理解不及5岁小孩•乌龙球：踢进自家球门的球•高铁：就是很快的火车语义理解正是人类知识积累的渠道三、直面当前知识图谱技术方案的问题•语言知识库•何谓“坐”•事实类知识库•专业领域知识库研究范围•三元组的方式，表达能力不足•知识图谱表示是离散型的，没有连续、模糊的概念•收获了七八斤苹果表示能力•串行的知识图谱如何追赶人类是高度并行•“跑”比“走”快•从北京到天津不用坐飞机•知识图谱上的推理能力，也还太弱应用模式“深”比“广”难一个哲学问题•仅用文字描述的世界，是不是“假”的世界？–没有视觉、没有听觉、没有触觉–没有情感、没有信仰格桑花一种生长在高原上的花朵，杆细瓣小，花为复叶羽状，五瓣花，颜色鲜艳而美丽，随着季节变化而逐渐变换颜色。花径长约1.5～3cm，为落叶乔木。总结和建议“用正确的方法，做有用的研究”，知识图谱的研究应该与实际应用相结合，应该与语义理解、知识学习相结合讯飞公司针对音乐和客服两个领域做了一些知识图谱相关的尝试，目前还都不太成功“深”比“广”难，现有知识图谱的解决方案和应用价值都面临诸多挑战，是一个很值得深入和广泛合作研究的领域谢谢