王泉：浅谈逻辑规则在知识图谱

浅谈逻辑规则在知识图谱表示学习中的应用王泉中国科学院信息工程研究所2015-06-27知识图谱：实体和关系构成的异质有向图表示学习：将实体和关系在隐式向量空间进行表示、建模与学习方法瓶颈：单纯数据驱动型方法，精度有限逻辑规则：更准确的表示学习+提升任务精度概述知识图谱知识图谱表示学习逻辑规则的使用结束语大纲知识图谱知识图谱表示学习逻辑规则的使用结束语大纲知识图谱知识图谱：实体和关系构成的异质有向图(John,athletePlaysForTeam,76ers)(Bob,athletePlaysForTeam,76ers)(Bob,teamMates,Tom)(Tom,athletePlayesInLeague,NBA)(76ers,teamPlaysInLeague,NBA)知识图谱知识图谱表示学习逻辑规则的使用结束语知识图谱知识图谱：实体和关系构成的异质有向图符号化的表示形式严重制约其计算与建模(John,athletePlaysForTeam,76ers)(Bob,athletePlaysForTeam,76ers)(Bob,teamMates,Tom)(Tom,athletePlayesInLeague,NBA)(76ers,teamPlaysInLeague,NBA)知识图谱知识图谱表示学习逻辑规则的使用结束语知识图谱知识图谱表示学习逻辑规则的使用结束语大纲知识图谱表示学习基本思想−在隐式向量空间对实体和关系进行表示、建模与学习−将实体和关系可计算化，简化知识图谱操作与建模应用场景−知识推理[Bordesetal.,2013;Socheretal.,2013]−关系抽取[Riedeletal.,2013;Westonetal.,2013]−实体消解[Bordesetal.,2014]−实体分类[Nickeletal.,2012]知识图谱知识图谱表示学习逻辑规则的使用结束语总体框架在隐式向量空间对实体/关系进行表示、建模与学习−将实体和关系在隐式向量空间进行表示−定义打分函数，衡量三元组成立的可能性−根据已知事实构造优化问题，学习模型参数知识图谱知识图谱表示学习逻辑规则的使用结束语知识图谱知识图谱表示学习逻辑规则的使用结束语基于重构误差基于排序损失数据全观测数据有缺失总体框架在隐式向量空间对实体/关系进行表示、建模与学习−将实体和关系在隐式向量空间进行表示−定义打分函数，衡量三元组成立的可能性−根据已知事实构造优化问题，学习模型参数基于重构误差的方法：RESCAL实体/关系的隐空间表示+打分函数定义基于重构误差的参数学习投影变换数据全观测知识图谱知识图谱表示学习逻辑规则的使用结束语基于重构误差的方法相同的目标函数不同的隐空间表示方式和打分函数知识图谱知识图谱表示学习逻辑规则的使用结束语基于排序损失的方法：TransE实体/关系的隐空间表示+打分函数定义基于排序损失的参数学习翻译变换数据有缺失知识图谱知识图谱表示学习逻辑规则的使用结束语基于排序损失的方法相同的目标函数不同的隐空间表示方式和打分函数知识图谱知识图谱表示学习逻辑规则的使用结束语数据驱动型方法的不足精度有限：广泛相关≠精确匹配(SanAntonio,cityLocatedInState,?)1.Florida2.Arizona3.Maine4.Ohio5.Colorado6.Texas7.…知识图谱知识图谱表示学习逻辑规则的使用结束语知识图谱知识图谱表示学习逻辑规则的使用结束语大纲表示学习+逻辑规则基本思想−将表示学习和逻辑规则相结合，充分发挥两者优势−通过使用规则，实现更准确的表示学习，提升任务精度方法分类−流水线式方法[Beltagyetal.,2013,2015;Wangetal.,2015]−联合式方法[Rocktascheletal.,2014,2015]知识图谱知识图谱表示学习逻辑规则的使用结束语流水线式方法基本特点−表示学习和规则的使用为两个相互独立的环节−规则的使用并不直接影响表示学习连接纽带−0-1型整数线性规划[Wangetal.,2015]−马尔可夫逻辑网络[Beltagyetal.,2013,2015]知识图谱知识图谱表示学习逻辑规则的使用结束语流水线式方法：以0-1规划为纽带知识推理：0-1型整数线性规划−目标函数：知识图谱表示学习−约束条件：规则（逻辑+非逻辑）IntegerLinearProgrammingObjectiveConstraintsEmbeddings:TriplePlausibilityRules:Physical&LogicalNewFactsExistingFacts知识图谱知识图谱表示学习逻辑规则的使用结束语流水线式方法：以0-1规划为纽带知识推理：0-1型整数线性规划−目标函数：知识图谱表示学习−约束条件：规则（逻辑+非逻辑）IntegerLinearProgrammingObjectiveConstraintsEmbeddings:TriplePlausibilityRules:Physical&LogicalNewFactsExistingFacts知识图谱知识图谱表示学习逻辑规则的使用结束语1.最符合表示学习模型的预测2.满足所有的推理规则流水线式方法：以0-1规划为纽带优化问题知识图谱知识图谱表示学习逻辑规则的使用结束语流水线式方法：以0-1规划为纽带优化问题知识图谱知识图谱表示学习逻辑规则的使用结束语布尔变量，表示事实成立与否权值，由表示学习模型估计推理尽可能符合表示学习模型的预测流水线式方法：以0-1规划为纽带优化问题知识图谱知识图谱表示学习逻辑规则的使用结束语推理满足所有规则联合式方法基本特点−表示学习和规则的使用在统一框架同时进行−规则的使用直接影响表示学习规则建模−张量操作[Rocktascheletal.,2014]−实数操作[Rocktascheletal.,2015]知识图谱知识图谱表示学习逻辑规则的使用结束语联合式方法：以张量操作建模规则将逻辑规则和三元组统一对待，协同学习−三元组：经由实体/关系表示转换成向量−逻辑规则：经由张量操作转化成向量知识图谱知识图谱表示学习逻辑规则的使用结束语向量向量三元组原子公式逻辑规则复合公式逻辑连接符张量操作实体表示关系表示实体表示关系表示协同学习联合式方法：以张量操作建模规则三元组转换−true≔10∈ℝ2false≔01∈ℝ2−relation𝑟≔∈ℝ2×𝑑−entitypairℎ,𝑡≔∈ℝ𝑑−ℱ=𝑟ℎ,𝑡≔∈ℝ2知识图谱知识图谱表示学习逻辑规则的使用结束语联合式方法：以张量操作建模规则逻辑规则转换−¬𝒜≔0110𝒜∈ℝ2−𝒜⋀ℬ≔1001�0011×2ℬ×𝒜∈ℝ2−𝒜⋁ℬ≔1100�1001×2ℬ×𝒜∈ℝ2−𝒜⇒ℬ≔1001�1100×2ℬ×𝒜∈ℝ2知识图谱知识图谱表示学习逻辑规则的使用结束语联合式方法：以张量操作建模规则逻辑规则转换−¬𝒜≔0110𝒜∈ℝ2−𝒜⋀ℬ≔1001�0011×2ℬ×𝒜∈ℝ2−𝒜⋁ℬ≔1100�1001×2ℬ×𝒜∈ℝ2−𝒜⇒ℬ≔1001�1100×2ℬ×𝒜∈ℝ2协同表示学习知识图谱知识图谱表示学习逻辑规则的使用结束语联合式方法：以实数操作建模规则将逻辑规则和三元组统一对待，协同学习−三元组：经由实体/关系表示转换成实数−逻辑规则：经由实数操作转化成实数知识图谱知识图谱表示学习逻辑规则的使用结束语实数实数三元组原子公式逻辑规则复合公式逻辑连接符实数操作实体表示关系表示实体表示关系表示协同学习联合式方法：以实数操作建模规则三元组转换−true≔1false≔0−relation𝑟≔𝐫∈ℝ𝑑−entitypairℎ,𝑡≔𝐩∈ℝ𝑑−ℱ=𝑟ℎ,𝑡≔𝜎𝐫∙𝐩∈0,1知识图谱知识图谱表示学习逻辑规则的使用结束语联合式方法：以实数操作建模规则逻辑规则转换−¬𝒜≔1−𝒜∈0,1−𝒜⋀ℬ≔𝒜ℬ∈0,1−𝒜⋁ℬ≔𝒜+ℬ−𝒜ℬ∈0,1−𝒜⇒ℬ≔𝒜ℬ−1+1∈0,1知识图谱知识图谱表示学习逻辑规则的使用结束语联合式方法：以实数操作建模规则逻辑规则转换−¬𝒜≔1−𝒜∈0,1−𝒜⋀ℬ≔𝒜ℬ∈0,1−𝒜⋁ℬ≔𝒜+ℬ−𝒜ℬ∈0,1−𝒜⇒ℬ≔𝒜ℬ−1+1∈0,1协同表示学习知识图谱知识图谱表示学习逻辑规则的使用结束语流水线式VS联合式流水线式方法−规则的使用不能直接影响表示学习−依赖外部工具（ILP、MLN）为连接纽带，效率较低−规则直接作用于任务，任务精度提升明显知识图谱知识图谱表示学习逻辑规则的使用结束语流水线式VS联合式联合式方法−规则的使用直接影响表示学习−向量/矩阵/张量运算，效率较高−规则并非直接作用于任务，任务精度提升有限知识图谱知识图谱表示学习逻辑规则的使用结束语知识图谱知识图谱表示学习逻辑规则的使用结束语大纲知识图谱表示学习基本思想−在隐式向量空间对实体和关系进行表示、建模与学习−将实体和关系可计算化，简化知识图谱操作与建模总体框架−将实体和关系在隐式向量空间进行表示−定义打分函数，衡量三元组成立的可能性−根据已知事实构造优化问题，学习模型参数方法瓶颈−单纯数据驱动型方法，精度有限知识图谱知识图谱表示学习逻辑规则的使用结束语表示学习+逻辑规则基本思想−将表示学习和逻辑规则相结合，充分发挥两者优势流水线式方法−独立环节：规则的使用不能直接影响表示学习−规则直接作用于任务，任务精度提升明显联合式方法−统一框架：规则的使用直接影响表示学习−规则并非直接作用于任务，任务精度提升有限知识图谱知识图谱表示学习逻辑规则的使用结束语[Beltagyetal.,2013]I.Beltagy,C.Chau,G.Boleda,D.Garrette,K.Erk,andR.Mooney.MontaguemeetsMarkov:Deepsemanticswithprobabilisticlogicalform.InProceedingsof*SEM,11—21,2013.[Beltagyetal.,2015]I.Beltagy,S.Roller,P.Cheng,K.Erk,andR.Mooney.Representingmeaningwithacombinationoflogicalformandvectors.arXivpreprint,2015.[Bordesetal.,2011]A.Bordes,J.Weston,R.Collobert,andY.Bengio.Learningstructuredembeddingsofknowledgebases.InProceedingsofAAAI,301—306,2011.[Bordesetal.,2013]A.Bordes,N.Usunier,A.Garcia-Duran,J.Weston,andO.Yakhnenko.Translatingembeddingsformodelingmulti-relationaldata.InProceedingsofNIPS,2787—2795,2013.[Bordesetal.,2014]A.Bordes,X.Glorot,J.Weston,andY.Bengio.Asemanticmatchingenergyfunctionforlearningwithmulti-relationaldata.MACHLEARN,94(2):233—259,2014.[Changetal.,2013]K.W.Chang,W.T.Yih,andC.Meek.Multi-relationallatentsemanticanalysis.InProceedingsofEMNLP,1602—1612,2013.[Franzetal.,2009]T.Franz,A.Schultz,andS.Sizov.TripleRank:Rankingsema