2016.深度学习与社会计算

深度学习与社会计算SMP2016全国社会媒体处理大会清华大学自然语言处理实验室刘知远社会计算的研究对象2社会计算的研究对象3社会网络用户及其关系和行为媒体信息文本、视频、语音等信息知识图谱结构化的世界知识面临挑战信息多源异构，难以建立语义关联基于符号的表示方案sun[0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, …][0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, …]starsim(star,sun)=04基于符号的表示方案N个节点的网络邻接矩阵需要N×N个元素来表示稀疏！不利于存储计算5分布式表示方案•DistributedRepresentation•对象均被表示成稠密、实值、低维向量6分布式表示的优势•解决社会计算中对象间的语义计算问题7统一语义空间社会网络分析知识计算个性推荐用户文本产品知识分布式表示的优势8表层数据深层语义多源异构的社会媒体信息词汇表示实体表示社会计算任务词义表示句子表示知识表示短语表示文档表示网络表示9分布式词表示学习模型word2vecTomasMikolovetal.Distributedrepresentationsofwordsandphrasesandtheircompositionality.NIPS2013.10词汇表示用于词汇相似度计算11词汇表示发现词汇间的隐含关系W(‘‘China“)−W(‘‘Beijing”) ≃W(‘‘Japan“)−W(‘‘Tokyo)12词汇表示发现词汇语义层级Fu,Ruiji,etal.Learningsemantichierarchiesviawordembeddings.ACL2014.13词汇语义变迁研究14WilliamL.Hamilton,JureLeskovec,andDanJurafsky.ACL2016.DiachronicWordEmbeddingsRevealStatisticalLawsofSemanticChange.词汇语义变迁研究15词汇语义变迁研究16多源异构的社会媒体信息词汇表示实体表示社会计算任务词义表示句子表示知识表示短语表示文档表示网络表示17网络表示学习•将网络中节点的语义信息表示为低维向量G=(V,E)|V|×k用户分类链接预测相似度计算…NRL特征18网络表示学习•跆拳道俱乐部社会网络(k=2)Perozzietal.DeepWalk:OnlineLearningofSocialRepresentations.KDD201419DeepWalk20DeepWalk与矩阵分解的关系•从数学上证明了DeepWalk等价于矩阵分解ChengYang,ZhiyuanLiu,DeliZhao,MaosongSun,EdwardChang.NetworkRepresentationLearningwithRichTextInformation.IJCAI2015.21Text-Associated DeepWalk（TADW）22网络节点分类效果23网络表示学习乃当前研究热点•DeepWalk(KDD2014)•LINE()•Node2vec(KDD2016)•GENE(CIKM2016)•SDNE(KDD201624多源异构的社会媒体信息词汇表示实体表示社会计算任务词义表示句子表示知识表示短语表示文档表示网络表示25知识图谱实体与关系•知识图谱包括实体与关系–节点代表实体–连边代表关系•事实可以用三元组表示–(head,relation,tail)•代表知识图谱–WordNet:语言知识–Freebase:世界知识26知识表示的挑战•知识图谱的典型表示方案–基于符号表示的三元组（RDF）–无法有效计算实体间的语义关系•解决方案：将知识映射到低维向量空间27TransE:将关系表示为翻译•对每个事实(head,relation,tail)，将其中的relation作为从head到tail的翻译操作28TransE:将关系表示为翻译•对每个事实(head,relation,tail)，将relation作为从head到tail的翻译操作优化目标:h+r=t29TransE样例30EntityTsinghua_UniversityA.C._Milan1University_of_VictoriaInter_Milan2St._Stephen's_College,_DelhiCeltic_F.C.3University_of_OttawaFC_Barcelona4University_of_British_ColumbiaGenoa_C.F.C.5Peking_UniversityUdinese_Calcio6Utrecht_UniversityReal_Madrid_C.F.7Dalhousie_UniversityFC_Bayern_Munich8Brasenose_College,_OxfordBolton_Wanderers_F.C.9Cardiff_UniversityBorussia_Dortmund10Memorial_University_of_NewfoundlandHertha_BSC_BerlinTransE样例31EntityChinaBarack_ObamaApple1JapanGeorge_W._BushOnion2TaiwanNancy_PelosiStrawberries3South_KoreaJohn_KerryAvocado4ArgentinaHillary_Rodham_ClintonPear5North_KoreaAl_GoreCabbage6HungaryGeorge_H._W._BushBroccoli7IsraelJohn_McCainEgg8AustraliaColin_PowellCheese9IcelandBill_ClintonBread10Hong_KongCharles_B._RangelTomatoTransE样例32Relation/people/person/nationality/location/location/contains1/people/person/places_lived/base/aareas/schema/administrative_area/administrative_children2/people/person/place_of_birth/location/country/administrative_divisions3/people/person/spouse_s/location/country/first_level_divisions4/base/popstra/celebrity/vacations_in/location/country/capital5/government/politician/government_positions_held/award/award_nominee/award_nominations6/people/deceased_person/place_of_death/location/administrative_division/capital7/olympics/olympic_athlete/country/location/us_county/county_seat8/olympics/olympic_athlete/medals_won/base/aareas/schema/administrative_area/capital9/music/artist/origin/location/us_county/hud_county_place10/people/person/employment_history/award/award_winner/awards_wonTransE样例33HeadChinaBarack_ObamaRelation/location/location/adjoin/education/education/institution1JapanHarvard_College2TaiwanMassachusetts_Institute_of_Technology3IsraelAmerican_University4South_KoreaUniversity_of_Michigan5ArgentinaColumbia_University6FrancePrinceton_University7PhilippinesEmory_University8HungaryVanderbilt_University9North_KoreaUniversity_of_Notre_Dame10Hong_KongTexas_A&M_University人类文化史的定量研究34Science2014利⽤知识图谱中的名⼈信息出⽣地点à死亡地点WinckelmannCorpusFreebase社会知识图谱•利用知识图谱标注社会网络用户兴趣35Yang,Zhilin,JieTang,andWilliamCohen.Multi-ModalBayesianEmbeddingsforLearningSocialKnowledgeGraphs.AAAI2016.知识表示学习研究展望•用于社会知识计算，如学术网络中的专家标注等•构建带有关系标签的社会网络，更精确地建立用户关系•用于计算社会学，辅助进行面向人类历史等包含丰富人类知识的相关研究36总结•分布式表示将研究对象语义信息编码到低维向量空间中•分布式表示可有效解决社会计算中对象间语义计算问题•分布式表示已被广泛应用于汉字、词汇、词义、实体、短语、句子、文档、网络和知识的表示•分布式表示和深度学习技术已在社会计算和计算社会科学中崭露头角，并将发挥更大作用37表示学习论坛38欢迎参加10月30日10:00-12:30白鹿会馆二号会议室感谢各位老师同学~lzy/