迁移学习中的领域自适应方法-JindongWangisHere

王晋东中国科学院计算技术研究所2017年12月14日迁移学习中的领域自适应方法极视角学术分享个人情况简介•中国科学院计算技术研究所2014级直博生•主要研究迁移学习及其应用•在国际权威会议ICDM、UbiComp、PerCom等发表若干文章•知乎ID：王晋东不在家，乐于在知乎上分享相关知识•微博：@秦汉日记•[e-mail]•个人主页：•不是大牛，仅为分享目录CONTENTS111领域自适应问题领域自适应问题222领域自适应方法领域自适应方法333迁移学习简介最新研究成果最新研究成果444参考资料参考资料555PT模板下载：     行业PPT模板： 日PPT模板：           PPT素材下载：背景图片：      PPT图表下载：      秀PPT下载：        PPT教程：      ord教程：              Excel教程：  料下载：                PPT课件下载： 文下载：             试卷下载：  案下载：        PPT论坛：迁移学习的背景智能大数据时代数据量，以及数据类型不断增加对机器学习模型的要求：快速构建和强泛化能力虽然数据量多，但是大部分数据往往没有标注收集标注数据，或者从头开始构建每一个模型，代价高昂且费时对已有标签的数据和模型进行重用成为了可能传统机器学习方法通常假定这些数据服从相同分布，不再适用文本图片及视频音频行为如何基于已有的不同分布数据，快速构建模型，实现数据标定，是一个重要问题1迁移学习简介迁移学习通过减小源域(辅助领域)到目标域的分布差异，进行知识迁移，从而实现数据标定。核心思想找到不同任务之间的相关性“举一反三”、“照猫画虎”，但不要“东施效颦”（负迁移）减小差异知识迁移135源域数据迁移学习是机器学习领域用于解决标记数据难获取这一基础问题的重要手段1迁移学习应用场景应用前景广阔模式识别、计算机视觉、语音识别、自然语言处理、数据挖掘…不同视角、不同背景、不同光照的图像识别语料匮乏条件下不同语言的相互翻译学习不同用户、不同设备、不同位置的行为识别不同领域、不同背景下的文本翻译、舆情分析不同用户、不同接口、不同情境的人机交互不同场景、不同设备、不同时间的室内定位1迁移学习简介：为什么需要迁移学习数据为王，计算是核心数据爆炸的时代！计算机更强大了！但是大数据、大计算能力只是有钱人的游戏普通研究人员无法获取足够标定数据，并且没有足够的计算资源1迁移学习简介：为什么需要迁移学习云+端的模型被普遍应用通常需要对设备、环境、用户作具体优化个性化适配通常很复杂、很耗时对于不同用户，需要不同的隐私处理方式如何针对新用户、新设备、新环境，快速构建模型？1迁移学习简介：为什么需要迁移学习特定的机器学习应用推荐系统中的冷启动问题：没有数据，如何作推荐？没有足够的用户数据，如何构建模型？1迁移学习简介：为什么需要迁移学习为什么需要迁移学习数据的角度收集数据很困难为数据打标签很耗时训练一对一的模型很繁琐模型的角度个性化模型很复杂云+端的模型需要作具体化适配应用的角度冷启动问题：没有足够用户数据，推荐系统无法工作因此，迁移学习是必要的1迁移学习简介：迁移学习方法常见的迁移学习方法分类•通过权重重用源域和目标域的样例进行迁移基于实例的迁移(instancebasedTL)•将源域和目标域的特征变换到相同空间基于特征的迁移(featurebasedTL)•利用源域和目标域的参数共享模型基于模型的迁移(parameterbasedTL)•利用源域中的逻辑网络关系进行迁移基于关系的迁移(relationbasedTL)1迁移学习简介：迁移学习方法研究领域常见的迁移学习研究领域与方法分类目录CONTENTS111领域自适应问题领域自适应问题222领域自适应方法领域自适应方法333迁移学习简介最新研究成果最新研究成果444参考资料参考资料5552领域分布自适应：形式化迁移学习基本概念域(Domain)：由数据特征和特征分布组成，是学习的主体Sourcedomain(源域)：已有知识的域Targetdomain(目标域)：要进行学习的域任务(Task)：由目标函数和学习结果组成，是学习的结果形式化条件：给定一个源域和源域上的学习任务，目标域和目标域上的学习任务目标：利用和学习在目标域上的预测函数。限制条件：或2领域自适应：形式化领域自适应问题DomainAdaptation(DA);cross-domainlearning;同构迁移学习问题定义：有标签的源域和无标签的目标域共享相同的特征和类别，但是特征分布不同，如何利用源域标定目标域计算机视觉中的一个重要问题每年发表大量相关论文:CVPR、ICCV、ICML、NIPS、IJCAI、AAAI2领域自适应：形式化领域自适应问题按照目标域有无标签目标域全部有标签：supervisedDA目标域有一些标签：semi-supervisedDA目标域全没有标签：unsupervisedDAUnsupervisedDA最有挑战性，是我们的关注点目录CONTENTS111领域自适应问题领域自适应问题222领域自适应方法领域自适应方法333迁移学习简介最新研究成果最新研究成果444参考资料参考资料5553领域自适应：方法概览基本假设数据分布角度：源域和目标域的概率分布相似最小化概率分布距离特征选择角度：源域和目标域共享着某些特征选择出这部分公共特征特征变换角度：源域和目标域共享某些子空间把两个域变换到相同的子空间解决思路概率分布适配法(DistributionAdaptation)特征选择法(FeatureSelection)子空间学习法(SubspaceLearning)数据分布特征选择特征变换3领域自适应：概率分布适配法概率分布适配法(DistributionAdaptation)边缘分布适配(Marginaldistributionadaptation)假设：条件分布适配(Conditionaldistributionadaptation)假设：联合分布适配(Jointdistributionadaptation)假设：源域数据目标域数据(1)目标域数据(2)优先考虑边缘分布优先考虑条件分布3领域自适应：概率分布适配法边缘分布适配(1)迁移成分分析(TransferComponentAnalysis,TCA)[Pan,TNN-11]优化目标：最大均值差异(MaximumMeanDiscrepancy,MMD)3领域自适应：概率分布适配法边缘分布适配(2)迁移成分分析(TCA)方法的一些扩展AdaptingComponentAnalysis(ACA)[Dorri,ICDM-12]最小化MMD，同时维持迁移过程中目标域的结构DomainTransferMultipleKernelLearning(DTMKL)[Duan,PAMI-12]多核MMDDeepDomainConfusion(DDC)[Tzeng,arXiv-14]把MMD加入到神经网络中DeepAdaptationNetworks(DAN)[Long,ICML-15]把MKK-MMD加入到神经网络中Distribution-MatchingEmbedding(DME)[Baktashmotlagh, JMLR-16]先计算变换矩阵，再进行映射CentralMomentDiscrepancy(CMD)[Zellinger,ICLR-17]不只是一阶的MMD，推广到了k阶3领域自适应：概率分布适配法条件分布适配DomainAdaptationofConditionalProbabilityModelsviaFeatureSubsetting[Satpal,PKDD-07]条件随机场+分布适配优化目标：ConditionalTransferrableComponents(CTC)[Gong,ICML-15]定义条件转移成分，对其进行建模3领域自适应：概率分布适配法联合分布适配(1)联合分布适配(JointDistributionAdaptation,JDA)[Long,ICCV-13]直接继承于TCA，但是加入了条件分布适配优化目标：问题：如何获得估计条件分布？充分统计量：用类条件概率近似条件概率用一个弱分类器生成目标域的初始软标签最终优化形式联合分布适配的结果普遍优于比单独适配边缘或条件分布3领域自适应：概率分布适配法联合分布适配(2)联合分布适配(JDA)方法的一些扩展AdaptationRegularization(ARTL)[Long,TKDE-14]分类器学习+联合分布适配VisualDomainAdaptation(VDA)[Tahmoresnezhad,KIS-17]加入类内距、类间距JointGeometricalandStatisticalAlignment(JGSA)[Zhang,CVPR-17]加入类内距、类间距、标签适配[Hsu,TIP-16]：加入结构不变性控制[Hsu,AVSS-15]：目标域选择JointAdaptationNetworks(JAN)[Long,ICML-17]提出JMMD度量，在深度网络中进行联合分布适配3领域自适应：概率分布适配法联合分布适配(3)平衡分布适配(BalancedDistributionAdaptation,BDA)[Wang,ICDM-2017]仅仅适配条件分布和边缘分布就够了吗？联合分布适配的问题：两种分布同等重要真实环境：两种分布不一定同等重要加入平衡因子动态衡量两种分布的重要性当，表示边缘分布更占优，应该优先适配当，表示条件分布更占优，应该优先适配最终表示形式PPT模板下载：     行业PPT模板： 节日PPT模板：           PPT素材下载：背景图片：      PPT图表下载：      优秀PPT下载：        PPT教程：      Word教程：              Excel教程：  资料下载：                PPT课件下载： 范文下载：             试卷下载：  教案下载：        PPT论坛：