大数据分析、挖掘与应用20

大数据分析、挖掘与应用数据挖掘与智能信息系统实验室一、大数据分析与挖掘大数据的基本概念比较有代表性：1)3V定义，即认为大数据需满足3个特点：规模性(Volume)、多样性(Variety)和高速性(Velocity)。2)4V定义，即尝试在3V的基础上增加一个新的特性。关于第四个V的说法并不统一，IDC认为大数据还应当具有价值性(Value)，大数据的价值往往呈现出稀疏性的特点。而IBM认为大数据必然具有真实性(Veracity)。3)维基百科对大数据的定义则简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。二、大数据处理架构大数据处理模式1）流处理(StreamProcessing)，即直接处理流处理的基本理念是数据的价值会随着时间的流逝而不断减少。因此，尽可能快地对最新的数据做出分析并给出结果是所有流数据处理模式的共同目标。2）批处理(BatchProcessing)，即先存储后处理Google公司在2004年提出的MapReduce编程模型是最具代表性的批处理模式。MAPREDUCE执行流程图MapReduce模型首先将用户的原始数据源进行分块，然后分别交给不同的Map任务区处理。Map任务从输入中解析出Key/Value对集合，然后对这些集合执行用户自行定义的Map函数得到中间结果，并将该结果写入本地硬盘。Reduce任务从硬盘上读取数据之后，会根据key值进行排序，将具有相同key值的组织在一起。最后用户自定义的Reduce函数会作用于这些排好序的结果并输出最终结果。MapReduce的核心设计思想：1)将问题分而治之；2)把计算推到数据而不是把数据推到计算，有效的避免数据传输过程中产生的大量通讯开销。MapReduce模型简单，且现实中很多问题都可用MapReduce模型来表示。因此该模型公开后，立刻受到极大的关注，并在生物信息学、文本挖掘等领域得到广泛的应用。大数据处理的基本流程1)数据抽取与集成2)数据分析面临着一些新的挑战：数据量大并不一定意味着数据价值的增加，相反这往往意味着数据噪音的增多;大数据时代的算法需要进行调整，准确率不再是大数据应用的最主要指标;数据结果好坏的衡量。3）数据解释(可视化技术)三、天体光谱大数据分析与挖掘我国已建造一台大天区面积多目标光纤光谱望远镜（LAMOST），是国家重大科学工程项目，也是世界上光谱获取率最高的望远镜。预计LAMOST所观测到的光谱数据容量将有可能达到4TB；巡天所覆盖的波段为3700埃至9000埃，即其观测属性可达数千维，是典型的高维数据；数据类型：图像和FITS文件等。科学目标:“星系红移巡天”、“恒星和银河系的结构特征”和“多波段认证”。天体光谱大数据分析处理主要内容:预处理(去噪、归一化等)、分类与识别、测量（红移等参数）等。一条SEYFERT2光谱数据图(红移为0)天体光谱是天体电磁辐射按照波长的有序排列，蕴含着天体的重要物理信息，例如：天体的化学成份、天体的表面温度、直径、质量、光度以及天体的视向运动和自转。天文学家和天体物理学家通过分析天体光谱的信息，不仅可以研究宇宙中物质的分布特征，还可以研究天体的形成和随时间的演化等重大科学问题。由于天文界对宇宙的认识还比较有限，LAMOST巡天计划的一个重要任务是要发现一些新的、特殊类型的天体，因此，如何利用数据挖掘技术从海量天体光谱数据中发现未知的、特殊的天体及天体规律是数据挖掘值得研究和探索的新应用领域。面向特定任务的数据挖掘是当前数据挖掘领域发展的趋势之一。以LAMOST项目为背景，对天体光谱数据挖掘技术进行了研究，其研究成果不仅具有重要的理论价值，而且可直接应用到LAMOST中，为国家重大科学工程提供技术支撑。近年来主持承担的部分课题[1]海量高维天体光谱数据挖掘及其并行化研究（61272263），国家自然科学基金，2013.1-2016.12,（在研）[2]面向LAMOST天文光谱特征线的数据挖掘方法研究（61073145），国家自然科学基金，2011.1-2013.12,（在研）[3]面向天文光谱的数据挖掘算法性能分析与并行化研究（61111120317），国家自然科学基金委国际合作与交流项目，2011.6-2011.12,（结题）[4]基于加权和约束概念格的数据挖掘方法与天体光谱数据挖掘技术（60773014），国家自然科学基金，2008.1-2010.12,（结题）[5]基于数据网格的分布式数据挖掘方法研究（60911120478），国家自然科学基金委国际合作与交流项目，2009.9-2010.3,（结题）[6]基于背景知识的数据挖掘方法及其在LAMOST中的应用（60573075），国家自然科学基金，2006.1-2008.12,（结题）[7]海量天体光谱数据挖掘算法研究与实现(2003AA133060)，国家“863”高技术计划子课题，2003.8-2005.8（结题）主要成果之一：基于概念格的天体光谱离群数据挖掘系统将概念格中每个概念节点内涵描述为天体光谱数据特征子空间，提出了一种天体光谱离群数据识别方法。首先将概念节点的内涵缩减看作天体光谱特征子空间，并依据稀疏度系数阈值确定稀疏子空间；其次对于稀疏子空间，依据稠密度系数判定祖先概念节点内涵是否为稠密子空间，进而判断出概念节点外延中包含的数据对象是否为天体光谱离群数据；最后以离散化天体光谱数据作为形式背景，实验验证了利用该方法识别出的天体光谱离群数据是准确的、完备的和有效的。典型论文[1]JifuZhang,SulanZhang,KaiH.Chang,andXiaoQin.AnOutlierMiningAlgorithmBasedonConstrainedConceptLattice,InternationalJournalofSystemsScience（accept）[2]SulanZhang,PingGuo,JifuZhang,XinxinWang,andWitoldPedrycz.ACompletenessAnalysisofFrequentWeightedConceptLatticesandTheirAlgebraicProperties，Data&KnowledgeEngineering，81–82(2012)：104–117[3]JifuZhang，YiyongJiang,KaiH.Changetal.AConceptLatticeBasedOutlierMiningMethodinLowDimensionalSubspaces.PatternRecognitionLetters,2009,30(15):1434-1439[4]张继福；张素兰；蒋义勇.基于约束概念格的天体光谱局部离群数据挖掘系统，光谱学与光谱分析，2009，29（2）：551-555[5]张继福等.基于概念格的天体光谱离群数据识别方法，自动化学报，2008，34（9）：1060-1066[6]JianghuiCai；JifuZhang；ZhaoXujun.AStarSpectrumOutlierMiningSystemBasedonSimulatedAnnealing,InternationalJournalofInnovativeComputing,InformationandControl，2008，4（9）：2263-2271主要成果之二：天体光谱数据相关性分析系统以国家重大科学工程LAMOST项目为背景，利用一阶谓词逻辑作为天体光谱知识表示技术，提出了一种约束FP树及其构造算法，从而有效地提高了天体光谱数据相关性分析的针对性和效率，并在此基础上，提出了一种基于约束FP树的天体光谱数据相关性分析方法。实验结果分析表明，利用该相关性分析方法挖掘天体光谱数据特征和物理化学性质之间存在的相关性，是可行的和有价值的。典型论文[1]JifuZhang,XujunZhao,SulanZhang,ShuYin,andXiaoQin.InterrelationAnalysisofCelestialSpectraDatausingConstrainedFrequentPatternTrees，Knowledge-BasedSystems41(2013):77-88.[2]JianghuiCai,XujunZhao,ShiweiSun,JifuZhang,HaifengYang.Stellarspectraassociationruleminingmethodbasedonweightedfrequentpatterntree.ResearchinAstronomyandAstrophysics，2013，13（3）：334-342[3]张继福；赵旭俊.一种基于约束FP树的天体光谱数据相关性分析方法，模式识别与人工智能，2009，22(4)：639-646[4]赵旭俊；张继福.基于约束FP树的天体光谱数据相关性分析系统研究，光谱学与光谱分析，2008，28（12）：2996-2999[5]张继福；赵旭俊.基于关联规则的恒星光谱数据相关性分析，高技术通讯，2006，16(6)：575-579其他成果：天体光谱数据模糊聚类及其并行化系统基于智能计算、剪枝技术和属性相关性的离群数据挖掘及其并行化方法天体光谱数据分类与识别系统………四、正在开展的主要研究工作基于MapReduce模型的天体光谱大数据并行挖掘技术（聚类、离群、关联等）集群环境下的数据密集型计算关键技术（数据放置策略、I/O性能分析、负载均衡调度策略、磁盘节能等）海量高维数据挖掘算法与天体光谱数据挖掘技术