数据可视化技术分析(成品)

数据可视化技术分析目录01研究背景及意义02数据可视化的主要方法03数据挖掘的可视化04大数据环境下数据可视化05数据可视化实现技术06问题与挑战01研究背景及意义课题背景及意义世界已经迈入大数据时代,全世界每天产生2.5EB的数据。由于呈指数增长的数据量，人类视觉系统不足以满足人类以数据本身的形式来工作的要求，因此迫切需要提供可视化的工具。所谓数据可视化，是对大型数据库或数据仓库中的数据的可视化，它是可视化技术在非空间数据领域的应用，不再局限于通过关系数据表来观察和分析数据信息，而是以更直观的方法看到数据及其结构关系。数据可视化技术的基本思想是将每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据各个属性值以多维的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。数据可视化的定义实例：涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术广义：指一切能够把抽象、枯燥或难以理解的内容，包括看似毫无意义的数据、信息、知识等等以一种容易理解的视觉方式展示出来的技术；狭义：利用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术过程：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程数据可视化发展历程可视化思想的起源(15世纪—17世纪)数据可视化的孕育时期(18世纪)数据图形的出现(19世纪前半叶)第一个黄金时期(19世纪中、末期)低潮期(20世纪前期)新的黄金时期(20世纪中末期至今)数据可视化早期探索时期没有实质性进展依附计算机技术的发展焕发新的生命数据可视化初步发展数据统计得到重视图形图表广泛应用数据空间由n维属性和m个元素组成的数据集所构成的多维信息空间数据开发利用一定的算法和工具对数据进行定量的推演和计算数据分析指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。基本思想数据可视化的几个基本概念一幅图胜过千言万语.人类从外界获得的信息约有80%以上来自于视觉系统,当大数据以直观的可视化的图形形式展示在分析者面前时,分析者往往能够一眼洞悉数据背后隐藏的信息并转化知识以及智慧如图所示是互联网星际图，将196个国家的35万个网站数据整合起来,并根据200多万个网站链接将这些星球通过关系链联系起来,每一个星球的大小根据其网站流量来决定,而星球之间的距离远近则根据链接出现的频率、强度和用户跳转时创建的链接.我们可以立即看出,Facebook以及Google是流量最大的的网站。研究背景及意义02数据可视化的主要方法空间三维图形01通过图形的密度颜色分布，大致能够了解数据的分布，数据之间的相似性和数据之间的关系颜色图02分为彩色图和灰度图。彩色图的每一种颜色，对应着不用的属性维，灰度图可以利用颜色的深浅来标记数据量的属性值的大小，颜色越深数值越大。数学的方法03利用数学中统计的方法，先对数据关系进行分析，得到数据的大体分布信息，然后再结合其他可视化方法来进行细节数据分析。或者利用数学统计方法对数据中的关系进行映射，映射成为图形图像关系来帮助分析。亮度04对于特定的区域，用不同的亮度来辅助人眼对视点的观察。人类的认知系统可以识别空间三维物体，对于抽象的无线识别很困难。目前对于构成可视化的方法中主要的方法，有以下几个方面：Scatterplot是显示多个数据维中任意两个数据维之间的依赖关系的矩阵图，分别把多维数据中的每一个维数对称地标注在横轴和纵轴上，把它们在数据集中每一对出现的频度作为关系依赖的评价，这样每两维的关系被显示在这个平面网格图中(图3)。在Scatterplot的matrixn维矩阵中，scatterplots会产生n*(n-1)/2对维之间的关系。目前主要的多维数据可视化技术——ScatterplotMatrix(散点图矩阵)1.星型图：每个星型标记的构造方法如下：任选空间的某一点作为一个星型标记的中心点，由中心点作出n条线段来代表n个数据维，这n个线段把平面平均分成n份。一般地，每一个线段长度代表一个数据维的值的大小。把一个星型标记线段的终点全部用直线连接起来，就构成了一个星型图(图4)。每一个星型图都代表数据库中一条记录，这样一组数据就用一组星型来代表。2.雷达图：类似于星型图的构造方法。3.Andrew’sGurves：对于多维数据的数据点x=(x1,x2,*,*,*,*,xn)，被周期函数Fx(t)=X1/sqrt(2)+X2sin(t)+X3cot+X4Sin(2t)+cos(2t)作用于一个多维数据点或者（一个多维）数据集合，被显示成为一组曲线，曲线的分布情况反映了数据的性质。4.shapecoding技术：主要思想是每一个数据点位于一个已经分解成n个细胞表格的长方形中，而且每一个细胞表格的颜色由每一维来控制。5.Grand-tour技术：从不同的视角看待多维数据，投影数据在可能的d-planes通过泛化的旋转。目前主要的多维数据可视化技术——几何图技术平行坐标技术是最早提出的以二维形式表示n维空间的数据可视化技术之一。它的基本思想是将n维数据空间用n条等距离的平行轴映射到二维平面上，每条轴线都对应于一个属性维。坐标轴的取值范围，从对应数据维属性的最小值到最大值均匀分布（名词性属性依次在数据维上标出即可），这样数据库中的每一条数据记录都可以转换成为图形的形式，都可以用一条折线表示在n条平行轴上目前主要的多维数据可视化技术——平行坐标技术03数据挖掘可视化数据挖掘的可视化在数据挖掘算法所生成的大量的模式中，最终只有少量的信息能够以文字形式解释和评估。因而可视化技术作为服务于计算机与用户之间的沟通纽带，为用户提供关于数据和知识的直观信息。传统的数据挖掘过程不可见、不可观，用户无法干预挖掘过程，对用户来说好像一个黑箱子。使用适当的可视化技术，帮助用户更紧密地与整个过程结合，解决挖掘系统中的存在的一些问题。传统的数据挖掘过程如图1所示，是以机器为中心的；而新的吸纳了可视化技术的数据挖掘过程是以人为中心的，如图2所示。以人为中心的数据挖掘过程，将数据挖掘与可视化技术完美结合，提高了数据挖掘过程的灵活性、有效性、与用户的交互性。数据可视化对于只有两个或三个属性的数据，可采用平面或立体的表现形式；多个属性的数据集，要用到离散点矩阵，矩阵的每一单元为数据基于某两维的表示。数据挖掘的过程的各个环节用可视化的方式表现出来，用户可从中直观的看到内容。易于理解并有助于知识的运用。展示，让模型输出可视化，模型用一种有意义的方式表示；交互，允许用户操纵模型，改变模型输入以观察模型输出的变化。数据挖掘的可视化分类数据挖掘过程可视化数据挖掘模型可视化如图3(a)所示作为观察”数据山“的第一步，应用于数据预处理阶段。以图形方式提供一个数据可视印象，给用户一个大体直观感受，帮助用户确定从何处着手挖掘。如图3(b)所示作为直接执行数据挖掘的一种方法，应用于数据挖掘实施阶段，允许用户借助人脑的探索分析功能寻找发现模式。当人脑可以对显示的图形做出判断时，这种方式较使用计算机的自动数据挖掘技术有效的多。如图3(c)所示作为挖掘结果和预测模型的一种方式，应用于数据挖掘的最后阶段，使最终用户能够更好地理解挖掘出的结果模式。04大数据环境下的数据可视化公司财务报表、销售统计经济趋向、股票趋势数据挖掘电子地图核磁共振、CT扫描地质勘探、油气勘探天气预报人口普查等等大数据可视化的广泛应用大数据可视化分析是指大数据自动分析挖掘方法的同时，利用支持信息可视化的用户界面以及支持分析过程的人机交互方式与技术，有效融合计算机的计算能力和人的认知能力，以获得对于大规模复杂数据集的洞察力。大数据可视化分析大数据可视化分析我们熟悉的那些饼图、直方图、散点图、柱状图等。现代的数据可视化：面对复杂或大规模异型数据集，比如商业分析、财务报表、人口状况分布、媒体效果反馈、用户行为数据等，数据可视化面临处理的状况会复杂得多。传统的数据可视化：上图是经典的信息可视化参考模型大数据分析将掘取信息和洞悉知识作为目标，根据信息的特征把信息可视化技术分为一维信息、二维信息、三维信息、多维信息、层次信息、网络信息、时序信息可视化。随着大数据的兴起于发展，互联网、社交网络、地理信息系统、企业商业智能、社会公共服务等主流应用领域逐渐催生了几类特征鲜明的信息类型，包括文本、网络或图、时空、多维数据等，这些与大数据密切相关的信息类型，将成为大数据可视化的主要研究领域。大数据可视化分析大数据可视化分析方法4.可视化分析算法用户驱动的数据简化、可扩展性与多级层次、异构数据融合、交互查询中的数据概要与分流、表示证据和不确定性、时变特征分析、设计与工程开发等。5.用户界面与交互设计大数据的可视化算法不仅要考虑数据规模，而且要考虑视觉感知的高效法，需要引人创新的视觉表现方法和用户交互手段。以社交媒体数据为例•新兴网络媒体，集以下特性于一身：–文本（博客）–社交网络–新闻媒体•基于用户关系的信息分享、传播、获取平台•微博数据研究：数据分析领域热点话题•显式内容–文本：个人心情；文章；新闻报道等–图像、视频•隐性内容–人际关系–舆情–突发事件–信息产生、传播和消亡可以通过这些社交数据得到些什么呢？Twitter热词的Wordle统计图表2011年Twitter上关于拉登死讯消息的消息数目的折线图。可以看出每个微博事件对消息传播的影响。使用Twitter发微博（蓝色点）和使用Flickr发照片（橙色点）的美国用户的地理分布。白色点表示两者均使用的用户。可以看出，西部人偏爱发照片，东部人偏爱发微博，白色点大部分是人口密集的大城市。通过社交媒体的数据获取的数据还有很多很多...05数据可视化实现技术基本工具（拖拽式）进阶工具（编程式）介绍几款数据可视化实现技术GeoFlow•数据源：Excel数据••数据源：Excel,MySQL,SQL,DB2等••自由地理数据•://processing.org/RprojectR项目实例GeoFlow实例微软2013年发布的3D可视化工具运行平台：加载项形式运行在Excel上版本：支持版本Excel2013或OfficeProfessionalPlus2013功能：用户创建、浏览应用到数字地图上的时间敏感型数据并与之交互，最多数据条：100万可视化类型：立柱型、类似热图的二维斑块、气泡图OpenStreetMapGoogleChartAPI工具集中取消了静态图片功能，目前只提供动态图表工具。能够在所有支持SVG\Canvas和VML的浏览器中使用，但是GoogleChart的一个大问题是：图表在客户端生成，这意味着那些不支持JavaScript的设备将无法使用，此外也无法离线使用或者将结果另存其他格式，之前的静态图片就不存在这个问题。尽管存在上述问题，不可否认的是GoogleChartAPI的功能异常丰富，如果没有特别的定制化需要，或者对Google视觉风格的抵触，那么你大可以从GoogleChart开始。GoogleChartAPIZingChart是一个强大的库，为用户提供了快速创造漂亮的图表、操作面板和信息图表的可能性。你可以在上百种图表类型中自由选择，你的设计和个性化要求不会受到任何限制。你也可以使你的用户通过交互式图表特性参与到你的作品之中。ZingChart作为用来分析大数据集的统计组件包，Ｒ