《大数据》配套PPT之八：第7章大数据可视化

全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用大数据刘鹏主编张燕张重生张志立副主编BIGDATA刘鹏教授，清华大学博士。现任南京大数据研究院院长、中国信息协会大数据分会副会长、中国大数据技术与应用联盟副理事长。主持完成科研项目25项，发表论文80余篇，出版专业书籍15本。获部级科技进步二等奖4项、三等奖4项。主编的《云计算》被全国高校普遍采用，被引用量在国内计算机图书类排名居前。创办了知名的中国云计算（chinacloud.cn）和中国大数据（thebigdata.cn）网站。曾率队夺得2002PennySort国际计算机排序比赛冠军，两次夺得全国高校科技比赛最高奖，并三次夺得清华大学科技比赛最高奖。荣获“全军十大学习成才标兵”（排名第一）、南京“十大杰出青年”、江苏省中青年科学技术带头人、清华大学“学术新秀”等称号。第七章大数据概念与应用7.1数据可视化基础7.2大数据可视化方法7.3大数据可视化软件与工具习题全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用of4137.1数据可视化基础第七章大数据可视化of414大数据可视化核心问题随着互联网技术的发展，尤其是移动互联技术的发展，网络空间的数据量呈现出爆炸式增长。如何从这些数据中快速获取自己想要的信息，并以一种直观、形象的方式展现出来？这就是大数据可视化要解决的核心问题。数据可视化解释数据可视化，最早可追溯到20世纪50年代，它是一门关于数据视觉表现形式的科学技术研究。数据可视化是一个处于不断演变之中的概念，其边界在不断地扩大，主要指的是技术上较为高级的技术方法，而这些技术方法允许利用图形图像处理、计算机视觉及用户界面，通过表达、建模，以及对立体、表面、属性及动画的显示，对数据加以可视化解释。本章重点讲解与立体建模之类的特殊技术方法相比，数据可视化所涵盖的技术方法要广泛得多。本章将重点对大数据可视化的基础知识、基本概念及大数据可视化的常用工具进行详细讲解。7.1数据可视化基础第七章大数据可视化可视化的基本特征易懂性必然性片面性专业性数据可视化的片面性特征要求可视化模式不能替代数据本身，只能作为数据表达的一种特定形式专业化特征是人们从可视化模型中提取专业知识的环节，它是数据可视化应用的最后流程可视化可以使得碎片化的数据转换为具有特定结构的知识，从而为决策支持提供帮助大数据所产生的数据量必然要求人们对数据进行归纳总结，对数据的结构和形式进行转换处理of4157.1.1可视化的基本特征7.1数据可视化基础第七章大数据可视化7.1.2可视化的目标和作用数据可视化的作用主要包括数据表达、数据操作和数据分析3个方面，它是以可视化技术支持计算机辅助数据认识的3个基本阶段。数据表达数据表达是通过计算机图形图像技术来更加友好地展示数据信息，方便人们阅读、理解和运用数据。常见的形式如文本、图表、图像、二维图形、三维模型、网络图、树结构、符号和电子地图等。数据操作数据操作是以计算机提供的界面、接口、协议等条件为基础完成人与数据的交互需求，数据操作需要友好的人机交互技术、标准化的接口和协议支持来完成对多数据集合或者分布式的操作。数据分析数据可视化可以有效地表达数据的各类特征，帮助人们推理和分析数据背后的客观规律，进而获得相关知识，提高人们认识数据的能力和利用数据的水平。of4167.1数据可视化基础第七章大数据可视化7.1.3数据可视化流程数据获取主动式是以明确的数据需求为目的，如卫星影像、测绘工程等；被动式是以数据平台为基础，由数据平台的活动者提供数据来源，如电子商务、网络论坛等。数据处理数据处理是指对原始的数据进行质量分析、预处理和计算等步骤。数据处理的目标是保证数据的准确性、可用性。12可视化模式可视化模式是数据的一种特殊展现形式，常见的可视化模式有标签云、序列分析、网络结构、电子地图等。可视化模式的选取决定了可视化方案的雏形。可视化应用可视化应用主要根据用户的主观需求展开，最主要的应用方式是用来观察和展示，通过观察和人脑分析进行推理和认知，辅助人们发现新知识或者得到新结论。34of417第七章大数据概念与应用7.1数据可视化基础7.2大数据可视化方法7.3大数据可视化软件与工具习题全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用of4187.2大数据可视化方法第七章大数据可视化7.2.1文本可视化标签云of419如图所示是一种称为标签云（WordClouds或TagClouds）的典型的文本可视化技术。它将关键词根据词频或其他规则进行排序，按照一定规律进行布局排列，用大小、颜色、字体等图形属性对关键词进行可视化。一般用字号大小代表该关键词的重要性，该技术多用于快速识别网络媒体的主题热度。7.2大数据可视化方法第七章大数据可视化7.2.1动态文本时序信息可视化有些文本的形成和变化过程与时间是紧密相关的，因此，如何将动态变化的文本中时间相关的模式与规律进行可视化展示，是文本可视化的重要内容。引入时间轴是一类主要方法，常见的技术以河流图居多。河流图按照其展示的内容可以划分为主题河流图、文本河流图及事件河流图等。of41107.2大数据可视化方法第七章大数据可视化7.2.2网络图可视化（1）Nodal研究人员及其组织机构社会网络图（2）基于节点连接的图和树可视化方法of41117.2大数据可视化方法第七章大数据可视化7.2.2网络图可视化of4112（3）基于空间填充的树可视化（4）基于边捆绑的大规模密集图可视化7.2大数据可视化方法第七章大数据可视化7.2.3时空数据可视化流式地图结合了捆绑技术的流式地图结合了密度图技术的流式地图of41137.2大数据可视化方法第七章大数据可视化7.2.3时空数据可视化时空立方体融合散点图与密度图技术的时空立方体融合堆积图技术的时空立方体of41147.2大数据可视化方法第七章大数据可视化7.2.4多维数据可视化of41151、散点图（ScatterPlot）散点图（ScatterPlot）是最为常用的多维可视化方法。二维散点图将多个维度中的两个维度属性值集合映射至两条轴，在二维轴确定的平面内通过图形标记的不同视觉元素来反映其他维度属性值。二维散点图能够展示的维度十分有限，研究者将其扩展到三维空间，通过可旋转的ScatterPlot方块（dice）扩展了可映射维度的数目，如图所示。散点图适合对有限数目的较为重要的维度进行可视化，通常不适于需要对所有维度同时进行展示的情况。7.2大数据可视化方法第七章大数据可视化7.2.4多维数据可视化2、投影（Projection）投影是能够同时展示多维的可视化方法之一。VaR将各维度属性列集合通过投影函数映射到一个方块形图形标记中，并根据维度之间的关联度对各个小方块进行布局。基于投影的多维可视化方法一方面反映了维度属性值的分布规律，同时也直观地展示了多维度之间的语义关系。of41167.2大数据可视化方法第七章大数据可视化7.2.4多维数据可视化3、平行坐标（ParallelCoordinates）平行坐标是研究和应用最为广泛的一种多维可视化技术，将维度与坐标轴建立映射，在多个平行轴之间以直线或曲线映射表示多维信息。平行坐标多维可视化技术集成了散点图和柱状图的平行坐标工具平行坐标图聚簇可视化of4117第七章大数据概念与应用7.1数据可视化基础7.2大数据可视化方法7.3大数据可视化软件与工具习题全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用of41187.3大数据可视化软件与工具第七章大数据可视化7.3.1Excel利用Excel的可视化规则实现数据的可视化展示Excel图表样式利用Excel图表中的折线图制作的“工资”和“年龄”数据展示Excel是MicrosoftOffice的组件之一，是由Microsoft为Windows和AppleMacintosh操作系统的计算机编写和运行的一款表格计算软件。Excel是微软办公套装软件的一个重要组成部分，它可以进行各种数据的处理、统计分析、数据可视化显示及辅助决策操作，广泛地应用于管理、统计、财经、金融等众多领域。of41197.3大数据可视化软件与工具第七章大数据可视化7.3.2ProcessingProcessing在数据可视化领域有着广泛的应用，可制作信息图形、信息可视化、科学可视化和统计图形等。下面通过一个简单实例来认识一下如何利用Processing实现数据的可视化展示。StateNameLocation-xLocation-yvalueAlabama(AL)4392700.1Alaska(AK)94325-5.3Arizona(AZ)1482413Arkansas(AR)3682477California(CA)5617611Colorado(CO)2201831.5Washington(WA)92382.2WestVirginia(WV)4961785.4Wisconsin(WI)3921033.1Wyoming(WY)207125-6美国各州GDP增长率（数据随机生成）of41207.3大数据可视化软件与工具第七章大数据可视化7.3.2Processing第一步，声明（初始化）变量，代码如下：PImagemapImage;TablelocationTable;TablenameTable;introwCount;TabledataTable;floatdataMin=MAX_FLOAT;floatdataMax=MIN_FLOAT;of41217.3大数据可视化软件与工具第七章大数据可视化7.3.2Processing第二步，初始化画布，加载（生成）数据，代码如下：voidsetup(){size(640,400);mapImage=loadImage(map.png);//加载地图locationTable=newTable(locations.tsv);//加载位置信息nameTable=newTable(names.tsv);//加载名称信息rowCount=locationTable.getRowCount();dataTable=newTable(random.tsv);//加载随机数据for(introw=0;rowrowCount;row++){floatvalue=dataTable.getFloat(row,1);if(valuedataMax){dataMax=value;}if(valuedataMin){dataMin=value;}}PFontfont=loadFont(Univers-Bold-12.vlw);textFont(font);smooth();noStroke();}of41227.3大数据可视化软件与工具第七章大数据可视化7.3.2Processing第三步，调用绘制函数绘制图形，代码如下：voiddraw(){background(255);image(mapImage,0,0);for(introw=0;rowrowCount;row++){Stringabbrev=dataTable.getRowName(row);floatx=locationTable.getFloat(abbrev,1);floaty=locationTable.getFloat(abbrev,2);drawData(x,y,abbrev);}}voiddrawData(floatx,floaty,Stringabbrev){floatvalue=dataTable.getFloat(abbrev,1);floatradius=0;if(value=0){radius=map(value,0,dataMax,1.5,15);fill(#333366);//blue}else{radius=map(value,0,dataMin,1.5,15);fill(#ec5166);//red}ellipseMode(RADIUS);ellipse(x,y,r