第3章-大数据可视化章节汇报

高级大数据人才培养丛书之一，大数据挖掘技术与应用何光威主编郑志蕴梁英杰朱琼琼副主编BIGDATA刘鹏张燕总主编大数据可视化第三章数据可视化基础3.1光与视觉特性3.2可视化的基本特征3.3可视化流程of3723.5可视化中的美学因素3.6可视化框架设计整体思路习题3.4可视化设计组件3.1光与视觉特性第三章数据可视化基础of3733.1.1光的特性●可见光谱的波长由780nm向380nm变化时，人眼产生的颜色感觉依次是红、橙、黄、绿、青、蓝、紫7色。●一定波长的光谱呈现的颜色称为光谱色。太阳光包含全部可见光谱，给人以白色感觉。3.1光与视觉特性第三章数据可视化基础of3743.1.2三基色原理●三基色原理是根据色度学中著名的格拉兹曼法则和配色实验总结出来的，它把彩色电视系统需要传送成千上万种颜色的任务简化成只需传送3种基本颜色，包含以下规则：人的视觉只能分辨颜色的3种变化，即亮度、色调和色饱和度。任何彩色均可以由3种线性无关的彩色混合得到时，称这3种彩色为三基色。合成彩色光的亮度等于三基色分量亮度之和，即符合亮度相加定律。光谱组成成分不同的光在视觉上可能具有相同的颜色外貌，及相同的彩色感觉。在由两个成分组成的混合色中，如果一个成分连续变化，混合色也连续变化。1）补色律：每种颜色都有一个相应的补色。2）中间色律：任何两个非补色的色光相混合，可产生出它们两个色调之间的新的中间色调。3.1光与视觉特性第三章数据可视化基础of3753.1.2三基色原理●三基色原理：自然界中几乎所有的彩色都能由3种线性无关的色光按一定比例混配得到，合成彩色的亮度由3种色光的亮度之和决定，色度由3种色光所占比例决定。●线性无关是指3种色光必须相互独立，其中任何一种色光都不能由其他两种色光混配得到。3.1光与视觉特性第三章数据可视化基础of3763.1.3黑白视觉特性●视敏特性：指人眼对不同波长和光具有不同灵敏度的特性，即对于辐射功率相同的各色光具有不同的亮度感觉。在相同的辐射功率条件下，人眼感到最亮的光是黄绿光，而感觉最暗的光是红光和紫光。视敏特性可用视敏函数和相对视敏函数来描述。3.1光与视觉特性第三章数据可视化基础of3773.1.3黑白视觉特性亮度感觉亮度感觉不仅仅取决于景物给出的亮度值，而且还与周围环境的平均亮度有关，是一个主观量。人眼感光适应性适应性是指随着外界光的强弱变化，人眼能自动调节感光灵敏度的特性。亮度视觉范围人眼的亮度感觉不仅仅取决于景物本身的亮度值,而且还与环境亮度有关。亮度可见度阈值人眼对亮度变化的分辨能力是有限的，人眼无法区分非常微弱的亮度变化。通常用亮度级差来表示人眼刚刚能感觉到的两者的差异。人眼视觉的掩盖效应如果是在空间和时间上不均匀的背景中，测量可见度阈值，可见度阈值就会增大，即人眼会丧失分辨一些亮度的能力3.1光与视觉特性第三章数据可视化基础of3783.1.3黑白视觉特性对比度把景物或重现图像最大亮度Lmax和最小亮度Lmin的比值称为对比度。亮度层次画面最大亮度与最小亮度之间可分辨的亮度级差数称为亮度层次或灰度层次。视觉惰性人眼的视觉有惰性，这种惰性现象也称为视觉的暂留。闪烁观察者观察按时间重复的亮度脉冲，当脉冲重复频率不够高时，人眼就有一亮一暗的感觉，称为闪烁。视角观看景物时，景物大小对眼睛形成的张角叫做视角。分辨力当与人眼相隔一定距离的两个黑点靠近到一定程度时，人眼就分辨不出有两个黑点存在，而只感觉到是连在一起的一个点。这种现象表明人眼分辨景物细节的能力是有一定极限的。3.1光与视觉特性第三章数据可视化基础of3793.1.4彩色视觉特性辨色能力亮度、色调和饱和度称为彩色的三要素。人眼对不同波长的谱色光有不同的色调感觉。人眼的彩色视觉的辨色能力总共有3000～4000种。人眼对彩色感觉具有非单一性。颜色感觉相同，光谱组成可以不同。彩色细节分辨力画面最大亮度与最小亮度之间可分辨的亮度级差数称为亮度层次或灰度层次。人眼对彩色细节的分辨力比对黑白细节的分辨力要低，只有对黑白细节分辨力的1/3～1/5。混色特性混色特性包括时间混色、空间混色和双眼混色等。第三章数据可视化基础3.1光与视觉特性3.2可视化的基本特征3.3可视化流程of37103.5可视化中的美学因素3.6可视化框架设计整体思路习题3.4可视化设计组件3.2数据可视化的基本特征第三章数据可视化基础of3711易懂性可视化使人们更加容易地理解数据和使用数据，进而便于人们将数据与他们的经验知识相关联。可视化使得原本碎片化的数据转换为具有特定结构的知识，从而为科学决策支持提供强有力的支持。必然性数据量已远远超出了人们直接读取、浏览和操作数据的能力，必然要求人们对数据进行形象化的归纳和总结，对数据的结构和表现形式进行有效的转换处理。多维性通过数据可视化的多维呈现，能够清楚地对数据相关的多个变量或者多个属性进行标识，并且所处理的数据可以根据每一维的量值来进行显示、组合、排序与分类。片面性数据可视化往往只是从特定的视角或需求来认识数据，并得到符合特定目的的可视化模式。数据可视化的片面性特征意味着可视化模式不能替代数据本身，只能作为数据表达的一种特定形式。专业性数据可视化与领域专业知识紧密相关，其形式需求多种多样并随行业、用户和环境等条件而动态变化。专业化特征是人们从可视化模型中提取专业知识的必要环节，是数据可视化应用的最后流程。第三章数据可视化基础3.1光与视觉特性3.2可视化的基本特征3.3可视化流程of37123.5可视化中的美学因素3.6可视化框架设计整体思路习题3.4可视化设计组件3.3可视化流程第三章数据可视化基础of37133.3.1数据可视化的基本步骤12345明确问题开始创建一个可视化项目时，第一步是要明确可视化项目要解决的问题从基本的可视化着手确定可视化的目标后，下一步是基于要展现的数据，选择建立一个基本的图形，不同类型的数据各自有其最适合的图表类型确定最富有信息的指标确定可视化目标和可视化形式后，下一步需要确定最能提供信息的指标，以便于信息准确表达选择正确的图表类型在确定最能提供信息的指标后，选取正确的图表类型有助于用户理解数据中隐含的信息和规律。将注意力引向关键信息最后，采用确定的图表展现数据可视化结果时，需要将用户的注意力引向关键的信息。可视化项目应该总结关键信息并使之更清晰直白，而不应该令人困惑。3.3可视化流程第三章数据可视化基础of37143.3.2数据可视化模型1科学可视化的可视化流水线2数据可视化循环模型3.3可视化流程第三章数据可视化基础of37151数据获取主动式是以明确的数据需求为目的，如卫星影像、测绘工程等；被动式是以数据平台为基础，由数据平台的活动者提供数据来源，如电子商务、网络论坛等。2数据处理数据处理是指对原始的数据进行质量分析、预处理和计算等步骤。数据处理的目标是保证数据的准确性、可用性。3可视化模式可视化模式是数据的一种特殊展现形式，常见的可视化模式有标签云、序列分析、网络结构、电子地图等。可视化模式的选取决定了可视化方案的雏形。4可视化应用可视化应用主要根据用户的主观需求展开，最主要的应用方式是用来观察和展示，通过观察和人脑分析进行推理和认知，辅助人们发现新知识或者得到新结论。第三章数据可视化基础3.1光与视觉特性3.2可视化的基本特征3.3可视化流程of37163.5可视化中的美学因素3.6可视化框架设计整体思路习题3.4可视化设计组件3.4数据可视化设计组件第三章数据可视化基础of37173.4.1可视化设计模型数据可视化的设计可简化为四个层次，各层之间是嵌套的关系，外层的输出是内层的输入，同时外层的错误最终会级联传导到各内层。第一层（最外层）概括描述用户遇到的实际问题，称为问题描述层；第二层是抽象层，负责将特定领域的任务和数据映射到抽象且通用的任务及数据类型；第三层是编码层，设计与数据类型相关的视觉编码及交互方法；第四层(最内层)则需要实现正确完成数据可视化展示和交互的算法。3.4数据可视化设计组件第三章数据可视化基础of37183.4.2可视化设计原则三个原则1、过于复杂繁琐的可视化可能会给用户带来理解上的麻烦，甚至会引起用户对原始数据信息的误解；2、缺少友好交互控制的可视化也会阻碍用户以更直观的方式获得可视化所包含的信息；3、美学因素也在一定程度上影响用户对可视化设计的喜好或厌恶情绪，进而影响可视化传播和表达信息的能力。三个步骤1、确定数据到图形元素(即标记)和视觉通道的映射，明确需要呈现的是什么样的数据；2、视图的选择与用户交互控制的设计，建立恰当的数据指标，从总体到局部逐步展示数据结果；3、数据的有效筛选并注重数据的比较，即确定在有限的可视化视图空间中选择适当容量的信息进行编码，以避免在数据量过大情况下产生视觉上的混乱。3.4数据可视化设计组件第三章数据可视化基础of37193.4.3可视化的数据认知数据人们对数据的认知，一般都经过从数据模型到概念模型的过程，最后得到数据在实际中的具体语义。在处理数据时，最初接触的是数据模型，数据模型是对数据的底层描述及相关操作。概念模型是对数据的高层次描述，对应于人们对数据的具体认知。对数据进行进一步处理之前，需要定义数据的概念和它们之间的联系，同时定义数据的语义和它们所代表的含义。数据分类根据数据分析要求，不同的应用可以采用不同的数据分类方法。例如，根据数据模型，可以将数据分为浮点数、整数、字符等；根据概念模型，可以定义数据所对应的实际意义或者对象，例如汽车、摩托车、自行车等。在科学计算中，通常根据测量标度，将数据分为四类：类别型数据、有序型数据、区间型数据和比值型数据。类别型数据用于区分物体，有序型数据用来表示对象间的顺序关系，区间型数据用于得到对象间的定量比较，比值型数据用于比较数值间的比例关系，可以精确地定义比例。3.4数据可视化设计组件第三章数据可视化基础of37203.4.4可视化的原材料1视觉暗示可视化最基本的形式就是简单地把数据映射成彩色图形。可视化展示必须保证可以在图形和它所代表的数字间来回切换。2坐标系编码数据的时候，总得把物体放到一定的位置。有一个结构化的空间，还要指定图形和颜色画在哪里的规则，这就是坐标系，它赋予X、Y坐标或经纬度以意义。34标尺坐标系指定了可视化的维度，而标尺则指定了在每一个维度里数据映射到哪里。标尺有多种，但基本上不会偏离以下三种标尺，分别为数字标尺、分类标尺和时间标尺。背景信息背景信息（帮助更好地理解数据相关的5W信息，即何人、何事、何时、何地、为何）可以使数据更清晰，并且能正确引导数据使用者。3.4数据可视化设计组件第三章数据可视化基础of37213.4.5可视化的基本图表原始数据绘图原始数据绘图用于可视化原始数据的属性值，直观呈现数据特征，其代表性方法包括：数据轨迹、柱状图、折线图、直方图、饼图、等值线图、散点图、气泡图、维恩图、热力图和雷达图等。简单统计值标绘盒须图是JohnTukey发明的通过标绘简单的统计值来呈现一维和二维数据分布的一种方法。它的基本形式是用一个长方形盒子表示数据的大致范围，并在盒子中用横线标明均值的位置。同时，在盒子上部和下部分别用两根横线标注最大值和最小值。盒须图在实验数据的统计分析中很有用。针对二维数据，标准的一维盒须图可以根据需要扩充为二维盒须图。多视图协调关联多视图协调关联将不同类型的绘图组合起来，每个绘图单元可以展现数据某方面的属性，并且通常允许用户进行交互分析，提升用户对数据的模式识别能力。在多视图协调关联应用中，“选择”操作作为一种探索方法，可以是对某个对象和属性进“取消选择”的过程，也可以是选择属性的子集或对象的子集，以查看每个部分之间的关系的过程。第三章数据可视化基础3.1光与视觉特性3.2可视化的基本特征3.3可视化流程of37223.5可视化中的美学因素3.6可视化框架设计整体思路习题3.4可视化设计组件3.5可视化中的美学因素第三章数据可视化基础of3723必要性数据可视化主要是借助于图形化