第7章-物联网数据处理

12020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著物联网技术（第2版）第7章物联网数据处理教学课件22020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著随着物联网技术的广泛应用，将产生大量异构的、混杂的、不完整的数据。当成千上万的物联网终端设备采集到这些数据之后，如何对它进行处理、分析和使用成为物联网应用的关键。通过传感器、RFID标签技术等实时感知海量数据不是物联网的目的，只有从海量数据中通过汇聚、挖掘与智能处理，获取有价值的信息，为不同的应用提供智能服务才是要真正实现的目的。本章基于物联网数据的特点以及数据处理技术的认识，讨论介绍物联网的数据融合、云计算、海量数据存储、数据挖掘与智能决策等内容。第7章物联网数据处理32020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.1物联网数据处理的基本概念7.2物联网数据融合技术7.3云计算7.4海量数据存储7.5数据挖掘与智能决策小结与进一步学习建议思考与练习第7章物联网数据处理42020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.1物联网数据处理的基本概念物联网需要完成环境感知、数据传输、协同工作等任务，所以在一段时间内会产生大量的数据。这就需要从大量的数据中提取出有用的信息，因此需要根据不同的物联网应用需求，研究物联网的数据处理技术。所谓物联网数据处理就是将所感知的数据进行存储、融合、挖掘，并用于智能决策与控制。52020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著1.海量所谓海量就是数据量很大，可能是TB级别（1TB=1024GB）甚至是PB级别（1PB=1024TB），导致无法一次性载入内存或者无法在较短时间内处理完成。物联网产生的数据具有海量性特点。2.多态性多态性是指形态多样和状态（选择）多样。在哲学意义上，多态性反映了世界在时间和空间中存在的千姿百态和变化莫测。7.1.1物联网数据的特点研究物联网数据处理技术，首先要了解物联网数据的特点。通过对物联网数据分析可知，主要具有海量、多态、动态和关联等特性。62020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著3.动态性动态指（事情）变化发展的情况。物联网数据的动态性很容易理解。不同的时间、不同的传感器测量的数值都有可能变化。4.关联性关联性是指组织体系的要素既具有独立性，又具有相关性，而且各要素和体系之间同样存在相互关联或相互作用的关系。物联网中的数据之间不可能是相互独立的，存在着一定的关联性。例如，对于生态环境的监控系统所感知的数据，可能要比较同一个传感器在不同时间的温度变化，或者比较同一个时间不同位置传感器节点的湿度变化。因此，物联网中的数据在空间、时间维度上存在着紧密的关联性。72020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.1.2物联网数据处理技术面对物联网数据海量、多态、动态与关联等特点，物联网数据处理需要涉及如下一些关键技术。1.数据融合数据融合或称信息融合是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。82020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.1.2物联网数据处理技术2.云计算云计算是一种基于互联网的计算模式，通过这种计算模式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，是分布式处理、并行处理和网格计算的发展。3.海量数据存储物联网中产生的海量数据是一些不同于互联网中Web、聊天记录与游戏等数据的，需要可靠安全存储起来。海量数据的存储结构、方式影响物联网系统的可靠性与效率，因此需要深入研究物联网数据存储模式、数据库技术。92020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.1.2物联网数据处理技术4.数据挖掘与智能决策数据挖掘数据挖掘是物联网数据处理中一个非常重要的方法，而且是一个多步骤过程（它需要为数据挖掘算法访问和准备数据），包括挖掘数据，分析结果和采取合适的行动。智能决策与控制在整个人类的活动中，“感知、通信、计算、智能、控制”构成一个行为过程。智能是运用信息提炼知识、生成策略、认识问题和解决问题的能力；同时又是生命体的能力标志，是人类生成发展能力的最高体现。102020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.2物联网数据融合技术物联网中感知节点之间、感知节点与汇聚节点以及控制中心之间不仅需要进行通信，还要对通信结果做进一步的分析处理。数据融合是实现物联网的重要技术之一。112020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.2.1数据融合的基本概念在许多应用场合，由单个传感器所获得的信息通常是不完整、不连续或不精确的，此时其他信息源可以提供补充数据。融合多种信息源的数据能够产生一个有关场景的更一致的解释，而使不确定性大大降低。因此，通过多感知节点采集数据，利用数据融合技术达到数据备份与信息的准确性，成为物联网研究的一个重要课题。1．数据融合的定义数据融合是利用计算机技术对时序获得的若干感知数据，在一定准则下加以分析、综合，以完成所需决策和评估任务而进行的数据处理过程。122020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.2.1数据融合的基本概念2．数据融合研究的主要内容数据融合是针对一个网络感知系统使用多个和（或）多类感知节点（如多传感器）进行的一种数据处理方法，研究内容包含以下几个方面。数据对准。数据相关。数据识别，即估计目标的类别和类型。数据库。性能评估。132020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.2.1数据融合的基本概念3．数据融合的体系结构由于数据融合应用领域的不同，其融合系统结构也有所不同。美国国防部实验室联合会数据融合小组（DFS）提出了在军事领域应用的数据融合系统通用体系结构，如图7-1所示。图7-1数据融合的一般模型142020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著物联网的建设与发展，为数据融合技术开辟了一个新的应用领域。目前，有关数据融合的各种研究及技术还未成熟，新技术也正在不断涌现。例如，当感知节点具有移动能力时，网络拓扑如何保持实时更新；当环境恶劣时，如何保障通信的安全；如何进一步降低能耗，等等。物联网本身就是一种新技术，其数据融合则更是尚待研究的课题。物联网数据融合的意义和作用物联网数据融合所要解决的关键问题和要求物联网中数据融合的层次结构7.2.2物联网中的数据融合152020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.2.3传感网数据传输及融合算法传感网中的数据传输方式，有直接传输和多跳传输两种模型。直接传输模型是指传感器节点将采集到的数据通过较大的功率直接一跳传输到汇聚节点上，进行集中式处理。多跳传输模型类似于Ad-Hoc网络，每个节点自身不对数据进行任何处理，而是调整发送功率，以较小功率经过多跳将感知数据传输到汇聚节点中，再进行集中处理。162020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.2.3传感网数据传输及融合算法传感网中的数据融合方式一般是通过网络内部的数据压缩机制，先对采集到的数据或接收到的其他感知节点发送的多个数据进行网内处理，消除冗余信息，然后再传输处理后的数据。多传感器数据融合算法传感网数据融合路由算法按照通信网络拓扑结构的不同，比较典型的数据融合路由协议有：基于数据融合树的路由协议基于分簇的路由协议基于节点链的路由协议172020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.2.4物联网数据管理技术在物联网实现中，分布式动态实时数据管理是其以数据中心为特征的重要技术之一。该技术通过部署或者指定一些节点作为代理节点，代理节点根据感知任务收集兴趣数据。感知任务通过分布式数据库的查询语言下达给目标区域的感知节点。在整个物联网体系中，传感网可作为分布式数据库独立存在，实现对客观物理世界的实时、动态的感知与管理。这样做的目的是，将物联网数据处理方法与网络的具体实现方法分离开来，使得用户和应用程序只需要查询数据的逻辑结构，而无须关心物联网具体如何获取信息的细节。182020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.3云计算云计算作为一种新兴的计算模式，已经得到格外关注。面对越来越复杂的计算需求，云计算这一模式将会越来越多地推动企业商业模式的变革和发展。什么是云计算？简单地说，云计算是一种基于互联网的商业计算模型，它是分布式处理（DistributedComputing）、并行处理（ParallelComputing）和网格计算（GridComputing）等技术的发展及商业实现。192020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.3.1云计算的基本概念纵观计算模式的演变历史，可以将其归纳为集中计算→分布式计算→集中计算这样一个过程。为了节省成本和实现系统的可扩展性，提出了云计算的概念。1.云计算的定义云计算是一种基于互联网的计算模式，它可以把计算资源（计算能力、存储能力、交互能力）以服务的方式通过网络提供给用户，如图7-8所示。图7-8云计算示意图202020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.3.1云计算的基本概念2.云计算的基本特征从目前对云计算的认识来看，云计算服务具有以下几个基本特征。虚拟化。高可靠性、可用性和扩展性。按需服务。超大规模。高性价比。3.云计算的类型公用云。私有云。混合云。212020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.3.1云计算的基本概念4.云计算系统组成提供云计算服务需要一个强大的云网络作为云计算平台。一种通用的云计算系统组成如图7-10所示，用户通过云客户端从服务目录列表中选择所需要的服务，服务请求通过管理系统调度相应的资源，并通过部署工具分发请求、配置Web应用。图7-10云计算系统组成5.云计算系统的服务层次222020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.3.2云计算关键技术云计算对应的不是一种技术，而是多种技术的组合。从云计算技术的角度来看，实现云计算需要物理资源、虚拟化资源、服务管理和访问接口等关键技术的支持，如图7-12所示。图7-12实现云计算的关键技术232020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.3.3云计算在物联网中的应用构建智慧地球，将物联网和互联网进行融合，显然不是简单地将实物与互联网进行连接，而是需要进行更高层次的整合，需要更透彻的感知，更全面的互联互通，更深入的智能化。云计算在物联网发展中的作用物联网的云计算系统结构图7-13云计算系统结构示意242020年4月20日星期一《物联网技术》（第2版）第7章物联网数据处理刘化君刘传清编著7.4海量数据存储伴随着物联网技术的应用发展，人类产生的信息量越来越多，海量数据存储的矛盾日益凸显。如何经济、有效、合理、安全地存储数据是实现物联网应用系统的一个重要课题。选择一种存储模式、构建一个高性能、高可用的统一存储系统，以其高效率的整体性能、丰富的数据管理功能满足各类存储应用显得格外重要。252020年4月20日星期一《物联网技术》（第2版）第7章物