物联网导论PPT——数据库与物联网65

2014.5.6小组成员：数据库与物联网2数据库的起源与发展物联网数据的特点物联网与数据库数据库与物联网一.数据库的起源和发展数据库的起源和发展新兴数据库关系数据库早期的数据库系统早期的数据库系统数据库起源于20世纪60年代，代表数据库主要有IBM的SABRE、IMS，Cullinet的IDMS等。SABRE全称Semi-AutomatedBusinessResearchEnvironment，即半自动商用研究环境。SABRE的起源美国航空公司乘客需求IBM公司早期的数据库系统数据的存储结构依赖于数据的类型由于数据都存储在磁带上，支持“查找”操作得付出相当大的代价312“导航式数据库”的特点数据通过指针相互串联起来，为了访问到想要的数据，可能需要遍历整个数据库数据库的起源和发展新兴数据库关系数据库早期的数据库系统关系数据库关系数据库（Relationaldatabase），是创建在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。关系数据库“关系数据库之父”理论基础1970年刊物《CommunicationoftheACM》论文“ARelationalModelofDataforLargeSharedDatabanks”（大型共享数据库的关系模型）关系数据库1974-1977年给数据库的历史留下了极为浓墨重彩的一笔。在此期间，加州大学伯克利分校开发的Ingres和IBM开发的SystemR,引领了关系数据库数十年的发展。关系数据库SybaseOracleSQLServerIBM的DB2IngresSystemR关系数据库关系数据库的特点以面向系统的观点组织数据具有高度的数据和程序的独立性数据具有共享性关系数据库允许多个用户同时访问4123数据库的起源和发展新兴数据库关系数据库早期的数据库系统新兴数据库关系数据库银行交易信息管理订单处理票务预定新兴数据库计算机辅助设计（CAD）计算机辅助制造（CAM）地理信息系统（GIS）动态网页新的挑战新兴数据库缺乏对真实世界实体的描述缺乏对复杂查询的有效处理缺乏对Web应用的有效支持关系数据库的缺点新兴数据库“NoSQL”数据库不要求数据库具有确定的表模式通过避免连线操作提升数据库性能它针对非关系型、分布式的数据存储新兴数据库补充不可替代“NoSQL”数据库关系数据库“NoSQL”数据库和关系数据库的关系20数据库的起源与发展物联网数据的特点物联网与数据库数据库与物联网二.物联网数据的特点物联网数据的处理数据存储数据查询数据融合物联网数据的存储传感器所产生的数据可以存储在传感器的内部发送回网络的网关集中式存储分布式存储物联网数据的存储—分布式汇聚点查询查询结果原始数据中缝节点存储节点节点——传感器实心—存储空心—只传递不存储数据汇聚点Sink数据的传输方向传回：白色箭头分发：橙色箭头汇聚点查询查询结果原始数据节点——传感器不存在存储节点数据汇聚点Sink数据的传输方向传回——白箭头物联网数据的存储—集中式分布式VS集中式优点：1.数据存储在节点上，减少不必要的数据传输缺点：1.不利于长时间的任务2.传感器故障时，内存中数据全部丢失3.通信开销大4.存在“热点”问题优点：1.数据能永久保存，不存在历史数据的丢失2.查询请求X网络缺点：1.数据不完整2.传感器能量损耗大物联网数据的查询方式快照3快照1快照2基态快照查询连询查续物联网数据的查询案例综合信息处理平台弯道互联网用户1用户2站牌站牌RFID标签RFID标签一种基于物联网的公交车信息查询系统设计29物联网数据的融合数据流数据融合数据流：单个传感器产生的数据数据融合：利用计算机技术对时序获得的若干感知数据，在一定准则下加以分析、综合，以完成所需决策和评估任务二进行的数据处理过程。数据融合需要解决的问题：节点的选择融合时机融合算法院系工作全空间数据数据包括确定的和模糊的，全空间和子空间的，同步的和异步的，数字的和非数字的；它是多维多源的，覆盖全频段。不同于组合组合：外部特性融合：内部特性是系统动态过程中的一种数据综合加工处理互补过程数据表达方式互补结构上互补功能上互补不同层次的互补—数据融合的核心物联网数据的融合传感器1传感器2…传感器n传感器端存储数据汇聚点端存储连续查询快照查询传感器物联网数据的融合存储查询查询结果数据流管理系统(DataStreamManagementSystem,DSMS)物联网数据的特点海量性多态性关联性及语义性2019/8/21.单个物体——持续地产生数据血压血糖浓度心率体温物联网数据的特点——海量性2019/8/22.多个物体——同时连续地产生数据物联网数据的特点——海量性物联网数据的特点——多态性光照度海拔高度温度“绿野千传”森林检测项目物联网数据的特点——多态性“绿野千传”森林检测项目不同的网络不同的数据格式不同的设备不同的数据精度不同的测量时间和条件不同的数据值物联网数据的特点—关联性及语义性传感器1传感器3传感器2传感器4•描述同一个实体的数据在时间上具有关联性•描述不同实体的数据在空间上具有关联性•描述实体的不同维度之间具有关联性•不同的关联性组合会产生丰富的语义物联网数据的特点—关联性及语义性30℃80℃时间关联性：该传感器发生故障/周围环境发生了特殊变化空间关联性：周围传感器温度都上升—附近极大可能发生了森林火灾周围传感器温度保持不变—该传感器的温度测量装置很可能发生故障111数据的查询数据的融合数据的海量性数据的多态性数据的关联性数据的存储41数据库的起源与发展物联网数据的特点物联网与数据库数据库与物联网2019/8/2CompanyLogowww.themegallery.com物联网与数据库物联网、大数据与数据库的关系物联网与数据库物联网环境下数据库系统的挑战2019/8/2物联网的发展人工互联网物联网信息处理的演进过程在历史上，人们需要人工地去采集信息，然后以人工的方式对信息处理，以文字后者口耳相传的方式对信息进行传播；计算机以及互联网的出现，将人们从繁重的信息处理任务中解脱出来，实现了信息以及信息传播的自动化；无线传感网络的出现，使信息的收集变得更加全面、更加智能、更加深入。2019/8/2城市交通信息处理演进•在没有互联网之前，要想知道城市当前的交通状况，只能通过实地勘察或像其他人询问的方式得到答案•有了互联网，相关的信息会被志愿者或者交通观察员监测到，并放在网上供人们查阅•有了无线传感网络，所有的交通信息都会被传感器自动侦测，自动联网更新。实时的交通状况被“一网打尽”•举例说明：人工互联网物联网2019/8/2物联网的基本概念物联网世界物联网将使得工业、农业、节能环保、商贸流通、交通能源、公共安全、社会事业、城市管理、安全生产等关乎人们衣食住行的方方面面都会变得智慧起来。例如：在冷链物流中应用物联网技术，除了可以实现全程实时的温度监控，还能在无需打开冷藏装置情况下，即可快速批量读取温度信息。此外，通过安装RFID电子标签，可以实现产品防伪追溯，并且在仓储环节，实现自动移仓、盘仓等仓库管理，降低人工出错率并节省大量时间。2019/8/2物联网、大数据与数据库的关系物联网产生大数据数据库支撑物联网大数据引发数据库变革与发展.2019/8/2•物联网产生大数据–据美国报导，物联网一分钟可以产生非常多的东西，苹果下载2万余次，一分钟会上传10万条新微博，全世界物联网上虚拟网络上，产生了大量的数据。–国外的这些公司数据量不一定有中国大，中国淘宝网在双十一一天创收10.5亿，新浪微博晚上有100万以上的响应请求，中国联通也进行大数据搜集，他们以前给用户每一个月发一个帐单，很多用户认为我没有上这么多，中国联通改制就详细记录客户的上网记录一秒钟83万条。物联网、大数据与数据库的关系2019/8/2CompanyLogowww.themegallery.com物联网产生大数据物联网应用版图物联网分析大数据文字、图片、音频、视频等数字化信息呈指数式增长，大数据时代已经来临。全球信息总量每两年约增长一倍，2011年全球创建和复制的数据总量有1.8ZB，预计2020年将达到35ZB，是现在的50倍。*1TB(太字节)=1024GB,1PB(拍字节)=1024TB,1EB(艾字节)=1024PB,1ZB(泽字节)=1024EB,2019/8/2•大数据引发数据库行业变革与发展–数据库市场成形于上个世纪80年代。近年来随着云计算、大数据应用的兴起，面对爆发式增长的海量数据，传统数据库已难以应对;面对以视频、图片、文字等非结构化数据为主的大数据，传统商业智能系统和数据分析软件缺少有效地分析工具和方法。大数据引发数据库行业变革。物联网、大数据与数据库的关系2019/8/2•大数据引发数据库行业变革与发展–大数据引发数据库行业架构创新。美国著名数据库科学家迈克尔•斯通布雷克(MichaelStonebraker)指出，行业技术的发展趋势是由一种架构支持所有应用转变为用多种架构支持多类应用。在大数据和云计算的背景下，这一理论导致了数据库市场的大裂变：数据库市场分化为三大阵营，包括OldSQL(传统数据库)、NewSQL(新型数据库)和NoSQL(非关系型数据库)。物联网、大数据与数据库的关系2019/8/2CompanyLogowww.themegallery.com中国数据库软件市场现状与发展2012年，中国数据库软件市场规模达到53.15亿元，同比增长14.84%。未来，在大数据等一系列因素的影响下，中国的数据软件市场规模将以超15%的增长率保持较为稳定增长，预计2015年中国数据库软件市场规划将达到83.44亿元，年复合增长率达16.22%。中国数据库软件市场发展规模与预测2019/8/2•数据库支撑物联网-数据库支撑物联网，数据库的作用包括收集传感性的数据，还有实物跟虚拟物要结合起来。例如，今天北京交通堵塞，但是并不知道堵塞原因，如果政府发布消息和市民微博发布消息结合起来就知道发生什么事，物联网要过滤，过滤要有一定模式。-要实现真正的物联网，需要海量地址，海量带宽，海量存储，而且需要极高的通信智能和管理智能。需要数据库的支撑。物联网、大数据与数据库的关系2019/8/2传感器传输机制应用层数据库五官、皮肤神经人体的行为大脑数据库支撑物联网物联网——人体2019/8/2无人驾驶汽车物联网据国外媒体报道，大数据分析师BigData—Startups.com创始人马克·冯·里吉门纳姆（MarkvanRijmenam）指出，无人驾驶汽车将配置有大量传感器，每秒钟可生成1GB的数据。科斯洛斯基甚至预计，未来汽车生成的数据将上传到云存储系统，政府可以利用这些数据提高行车安全性。2019/8/2CompanyLogo物联网环境下数据库系统的挑战数据挖掘数据处理数据存储数据收集数据库选择数据保护数据库选择•附上时空标志•去伪存真•收集异源甚至是异构的数据•与历史数据对照•多角度验证数据的全面性和可信性数据收集CompanyLogowww.themegallery.com数据存储目标技术方法优化要达到低成本、低能耗、高可靠性目标冗余配置、分布化和云计算技术必须建立标准的存储方法。将分类存储方式应用到具体的使用场合。通过过滤和去重，减少存储量，同时加入便于日后检索的标签。数据处理有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。数据挖掘目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。数据挖掘是使结果可视化呈现，使结果更直观以便于洞察CompanyLogo数据安全1应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私2既提倡