物联网的数据库平台_V1_20150828

物联网的数据库平台-----Parstream物联网的过去和曾经人们普遍认为，物联网是一个全新的引人注目的新兴事物。的确，物联网很快会引人注目，但它并不是像很多人以为的那样，是一个全新的事物。在对面向消费者的技术,我们可以跟踪物联网到50年前，1960年代末ATM机的发明。这个我们定义为物联网。最开始的ATM机并没有相连接，他们普遍连接实在1980年。虽然只是一个连接装置，但可以称得上物联网。其他早期的应用程序包括控制系统在自动化工厂。传感器放置在生产线的重点区域，以优化生产线的速度。这是第一个实时系统，在化工厂和炼油厂也有运用。1973年发明的射频识别标签技术，也出乎人们的想象，且很快在应用程序里运用。他们都是最初的物联网。分裂的痕迹计算的历史是由破坏性技术的创新格局所颠覆的。首先到来的是个人电脑，每个人都可以接触到电脑的力量。然后是互联网,网络已为数以百万计的电脑服务器提供Web内容和服务。接下来是移动技术的出现，让人们随时随地都能接触网络。物联网是第四,也可能最后一步扩散技术。现在技术将被分发到只有芯片和传感器可以去的地方,我们可以把它在每一个可能的位置，给我们的眼睛、耳朵和触觉。每一个这些创新都给软件和数据库技术带来了颠覆性的变化。客户机/服务器的电脑革命给我们标准的SQL访问关系数据库，几乎是为他量身定做的服务器操作。互联网在用户界面形象和增加大量的非结构化数据方面重塑自己的浏览器的，通过引入内容管理系统来弥补关系数据库不足。移动革命又增加了数据量,引入新维度的地理位置和放大时间维度的重要性。一方面,它激起了两个或三维图形数据与结构化的数据的结合，另一方面，它激起了一系列社会网络连接。物联网具有同样的破坏性。它将抬高前所未有的数据量，引入新的和令人信服的流媒体应用和产生一系列新的分析应用程序。新物种的数据库在一段时间内，数据库技术对这种破坏有免疫能力，但约2004年,早在智能手机和平板电脑的爆炸，开始遇到困境。CPU发展成多核后，使新方法在大电网数据库服务器得到充分运用。与此同时，互联网能够比以前收集更多的数据。当然，它是与雅虎和谷歌同步，迅速发展称为我们现在所称的社会媒体和多人游戏的行业，同时收集数以百万计的个人游戏玩家的活动数据。传统的数据库不再如此广泛适用，在某些领域，他们是完全适用的。表格1：不同的数据库类型上述表格对已经出现的数据库进行了总结。传统的数据库(包括开源MySQL和ProgreSQL等)，当然适合传统的OLTP、数据集市和数据仓库的工作负载。当数据量非常大时，他们就会陷入困境，因为吸收的速度非常高或响应的时间需要极快。像ParStream和Vertica之类的分析数据库，建造成需要管理大量的查询数据。这种数据库的应用程序与传统的数据仓库相比，主要是BI和分析。他们运行很快,部分是因为不用于交易，因此不需要内核锁。有的数据库像Aerospike和VoltDB，专攻极高的OLTP事务。它与内存数据库如SAPHANA或Kognitio非常接近，但不完全相同，它专注于速度和响应时间。这些对于希望加快传统业务应用程序速度的公司，是很有用的。接下来的两个数据库类别超越了传统RDBMS的领域，提供查询工作负载上不适合RDBMS的索引表。NoSQL数据库如MongoDB和CouchDB是建立向外扩展和管理嵌套的数据结构,是典型的文档和网页内容。图形或RDF数据库像Neo4j和Stardog，是构建管理查询和跟踪网络的关系的。数据库共同特点的最后类别是，他们的构建Hadoop的HDFS文件系统上运行。目前，所有这些目标似乎是传统RDBMS的工作负载，但细微差别在于他们更好的扩展性。他们不太可能挑战分析或高容量OLTP数据库的规模和能力，但他们替对代传统的RDBMS有足够的吸引力。对于那些选择数据库特定应用程序产品的企业来说，我们的建议是,在他们需要考虑哪些产品进行调查之前，最好先确定哪些类别的数据库。然而随着时间的流逝，我们期待这些数据库类别合理化，我们期望他们中的大多数坚持控制两个或三个类别的产品。这是因为这些类别基于不同类型的工作负载，我们并不仅仅期望数据库引擎在这些类别上优秀，期望在其他类别也表现特别好。物联网的独特挑战很显然，大多数的物联网系统需要分析数据库，因为传感器和嵌入式处理器将产生非常大量的数据量。有两种类型对对这种数据的应用程序，一种是涉及紧急、实时的反应数据，一种是不那么紧迫、需更加深思熟虑的数据。紧急响应程序这些应用程序可能需要复杂的或相对简单的聚合和计算。当特定的阈值出现时，紧急行动时将启动。例如，当电网的需求不断升级达到一定程度时，新能源将需要很快被带进服务器。可暂缓的响应程序这些都是更传统的分析和BI的应用程序，从数据中推断出有价值的信息，并将这些信息传递给用户用于决策。一个用于任何类型的应用程序数据库的直接挑战是，能够为非常大量的数据提供快速响应，特别是非常大的表，也许数十亿行。一般的海量物联网数据，描述数以百万计的事件数据。事件记录可能会有一个相对少量的属性，因而数据库需要能够快速扫描非常大的表和快速摄取数据。用这样的方法,，通过网络移动非常大量的数据，可能会导致严重的性能问题。而中央枢纽可能不会由于数据流量而超载，其摄取活动将会使它减速，在识别中引入不可接受的延迟情况就会立即响应。效果更好的处理响应器，可以保证你处理移动到数据中，而不是将数据移动到处理中。事实上，这是ParStream提供给这样的应用程序的一个选项。它对数据进行处理和分配。ParStream数据库的性质ParStream是一个大规模数据分析库，能够对大量的数据提供极快的响应分析。这样的产品除了技术特性的期望——无共享架构，条数据组织、智能压缩、低延迟、高速摄取和高效的数据分区之外，ParStream具有明显有别于竞争对手的的索引功能。表格1：ParStream对物联网的分布式体系结构ParStream使用专利、位图索引的压缩来体现了一种独特的方法。这促使了性能的提升，超越了竞争对手产品的水平，使其成为表现最好的大容量分析数据库。ParStream除了是一个强大的分析数据库,之外，还非常适合实现物联网，如图1所示。重要的是要理解，这种联合经营方式在单个集群上实现时没有显著区别。所以各种多用户分析应用程序连接到ParStream。因为知道数据所在的数据库，每个SQL查询解析和接收中，查询分解成许多小的SQL节点。这些是采取适当的实例ParStream执行。中央数据也将联合节点的分布式执行连接。ParStream复制这些数据，并保持当前副数据更新。一旦解决一个查询节点，部分答案传回空间分布分析聚集的地方。ParStream还将联合驻留在每一个位置的规则。每个节点能够永久测量数据，因此当特定的阈值超标是，规则可能被打破。如果一个规则适用于所有数据，那么聚合值会被传递到中央节点和所有数据计算总数。当规则违反是，会发出警报。除了其联合的能力，ParStream很适合物联网的环境，因为它的速度和它每个节点占用空间小。这意味着远程节点需要一些资源(CPU、内存和存储)，即使有弹性配置。例如，一个典型的移动设备将不仅仅是一个服务器。这反过来又提供了一个高水平的灵活性，关于物联网系统是如何设计和展开。这里需要注意的一点是，物联网的场景可能会有很大差别。在某些情况下，如插装市政交通系统。可以实现一切从零开始，安装两个传感器和新的数据服务器。在其他情况下，如零售渠道，数据采集设备，甚至一个本地服务器，可能已经和您实现了软件网络连接。使问题更为复杂的是，各种来源的数据量和业务的查询工作负载显著不同。除了必须支持的联合行动，还有对物联网数据库灵活性的需求，能够在私人/公共云基础设施运行、资源使用效率和操作速度的需求。ParStream的操作目前大多数ParStream服务是典型分析数据库应用程序。例如MPREIS、奥地利大型连锁超市总部位于奥地利，使用ParStream分析超过200家商店购买情况，以便MPREIS知道盈利能力以及在购物水平。公司使用QlikView提供这种分析，但是应用程序仅限于4亿条记录的数据量，仅代表两周内的数据。ParStream将初步实现这一可能，增加到6个月的数据，是延长2.5年的数据分析，总共有300亿条记录。在另一个分析程序里，ParStream在由INRA建立的MetaGenoPolis中运行。这个项目的目标，是建立人类肠道微生物群在健康和疾病的影响。因此活动包括分析大量的肠道细菌样品，为了建立与其他临床试验的相关性，观测对营养和健康的影响。在实验室里，每个样本5000万个细菌所以分析的工作量是巨大的。ParStream基因组指标发现速度相较以前提高了100倍。此应用程序的工作量在未来一年将远远超出预计。ParStream在物联网的应用程序虽然物联网革命尚未取得很大成功，但已经在这个领域有重要的投资。西门子的项目就是ParStream在这样的应用程序里面的运用。工程研究项目的目标，是详细对比生产不同型号的燃气轮机。传感器在燃气轮机里的报告数据，被ParStream实时监控。每个燃气轮机有5000个传感器在，他们每年生产大约1800亿条分析记录。因为ParStream的运用，没有有效的存储数据的大小限制，除了直接监测的涡轮机，数据可以分析大量的历史数据。这意味着执行实时的能力、灵活的分析和比较级别燃气涡轮机的能力，显著提高了西门子的生产效率。总结希望能够分析处理大量数据库的企业，都会选择去尝试ParStream。它能够提供出色的性能和实时分析的能力。ParStream特别适合新兴领域的物联网应用，其联邦体系结构不仅能够处理非常大量的数据，而且分布广，速度快。