易达讯大数据平台65

易达讯数据平台eStarDataPlatform易达讯产品发展历程交换中间件交换平台数据平台eStarDataPlatform产品线中间件产品–包含设计工具、运行引擎和中间件监控消息中间件–eStarMQESB服务器–eStarESB适配器系统–eStarSmartAdaptor工作流–eStarBPMS政务数据交换平台-专为跨部门数据交换服务的平台级产品交换桥接子系统交换前置子系统交换传输子系统数据处理子系统管理和监控子系统（超强的中心管理）一个平台，多个域数据平台–采用分布式大数据技术基于HADOOP分布式大数据集群技术的新一代云交换平台具有超高性能、超高可靠性、超高稳定性的交换能力提供数据交换、存储和处理功能多租户云交换服务一个平台，多个虚拟平台（多租户）交换中间件产品上不着天、下不着地，通用工具和交换引擎消息中间件-IBMMQ、TIBCOMQ、TongLInkQ、eStarMQ等产品解决点到点的可靠数据传输，在网络不稳定的旧时代，消息中间件尤其重要适配器（集成服务器）解决与不同数据源对接，从不同的数据元抽取数据，然后通过消息中间件传输到接收方，让后入库（系统）格式转换、封装等ESB服务器面向SOA的集成系统，把所有的数据接口封装成Web服务，注册到中心，方便用户调用工作流易达讯交换中间件产品eStarMQ5.x–易达讯消息中间件eStarServiceWorks5.X-易达讯集成服务器eStarDataLinks5.X–数据连接器eStarMQ信息传输HTTP/S、FTP、SMTP、SOCKET多种消息模式支持消息队列Queue、消息订阅和发布（Pub/Sub）、消息请求和应答（Request/Reply）信息转换（Transformation）XSLT映射工具（XML-DB,XML-OBJECT,XML-XML）信息路由基于内容（Content-based）的路由、基于数据包头（Header）的路由服务器之间路由、队列之间的路由可靠性数据传输消息存储、传输确认、数据压缩、断点续传、双机热备、服务器集群传且只传一次（Onceandonlyoncedelivering）安全信息传输SSL、PKI、LDAP点到点、点到多点传输方式7eStarESB服务器eStarESBWebServices、格式转换、消息路由服务配置、事件跟踪、配置管理、安全管理适配器、XML定义、实时监控J2EE™应用.NET应用适配器AdapterEJBJMSEJBWebC#CLRSOAP/C++/C#WebServiceSOAPHTTPWSWSOracle适配器AdapterMSSQL适配器AdapterSybaseJAVAeStar适配器中间件通用数据库Oracle、MSSQL、Sybase、DB2等Access、FoxBASE、FoxPro、MySQL国产数据库：武汉DM、OpenBase、神舟OSCAR、人大金仓、南大通用通用商业应用软件Domino、Notes等通用中间件JMS、IBMMQ、TBICORV、eStarMQ其他适配器COM、EJB、SOAP等文件适配器Excel、文本文件、XML文件脚本语言FTP、SFTP、HTTP、SMTP代码转换、编码转换近300种预先编制好的适配器组件8数据交换平台交换桥接子系统交换前置子系统交换传输子系统数据处理子系统管理和监控子系统为电子政务跨级、跨部门数据交换需求打造的平台级产品，包含数据交换的引擎和交换管理和监控11国家政务信息资源交换标准业务信息库交换管理中心交换桥接子系统政务部门交换管理子系统前置交换子系统交换信息库业务信息库交换桥接子系统政务部门前置交换子系统交换信息库前置交换子系统交换信息库共享信息库交换区业务区交换区业务区比对处理前置交换子系统交换信息库共享信息库比对处理前置交换子系统交换信息库共享信息库交换传输子系统协同应用牵头部门协同应用牵头部门桥接系统功能交换体系的“最后一公里”,是系统建设的难点所在桥接系统的功能完成部门业务系统信息库与前置信息库（或交换平台）之间双向安全、可靠的信息交换数据格式转换（XXDB—XXXDB、DB－XML、XML－XML等转换）桥接模式直接连接、通过网闸实时、定时增量、全量业务系统触发或前置系统触发桥接实现方法采用成熟的适配器技术利用图形化的适配器工具软件配置桥接功能利用浏览器在任何一点管理和监控桥接桥接子系统两大功能桥接开发（中间件工具）桥接服务配置和部署桥接服务运行桥接运行与管理业务信息管理监控分析桥接开发工具（中间件）14基于浏览器的桥接管理和监控15桥接统计分析交换前置子系统部门业务库（发送方）中心•数据接收代理•消息系统（WS）+适配器•前置数据库•关系数据库•数据发送代理•消息系统（WS）+适配器前置机前置子系统管理前置机配置前置机运行状态前置机上的交换服务远程启动和关停前置服务管理和监控子系统基于浏览器的中心管理功能在中心管理平台上远程管理和监控交换平台的所有子系统分级管理（平台、域、节点）应用交换域多级平台对接（路由）中心集中管理管理和监控总体情况传输管理安全管理路由管理日志服务节点管理业务域管理统计分析中心集中管理管理和监控总体情况传输管理安全管理路由管理日志服务节点管理业务域管理统计分析易达讯数据平台功能基于HADOOP大数据技术超高性能、超高可靠性、超高稳定性和扩展性集采集、传输、存储为一体提供交换、共享、处理等服务功能可以基于政务网、互联网提供云应用服务云交换服务云数据处理服务由于采用了大数据集群技术，使得易达讯大数据平台具有传统平台所不可能具备的诸多能力什么是大数据？Volume海量的数据规模Variety多样的数据类型流数据实时近实时批处理TBPBEB结构化非结构化半结构化ValueVelocity快速的数据流转巨大的数据价值大数据时代的系统要求Highperformance–高并发读写的需求•高并发、实时动态获取和更新数据HugeStorage–海量数据的高效率存储和访问的需求•类似SNS网站，海量用户信息的高效率实时存储和查询HighScalability&HighAvailability–高可扩展性和高可用性的需求•需要拥有快速横向扩展能力、提供7*24小时不间断服务Lowcost-低成本•利用普通商用PC服务器大数据架构–硬件一台至近万台普通PC服务器组成的集群分布式存储–每台PC服务器自身带存储分布式计算–每台PC服务器自身带CPU和内存集群PC服务器的运算能力》超级计算机低成本提供高运算能力、高可靠性、高扩扎性大数据架构–核心软件HADOOP–框架HDFS–分布式文件系统（数据操作系统）•文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构•类似NFS、NTFS、FAT•HDFS分布在一至上万台服务器上并行运行•传统的NFS、NTFS、FAT只能单机运行MAPReduce•针对集群环境下数据处理的分布式编程模型•把业务逻辑从多个处理逻辑中分离出来了•通过共享池和部分RPC的形式来达到彼此之间的同步和通信大数据架构–其它软件模块HBase:一个分布式、按列存储的数据仓库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询（随机读取）。Pig:一种数据流语言和运行环境，用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。Hive:一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言ZooKeeper:一个分布式、高可用的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用Lucene：开源的高性能全文检索工具包Hadoop生态环境易达讯数据平台eStarCMM–分布式消息、分布式流数据、ESB数据交换数据共享数据处理Linux集群HDFSMapReduceLuceneHBaseStormSolrZooKeeper大数据管理共享交换管理易达讯数据平台应用架构交换服务超高性能、可靠性和处理能力提高管理能力增强云交换服务eStarCMM–分布式消息、分布式流数据、ESB数据交换数据共享数据处理Linux集群HDFSMapReduceLuceneHBaseStormSolrZooKeeper大数据管理共享交换管理数据平台VS.传统交换平台QQ引擎单台服务器单机处理外部存储Pass-ThroughASP服务模式16轮+大卡引擎单台服务器至上千台服务器集群多机并行处理本地集群存储Store-Forward云交换服务模式云交换服务虚拟平台A（交换域、节点）虚拟平台C（部门内部交换）虚拟平台B（交换域、节点）部门业务系统部门业务系统部门业务系统本地前置中心前置云计算中心云交换SAAS服务一套云交换产品多租户虚拟交换平台（一对多）可以支持无限多个虚拟平台各虚拟平台完全独立运行每个虚拟平台支持多个交换域每个域内管理多个交换节点支持互联网或政府网运行整合共享服务整合利用数据整合工具整合来自不同数据源的数据数据源可以是结构化和非结构化数据大量适配器组件清洗、过滤、转换查询、检索可以检索任何数据，如Word、Excel、PDF、数据库和HTML文档速度快、查询精准在线实时分析全量数据分析eStarCMM–分布式消息、分布式流数据、ESB数据交换数据共享数据处理Linux集群HDFSMapReduceLuceneHBaseStormSolrZooKeeper大数据管理共享交换管理适配器OracleMSSQL文件WebServicesAPI查询分析调用数据轨迹实时跟踪核对37数据核对跟踪38云交换SaaS服务39在一个物理平台上建立多个虚拟交换平台每个虚拟平台可分配多个交换域按业务域和节点管理信息共享40按业务流程建立业务域管理体系。业务域以横向协同为主，通常为一种跨部门业务流程按业务域给出合作节点的状态，如运行，停止与未安装按管理职能建立节点管理体系。节点以部门为主，在其职能范围建立管理分布式云消息总线41提供集成平台所需的各种服务纵向•消息服务总线•企业服务总线•流程服务总线提供总线服务器集群的监控•总线运行情况•总线服务器情况提供总线服务器集群的管理•启动•停止提供总线服务器集群云平台管理与监控42通用Hadoop框架提供Hadoop以及Hadoop相关的服务集成Hadoop管理监控检查集群状态操作集群的管理，如启动，停止等Hadoop集群为平台提供统一的存储，数据库，数据批处理等功能建立新应用43云平台管理系统本身是建立在新的SSH应用开发体系SSH－Hbase体系代替了传统的关系型数据库，提供的角色管理，界面框架，以及对象与NoSQL数据库的映射新应用可以在平台上直接开发平台提供完整的应用开发体系大数据平台特点集数据采集、传输、存储为一体支持交换服务、共享服务、存储服务和处理服务支持传统交换和云交换服务模式极高的可靠性、扩展性极强的处理能力低成本易达讯数据平台安全保障认证利用业界标准Kerberos可信的第三方认证协议认证用户、服务、服务器等授权采用访问控制列表（ACL，AccessControlList）技术LDAP、HDFS权限设置等保密加密机制，RPC加密、HDFS数据传输加密、HTTPs数据完整数字见面方式保证数据的完整不被串改审计提供详细的审计报告易达迅云交换平台实例eStarCloudBusPlatfrom46eStar云交换平台实践国家旧机动车交易网宁波市数据交换公共服务平台浙江省人口基础信息库47北京旧机动车大数据交换平台背景介绍全国最大的机动车市场（网上和网下）每年机动车买卖（拍卖和交易）额超过10亿全国最大的在线机动车拍卖系统业务需求实时