智能交通大数据汇报huadi14050836

智能交通大数据管理系统及数据分析平台研发与产业化华迪计算机集团有限公司公司介绍市场分析项目内容华迪计算机集团有限公司（以下简称“华迪”）成立于1994年，隶属于中国航天科工集团公司，是由航天信息股份有限公司（股票代码600271）控股，员工持股的具有深刻文化内涵、以应用解决方案为核心的信息技术服务企业。具有工业和信息化部计算机信息系统集成一级资质、国家保密局计算机信息系统集成涉密甲级资质、国家保密局涉密软件开发单项资质、国家人防办人防信息系统建设保密项目（施工）甲级资质及高新技术企业、软件企业等多项国家级资质。公司简介1994年美国DEC公司与中国航天工业总公司合资成立华迪，世界先进IT技术和中国航天精神凝聚形成中国IT生力军。1997年康柏收购DEC，华迪成为中国航天工业总公司与康柏公司的合资公司。2000年华迪成为由中国航天科工集团控股、职工参股的有限责任公司2004年中国航天科工集团公司与中国中信集团公司合作，对华迪增资扩股，两大股东强强联合，实现优势互补，大大增强华迪企业实力。2007年2009年正式更名为“华迪计算机集团有限公司”，实现集团化管理经营模式。航天信息股份有限公司注资华迪，实现行业内同业整合，扩大市场占有率，壮大企业规模组织机构经过多年的发展，华迪形成了覆盖全国的大华迪体系，服务遍及全国各大城市，能够为客户提供从咨询、规划、部署到实施的一体化服务，力求以先进的思想引领客户，以卓越的服务满足客户，真正实现“以客户为关注焦点，以客户为服务中心”。服务网络交通领域-自主知识产权产品华迪交通应急指挥平台软件V2.0华迪港口物流信息平台软件华迪应急地理信息系统（HD-EGIS）华迪元数据管理平台软件V1.0华迪统一资源目录系统华迪全程一体化建模平台软件V3.0华迪物联网全程感知系统华迪交通大数据中心服务平台V1.0华迪企业综合门户系统V2.0重点重点计算机信息系统集成一级资质涉及国家秘密的计算机信息系统集成资质（甲级）涉及国家秘密的计算机信息系统集成资质（软件开发单项）人防信息系统建设保密项目设计（施工）资质（甲级）安防工程一级企业资质建筑智能化工程专业承包资质CMMIL3认证ISO质量管理体系认证高新技术企业软件企业北京市AAA级信用企业中国软件协会会员单位高企协优秀会员单位安全防范行业协会会员单位…重点资质公司介绍市场分析项目内容市场分析中国交通基础设施建设规模市场分析智能交通系统面临大数据的挑战市场分析数据处理需求与传统平台扩展能力之间的差距不断增大市场分析发展机遇：开放数据与大数据政府开放数据为社会开发北京市政府数据资源网（）于2012年10月测试上线，作为大数据惠民一项重要探索，为政府信息资源的社会化开发利用提供数据支撑。市经信委牵头组织了全市29个部门400多个数据包，覆盖旅游、教育、交通、医疗、国土等政府数据，面向企业和个人提供APP应用开发。每年为企业和社会节约数据采购与处理费用近亿元。通过提高政府从大型复杂的数字数据集中提取知识和观点的能力，承诺帮助加快在科学与工程中的步伐，加强国家安全，并改变教学研究。市场分析大数据特点（）•非结构化数据的超大规模和增涨，总数据量的80%-90%，比机构化增长快10-50倍，是传统数据仓库的10-50倍•集中储存/集中计算已经无法处理巨大的数据量数量巨大（Volume）•大数据的异构和多样性，很多不同形式（文本、图像、视频、机器数据），无模式或者规模不明显，不连贯的语法和句义信息多样（Variety）•单条数据本身并无太多价值，但庞大的数据量累积并隐藏了巨大的财富•大量的不相关信息，对未来趋势与模式的可预测分析，深度复杂分析（机器学习、人工智能VS传统商务智能）价值密度（Value）•实时分析和非批量式分析，数据输入、处理与丢弃，立竿见影而非事后见效•用户基数庞大/设备数量众多/实时海量/数据指数级别增长速度高效（Velocity）市场分析大数据技术与智能交通改变传统交通管理的路径一是解决跨越行政区域的限制二是具有信息集成优势和组合效率三是数据的智能性能较好的配置交通资源四是大数据的快速性和可预测性能提升交通预测的水平市场分析大数据在智能交通的优势优势提供环境监测方式大数据技术与智能交通市场定位及目标定位目标整合数据资源，数据资源交互渗透创新交通大数据分析应用基于大数据分析，改善和提高公众出行的智能化服务水平基于大数据分析，改善和提高交通安全水平提供环境监测方式，改善空气环境质量应用大数据分析，促进服务模式更合理公司介绍市场分析项目内容核心优势“闪电”般的速度国内全面基于下一代计算引擎SPARK的大数据平台软件，比开源Hadoop2.0版本快10x~100x倍，比MPP数据库快1.5x到10x，性能接近HANA.超强的分析能力支持对结构化数据(关系表)、图数据、文本数据进行深度挖掘分析，支持更完整的SQL，支持多种图算法和流行的R语言统计语言。全兼容Hadoop生态系统与现有工具和应用无缝结合，支持Tableau,SAPBusinessObjects,OracleBI等流行的BI和报表工具。超快的性能才能流畅地使用这些漂亮的报表工具，让用户轻易交互式分析TB级别的数据。成熟的企业级解决方案提供安装、管理、运维等完备的企业级管理工具，提供安全授权和访问控制机制和资源隔离能力，在电信、金融、电商、交通等领域均有成熟应用，产品稳定可靠。19国产大数据平台软件，在数据存储、分析、在线服务领域可取代IOE运行在主流x86服务器上，硬件成本更低、维护更容易20产品系列Hadoop大数据存储和在线服务系统HDFS2,ErasureCode,YARN,MAP/REDUCE2,ZOOKEEPER,SQOOP,FLUME,MAHOUTInceptor分布式内存分析引擎（SQL+R交互式统计分析）Hyperbase实时在线数据处理引擎（搜索、索引、图计算）Stream实时流处理引擎（实时统计、汇聚）Inceptor分布式内存分析引擎：高速大数据分析利器21•适合提供高速在线分析服务•可按时间维度统计/聚合，如pageview,uniqueid,hitratio,etc.•根据历史数据的拟合和预测•计算数据之间的相关性和模式优势：适用于数据量在GB到10TB的高速数据分析，复杂的迭代式或者交互式SQL分析更有利数据的集中日益成为趋势,整合数据孤岛、集中处理和分析。同时快速交互式数据分析需求迫切：•交互式数据仓库•高频交易量化分析•情报分析•在线分析平台数据源以结构化数据为主•政府各部门数据•证券交易•银行保险•交易数据（购票、订单等）•企业ERP/CRM数据•零售业•连锁酒店/旅游业•工业制造数据量GB-TB关系表关系表SQL接口JDBC/ODBCsqoop关系表关系表关系表关系表CheckpointR并行算法库内存列式表(index,filters)内存列式表(index,filters)Inceptor内存分析库(index,filters)内存列式表(index,filters)内存列式表(index,filters)Inceptor内存分析库(index,filters)数据挖掘HDFS（持久化层）cacheHyperbase实时在线数据处理引擎核心优势22日志日志文本文本关系数据库关系数据库二进制文件二进制文件图像图像sqoopflumeGraph Algorithms图算法引擎Graph Algorithms图算法引擎Java APIJava API4.支持结构化记录、半结构化文本、非结构化数据（图片、音频、二进制文档等）的存储、搜索、统计和分析。全局/局部索引全局/局部索引全文索引全文索引Global/Local Indexing & FilteringGlobal/Local Indexing & FilteringFull‐textSearch ServiceFull‐textSearch ServiceHYPERBASE JAVA APIHYPERBASE JAVA API有5.提供构造图形的API，帮助用户构造由上亿顶点组成的复杂大图，同时提供专有的高效图算法。INCEPTOR高速分布式内存分析引擎INCEPTOR高速分布式内存分析引擎JDBCJDBCODBCODBCCLICLIRRJAVAJAVA实时在线应用系统ontopofHyperbase1.Hyperbase实时在线数据处理引擎是企业建立高并发的在线业务系统的最佳选择3.支持毫秒级的高速数据插入、更新和检索,秒级的全文搜索；支持上亿用户高并发访问速2.高效SQL引擎支持通过SQL访问HBase的数据表；同时支持离线批处理和高速OLAP分析HBase分布式数据存储引擎Stream实时流处理引擎(即将发布)在线模型训练时间窗口统计异常阈值对比报警消息队列传感器日志传感器日志传感器日志传感器网络500毫秒延迟监控窗口统计100%消息可靠传输数据Exactly-Once保证在线SQL-like查询数据同时输出到实时、离线集群在线预警与离线精准挖掘结合Map/Reduce实时查询HDFS/20130101/…/20130102/…转换、清洗Stream EngineStream Driver流驱动器Stream QL统计Stream ML机器学习StreamApplications注平台整体体系智慧感知智慧感知互联互通互联互通无限负载、稳定无限部署、扩展物联网与云计算物联网与云计算大数据管理系统及数据分析平台公交/出租应急指挥决策分析政府网站经营情况数据查询智能终端交通导航服务网站政府/行业主管部门企业公众智能化应用智能化应用智能交通智能交通项目建设内容智能交通大数据管理系统及数据分析平台智能交通大数据管理系统及数据分析平台资源统一管理与调度子系统资源统一管理与调度子系统实时数据流处理子系统实时数据流处理子系统深度分析子系统深度分析子系统交通信息服务子系统交通信息服务子系统作业管理资源管理资源调度资源监控数据流管理数据流处理数据流查询分析模型构建分析结果查询分析接口管理交通行业综合分析服务服务水平评价运行能力辅助决策公共交通运能仿真评估公众出行信息服务大数据管理大数据分析大数据服务项目整体架构结构化、非结构化数据源结构化、非结构化数据源ETL数据来源采集适配器数据管理数据存储数据集成RDBMSNOSQLHDFS内存数据库分布式缓存大数据集成实时流处理数据处理MapReduce框架PIGHIVEDaaS层(统一数据访问接口，数据服务，数据路由分发，SQL解析适配，事务管理)数据挖掘数据服务统计分析数据搜索OLAP分析报表元数据管理系统管理安全管理元数据管理系统管理安全管理交通信息服务交通信息服务数据分析交通数据源交通数据源基础交通数据基础交通数据静态数据/历史数据静态数据/历史数据动态交通数据动态交通数据道路交通信息公路运行信息公共交通运行信息对外交通运行信息交通管理信息交通调查数据其他信息水路运行信息环形线圈（地面主干路、快速路、路口）视频检测（快速路、路口、桥隧）GPS（出租车、公交车、客货车）微波、雷达、红外等检测停车场车辆检测（线圈、视频）高速公路收费站视频检测，收费统计高速公路感应线圈轮船视频检测、客流量统计轮船GPS/AIS公交车GPS乘客计数装置公交线路运营和调度系统轨道站点视频检测公共交通卡客流统计轨道车辆调度信息长途客运、货运管理信息系统航空客运、货运管理信息系统港口客运、货运管理信息系统铁路客运、货运管理信息系统交通管制信息交通事故和事件检测设备道路施工、养护管理信息系统基于移动技术的手机出行调查交通调查（大调查，小样本调查）城市基础地理信息系统气象部门交通大数据交通大数据交通信息服务交通信息服务交通信息服务交通综合信息道路交通运行状况港口船舶运行状况交通枢纽运行状况停车场信息公交/出租车信息出行综合信息服务出行综合信息服务道路交通联动诱导道路交通联动诱导决策支持信息服务决策支持信息服务公共交通信息服务公共交通信息服务公共