CDAS2017曹正凤智慧交通大数据平台及应用31页

北京中国大饭店第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT2017.07智慧交通大数据平台及应用ADDYOURPOWERPOINTTITLEHERE演讲人：曹正凤第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT个人简介曹正凤统计学博士北京大数据协会理事经管之家（原人大经济论坛）大数据课程培训负责人首发集团智慧交通大数据中心筹备组负责人博士论文：随机森林算法优化研究出版专著：从零进阶！数据分析的统计基础EI核心论文：ParameterSettingsofGeneticAlgorithmBasedonMulti-FactorAnalysisofVariance主持全国统计科学研究项目：基于大数据平台的我国宏观经济走势预测研究第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT从零进阶！数据分析的统计学基础2017/7/17第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT目录大数据团队概况及建设方案1智慧交通大数据平台2智慧交通大数据应用3第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT大数据部的组织架构2017BigDataDepartment技术总监开发团队（4）平台团队（4）产品团队（3）数据团队（4）QA团队（2）第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT强大的技术架构2017BigDataDepartment团队共19人技术总监1人专业数据挖掘分析师4人大数据可视化工程师1人需求分析师3人总工程师1人高级软件工程师5人架构师1人业务经理1人QA管理1人博士学历2人研究生学历8人第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT智慧交通大数据中心建设方案（1+N战略）第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT一期建设的内容第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT智慧交通大数据平台建设的目的和意义智慧交通大数据平台2人人都能进行大数据分析第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT大数据学习门槛高mahoutJAVAsparkJDBC第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT开源大数据平台的开发难度高例如，黑屏命令行操作维护方式，增加了运维开发人员的工作难度、操作量，降低的工具的友好性。第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT开源大数据平台运维成本高大数据集群数量众多的服务器不便于整体的部署与管理。1.资源监控2.组件部署3.资源分配4.辅助工具…第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT智慧交通大数据平台的功能特性智慧交通大数据平台2第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT我们的产品功能特性——各种异构数据的全方位汇集第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT功能特性--拖拽式、图形化大数据分析环境，降低门槛和使用难度第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT•功能特性——便于维护自动部署•操作系统、LDP平台自动化部署功能•添加、批量移除，触发hadoop、hbase等服务的一系列处理参数配置优化•图形化界面操作，配置过程简单、易操作；•Hadoop基础组件（Hadoop-core、Hive、HBase）配置参数1000+；服务器状态监控•CPU、内存、网络、磁盘运行状态•超过阀值报警任务监控•清晰的看到主机上运行了那些任务，任务的运行状态，是正常运行还是有故障•各个任务运行的内存、CPU的使用情况第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT•功能特性——安全可靠•LDP平台可以控制数据访问，并对已通过验证的用户提供数据访问特权。安全授权•LDP平台支持细粒度的Hadoop数据和元数据访问控制；在服务器、数据库、表和视图范围提供了不同特权级别的访问控制，包括查找、插入等；允许管理员使用视图限制对行或列的访问，支持字段级别的访问控制；细粒度访问控制•LDP平台通过基于角色的授权简化了管理，可以将访问同一数据集的不同特权级别授予多个组。基于角色的管理•LDP平台允许为委派给不同管理员的不同数据集设置权限。多租户管理•对可信任的客户端提供认证，确保他们可以执行作业的相关操作。防止用户恶意冒充client提交任务。即使伪装成用户入侵到一个HDFS或者MapReduce集群上，也无法读取HDFS上的数据。机器级别的安全认证第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT智慧交通大数据应用3综合稽查BI展示视频结构化第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT基于大数据平台的综合稽查综合稽查针对当前高速公路的逃费问题，提出了一套基于大数据分析的高速公路防逃费稽查方案，本系统方案利用当前高速公路视频监控系统的可视化视频和图片信息结合通行信息，运用大数据存储和分析的手段，从海量历史数据中提取出疑似逃费车辆和黑名单的车牌、抓拍图片、通行视频和通行路径等证据信息，形成逃费证据链信息，该证据链信息可有效用于高速公路路政执法、公安执法，为打击高速公路偷逃费、嫌疑车辆定位提供了完善的稽查手段和证据信息。产品概况嫌疑车辆确认、黑名单管理、车辆特征管理、动态超时管理、数据稽查审核管理、证据链管理、车票及通行券路径查询。主要功能第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT综合稽查系统架构第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT异车倒卡处理流程第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT黄冀GC9035百泉庄双向入土桥站内环出黄冀GC9582潞苑北街站双向入双横双向出应缴：125+145实缴：20+10逃费：240第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT同车倒卡处理流程第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT黄冀GB87922016-8-49：38：12百泉庄双向入黄冀GB87922016-8-413：46：00长阳内环入黄冀GB87922016-8-415：32：05康庄出京出·应缴：215元实缴：70元逃费：145元正好不超时第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT视频数据分析应用之二:视频数据分析车辆多维特征提取交通参数提取交通事件检测以图搜图第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMITProduct首发智慧高速BI展示平台实时动态显示交通流量，时间间隔为2s应用之三：基于大数据平台的实时BI展示实时动态显示收费任务完成进度实时动态显示按路段收费金额汇总第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT批量计算(按车型统计车流量)批量计流程：1、每日凌晨2点，Sqoop从分中心数据库(SqlServer)抽取数据到Hive（由于车道数据上传到分中心有延迟，故2小时候启动导入）2、启动spark任务进行统计计算，并将结果写入到Mysql按车型统计每小时交通流量和收费数据按车型统计每天交通流量目的：实现每日从业务系统抽取交易数据，并按车型汇总交通流量。BI展示：JAVA实现Web服务读取批量计算后的数据通过Web浏览器展现第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT架构设计业务系统数据库BI系统数据库Hadoop(HIVE)Spark批量计算业务系统可视化大数据分析平台每日增量导入BI系统MSSqlservermysqlSqoop每日定时导入数据Impala结合SparkSQL实现统计运算第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMITTHANKS第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT