云存储总体设计方案

LAUNCH云存储总体设计方案10HOM21020002密级：绝密2013年9月9日第1页共14页云存储总体设计方案编号：10HOM21020002拟稿审核批准签名覃永才日期2013-09-09LAUNCH云存储总体设计方案10HOM21020002密级：绝密2013年9月9日第2页共14页目录1.目的............................................................................42.适用范围........................................................................43.定义............................................................................44.系统总体部分....................................................................54.1系统概述..........................................................................54.2系统功能、性能....................................................................54.3系统总体结构......................................................................64.4关键技术..........................................................................84.5系统配置..........................................................................94.6外包、外购子系统规格..............................................................94.7产品升级.........................................................................104.8用户支持（可选）.................................................................104.9可靠性规格.......................................................................105.软件设计.......................................................................105.1功能设计.........................................................................106.测试系统设计...................................................................146.1单元测试设计.....................................................................146.2集成测试设计.....................................................................146.3系统测试设计.....................................................................14LAUNCH云存储总体设计方案10HOM21020002密级：绝密2013年9月9日第3页共14页修订履历序号版本号修订内容修订人修订日期AV1.00.000初稿覃永才2013-09-09BCDEFGHIJKLMNOPQRLAUNCH云存储总体设计方案10HOM21020002密级：绝密2013年9月9日第4页共14页1.目的云存储设计方案用来存储RCU-U（车云平台）终端设备所采集的数据，以及对采集数据简单的查询功能，是对软件及测试概要设计和详细设计的约束。2.适用范围对于此设计方案设计多方面的内容，使用范围：软件代表、测试代表、设计代表。3.定义缩略语英文中文描述HadoopHadoopApache基金会下面的一个开源项目，这个项目包含很多子项目ZookeeperZookeeperHadoop子项目之一，大型分布式系统的可靠协调系统HBaseHBaseHadoop子项目之一，分布式的、面向列的开源数据库HDFSHadoopDistributedFileSystem是一个分布式文件系统。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上VINVehicleIdentificationNumber车辆识别码UBIUsage-BasedInsurance基于驾驶行为的保险GPSGlobalPositionSystem全球定位系统GSMGlobalSystemforMobileCommunication全球移动通讯系统GISGeographyInformationSystem地理信息系统GPRSGeneralPacketRadioService)通用分组无线服务3G3rd-generation第三代移动通信技术G-SensorGravity-sensor重力传感器GYROGyroscope陀螺仪LAUNCH云存储总体设计方案10HOM21020002密级：绝密2013年9月9日第5页共14页4.系统总体部分4.1系统概述4.1.1名称、型号、版本、保密代号此项目为云存储，简称LaunchCloud，云存储，版本V1.00.000。4.1.2版本描述4.1.3云存储主要是设计一个存储亿级记录的分布式云存储系统，整个系统大致包含2大部分：（1）云存储：RCU-U终端采集行驶数据的存储，RCU-U终端部分分析后的数据存储，MapReduce分析后的结果存储。（2）云存储门户网站：设备管理，用户管理，用户操作日志记录，第三方应用的API(预留)。该系统存储的数据主要是为以后的业务应用（如：UBI、汽车租赁等）提供原始的数据，以及提供大数据分析的技术扩展4.2系统功能、性能4.2.1功能特性4.2.1.1云存储功能有以下几个方面系统部分:1.使用业内比较成熟的，开源的Hadoop+Zookeeper+Hbase云存储来存储汽车原始的行驶记录，2.设备资料，用户资料等亿级以下的数据使用开源的数据库mysql来存储3.基于Linux操作系统具体业务部分:1.GPS信息存储2.G-SENSOR(加速/减速)信息存储3.陀螺仪信息存储4.速度信息存储5.发动机转速信息存储6.安全带指示信息存储7.气囊信息存储LAUNCH云存储总体设计方案10HOM21020002密级：绝密2013年9月9日第6页共14页8.胎压信息存储9.里程计信息存储10.车门信息存储11.油耗信息存储12.点火信息存储13.转向信息存储14.远程诊断信息存储15.超速信息存储16.急刹信息存储17.急加速信息存储18.旅程行驶距离信息存储19.碰撞事故信息存储20.意外事故信息存储21.用户操作日志记录存储22.设备信息存储23.用户信息存储24.用户汽车阀值存储(电子栏栅，超速阀值,各种数据采集的频度等)25.软件下载26.系统日志27.第三方应用的API(预留)4.3系统总体结构4.4.1云存储系统方框图4.4.1.1云存储功能性系统方框图LAUNCH云存储总体设计方案10HOM21020002密级：绝密2013年9月9日第7页共14页4.4.1.2RCU-U物理性系统方框图Linux服务器集群Hadoop集群Mysql开源数据库GPS信息存储G-SENSOR信息存储陀螺仪信息存储速度信息存储发动机转速信息存储气囊信息存储安全带指示信息存储胎压信息存储里程计信息存储车门信息存储油耗信息存储点火信息存储远程诊断信息存储转向信息存储超速信息存储急刹信息存储急加速信息存储旅程行驶距离信息存储意外事故信息存储碰撞事故信息存储用户操作日志记录存储设备信息存储用户信息存储用户汽车阀值存储系统日志软件下载Zookeeper集群Hbase集群数据高速缓存Nginx主备热切换动/静分离负载均衡Tomcat集群第三方应用API通讯集群Nginx-Master/负载均衡/动静分离Nginx-SlaveHBase-SlaveHBase-MasterNameNodeNameNode-Secondary……HRegion-1Zookeeper-1Datanode-1……WebServer-1WebServer-2WebServer-n数据缓存层-1数据缓存层-2数据缓存层-n……Mysql-MasterMysql-SlaveWeb集群层HRegion-2Zookeeper-2Datanode-2HRegion-nZookeeper-nDatanode-n云存储集群层云存储门户网站LAUNCH云存储总体设计方案10HOM21020002密级：绝密2013年9月9日第8页共14页4.4.1.3对应关系云存储层：GPS信息存储、G-SENSOR(加速/减速)信息存储、陀螺仪信息存储、速度信息存储、发动机转速信息存储、安全带指示信息存储、气囊信息存储、胎压信息存储、里程计信息存储、车门信息存储、油耗信息存储、点火信息存储、转向信息存储、远程诊断信息存储、超速信息存储、急刹信息存储、急加速信息存储、旅程行驶距离信息存储、碰撞事故信息存储、意外事故信息存储、用户操作日志记录存储云存储门户网站：设备信息存储、用户信息存储、用户汽车阀值存储(电子栏栅，超速阀值,各种数据采集的频度等)、软件下载、系统日志、第三方应用的API(预留)4.4.2可测性设计的整体结构描述：测试过程一般按3个步骤进行，即单元测试、组装（集成）测试，系统测试，为了支持这些测试在下面的软件设计中作了如下考虑：软件模块以及内部子模块的对外接口标准化，整个软件流程系统化，以支持单元测试中的模块接口测试、出错处理测试，并使测试用例测试，同时使集成测试方便容易；软件模块内部采用清晰明了的判断分支结构。以方便白盒方式的路径测试；软件模块保证可理解性。使用有意义的数据名和函数名，充分的注释。以方便测试用例的生成、以及走查等软件评审。在关键的地方增加LOG信息，以方便出问题的时候知道问题出在哪里。4.4关键技术1.高可靠性云存储底层的HDFS是一个分布式文件系统。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序2.高扩展性Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。假如想扩展云存储系统中的存储容量，运算能力，直接水平添加机器，修改配置即可实现，上层程序不需要做任何修改。LAUNCH云存储总体设计方案10HOM21020002密级：绝密2013年9月9日第9页共14页云存储门户网站前端采用高性能的nginx服务器做负载均衡，动静分离，静态资源缓存，经典的master-slave热备切换，不间断提供服务；Web集群层同样也可以按照集群的负担情况动态添加物理机器；数据缓存层是提供快速响应的重要保障；数据库Mysql存储层可以随着访问量的增大，按照业务垂直切分3.高效性Ha