格力大数据项目工作说明书

格力大数据项目工作说明书北京西塔网络科技股份有限公司二零一六年一月格力大数据项目工作说明书(SOW)1项目目标.................................................................................................................................32建设及服务内容...................................................................................................................42.1需求调研及数据标准化................................................................................................................42.2大数据基础平台搭建...................................................................................................................42.3数据采集......................................................................................................................................42.4分层存储设计...............................................................................................................................52.5数据加工处理...............................................................................................................................52.6数据分析挖掘...............................................................................................................................52.7内存数据库...................................................................................................................................52.8交互式探查分析...........................................................................................................................62.9数据可视化应用...........................................................................................................................62.10语音智能分析...............................................................................................................................62.11文本、视频、图片存储................................................................................................................62.12大数据平台运维监控...................................................................................................................62.13大数据平台任务调度...................................................................................................................72.14ETL过程可视化...........................................................................................................................72.15培训工作......................................................................................................................................73建设方案.................................................................................................................................84时间进度与里程碑...............................................................................................................85费用支付.................................................................................................................................9格力大数据项目工作说明书(SOW)第2页6需求变更过程........................................................................................................................96.1变更依据......................................................................................................................................96.2变更请求处理流程.......................................................................................................................97双方责任...............................................................................................................................108项目组织架构......................................................................................................................129假定条件...............................................................................................................................12格力大数据项目工作说明书(SOW)第3页1项目目标在珠海格力电器股份有限公司的范围内，分期实现格力工业大数据平台项目的数据集成、连接、处理、分析、挖掘等相关功能。本期项目包括设计、搭建大数据平台，接入商技一部、商技二部、计算机中心的销售订单等相关数据，实现设备故障诊断、故障预测、产品统计、实时查询、营销支持、智能搜索等功能。故障诊断的业务目标：大数据平台处理、分析商用空调运行时采集回传的工况数据，及时、准确定位运行故障并给出大致原因，为维护部门维修空调设备和系统提供信息支撑，降低故障定位的时间、范围和工作量，缩短停机时长并提高客户满意度、忠诚度。故障预测的业务目标：大数据平台利用数据挖掘、机器学习技术，通过学习业已存在的设备故障数据、信息，尤其是发生故障的前兆数据，归纳故障发生的特点、规律知识，并利用流计算相关技术及时发现潜在的故障及风险，及时预警，减少停机的次数及停机时长。另外发现停机模式、规律可以进一步应用到产品设计、改进过程中。产品统计的业务目标：大数据平台利用集成的产品及销售数据进行统计分析，用于分析产品的销售情况，客户情况，销售规律、特点及变化趋势，用于指导产品的个性化设计及产品的推广销售。实时查询的业务目标：大数据平台利用NewSQL存储技术存放设备数据，提供特定编号设备、一段时间内工况信息的实时查询功能，用于业务人员分析、判断特定设备在查询时间范围内的工作状态，总结、发现业务规律。营销支持的业务目标：大数据平台利用集成的产品及销售数据进行分析，发现其中先后、重复购买及交叉购买情况和规律，提醒、推荐客户购买特定的产品和服务，提高产品和服务的销量。智能搜索的业务目标：格力大数据项目工作说明书(SOW)第4页大数据平台提供通过语音输入完成产品及销售数据的查询、统计及分析的功能。2建设及服务内容以下所有内容基于1月19日版本的需求文档。详见《格力大数据需求说明1.0》文档，建设内容为基于Hadoop生态系统构建大数据平台，内容包括商用空调、家用空调、销售等历史数据的入库，ETL处理，数据仓库、离线计算、内存计算、实时计算、即席查询、可视化展示等内容。具体内容如下：2.1需求调研及数据标准化包括功能商技一部、商技二部、销售、审计部门的需求调研、数据调研以及数据标准化。2.2大数据基础平台搭建基于Hadoop搭建大数据平台，包括HDFS、MapReduce、HBase、Hive、Spark，MySql集群。使用HDFS存储原始数据，供离线分析挖掘；使用Spark/MapReduce执行离线任务；使用HBase做实时查询；使用Hive/SparkSQL做数据仓库；使用MySql集群存储分析结果书，供上层应用查询。2.3数据采集大数据采集包括非结构化数据、结构化数据的采集，非结构化数据采用FlumeNG采集，Oracle/SQLServer/MySQL关系数据库中的结构化数据采用Sqoop收集。此外还有实时流数据采用分布式消息队列采集。Flume收集非结构化数据，Flume是一个高可用的，高可靠的，分布式的海量数据采集、聚合和传输的系统，Flume支持定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写入到HDFS中。Sqoop收集结构化数据，Sqoop(发音：skup)，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的