电商大数据采集系统建设方案

重庆炙迅科技有限公司ChongQingBroilingTechnologyCp.,Ltd.1电商大数据采集分析系统建设方案V1.0-20200610重庆炙迅科技有限公司一、建设背景数据是国家基础性战略资源，是21世纪的钻石矿。党中央、国务院高度重视大数据在经济社会发展中的作用，党的十八届五中全会提出实施国家大数据战略，国务院印发《促进大数据发展行动纲要》，全面推进大数据发展，加快建设数据强国。十三五时期是我国全面建成小康社会的决胜阶段，是新旧动能接续转换的关键时期，全球新一代信息产业处于加速变革期，大数据技术和应用处于创新突破期，国内市场需求处于爆发期，我国大数据产业面临重要的发展机遇。抢抓机遇，推动大数据产业发展，对提升政府治理能力、优化民生公共服务、促进经济转型和创新发展有重大意义。二、建设内容坚持“统一规划、分步实施，整合资源、协同共享，突出重点、注重实效”的原则，打造集约、开放、共享的平台体系，平台主要包括一下内容：1、大数据采集系统。可以实现与县电商平台、物流平台等无缝对接，实现县乡村三级物流体系数据全部汇重庆炙迅科技有限公司ChongQingBroilingTechnologyCp.,Ltd.2总上报。同时采集系统与第三方数据采集平台对接，抓取淘宝、京东等数据。同时也可以定制开发与本地第三方平台对接，研制数据适配接口，对接各应用系统获取各类异构数据，并采用大数据主流的框架和系统对数据进行统一存储，为数据的挖掘和分析打好基础。重庆炙迅科技有限公司ChongQingBroilingTechnologyCp.,Ltd.32、大数据分析加工系统。实现大数据的效果呈现，可实现县电子商务上行、下行，产品类别，日交易额及相关流水等数据多重风格形式展示。采用数据挖掘、数理统计等相关技术，构建大数据分析框架，提取数据中隐含的、未知的、极具潜在应用价值的信息和规律，通过数据报表工具，根据需求制定多样的，针对性的数据报表。重庆炙迅科技有限公司ChongQingBroilingTechnologyCp.,Ltd.43、大数据显示大屏。主要用来展示县电子商务大数据情况，通过大屏集中展示县电子商务发展情况和发展进程，重点包括有关电商交易额、快递订单量、村级店运营、交易产品信息数据，管理所有农村电商信息及与其相关的资源，同时作为全县电子商务运营指挥中心，可以成为对外展示电子商务的窗口。同时，所有数据显示都可进行编辑校准，有效避免程序计算出错的状况。重庆炙迅科技有限公司ChongQingBroilingTechnologyCp.,Ltd.5重庆炙迅科技有限公司ChongQingBroilingTechnologyCp.,Ltd.6三、战略分析电子商务大数据平台的建设是采用数字化技术手段、网格化管理模式，建立长效管理联动新机制、提升电子商务统计的科学水平和乡村振兴运行效率的新思路，对地区的电子商务产业发展、经济快速发展具有重要意义。1、有利于基础信息资料的共享，增强产业管理和服务能力。平台将为全县各部门提供有效的信息共享机制和信息更新机制，电子商务基础数据及时更新，保持一致性、准确性和权威性。有利于电子商务基础信息资料的共享，增强政府管理和服务能力。有利于推进电子商务服务创新的实施。2、有利于加强政府决策的准确率，减少人力成本。通过系统统计分析出社会不稳定因素的原因和问题，有针对性的展开管理措施，集中人力、物力施政，避免公共服务资源浪费。减少其它社会管理服务职能部门的系统建设，避免各部门投入经费重复建设类似系统，降低工作成本，为国家财政节省了开支。3、通过平台的面向大众提供电子商务、民生民意、本地生活等功能。村民使用能促进产品经销、方便生活、重庆炙迅科技有限公司ChongQingBroilingTechnologyCp.,Ltd.7通过提升自我管理能力、增进情感认同，对党和政府更加拥护；乡镇使用该系统，更加密切与群众的联系，融洽干群关系，提高做好新形势下群众工作的能力，推动乡村振兴战略实施。四、技术保障1.客户端数据加解密和压缩方案对一些敏感的采集数据，需要在数据传输过程中进行加密处理。采集数据压缩，为了节省流量和带宽，高效发送客户端采集的数据，需要使用快速且高压缩比的压缩算法，目前考虑使用世界先进的GZIP和定制的LZ77算法。2.基于携程的分布式消息中间件Hermes消息队列的数据存储方案由于数据采集服务的消息量非常大，所以采集数据需要存储到Kafka中。Kafka是一种世界领先的分布式的，基于发布/订阅的消息系统，能满足采集服务高吞吐量、高并发和实时数据分析的要求。