统计大数据的治理与应用

统计大数据的治理与应用华通人公司CEO白欢朋统计大数据治理我们身边的统计统计无处不在，善于解读、分析、运用统计指标，将为科学决策和管理提供重要的数据支撑；但如果对统计指标的理解不够透彻，就会产生疑惑甚至是统计误用。如：工业增加值的统计范围是规模以上工业企业，所以工业增加值增速严格意义上是指规模以上工业企业增加值增速，但经常被使用者认为是全部工业企业增速。有些数据使用者对工业增加值增速波动大，产生疑惑，但很少有人全面了解规模以上工业企业的划分标准经历了三次调整。2007-2010年为年主营业务收入在500万元以上的工业企业自2011年起，工业统计范围调整为年主营业务收入2000万元以上的工业企业2006年以前为全部国有及年主营业务收入在500万元以上非国有工业企业统计大数据与政府工作•产业升级•产业结构调整•招商引资经济发展•污染治理•资源调控•灾害防治环境保护•社会保障：医疗、教育、养老•交通•物价民生服务•城镇化建设•城市基础设置建设•房地产供给城市建设•流动人口管理•治安•重大事件应急管理安全维稳……统计大数据行业数据进出口数据能源数据……资源数据排放数据气象数据……人口数据就业数据医疗数据……房地产数据建筑业数据交通数据……流动人口数据治安数据灾害数据……问题与现状数据使用难•领导决策中，所需报表需要手工制作手工传输，效率低•公众只能通过传统数据产品或网上下载电子表格文件查询数据，使用繁琐•内部用户使用数据亦需要通过多个电子文件进行手工组合，效率低易出现错误数据管理难•数据以电子文件或孤立系统的形式分散于各个部门，形成数据孤岛•不同数据版本存在于各个电子文件中，导致数据使用出现误差，造成不必要的麻烦•缺失兄弟省市数据，不利于比较核心痛点：数据融合与管理数据统一存储和管理，打破数据孤岛•所有数据按照大数据架构进行统一存储和管理，打破部门壁垒实现数据的整合•提升数据存储的安全性，避免因人员变动和设备故障导致数据的遗失和使用误差将文件流转化为信息流，提升数据管理的效率•将文件转化为数据库中的数据，方便进行各种数据质量的检验，及时发现问题提升管理效率•数据从采集到管理，全程可追踪监控，提升流程管理效率强化历史数据和数据版本的管理，提升数据质量•对数据多次变更进行版本管理，避免版本无用导致的数据管理事故•实现历史数据追溯和管理，提升数据实用价值核心痛点：提升数据易用性快速支持领导科学决策的数据需求•通过PC端和手机端简单易用的查询快速查找决策所需数据•通过PC端和手机端查询统计局制作并推送的各种报表为公众提供生动实用的政府数据公开服务•通过PC端和手机端生动便捷地获取各种统计数据，引导经济和民生建设合理预期，健康发展为各委办局提供数据共享服务•通过PC端和手机端增强各部门之间的数据共享，变单向输出为互动共享，促进数据交流积极性为局内提供专业使用的数据应用平台•提供专业灵活的数据查询和交叉制表，支持各种核算•提供系统化的数据产品（如：年鉴、月报、季报等）制作，提升工作效率数据治理要素与实施计划、制度与标准规法Plan&Rule&Standards数据质量提升是目标主数据管理是关键元数据管理是基础数据治理流程数据治理数据采集与使用监控建立数据标准制定数据管理流程形成平台与工具SDMX标准SDMX(StatisticalDataandMetadataExchange)标准始于2001年，由国际清算银行、欧洲中央银行、欧盟统计局、国际货币基金组织、经济合作和发展组织、联合国和世界银行等7个国际组织发起并资助建立的，其目的是促进统计数据及其元数据在国际组织及其成员国之间进行交换和共享。WorldBankUNSDSDMX标准的内容✓一是统计数据及其元数据交换的技术标准，易于数据的使用者获取并使用统计数据及统计元数据；✓二是统计术语及共同的元数据词典，以便对统计数据的正确理解和使用；✓三是可利用的工具软件，这些工具软件基于SDMX标准，可实现统计数据和元数据的交换为实现交换与共享的IT构造（ITInfrastructureforexchangeandsharing）内容指向型指导(ContentOrientedGuidelines)SDMX信息模型（informationmodel）基于SDMX的统计数据结构定义乘积单位变量单位指标时间/频数国家库存流量数值(维度)(维度)(维度)(属性)(维度)(维度)(属性)(测量值)统计数据立方结构横截面国家ESITFRAT旅游活动项目A100B010B020年份2005200620072004时间序列2006年的横截面数据1250121612205461257828925291257TourismactivityfixedatB010统计大数据治理流程梳理指标数据整理数据加载指标体系模板中心入库系统基础库工作库发布库查询展示应用建立数据交换传输传输报表查询跨表查询可视化查询分析预测地图可视化图表联动数据大管家平台基础库管理系统在线加载录入系统文件上传加载互联网终端移动互联网终端支持内部数据管理和各项统计数据应用发布库发布系统服务于社会公众，满足社会对统计信息的需要服务接口工作库应用系统在单位内部或与协作单位共享使用，主要用于内部日常工作的开展，包括数据查询、搜索和数据产品应用1.数据整合管理尊重现有流程与制度，实现在线化，提升效率与质量网络数据采集：采集前移提升效率与数据质量下载模板填写数据上传数据数据校验数据提交质量问题直接返回给上报部门进行核实各委办局根据流程在线上报数据整合管理服务：从横向和纵向增强数据实用性•纵向：通过对历史数据的整理，实现更方便快捷的时间序列分析，使数据分析更加深入，更好的支持数据决策•横向：通过对其他地区数据的补充，建立数据分析的标杆，使分析更加有的放矢纵向：对历史数据进行整理横向：补充其他地区数据数据内容补充：拓展数据宽度，建立比较标杆全国宏观数据•涉及GDP、投资、消费、进出口、物价、工资水平、财政、金融、农业、工业、建筑业、交通运输、邮电等方面•包含年度、季度、月度各地区宏观数据•涉及GDP、人口、从业人员、城镇居民收入与支出、固定资产投资、房地产投资、CPI、PPI、财政收支、社会消费品零售总额、进出口、工业企业利润、建筑业总产值、货运量、客运量、城市建设情况、环境保护情况等•包含各省及70个大中城市数据国际数据•涉及GDP、CPI、人口、失业率、土地面积、森林面积、耕地面积、粮食产量、商品进出口、客运量、货运量、同业拆借率、汇率、黄金流通、货币流通、利率等。……2.多层次数据应用高效支持科学数据决策，实践政府数据公开2.1简便易用的数据查询简单易懂的分类浏览：帮助您了解数据资源查看指标解释排序作图灵活的跨表指标查询：快速制表发现问题指标分类备选指标选中指标指标查询收益：任意指标均可一键查询进行比较用日常用语即可搜索返回搜索结果组合获取数据搜指标搜地区搜时间指标词地区词时间词关键词分组关键词分词用户输入关键词最易用的关键词搜索：用最通俗的词语查找专业的指标2.2可视化与决策支持让数据讲出自己的故事丰富的可视化与决策支持（1）通过与KPI结合，形成各种数据可视化产品，充分帮助政府进行有效决策。丰富的可视化与决策支持（2）规模以上工业经济效益情况中国人口变化状况中国城镇化进程70个大中城市住宅销售价格变动地图重庆人均GDP变化情况房地产投资2015年2月份主要经济指标指标名称计算单位2月1-2月累计累计比上年同期增长（%）1、地区生产总值（季报）亿元---2、规模以上工业企业总产值亿元242.99527.106.33、规模以上工业企业增加值亿元78.20168.899.34、社会消费品零售总额亿元34.5076.702.05、固定资产投资总额亿元35.1741.40-9.46、公共财政预算收入（实际数）亿元10.7540.99-8.97、公共财政预算支出（实际数）亿元10.0617.04-6.98、税收总收入亿元27.06111.30-8.6其中：工商税收收入亿元25.53107.36-9.99、实际利用外资金额亿美元0.190.39-38.210、进出口总额亿美元26.5056.91-10.3其中：进口总额亿美元7.9115.82-15.7出口总额亿美元18.5941.09-8.02015年1-2月工业100强企业总产值排名单位名称工业总产值（亿元）比上年同期增长（%）企业核查情况合计310.087.61华为技术有限公司255.3411.7企业今年产品单价较上年同期有所提高，且今年的订单也较去年增多。2比亚迪精密制造有限公司8.09-33.9本期订单减少，产销量下降。3深圳市康冠技术有限公司7.498.6该公司今年订单同比增加，所以产值幅度增长较大。4深圳市神舟电脑股份有限公司6.083.4因新产品上市，产品销售好，故产值同比增长。5深圳市航嘉驰源电气股份有限公司5.7951.6年初市场需求向好，客户量增加，产值同比增长。6兄弟高科技（深圳）有限公司5.76-15.7市场竞争力大，订货量较去年下降较多，故产值同比下降。7伯恩光学（深圳）有限公司5.33-24.9因今年春节假期公司放假时间较长，生产量下降，故产值同比减少。8信义汽车玻璃（深圳）有限公司4.4420.1企业有一定的品牌效应，且今年订单饱和，生产充足，产量增加。9彩迅工业（深圳）有限公司3.7349.7因去年年底洽谈到几笔大订单，致今年初市场销售形势一路向好，故产值增加。10兄弟工业（深圳）有限公司2.81-31.7因机型变更，产量调整，销售量减少所致。主动式服务：定制报表的推送定期推送定向推送主要经济指标月度报告领导部门……工业百强企业总产值月度报告商业20强企业零售额月度报告分行业固定资产投资额月度报告……2.4便捷的移动端随时随地查询数据随身的数据小秘书统计大数据应用案例“国家数据”系统平台时任国家统计局局长马建堂，授予为国家统计数据库作出杰出贡献的高余先先生奖杯，同时一并肯定了华通人的工作成果。依托于ACMR系统开发经验及统计数据开发使用经验，国家统计局创新升级了“涵盖内容更加全面、使用体验更加快捷”的新版数据库平台——“国家数据”。该数据库平台主题更加鲜明、涵盖更加广泛、用户体验更加卓越。其他成功案例重庆市统计局工业和信息化部电信研究院宁夏回族自治区统计局内蒙古统计局国家统计局社科文司国家统计局福建调查总队深圳市龙岗区统计局石家庄市统计局统计大数据平台发展方向战略目标一：构建从采集、加工、分析到应用的一体化数据平台数据管理层微观数据中心宏观数据中心元数据中心数据分析中心数据展示层门户数据查询数据可视化分析报告预测预警搜索政府决策支持系统公众发布系统法人库群人口库群……政企数据互动社区数据采集中心一套表系统问卷调研系统传感器统计系统大数据统计系统企业委办局……企业调查人员手机用户商业终端景点交通设施运营商招聘网站电子商务医院……报表上报系统战略目标二：构建基于大数据的数据采集体系通过多种互联网和大数据的方法建立新的数据采集体系：利用大数据监测日常数据或通过在线调研进行专题调研。问卷调研系统传感器统计系统大数据统计系统政企数据互动社区手机短信……通过政企数据交互社区向企业推送问卷，或通过与运营商合作直接通过短信向个人推送问卷获取调研数据。如针对离开四川的移动用户进行短信调研旅游满意度等。通过这些企业的数据上加装大数据统计终端，直接统计上报数据。电信运营商医院批发零售企业物流企业交管部门如：移动用户数、上网流量、人口迁移状况等如：诊疗人数、病床占用率、药费、诊疗费等如：价格数据等如：快递件数、流向等景点农贸市场……通过放置在特定场合的各种传感器获取统计数据。如：在景点通过摄像头获取参观人数信息，在农贸市场通过电子秤获取价格和交易量等信息。……如：拥车情况、交通流量等战略目标三：构建省市两级节点统计数据云管理体系通过数据统一管理系统对所有指标及维度进行统一编码管理，形成完整的数据共享和分发机制。建立省、市、区县三级工作平台。市级云节点市级基础库管理系统市级决策支持系统市级发布库发布系统