3钱晖-大数据时代卫生统计与决策支持的思维变革

大数据时代–卫生统计与决策支持的思维变革二零一四年七月二十四日钱晖2大数据理解大数据应用案例分享关于久其SINCE1997关于久其天长地久与其为友概况荣誉客户久其软件是中国领先的管理软件供应商，主要从事报表管理软件、商业智能软件、电子政务软件和集团管控软件的研究与开发。2006年至今，久其软件连续多年被认定为“国家规划布局内重点软件企业”，并获国家重点高新技术企业认定。久其产品用户遍布国内各级政府机构、公共管理部门和大型国有企业，同40余个政府机构、80多家中央企业集团保持长期合作关系，直接用户超过百万。长期致力于为政府部门和企业集团提供咨询及信息化管理解决方案，研究设计开发的决算报表、合并报表、商业智能、决策分析、战略管理、全面预算、集中核算、财辅管理、资产管理、全面绩效、风险管理、项目管理、经营统计和综合业务应用等系统在财政、国资、统计、民政、交通、通信、金融、建筑、冶金、军工、能源、化工、旅游和商贸等多个领域发挥着重要作用。1997年，久其软件创建于北京中关村，经过十余年的发展，已经形成了以北京总部为核心，遍布全国的30家分支机构为节点的营销、研发、服务、咨询体系。2009年8月久其在深圳证券交易所上市（股票简称：久其软件股票代码：002279）。目前公司注册资本1.76亿元，员工人数1400余人。4大数据解决方案久其唯数政府管理服务解决方案GMS政府统计分析解决方案GSI久其报表系列产品JQRSINCE1997©2012|6大数据理解顺应技术趋势实现思维变革通话：当你与iPhone对话时,Siri会即时搜索网络以精准匹配你所说的内容，大大提高了语音识别的准确性。7搜索：当你上搜索网站的时候，搜索引擎公司会记录下你的搜索习惯，并根据这些信息自动向你推荐相关广告购物：当你在电子商务网站购物时，一些电商公司会依据你的购物喜好，自动向你推荐有关产品驾驶：当你驾车上路时，电子导航系统会自动定位并向你指示方向改变生活的4种现象8大数据的4V特征海量化Volume多样化Variety价值化Value快速化Velocity据估计，全球可统计的数据存储量在2012年达到2.7ZB，2015年将超过8ZB。大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息，价值密度低对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效9大数据的4V特征需求细化信息透明科学预测智能嵌入模式创新创造价值的大数据让数据拥有者能够更加容易、及时、透明的获取信息使信息使用者能够深度、精准地细分需求利用数据和模型，发现需求暴露问题并提高效率。通过自动化算法替换或支持各个层面的决策和业务流程优化能够拓展或创造新产品和服务，乃至全新的商业或服务模式创造价值的5种方式111、梳理各类数据资产5、确定数据治理架构4、优化数据驱动模式3、确定数据应用战略2、明确问题与挑战应用的5项措施12摘自IBM《分析：大数据在现实世界中的运用》查询和报表数据挖掘数据可视化预测建模优化模拟仿真自然语言文本地理分析流数据分析视频分析语音分析应用的5大类型SINCE1997大数据应用©2011久其软件.|13聚焦行业应用淬炼最佳实践14应用层平台层信息层界面层IT基础设施层1、移动设备之争2、移动应用和HTML53、个人云7、智慧洞察10、企业应用商店6、大数据战略9、集成生态系统4、物联网5、混合IT和云计算8、主流内存计算设备趋势应用趋势平台趋势技术趋势大系统大数据大用户信息技术发展趋势15服务器存储设备网络安全设备……软件定义计算软件定义存储软件定义网络软件定义数据中心（SDDC）建筑环境设备监控动力……智能机房安全管理网络安全管理……应用安全管理数据安全管理元数据管理元数据管理功能元数据基本维护元数据应用服务数据质量管理数据质量监测规则配置管理问题处理流程评估报告管理运维管理定义与变更管理数据字典管理备份与恢复数据运维报告数据仓库各级数据汇总数据建模质量校验规则处理数据管理层主数据管理分布式ETL任务调度零散数据采集数据获取层外部数据加载关系型数据库非结构化数据存储数据存储层流数据存储数据服务层面向决策分析的服务服务封装/运维面向反馈控制的服务卫生资源集市医疗服务集市卫生监督集市……数据专题层分析应用层资源分析服务分析监督分析……报表仪表盘OLAPOffice嵌入邮件分发信息展现层访问控制层各类门户SSO认证授权个性化定制PC/笔记本智能手机专用设备PAD终端管理层数据引擎云平台分析应用数据引擎伺服管理大数据应用–技术框架16数据获取层–数据的抽取、转换和加载（ETL）数据整合与集成常规数据抽取、转换、清洗和加载；大规模并发自动化流程调度数据稽核规则库支持自动数据质量报告和告警跨防火墙的分布式数据采集，支持统一参数下发和本地化映射关系配置软件定义数据中心智能机房安全管理元数据管理数据质量管理运维管理数据获取层数据存储层数据引擎云平台分析应用数据伺服管理数据管理层数据服务层数据专题层分析应用层信息展现层访问控制层终端管理层数据流程图定义计算字段字段对应关系脚本语言17数据获取层–大规模、分布式的ETL方案软件定义数据中心智能机房安全管理元数据管理数据质量管理运维管理数据获取层数据存储层数据引擎云平台分析应用数据伺服管理数据管理层数据服务层数据专题层分析应用层信息展现层访问控制层终端管理层互联网~~~~•••上级数据源ODSMIDDWETL过程参数下发服务上级总控下级数据源权限文本输出数据库输出代理服务器数据源配置下级单位数据源模型解析ETL运行ETL引擎其他服务模型解析ETL运行ETL引擎参数包参数包管理模型解析ETL运行ETL引擎参数数据连接控制流主数据映射取数方案1取数方案N•••计划任务方案模型映射文件参数包映射文件OLAP分析表仪表盘•••在上级配置流程，下级单位下载参数包并执行流程。通过参数下发的方式同步下级单位参数包。在下级单位使用精简的ETL引擎进行数据的采集。下级单位通过修改映射文件，将本地与上级不同的代码进行转换。下级单位抽取的数据通过文本文件上传到上级，再作为上级的数据源参与后续ETL过程。18数据专题层–数据的多级“应用视图”管理……数据专题层软件定义数据中心智能机房安全管理元数据管理数据质量管理运维管理数据获取层数据存储层数据引擎云平台分析应用数据伺服管理数据管理层数据服务层数据专题层分析应用层信息展现层访问控制层终端管理层关系型数据库非结构化数据存储数据存储层流数据存储数据存储层–大数据的“物理视图”管理数据管理层–数据仓库的“逻辑视图”管理卫生资源集市医疗服务集市卫生监督集市数据管理层–数据的“逻辑视图”管理组织统一数据模型EDM静态主数据动态主数据维度度量口径指标统一数据建模平台组织统一接口及数据规范层次计算指标元数据（业务表结构、数据字典、建模元素（公式、转换规则等）、报表模板、权限、操作日志等）业务数据数据源计算度量实例化数据（查询、报表、数字仪表盘等）传统数据建模二维表关系三范式建模建模工具：ER图制作工具多维数据建模星形或雪花结构的多维数据集主数据管理（维度管理）数据模型的部署和发布建模工具：BI建模平台业务语义层建模指标方案、指标视图动态口径运算和审核公式预定义报表、EAI报表软件定义数据中心智能机房安全管理元数据管理数据质量管理运维管理数据获取层数据存储层数据引擎云平台分析应用数据伺服管理数据管理层数据服务层数据专题层分析应用层信息展现层访问控制层终端管理层20数据质量管理-系统功能概念模型软件定义数据中心智能机房安全管理元数据管理数据质量管理运维管理数据获取层数据存储层数据引擎云平台分析应用数据伺服管理数据管理层数据服务层数据专题层分析应用层信息展现层访问控制层终端管理层数据质量管理-数据稽核与风险监控软件定义数据中心智能机房安全管理元数据管理数据质量管理运维管理数据获取层数据存储层数据引擎云平台分析应用数据伺服管理数据管理层数据服务层数据专题层分析应用层信息展现层访问控制层终端管理层概括结果核对数据源系统1数据质量监控探查规则Portal业务主题分析数据源系统NBI分析数据库CUSTOMERCUSTOMERNUMBERCUSTOMERNAMECUSTOMERCITYCUSTOMERPOSTCUSTOMERSTCUSTOMERADDRCUSTOMERPHONECUSTOMERFAXORDERORDERNUMBERORDERDATESTATUSORDERITEMBACKORDEREDQUANTITYITEMITEMNUMBERQUANTITYDESCRIPTIONORDERITEMSHIPPEDQUANTITYSHIPDATECUSTOMERCUSTOMERNUMBERCUSTOMERNAMECUSTOMERCITYCUSTOMERPOSTCUSTOMERSTCUSTOMERADDRCUSTOMERPHONECUSTOMERFAXORDERORDERNUMBERORDERDATESTATUSORDERITEMBACKORDEREDQUANTITYITEMITEMNUMBERQUANTITYDESCRIPTIONORDERITEMSHIPPEDQUANTITYSHIPDATE维度定义指标体系多维数据集KPI指标数据数据质量报告数据质量监控数据库数据探查服务数据抽取数据抽取数据概括服务ETL数据提取、转换、清洗、加载及自动调度数据合理性评估数据完整性检查数据准确性检查数据合理性评估22包括传统的“知识管理”和“智能搜索”的许多算法，BigTable、商业智能BI、云计算、数据仓库、Cassandra、数据集市、分布式系统、Dynamo、GFS、Hadoop、HBase、MapReduce、Mashup、元数据、非关系型数据库、关系型数据库、R语言、结构化数据、非结构化数据、半结构化数据、NoSQL技术、流处理技术等。A/B分离测试、关联规则挖掘、分类、数据聚类、众包、数据融合和集成、数据挖掘、集成学习、遗传算法、机器学习、自然语言处理、神经网络、神经分析与优化、排队论、模式识别、预测模型、回归、情绪分析、信号处理、空间分析、统计、监督式学习、无监督式学习、模拟、时间序列分析、时间序列预测模型等“数学”分析模型大数据专用技术模型目前主要用于基于“结构化数据”的“规则演绎”和“规律发现”主要解决大数据的“存储能力”、“访问效率”和“鲁棒性”等基础性问题可视化技术描述统计学、动态流程、仪表盘、标签云、历史流、空间GIS呈现、Clustergram等软件定义数据中心智能机房安全管理元数据管理数据质量管理运维管理数据获取层数据存储层数据引擎云平台分析应用数据伺服管理数据管理层数据服务层数据专题层分析应用层信息展现层访问控制层终端管理层数据分析层–大数据分析的关键技术财务杜邦分析、量本利分析、基于活动的成本管理、投资评估模型与后评价、最优库存、物流优化、客户满意度评价、客户价值分析、消费欺诈模型分析、作业计划、质量管控、资源优化、资产评估、绩效评估、风险评估、战略地图等业务模型基于“业务规则”的“规则演绎”和“规律感知”改善人们的理解，启发人们的思考医药企业的竞争力分析；医疗成本核算；医疗需求统计方程，进行医疗边际消费倾向和医疗需求收入弹性分析；城镇和农村居民的医疗基本需求量；层次分析法对影响医疗服务价格分级定价的主要因素进行量化分析；利用向量自回归模型对我国政府预算、社会及个人现金卫生支出增长率间的关系进行实证研究；研究中国各地区农村和城镇人均卫生消费的空间分布特征信息展现层–报表、即席查询、告警、分发…支持复杂的非结构化报表的制作，可制作出任意复杂的中国式报表支持在同一张报表中聚合多个来源的数据支持复杂的参数化报表，进行OLAP设置与查询支持穿透、钻取查询模式软件定义数据中心智能机房安全管理元数据管理数据质量管理