医疗+大数据(第二版)

医疗+大数据目录医疗大数据的背景1医疗大数据的特点2大数据相关技术3大数据项目展示4医疗大数据的价值5医疗大数据平台的初步构思6一、医疗大数据的背景二、医疗大数据的特点三、大数据相关技术四、大数据项目展示五、医疗大数据的价值六、医疗大数据平台初步构想015000100005000201020112012201320142015AdminImagingEMREmailFileNonClinImg数据量(PB)数据来源：McKinseyGlobalInstituteAnalysis计算存储数据库网络单机集群文件存储单机设备间连接设备内连接关系型数据库10GEFCIB分布式数据库非关系型数据库块存储10GESASIB横向扩展块级虚拟化横向扩展分布式文件系统时间部门政策2011卫生部《基于电子病历的信息平台建设技术解决方案（1.0版）》2012卫生部《健康中国2020战略研究报告》2014卫技委《基于电子病历的医院信息平台技术规范》2014卫技委《电子病历基本数据集》2014卫技委《基于居民健康档案的区域卫生信息平台技术规范》2015国务院《促进大数据发展行动纲要》2016国务院《关于促进和规范健康医疗大数据应用发展的指导意见》备注：近几年部分政策一、医疗大数据的背景二、医疗大数据的特点三、大数据相关技术四、大数据项目展示五、医疗大数据的价值六、医疗大数据平台初步构想医疗大数据的来源医疗大数据的特点多样性性高速性大量性大量性大量性多样性大量性高速性大量性价值性多样性性高速性大量性时序性大量性隐私性大量性缺失性大量性冗余性一、医疗大数据的背景二、医疗大数据的特点三、大数据相关技术四、大数据项目展示五、医疗大数据的价值六、医疗大数据平台初步构想大数据相关技术适合海量数据处理灵活的可扩展性成本的低廉性故障容灾能力强大数据相关技术—分布式存储分布式计算大数据相关技术—Hadoop集群大数据相关技术—Hadoop安全体系及监控安全体系身份认证：Kerberos身份管理：LDAP授权访问：服务授权、文件授权、数据授权数据加密通信加密…监控体系ClouderMangerGangliaEagle…大数据相关技术—数据收集Flume：常用于收集非关系型数据数据，如：各种操作访问服务日志、诊断病历、影像数据等Sqoop：常用来在关系型数据库和非关系型数据库之间导入导出数据Flume：常用于收集非关系型数据数据，如：各种操作访问服务日志、诊断病历、影像数据等大数据相关技术—数据存储HDFS：分布式文件系统，便于存储各种格式的数据，具有很高的吞吐量和备份容灾能力Hbase：分布式的面向列存储的数据库，具有较强的实时性，底层依赖HDFS文件系统大数据相关技术—数据分析和挖掘Spark或Storm：处理实时性高的数据，该类技术中间数据存储在内存中，故运算速度快。MapReduce、Hive或Pig：处理实时性不是很高的数据，可采用MapReduce、Hive、Pig批处理的技术，该技术的中间数据是存储在物理磁盘，故速度相对较慢。大数据相关技术—数据推荐与语义分析Mahout：提供了机器学习的算法，包括协同过滤、分类、聚类等，它将很多机器学习算法转出mapreduce任务运行在分布式集群中，提升机器学习的性能。SolrClould或ElastiSearch：分布式搜索引擎，提供对各种类型数据的分词和检索的功能，用户可以很方便的获得具体特定关键字的各种结构化、非结构化数据。一、医疗大数据的背景二、医疗大数据的特点三、大数据相关技术四、大数据项目展示五、医疗大数据的价值六、医疗大数据平台初步构想部分项目介绍—云知道检索系统基于分布式solrCloud集群的实时和离线海量日志检索平台部分项目介绍—云知道检索系统部分项目介绍—云知道检索系统部分项目介绍—大数据集群的优化升级三地集群，共有500+个服务器，每天执行6000+个的分析任务，集群中部署了HDFS、MapReduce、Hbase、Spark、Zookeeper、Flume、Oozie等组件部分项目介绍—大数据集群的优化升级部分项目介绍—大数据集群的优化升级部分项目介绍—大数据集群的优化升级部分项目介绍—大数据集群度量系统部分项目介绍—大数据统一分析平台DataDBDataScriptReportMRDBToolDataConfTaskMnrReportConfHdfs开放数据分析平台数据库数据流配置流业务人员通用分析框架DBHadoop报表定义数据定义数据脚本部分项目介绍—大数据统一分析平台一、医疗大数据的背景二、医疗大数据的特点三、大数据相关技术四、大数据项目展示五、医疗大数据的价值六、医疗大数据平台初步构想医疗大数据的价值疾病早发现并干预；实现精准医疗；临床决策支持医疗管理根据用户个人数据为用户实施个性化的健康管理方案；基于数据的健康管理降低重病的发生率，减少医疗开支；健康管理实现医疗资源的合理配置；帮助医院运营管理；基于疾病用药等数据建立模型，把控研发过程；减少人力物力时间的投入，从而减少开支；医疗支付医疗大数据减少现有支付体系压力；医药研发一、医疗大数据的背景二、医疗大数据的特点三、大数据相关技术四、大数据项目展示五、医疗大数据的价值六、医疗大数据平台初步构想上层具体业务应用数据分析数据挖掘数据处理/管理老龄社会肿瘤基因组学实时处理医疗影像等基础医疗服务临床决策支持离线处理医疗记录个人健康管理个体化医疗机器学习基因数据分布式数据平台存储优化安全和隐私应用Thanks