“大数据”的基本概念

2020/5/231大数据时代正在向我们走来通过对海量数据的交换整合分析发现新的知识创造新的价值带来新的发现谁拥有了大数据谁就占有了制高点就疾病控制而言大数据必将成为危险人群危险地段多发时间等因素判断采取预防决策干预措施宏观调控的信息基础2020/5/232为了避免节日网购高峰物流拥堵亚马逊会根据以往订单和其他因素如商品搜索记录收藏夹购物车用户的鼠标在某商品上悬停的时间预测用户的购物习惯从而在用户实际下单前便将包裹提前发出这些包裹会暂存在快递公司的转运中心或卡车里一旦用户正式下单就快速进入派送流程用户刚刚在家中下了一笔订单几分钟后物件就送到家2020/5/233例1在甲型H1N1流感爆发前几周谷歌公司通过观察5000万条美国人最频繁检索的词条数据发现“治疗咳嗽和发热药物”的检索频率大增进而准确预测了流感的发生及传播范围美国地铁警察跟踪地铁抢劫案发生的时间和地点分析原因和规律制作出预测图表采取相应措施使地铁抢劫案大为下降2020/5/234例2例3什么是大数据？大数据在哪儿？有什么用处？怎么应用？大数据与精准的关系？伤害预防研究的大数据从哪里找？2020/5/235大数据BigData是一种规模非常大的在获取分析管理储存等方面都超出了传统的数据库和软件功能处理范围的巨大数据的集合大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据是无法用现有的软件工具提取存储搜索共享分析和处理的海量的复杂的数据集合大数据技术是指从各种各样类型的数据中快速获得有价值信息的能力如大规模并行处理(MPP)数据库数据挖掘电网分布式文件系统分布式数据库，云计算平台，互联网，和可扩展的存储系统2020/5/236由来在基础学科经历信息快速发展之后诞生了“大数据”的说法即随着数据指数级的增长尤其是互联网商业化和传感器移动化之后从大数据中挖掘出某个事件现在和未来的趋势才真正意义上被大众所接触2020/5/237医疗健康大数据是指所有与医疗卫生和生命健康相关的以及大众在受到卫生服务过程中产生数据的集合数字化医疗是把现代计算机技术信息技术应用于整个医疗卫生的一种现代化新型管理方式是卫生单位的发展方向和管理目标医疗卫生数据的采集传输处理存储也都与计算机密切相关2020/5/238与环境因素社会因素密切相关的儿少卫生大数据必将成为宏观调控预防控制学校卫生的信息基础一旦被应用将提高学校卫生决策和科学管理的精准在传染病伤害学校卫生营养暴力等领域大数据的分析研究可以有效实现对目标人群的安全危机风险的防范和预警大大提升学校卫生工作的精准谁拥有了大数据谁就占有了制高点2020/5/239大数据的特征1.Volume巨大的体量大数据所拥有的数据规模非常大人们的轨迹都能够以数据的形式被记录和储存2.Variety数据类型多种多样数据类型有文本数字音频视频图片地理位置信息等3.Velocity更快的处理速度4.Veracity真实性真实性是获得有效思路和正确内容的因素之一也是决策得以成功进行制定的基础5.Value价值2020/5/2310大数据从哪里来数据的产生和获取我们所面临两类不同的数据结构化数据（传统主流的）通过事先规划定义控制在调查研究中有目的生成并获取数据指向性强逻辑关系紧密价值含量高处理比较容易但只能在一个系统内部获取可拓展性有很大限制非结构化和半结构化数据（互联网化）随着遥感射频等技术的成熟和网络的普及随着物联网移动终端社交网络和可穿戴设备和社会生活而形成的数据即现随机真实鲜活体量巨大价值嵌入量比较薄数据处理和价值挖掘过程复杂人类的活动正在产生更多的电子记录--数据化2020/5/2311大数据到哪里去数据的处理与利用大数据技术的战略意义不在于掌握庞大的数据信息而在于对这些含有意义的数据进行专业化处理需要专业创新的智慧和思维（需求为什么要大数据）需要大数据信息的处理平台（技术怎么去进行挖掘与运算）2020/5/2312大数据技术是什么从大数据中提取大价值的挖掘技术根据特定目标从数据收集与存储数据筛选算法分析预测数据分析与结果展示作出最正确的抉择2020/5/2313数据挖掘准备数据集成语义模糊遗漏清洗无效数据选择辨别出需要分析的数据集合缩小处理范围提高数据质量预处理克服数据挖工具的局限性挖掘产生假设选择挖掘工具和挖掘证实结果的表述和解释表达和信息的过滤处理直到满意为止应用有用信息移交政策支持2020/5/2314大数据的意义与用途大数据的战略意义不在于掌握庞大的数据而在于对这些数据进行专业化处理挖掘信息比数量更为重要从海量的数据中快速获得有价值信息的能力就是大数据技术对各种数据进行分布式数据挖掘是大数据的特色依托云计算的分布式处理和分布式数据库采用云存储和虚拟化技术处理模式使数据成为信息资产而具备了更强的决策力洞察发现力流程优化能力使疾病的预防决策与控制措施达到精准化2020/5/2315意义用途2020年5月23日星期六16学生健康监测资料的转化只有精确可靠并且令人信服反映伤害与国计民生关系的资料才能成为国家和地区卫生工作的决策依据2020年5月23日星期六17Fromdatatoaction监测/检索-决策-评价数据→资料→决策→干预→评价2020年5月23日星期六18将一般资料转化为有用的资料usefuldata可利用的资料usabledata2020/5/2319数据/资料的挖掘——需阐述的疾病问题1.某种伤害问题的严重性以伤害的发生频率高低如受威胁人口百分比伤害的发病率患病率等2.某种伤害问题的危害性伤害的死伤残疾病负担生存质量造成的社会经济学损失个人家庭社会损失3.某种伤害问题的紧迫性与关注度居民要求社团呼吁社会舆论和传媒报道4.伤害干预的可能性及效益可控程度成本效益分析5.伤害的时间变动趋势预测预报预警危害大小的估计与判断•2020/5/232020/5/2320MonitoringandIdentifyingtheInjuryProblemSurveillance监测Data数据Information资料Riskidentification危险因素危险人群危险地点危险环境危险时间Intervention干预自然灾害工农业事故传染病社会事件预防预测预报预警改进加强Evaluation评价决策评价→措施评价→效果评价→政策评价预防对策干预措施螺旋式提升SurveillanceInterventionEvaluation—Accurate—CredibilityPrecision云计算为海量多样化的大数据提供存储和运算平台通过对数据的管理处理分析优化将结果反馈到伤害控制中创造出巨大的经济效益和社会价值大数据的挖掘严谨的数据治理精准的数据分析精准的干预措施精准的科学评价2020/5/2322从大数据的特征定义价值的探讨解析大数据的珍贵用途说明大数据从采集/处理/存储到形成结果的整个过程问题的理性思考和科学发展的逻辑以及对问题之专业说明与解决实践是大数据的最终价值体现为什么要采集大数据和怎样处理储存以及如何合理使用和评价所获的结果重要是对某一卫生问题从专业上的了解认识说明解决请不要忙碌于对数据资料的无益累积2020/5/2323洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生google流感趋势GoogleFluTrends利用搜索关键词预测禽流感散布统计学家NateSilver利用大数据正确预测了2012美国选举的结果麻省理工学院利用手机定位数据和交通数据成功建立城市的规划梅西百货根据需求和库存的情况对7300万种货品进行了实时调价2020/5/2324我们的理念是有数据用数据管数据开展先行先试更好地服务国家大数据发展战略开展疾病预防控制我们的途径是充分依托已有的设施资源把现有的利用好把新建的规划好围绕云计算为数据资产提供保管和访问的场所与渠道我们的议题是如何充分利用专业内部的各种信息互联网世界中的有关物流信息互联网世界中的人与人交互信息和位置信息等挖掘激活这些数据资产使其为卫生决策疾病控制个人预防服务2020/5/2325就是建立数据意识和养成数据决定行动的习惯从“零数据”到“大数据”中间应该有个“小数据”其次是数据分享的理念数据开放和数据共享方面的观念与机制的问题行业建立数据共享使用的便捷通道和支撑平台为行业运用大数据技术奠定基础一个长期封闭的信息封锁的社会数据壁垒无处不在信息无法自由流通是数据使用和数据价值的发现的最大的障碍这里有技术上需要克服的问题，但最主要还是能否有。大数据技术所导致的利益转移早就已经开始了数据对社会的改造是潜移默化同时无法阻止的大数据为我们提供了很多可能未来社会将有很多变化2020/5/2326可能的数据来源1.官方数据政府部门或企业直接提供的数据或数据接口2.半官方数据如各类行业协会俱乐部3.公开平台的数据如淘宝网/京东/唯品会/Google/百度等百度的百度迁徙/百度精算/百度舆情/百度大数据预测引擎等等阿里巴巴的阿里云/支付宝-花呗/芝麻信用/蚂蚁金服等等有大数据技术腾讯的腾讯广点通/腾讯云分析和微信等也都引用了大数据技术有些会免费开发数据，还有一部分是付费的数据软件4.用数据采集工具或软件如追灿爬虫软件和百度蜘蛛等5.购买专门数据采集的机构像艾瑞/浪潮或传统的调研企业6.目前不用注册能查到企业注册信息2020/5/2327全国各地H7N9D的疫情2020/5/2328大数据如何利用大数据的前提是有数据原封不动的存起来并且要有备份存储针对不同数据的特点考虑不同的存储关系型数据库MySQL/Oracle非关系型数据库MongoDB/Elastisearch（非严格意义上数据库但可以用来存储）对相对较小的数据（要确保数据真实可靠）进行小范围分析看能否找到规律/趋势再逐步积累完善扩展数据到对全局进行分析寻找发现规律进入良性循环2020/5/2329大数据未来的应用趋势预测每个人健康和生活都需要的个性化建议企业管理中的选择和开拓新市场的可靠信息来源公共卫生服务中大众利益的发现与政策满足2020/5/2330大数据已经敲响每个人的大门我们必须满怀热情去开门迎客你要用大数据解决什么问题你要做哪些准备搜索和初步数据硬件人才技术经费实践中学起来做起来用起来每个人都有来学习认识应用结合日常的业务工作学习资料的收集和处理有目的有计划通过项目的工作学习大数据技术2020/5/2331让我们手拉着手走进大数据时代2020/5/23322020/5/23332020/5/23342020/5/23352020/5/23362020/5/23372020/5/23382020/5/23392020/5/23402020/5/23412020/5/23422020/5/23432020/5/23442020/5/23452020/5/23462020/5/23472020/5/23482020/5/23492020/5/23502020/5/23512020/5/2352