大数据时代67

CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/11聚集过程消散过程分析对象：上海市居民出行行为数据来源：手机基站切换数据采样时间：05:10～08:10生活属性：工作日早高峰特征分析：1）聚集演化过程明显2）城市各地向市中心聚集3）过程中的聚集区为交通枢纽4）最终聚集区为工作区5）发散源为居民居住区稳定过程案例引入：公众出行行为分析CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/12案例引入：踩踏事件发生前后2CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/1案例引入——外滩踩踏惨剧•事后，网上关于大数据的讨论——政府管理如何利用大数据？3CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity交易型数据机器数据社交数据数量结构化生产能力速度半结构化数据提取种类高度非结构化精确性组织数据种类高度非结构化数量尤其在数据疯狂产生的今天CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity内容一、大数据是信息技术发展的必然结果二、大数据的特征及引发的管理变革三、大数据时代如何推进政府管理创新CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/16内容一、大数据是信息技术发展的必然结果二、大数据的特征及引发的管理变革三、大数据时代如何推进政府管理创新CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/17信息技术的发展技术产品网络环境计算方式一、大数据是信息技术发展的必然结果CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/181、信息技术产品的演化CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/19例：可穿戴与手势用户界面CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/110用户规模主要应用信息类型大型机小科学计算60年代数据小型机/WAN70年代小数据部门内部PC/LAN80年代中数据文本组织之间Client/Server90年代大多媒体全球(互联)InternetIPv400年代网络融合无所不在多媒体、智能化InternetIPv6物联网2、网络环境的演进与融合3G/4GCopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/111趋势1：移动互联网下一个周期——移动互联网智能手机平板电脑电子阅读嚣车载电子移动电视数字家庭随身游戏机……1970S大型主机及小型机个人计算机桌面端互联网移动互联网1980S1990S2000SCopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/112趋势2：物联网的兴起CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/113例：随处可见的采集与显示CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversityCopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/115三种网络形态与阶段划分•Web1.0-门户时代：信息总量剧增，全球信息互联，信息综合提供，网络数据检索为主要工具。信息传播仍然是机构为主体的公共传播。大型门户网站等。（网站及其应用）•Web2.0-搜索/社交时代：UGC（用户生产内容），个性化传播强化，网际协作普及为主要特征的网络社会自媒体时代形成。以个人为主体的大众传播。Blog、Tag、SNS、RSS、wiki、微信等。（移动互联网、智能终端、云计算）•Web3.0-大互联时代：人与人、人与物交互、人物全面互联、精确感知、准确表达、智慧解读的时代。人类将赋予物质世界的自我表述、自我展现的机能，实现更高形态与物质世界的和谐共生的智慧。（物联网、云计算、大数据……）CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/1163、计算方式的演进与发展Google的CEO埃里克.斯米特2006年8月提出“云计算”：将网络连接起来的浩大的数据资源、计算资源、服务资源、设施资源进行统一管理、协调，形成一个内容丰富、能量强大的资源服务体系，按照社会和用户需求进行分配的提供。CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/117小结：以大数据为代表的新一代信息技术时代的来临新一代信息技术技术产品便携性、智能化、交互性、随性化、移动性网络环境融合与泛在：大互联、开放性、泛在化计算方式分布式、平台化、虚拟化、扩展性互联网+物联网移动互联网云计算智慧城市深刻的技术变革大数据应用CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/118内容一、大数据是信息技术发展的必然结果二、大数据的特征及引发的管理变革三、大数据时代如何推进政府管理创新CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/119二、大数据的特征及引发的管理变革1、大数据的4V特征2、基于大数据的管理创新3、新的创新模式出现：创新2.0CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity1、体量Volume2、多样性Variety3、价值密度Value4、速度Velocity海量数据：超规模、大容量多源异构性：不同形式（如文本、图像、音频、视频等）；非结构化低价值密度：大量的不相关信息、需深度分析实时分析：流信息、即时需求、时间容错1、大数据的4V特征CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversityVolume海量的数据规模Variety多样的数据类型StreamsRealtimeNeartimeBatchTBPBEBZBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速的数据流转发现数据价值2、基于大数据的管理创新CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/122基于大数据的管理创新1）数据驱动的创新应用2）用户行为驱动决策3）实时分析与智能处理CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/123231.Ginsberg,Jeremy,etal.Detectinginfluenzaepidemicsusingsearchenginequerydata.Nature457.7232(2009):1012-1014.2.Butler,Declan.WhenGooglegotfluwrong.Nature494.7436(2013):155.基于网络用户搜索热词监测对流感进行早期预警和预测基于网络数据挖掘和社会媒体扩散的流感跟踪技术数据去噪模型校准2）数据驱动创新应用——分析预测CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/124“政府数据”+“网络数据”分析艾滋病分布情况CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity全国迁出热市全国迁入热市广州迁出热市北京迁出热省百度后台每天数十亿次ＬＢＳ（基于地理位置的服务）数据进行计算分析，展现春节前后人口大迁徙的轨迹与特征。据百度相关负责人介绍，春运期间，通讯是人们在迁徙过程中最基本的需求之一，因此手机网民与迁徙人群重合度极高。大数据有助于更好地把握社会行为！CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity大数据产生洞察力•百度大数据观察：上网时间分布26CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity27•莱切斯特郡(Leicestershire)警察局和世界其他警察局一样,花费很长时间,通过艰苦努力收集犯罪细节,然后还要花更多的时间分析收集到的数据,得到破案线索。后来,由于Leicestershire警察局使用了GIS系统,警察工作变得更为容易。现在,调查人员将犯罪的地点、时间、作案方法等大量数据输入到GIS中,GIS输出彩色的地图或图形。利用GIS,警察可以在地图上复制事件,根据嫌疑犯或作案的交通工具在不同地点出现的情况勾画案情。当案情发展时,图形也会随之改变。GIS还能帮助警方官员将犯罪事件与嫌疑犯联系在一起。•GIS帮助调查人员通过犯罪时间、地点和作案工具找出作案模式。多年来,警察使用的都是基于文本的系统去研究作案模式。例如,警官能研究案发时间、地点和作案方法。GIS的优点就是使警察能一次看到各种可能信息的全貌,而不是分离的、零碎的信息。这也使某一特定犯罪行为在特定时间和特定地点受到监视,警察能够及时出现在犯罪现场防止犯罪发生或者抓住罪犯。•GIS的另一个好处是,警方决策者可以容易地得到在特定地区犯罪案件处理结案的情况、警员调度的调查报告。根据报告,警察局领导对何时、在何地部署其警卫力量的问题作出正确决策。大数据：分析现状到预测未来CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/128利用大数据构建非法集资监测平台CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversityTarget公司母婴产品精准销售大数据的小故事——谁更了解我们的女儿？2）用户行为驱动的创新：精准销售一个新的实现，针对每一个人！CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/130Netflix用大数据捧火《纸牌屋》！CopyrightbySchoolofPublicPolicyandManagement,TsinghuaUniversity2019/8/131深挖客服语音价值，支撑管理和服务CopyrightbySchoolofPublicPolicyandManagement,Tsingh