大数据-数据分析新理念-朱老师

大数据时代与大数据——数据分析的新理念厦门大学数据挖掘研究中心厦门大学经济学院统计系朱建平博士、教授、博士生导师@163.com大数据时代与大数据——数据分析的新理念•第一部分：大数据与大数据时代•一、大数据产生的背景•二、国内发展现状•三、大数据概念的界定•第二部分：数据分析的新理念•四、如何理解大数据和分析大数据•五、大数据对统计学科和统计研究工作的影响一、大数据产生的背景1955年信息公开1965年摩尔定律1973年最小数据集1980年标准数据接口1988年普适计算2000年数据驱动1955年，约翰•摩斯提出《自由信息法》草案，几经周折，直到1965年才被参议院投票通过，直到次年7月4日才被美国总统签字通过。摩尔定律：同一个面积集成电路上可容纳的晶体管数目，一到两年将增加一倍，亦即计算机硬件的处理速度和存储能力将提升一倍。最小数据集的概念起源于美国医疗领域，指代国家的管理层面针对某个业务管理领域强制搜集的数据指标。一些领域的最小数据集甚至被上升到立法高度。数据在不同信息管理系统之间的共享也使数据接口的标准化越来越得到强调。返回主机型计算阶段（MainframeComputing）个人型计算阶段（PersonalComputing）普适计算阶段（UbiquitousComputing）二、国内发展现状近年来，对大数据的研究和应用不仅引起了我国自然科学和人文社会科学界的广泛重视，也受到我国中央政府的高度关注：这些是大数据产业的重要组成部分，与大数据产业发展密切相关。《“十二五”国家战略性新兴产业发展规划》明确提出支持海量数据存储、处理技术的研发与产业化《物联网“十二五”发展规划》提出将信息处理技术列为四项关键技术创新工程之一2013年2月国家统计局召开的以大数据为主题的工作会议2013年3月26日科研所又举办了“大数据在政府统计工作中的应用研究”课题研究专家咨询会2013年3月4日国家统计局科研所重点讨论部署了“大数据在政府统计中的应用”的研究工作2012年12月国家统计局在上海开展了大数据应用的调研活动2012年11月国家统计局总统计师鲜祖德会见美国华裔大数据专家时，提出国家统计局十分重视大数据在统计中的应用，并成立了课题组研究如何通过对大数据处理推进统计方法制度改革，改进政府统计工作我国国家统计局科研所于2012年8月就召开了大数据应用研究座谈会，提出了在大数据时代运用现代信息技术建立统计云架构的研究目标。2013年4月11日，国家统计局总统计师鲜祖德率领大数据课题组赴百度公司调研，就大数据在政府统计中的应用及相关合作事宜，与百度公司有关领导和专家进行了深入交流2013年5月2日国家统计局科研所青年学术沙龙深入研讨大数据应用2013年8月6日，国家统计局总统计师鲜祖德主持召开了“大数据在政府统计中的探索与应用研究”课题报告座谈会2013年10月28日-29日，“第十七次全国统计科学讨论会”在浙江省杭州市召开。主题是：大数据背景下的统计。2013年11月19日，国家统计局与阿里、百度等11家企业签署了大数据战略合作框架协议。2013年11月19日下午，国家统计局与上海钢联电子商务股份有限公司、山东卓创资讯集团有限公司、58同城信息技术有限公司、天云融创数据科技（北京）有限公司、中国联合网络通信有限公司、天脉聚源（北京）传媒科技有限公司、百度在线网络技术（北京）有限公司、阿里巴巴（中国）有限公司、纽海信息技术（上海）有限公司、昆明泛亚有色金属交易所股份有限公司和南京擎天科技有限公司共11家企业在京签订了大数据战略合作框架协议，共同推进大数据在政府统计中的应用，不断增强政府统计的科学性和及时性。《大数据在政府统计中的探索与应用》2013年10月1日出版2014年2月25日，国家统计局局长马建堂赴北京市中关村，考察中关村国家自主创新示范区、中关村数海大数据交易平台和京东商城。他说，统计部门要孜孜不倦推动大数据在政府统计中应用，不断加大与各类企业在大数据应用中合作力度，努力打造政府统计数据来源第二轨，使统计数据更加真实准确，为社会提供更加优质统计服务。2014年3月22日，国家社科基金重大项目《大数据与统计学理论的发展研究》开题研讨会在厦门大学举行。中国统计学会副会长兼秘书长、国家统计局统计科学研究所所长潘璠作为子课题五《大数据下的统计方法实际应用探索》的负责人，介绍了大数据在政府统计中的研究进展及相关应用动态。2014年4月4日上午，马建堂在浙江省副省长朱从玖的陪同下，来到阿里巴巴集团，对集团的电子商务业务进行调研。听取了阿里巴巴集团近年来业务发展状况和大数据应用情况的报告，深入了解了天猫和淘宝网两个网上零售交易平台的运营模式、商家规模、交易体量、发展速度和大数据业务，与阿里巴巴有关负责人探讨了利用网络平台日常交易产生的大数据完善贸易统计的构想。2014年5月8日，国家统计局局长马建堂赴上海调研大数据在统计工作中的应用。马建堂强调，统计部门要顺势而为，以更加积极开放的心态拥抱大数据时代，以大数据利用为引擎，助力进一步提升统计数据搜集能力、完善统计制度方法、加强经济形势分析、提高统计数据质量，更好地服务经济社会发展。2014年5月20日，是北京入夏以来最热的一天。下午2点多，国家统计局局长马建堂一行来到了位于上地十街的百度公司调研大数据生产及应用情况。2014年7月9日下午，科研所所长潘璠、数管中心副司级干部李金宽等一行4人到访中国联通公司，与联通研究院、集团客户事业部等部门负责人就大数据合作事宜进行深入座谈交流。2014年8月22日，国家统计局统计科研所所长潘璠一行，在深圳市统计局总统计师胡卫东等的陪同下，分别到访总部设在深圳的顺丰速运有限公司和阿里巴巴一达通企业服务有限公司，与企业相关负责人就大数据合作事宜进行深入沟通。2014年9月27-28日第十五次全国中青年统计科学研讨会日前在天津财经大学举行，来自全国的统计专家、学者、中青年统计科研人员、统计工作者及大专院校师生，以“大数据的统计展望”为主题进行了广泛而深入的交流。徐一帆向大会致辞，国家统计局副局长、中国统计学会副会长李强作了“全面推进和深化统计改革”的专题报告，总统计师鲜祖德主持了会议开幕式。•国家统计局2014年9月29日召开“大数据与统计建模”视频报告会，来自全国统计建模大赛的5支获奖代表队就各自利用大数据进行统计建模的论文成果进行了主题汇报。国家统计局副局长、全国统计建模大赛组委会主任委员张为民要求国家统计局各有关专业司、各省统计局、国家统计局各调查总队要充分重视大数据时代为统计系统带来的机遇和挑战，深入研究大数据在统计工作当中的应用，奋力推进统计事业改革发展。•国家统计局副局长徐一帆、许宪春、李强，党组纪检组长高建华，总统计师鲜祖德，总经济师李晓超一同出席了此次报告会。2014年9月30日，国家统计局在京举行大数据应用报告会，与6家企业签署大数据战略合作框架协议。国家统计局局长马建堂作重要讲话。他强调，统计部门将携手合作企业共同开发利用大数据，共同推进大数据产业化，积极构建由结构化数据和大数据为基础来源的现代化政府统计，奋力抢占大数据开发应用制高点，生产更多、更好、更有价值的统计产品，为国家宏观调控、人民生活改善、社会福祉提升提供坚实数据支撑。国家统计局与上海航运交易所、北京易观网络信息咨询有限公司、北京搜房网络技术有限公司、北京数海科技有限公司、浪潮集团有限公司、深圳市腾讯计算机系统有限公司共6家企业签署合作协议。厦门大学数据挖掘研究中心于2014年6月6日向国家统计局统计科学研究所提交《厦门大学数据挖掘研究中心关于合作成立大数据实验室的建议》，倡议联合国家统计局统计科学研究所和台湾辅仁大学商学研究所成立“厦门大学数据挖掘研究中心大数据实验室”。2014年10月17日正式举行了揭牌仪式。该实验中心将联合厦门沸腾网络科技有限公司，共同推动数据挖掘和大数据研究与应用。由中国国家统计局和联合国统计司联合主办的“大数据和官方统计”国际会议2014年10月28日在京开幕。国家统计局局长马建堂出席会议并致辞，联合国统计司司长斯特芬﹒施万斯特，联合国大数据全球工作小组主席、澳大利亚统计局副局长特雷弗﹒萨顿也分别在开幕式上致辞。国家统计局副局长谢鸿光主持开幕式，副局长李强做主旨发言。这次会议讨论的主要内容包括：大数据和国际统计发展；手机、全球定位系统和其他跟踪装置；卫星影像和其他地理空间信息；Twitter和其他社交媒体；网络交易和扫描数据；大数据来源的共性及隐私问题；发展中国家引入创新；未来之路——大数据的应用。来自联合国统计司、联合国全球脉动行动、联合国欧洲经济委员会、联合国亚太经社会、联合国亚太统计研究所、欧盟统计局、海湾阿拉伯国家合作委员会统计中心、国际货币基金组织、国际电信联盟、世界银行、万国邮政联盟等11个国际组织，以及澳大利亚、孟加拉国、加拿大、哥伦比亚、丹麦、埃及、德国、印度、印尼、爱尔兰、意大利、日本、马来西亚、墨西哥、摩洛哥、荷兰、阿曼、巴基斯坦、菲律宾、韩国、新加坡、坦桑尼亚、泰国、阿拉伯联合酋长国、美国、越南和中国等27个国家的近120位代表参加研讨会。国家统计局局长马建堂为经济发展新常态提供更加优质的统计保障——2015年元旦献辞(2014)研究应用大数据迈出实质性步伐，在价格统计、贸经统计、建设领域统计、交通运输统计和经济监测分析应用中取得初步成果。(2015)继续深化重点领域统计改革，不断巩固和拓展统计生产方式变革成果，加快利用大数据、云计算奋力打造数据生产新兴之轨，大力推进依法统计，深入开发利用三经普资料，全面启动第三次全国农业普查，认真做好全国1%人口抽样调查，扎实开展各项常规统计调查，持之以恒夯实统计业务基础和基层基础，坚决打造廉洁统计，为党和政府以及社会各界提供更加优质统计服务。国内各地制定云计算“十二五”规划云计算、物联网园区中国各地制定或公布了云计算、物联网等产业规划；这些工程的初始着眼点在房地产，政绩工程居多，大数据作为核心内容端，使得政绩工程变为使用工程。云计算、物联网、社交化媒体、GIS为大数据提供了丰富的数据来源。因此大数据中包括的每个用户的身份、地点、时间、喜好、厌恶、社会关系等等大量的信息。伴随数据挖掘和分析的技术发展，我们即将步入基于大数据的智能化时代。云计算、物联网从政绩工程变成实用工程•广东省政府于2月26日印发了《广东省经济和信息化委员会主要职责内设机构和人员编制规定》。《规定》明确了广东省经济和信息化委员会16项职责。•根据职责，广东省经济和信息化委员会设21个内设机构，其中包括成立广东省大数据管理局。•其具体职责是：研究拟订并组织实施大数据战略、规划和政策措施，引导和推动大数据研究和应用工作;组织制定大数据收集、管理、开放、应用等标准规范;推动形成全社会大数据形成机制的建立和开发应用;承担企业情况综合工作，负责企业数据收集和存储;组织编制电子政务建设规划并组织实施;组织协调政务信息资源共享;组织协调省级重大电子政务项目建设，组织协调网上办事大厅等电子政务一站式服务建设;负责统筹政务信息网络系统、政务数据中心的建设、管理;统筹协调信息安全保障体系建设;承担信息安全等级保护、应急协调和数字认证相关工作。•2014.10.13福建省人民政府《关于支持大数据产业重点园区加快发展十条措施的通知》（闽政〔2014〕52号）•各市、县（区）人民政府，平潭综合实验区管委会，省人民政府各部门、各直属机构，各大企业,各高等院校：•为推动数字福建（长乐）产业园、中国国际信息技术（福建）产业园（以下简称园区）加快建设成为全省大数据产业重点园区和“数字福建”建设的重要承载基地，现提出如下措施：•一、完善园区发展规划•二、引进培育产业龙头•三、推动资源汇聚开发•四、建设大数据创新平台•五、加强人才引进培养•六、做好园区用地保障•七、确保园区用电需求•八、强化园区网络支撑•九、实施财税优惠政策•十、提高安全保障能力