大数据与公共资源交易（PPT43页)

大数据与公共资源交易倪光南编焦作2017年4月20-22日12017第二届全国公共资源交易改革峰会暨中国公共资源交易跨区域合作联盟扩大会议大数据不是某种东西而是一种数据时代的生产力“科学技术是第一生产力”，大数据是新一代信息技术，所以大数据也是生产力。（一般观点：大数据是财富）一、大数据概述大数据又是科学研究的第四范式3科学研究范式（paradigm）的发展过程，最早是实验型科研（ExperimentalScience），这已有几千年的历史了，后来发展到理论型科研（TheoreticalScience），这也有数百年的历史了，近几十年发展到计算型科研（ComputationalScience），现在则推进到第四范式——以大数据为基础的数据密集型科研（Data-intensiveScience）。实验型科研理论型科研计算型科研数据密集型科研各种科学研究范式的关系这几种范式在实际科研中往往同时使用，相辅相成。第一种范式即实验型科研是最基本的方法，因为任何科学都需要用实验来检验；理论在未经实验证实前，只能作为假设，所以第二种范式即理论型科研是以实验为基础并依赖于实验验证的；第三种范式即计算型科研往往需要利用第二种范式取得的成果，即需要在理论的指导下，利用计算能力发挥理论的作用；同样，第四种范式可以认为是第三种范式的延伸，它们都依赖于计算能力，只是第三种范式是在已知规律的情况下，运用计算能力发挥规律的作用，而第四种范式则是在未知规律的情况下，运用计算能力从大数据中发现规律并发挥规律的作用。第四种范式是否将成为基本的科研方法还有待于实践的进一步检验，但其重要性已毋庸置疑。4://www.360doc.com/content/16/0803/17/30108299_580533893.shtml1ZB=1021信息时代的数据爆炸（年增长率约一倍）大体量（Volumn）多样性（Variety）时效性（Velocity）准确性（Veracity）大价值（Value）大体量（Volumn）多样性（Variety）时效性（Velocity）准确性（Veracity）大数据的特点（4V/5V）2013年大数据行业整体市场规模为186亿美元（2013年投资超过100亿美元）、大数据与网络安全在网信领域，需要处理好安全和发展的关系。习主席指出，网络安全和信息化是一体之两翼、驱动之双轮。网络安全和信息化是相辅相成的。安全是发展的前提，发展是安全的保障，安全和发展要同步推进。大数据因为“大”，如出现安全问题，后果将十分严重，因此发展大数据必须高度重视安全，将大数据建设与大数据安全同步推进。目前全球网络空间安全形势严峻。2014年，美国战略与国际问题研究中心发布报告，称全球每年因网络经济犯罪造成的损失高达4450亿美元，约占全球收入的1%。该报告由Intel旗下McAfee完成。损失最大的三家是美国、德国、中国，损失金额分别为1000亿美元、600亿美元、450亿美元。损失主要原因为“网络犯罪窃取知识产权”。在美国、中国，网络犯罪损失占GDP的0.6%，而德国高达1.6%。赛门铁克《诺顿网络安全调查报告》称，17个调研国家中，2015年约5.94亿人遭受网络攻击，总损失1500亿美元。1400.10.20.30.40.50.60.70.80.9美国加拿大澳大利亚德国日本韩国新加坡俄罗斯中国全球网络安全指数（GCI）来自：ITU网络犯罪是全球性问题ITU从法律措施、技术措施、组织措施、能力建设和合作五个层面对成员国进行安全评估。193个成员国“支持ITU在网络安全方面的举措，以促进各国战略的实施，并推动各个产业和部门共享各自开展工作的信息”。美国于2003年发布《确保网络空间安全的国家战略》指出“网络是神经中枢”，其后出台一系列战略文件，不断完善网络安全战略架构。欧盟2013年制定《欧盟网络安全战略》，20多个成员国大部分制定国家安全战略经济合作与发展组织的34个成员国中，27个国家制定了网络安全战略。目前接近70个国家，从网络形势分析、战略目标、法律、人才储备、行动规划、保障体系等方面出台了网络安全战略。15多国出台网络安全战略16中国受到网络攻击的损害严重2172101581662764292211311421722022372793352993802272961942712823002972650501001502002503003504004505002014年8月2014年9月2014年10月2014年11月2014年12月2015年1月2015年2月2015年3月2015年4月2015年5月2015年6月2015年7月2015年8月2015年9月2015年10月2015年11月2015年12月2016年1月2016年2月2016年3月2016年4月2016年5月2016年6月2016年7月感染病毒终端数（万台）数据来自：CNCERT2016年7月，中国境内感染网络病毒的终端数为近265万个，近200万个IP地址对应的主机被木马或僵尸程序控制，65万余个主机IP感染“飞客”蠕虫。171125012420125111259012184105001100011500120001250013000感染病毒用户数（万）中国是遭受网络犯罪攻击最严重的国家之一。根据赛门铁克报告，在2014年，大约2.4亿的中国消费者成为网络犯罪的受害者，由网络犯罪导致的经济损失高达人民币7086亿元，每人平均损失人民币2900元。数据来自：CNCERT0200400600800100012002014年8月2014年10月2014年12月2015年2月2015年4月2015年6月2015年8月2015年10月2015年12月2016年2月2016年4月2016年6月中国感染飞客蠕虫的主机占全球10%全球感染飞客蠕虫的主机（万）中国感染飞客蠕虫的主机（万）18主要攻击来自境外IP80%后门被境外IP控制被植入后门网站境外IP控制后门数据来自：CNCERT超过80%的攻击来自境外IP，主要来自美国、中国香港、乌克兰、俄罗斯。以2016年4月为例，境外5606个IP地址通过植入后门对境内26904个网站实施远程控制。对境内网站的仿冒页面有27734个，69.3%的IP地址位于境外。应尽快建立跨国的国际协同治理机制，共同防范和打击跨国网络犯罪行为。！来源：公共资源交易大数据标准制订；大数据促进公开、公平、公正的公共资源交易；大数据为强化监督、规范管理提供支撑；大数据是构建全国统一的、互联互通的公共资源交易平台的基础；大数据是公共资源交易中诚信度及风险评估的依据；大数据与公共资源交易相关政策制订；……21、大数据应用2014-04-16PPV课大数据大数据的一个典型处理流程24资料来源：《ChallengesandOpportunitieswithBigData》典型的大数据处理流程包括：数据的获取和记录、数据的清洁/抽取/标注、数据的整合/聚类/表达、数据的分析/建模和数据解释等5个阶段。在处理的过程中，异构性、规模、即时性、复杂性和隐私权等问题是大数据想要创造价值所需解决的困难。大数据和云计算如果说大数据是一座蕴含巨大价值的矿藏，云计算则可以被看作是采矿作业的得力工具；而且，云计算也是为了解决大数据等“大”问题而发展而来的技术趋势，没有大数据的需求，云计算的功用也将得不到完全发挥。因此，大数据与云计算是相辅相成的。对于大数据而言，云计算的意义不仅在于通过相关技术解决各种具体问题，还在于通过云计算构建一种通用、高效和可靠的大数据支撑平台，掌握以数据流为中心的系统集成思想，在大数据应用层面探索更广阔的内容。为了更好地利用大数据的价值，我们需要用一种新的思路来考虑支撑整个数据处理过程的体系架构，即把分层的思路从单一系统的架构中延展到整个平台范围，将整个数据处理平台按照分层的思路统一规划设计，依据系统不同组件的物理和逻辑特性在系统范围内分层。2526大数据支撑平台的分层思路来源：姚宏宇，《大数据与云计算》PPT来源：腾讯大讲堂、大数据在电子政务中的应用实践数据时代的管理挑战网络互动导致快速的信息爆炸政府管理面临复杂的协作危机社会治理难御突发的蝴蝶效应大数据的核心能力蚂蚁雄兵聚众之力，集中力量完成不可能完成的事情高瞻远瞩以数据为依据，立足事实，既观全局又见未来海纳百川将各种资源整合、融合到一起，并为之所用明察秋毫发现事物之间的关联，揭示潜藏在表面下的本质规律。某部委全国信息系统建设工程政务大数据汇聚融合监管审计决策支撑全国信息系统－汇聚融合－挑战及应对思路政务大数据汇聚融合业务运行无法停顿−业务部门遍布全国−数据结构千差万别−数据质量参差不齐−数据获取以拉代推+分布采集多路融合+智能切片统一视图+灵活模型逐步演进+南北双活数据中心共1700多台服务器支撑全量数据存储、备份和业务分析，同时提供服务基础数据覆盖面超过98%，兼顾当前和历史数据，支持全国数据查询检索及全局分析汇聚全国近200个个城市多个职能部门共几十万张数据表格，数据总量达3PB政务大数据汇聚融合全国信息系统－汇聚融合－成效政务大数据监管审计定期上报费时费力−数据真伪无法保证−数据变化无从得知−数据根源相互冲突−自动抓取实时同步+实时抓取过程监控+过程抓取状态审计+全量复制权限分离+全国信息系统－监管审计－挑战及应对思路数据从地方业务系统产生到多份拷贝在两大全国数据中心完成并提供查询服务只需10秒，保证数据的真实性，及时性和可用性保证所有数据来自地方业务系统，全量备份，严格授权，确保相关数据安全真实，风险可控数据历史变化过程全量保存，并可供快速查询及分析，有效支持监管举证等业务需求政务大数据监管审计全国信息系统－监管审计－成效政务大数据决策支撑信息孤岛无法统一−数据孤立历史缺失−信息过时处理滞后−分析简单业务孤立−全局数据共享互通+状态过程全面掌控+动态监测实时分析+综合业务深度诠释+全国信息系统－决策支撑－挑战及应对思路数据平台自上线以来，共支撑3大类42个综合业务系统的稳健运行，基于全局数据，为有关部门（如金融，司法，税务等）的监管、查询、举证等活动提供有力支撑服务对历史数据的综合查询和分析，提供对多种特定行为（以往无法完成）快速甄别和管控能力实时采集、实时分析为有关部门（如发改委等）的政策监控和调整提供及时的决策支撑能力政务大数据决策支撑全国信息系统－决策支撑－成效谢谢!