大数据简介-应用及技术简述

大数据技术与应用什么是大数据Part1什么是大数据何为大？—数据度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务Part1什么是大数据大数据定义：所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。主要的特点:•Volume数据体量•Velocity数据速度•Variety数据多样•Veracity数据真实•4V特征Part1什么是大数据大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。大数据的特征Part2大数据的特征BigData大数据Volume•非结构化数据的超大规模和增长•总数据量的80~90%•比结构化数据增长快10倍到50倍•是传统数据仓库的10倍到50倍数据量体Value•大量的不相关信息•对未来趋势与模式的可预测分析•深度复杂分析（机器学习、人工智能Vs传统商务智能）数据价值Variety•大数据的异构和多样性•很多不同形式（文本、图像、视频、机器数据）•无模式或者模式不明显•不连贯的语法或句义数据多样Velocity•实时分析而非批量式分析•数据输入、处理与丢弃•立竿见影而非事后见效数据速度Part2大数据的4V特征—Volume1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和Part2大数据的4V特征—Velocity•实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；•1s是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；Part2大数据的4V特征—VarietyPart2大数据的4V特征—Value•价值密度低(Value)•价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。•如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息大数据技术简介及现况Part3大数据技术简介数据采集数据预处理数据存储数据分析挖掘数据可视化实时处理SparkStorm机器语音R语言关联分析用户画像构建推理预测知识图谱2D法时间可视化多维法层次法分布式架构HadoopMapReduce数据库体系NoSQLNewSQLMPP混合架构Lambda架构数据清理遗漏值处理噪音数据数据集成实体识别数据冗余数据归约维度归约数值归约硬件采集传感技术RFID软件采集系统日志抓取企业特定API、网络众包Part3大数据技术现况—将在三个环节分层突破采集端多源数据融合社交数据、IOT数据等外部数据与企业内部数据融合拉通运营化发展通过长期采集积累海量数据资源的企业实现数据联合运营分析端处理实时化针对网络视频化潮流，更加强化对实时流数据的处理能力高效化数据量的不断增加，云端处理API结合后台支撑将使数据处理更加高效应用端智能化以机器学习作为核心，将实现对用户需求的自我理解和智能迭代云端化云计算和移动互联网将促进大数据应用从2B市场迅速推广到2C市场Part3大数据及其关联技术物联网云计算大数据云计算为物联网提供海量数据存储能力物联网为云计算技术提供了广阔的应用空间云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系大数据应用Part4大数据主要用途21%16%24%21%18%精准经营降低成本智能服务风险管理创新经营24%的大数据企业认为在为用户实施智能服务方面有较大帮助数据价值体现在三个方面•增加收入•减少支出•降低风险Part4大数据主要应用行业能源行业随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。物流行业利用大数据优化物流网络，提高物流效率，降低物流成本。城市管理可以利用大数据实现智能交通、环保监测、城市规划和智能安防。生物医学大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA,了解更多的生命奥秘。体育娱乐大数据可以帮助我们训练球队，决定投拍哪种题财的影视作品，以及预测比赛结果。安全领域政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。个人生活大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。大数据主要应用行业Part4大数据主要应用行业制造业利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。金融行业大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。汽车行业利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活。互联网行业借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。餐饮行业利用大数据实现餐饮O2O模式，彻底改变传统餐饮经营方式。电信行业利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施大数据主要应用行业Part4大数据应用领域不断丰富大数据应用领域不断丰富，从互联网、电信、金融开始向医疗、交通、政府领域深入2018年中国大数据市场行业结构预测基础电信金融交通政府医疗其他媒体社交娱乐38.1%17.1%14.1%13.6%8.1%7.6%1.4%大数据应用领域零售安防工业媒体社交娱乐交通电信金融政府Part4大数据产业发展数据资源创新活力（内部因素）市场需求（外部因素）2020年大数据基础软硬件互联网大数据行业大数据大数据平台大数据分析产品与互联网和传统行业融合创新将成为大数据产业爆发点大数据现状及未来发展Part5大数据现状及未来发展习近平政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用，2014年3月8日“大数据”首次写入政府工作报告奥巴马“将投入巨资拉动与大数据相关的产业”“数据为“未来的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。李克强：加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质。李克强经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服务汪洋数据为王，财政工作离不开大数据中央政府对大数据的重视程度重大机遇和优势数据资源大量积累为大数据发展提供了良好条件信息技术的广泛深入应用，引发了数据量的爆发式增长，我国在信息产业不断发展、信息化不断推进的过程中，积累了大量的数据资源，为大数据发展提供了源泉。经济社会持续增长的应用需求为大数据发展提供了市场空间大数据技术产品创新正逐渐从技术驱动转向应用驱动，旺盛的应用需求和巨大的市场空间是我国大数据产业创新的强大内生动力。政府重视和服务体系建设为大数据发展创造了优良环境十八届三中、四中、五中全会指出要利用大数据推动政府治理能力的提升，加快公共数据开放共享，推动大数据在科学决策、政府管理和公共服务等领域的应用，助推简政放权和万众创新。良好的政策环境为大数据发展创造了难得的政策机遇。2015年，我国规模以上电子信息产业总规模超过15.5万亿元，比“十一五”期末翻了一番。大型数据中心向绿色化、集约化发展，云计算服务逐渐成熟，国内龙头企业面向大数据新需求，积极推出新产品和新服务，一批新兴的专业化大数据企业崛起。产业体系雏形初具为大数据发展提供了产业基础成熟公司新创公司10亿元以上1亿元-10亿元5000万元-1亿元1000万元-5000万元1000万元以下珠三角地区和京津冀地区是大数据产业最具创新活力的区域。京津冀地区和珠三角地区呈现大中小企业梯次发展的健康结构，龙头企业数量较多，带动能力相对较高。京津冀和珠三角成为最具创新活力与带动能力的区域Part5大数据现状及未来发展发展趋势随着大数据技术的快速发展，企业和政府部门开始已经开始运用大数据来进行业务的分析、预测和决策。01机器学习成为智能分析核心技术近年来，机器学习已经开始渗透到生活各个领域：客服机器人、垃圾邮件过滤、人脸识别、语音识别、个性化推荐……随着大数据分析能力的不断提高，2018年机器学习将继续在智能分析方面发挥重要作用。02多种科技和学科交叉融合大数据技术的发展不仅能够将网络计算中心、移动网络技术和物联网、云计算等新型尖端网络技术充分地融合成一体，促进不同科学技术的交叉融合，同时还能够促进多学科的交叉融合，充分发挥出交叉学科和边缘学科在新时代的新功能与效用。03政府大数据将迅速发展近日，国家相关部门就实施国家大数据战略进行第二次集体学习，指出将推动实施国家大数据战略，加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。因此，2018年政府将步入大数据建设快速发展的新阶段。04物联网、云技术、大数据和网络安全深度融合数据管理技术，如数据质量控制、数据准备、数据分析以及数据整合等方面的融合程度将在2018年达到新的高度。当我们对智能设备的依赖程度增加时，互通性以及机器学习将会成为保护资产免遭网络安全危害的重要手段。05基于知识图谱的大数据应用将成为热门应用场景知识图谱的应用场景非常广泛，比如搜索、问答、推荐系统、反欺诈、不一致性验证、异常分析、客户管理等。2018年，基于知识图谱的大数据应用将衍生出更多热门应用场景。06隐私的保护与大数据的安全备受关注大数据应用在带来便利的同时，也暴露了一系列问题，人们开始担心个人信息的安全，骚扰电话、账户盗用、地址泄露……如何保护隐私大数据也将提上日程。Part5大数据现状及未来发展大数据平台将成为成长性最高的领域03云计算技术发展为大数据存储和挖掘提供了重要的计算和存储资源保障。02智能化、网络化、平台化加速了数据的采集和积累。01商贸、政务、金融、医疗卫生、工业等各行各业数据指导决策的需求日益迫切。各类互联网平台从原有的信息服务平台向“数据+”信息服务平台转变，大数据平台成为了信息通信领域增长性最快领域。Part5大数据现状及未来发展THANKS