行业大数据技术架构介绍24

行业大数据部署思路浅析大数据的特点理解大数据相关技术与应用•什么是大数据？海量数据本身+处理方法*大数据的4V特征体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效*1、密不可分的大数据与云计算商业模式驱动应用需求驱动云计算本身也是大数据的一种业务模式大数据是落地的云•云计算的模式是业务模式，本质是数据处理技术。•数据是资产，云为数据资产提供存储、访问和计算。•当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。*2、大数据不仅仅是“大”多大？至少PB级比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值*4、大数据的应用不仅仅是精准营销•通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象*5、管理大数据“易”理解大数据“难”•虽然大数据是一个重大问题，真正的问题是让大数据更有意义•目前大数据管理多从架构和并行等方面考虑，解决高并发数据存取的性能要求及数据存储的横向扩展，但对非结构化数据的内容理解仍缺乏实质性的突破和进展，这是实现大数据资源化、知识化、普适化的核心•非结构化海量信息的智能化处理：自然语言理解、多媒体内容理解、机器学习等挖掘内部需求经过大数据改造的IT不再是一个冷冰冰的系统，而变成了推动业务发展，挖掘客户内心需求的真正推动剂；大数据将催生更多的应用领域需求。数据源内部结构化数据外部其他渠道网络/应用日志EDW（内外部结构化数据）用户基本信息数据库Hadoop（内外部非结构化数据）Hadoop/GPFSClusterMapReduce&Analytics网络日志分析内容分析交互数据分析个体分析用户购买记录数据库用户维修记录数据库内部非结构化数据社会化媒体数据生产、销售、服务、售后数据数据应用仓库用户在线浏览据库用户安装配送数据库。。。。。其他数据集清洗整合用户数据清洗整合规则确定ETLDQ数据清洗、整合、转换开发清洗整合规则自动调度规则与标准制定用户信息归属规则确定用户数据使用权限与流程确定用户数据质量标准确定数据应用/服务营销/关怀活动自动化管理商业智能管理驾驶舱业务报表专题分析嵌入运营系统的大数据应用信息可视化工具CRMSCMMESPLM平台化企业，需要大数据架构的支撑大数据时代的企业发展更高一层数据层面整合企业内外部*数据的再利用：由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。大数据价值链的3大构成：数据本身、技能与思维谷歌公司三者兼具，在刚开始收集数据的时候就已经有多次使用数据的想法。比方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为了制成全自动汽车以及谷歌眼镜等与实景交汇的产品。未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。《大数据时代》传统行业最终都会转变为大数据行业，无论是金融服务也、医药还是制造业。大数据的未来和机遇大数据相关技术分析技术：•数据处理：自然语言处理技术•统计和分析：A/Btest;topN排行榜；地域占比；文本情感分析•数据挖掘：关联规则分析；分类；聚类•模型预测：预测模型；机器学习；建模仿真大数据技术：•数据采集：ETL工具•数据存取：关系数据库；NoSQL；SQL等•基础架构支持：云存储；分布式文件系统等•计算结果展现：云计算；标签云；关系图等存储•结构化数据：海量数据的查询、统计、更新等操作效率低•非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储•半结构化数据转换为结构化存储按照非结构化存储解决方案：•Hadoop（MapReduce技术）•流计算（twitter的storm和yahoo！的S4）数据采集数据储存数据管理数据分析与挖掘什么是hadoop•开源Apache项目,灵感来源于Google的MapReduce白皮书和Google文件系(GFS),Yahoo完成了绝大部分初始设计和开发•Hadoop核心组件包括:-分布式文件系统-Map/Reduce–分布式计算•用Java编写•运行平台:•Linux,MacOS/X,Solaris,Windows•普通的X86硬件平台为什么hadoop很重要•非结构化数据暴增:–估计未来5年，企业的数据将增长650%，其中80%都是非结构化数据–比如FACEBOOK每天收集100TB的数据，Twitter会有每天产生3500亿的tweets•非结构化的数据同样蕴藏巨大价值•需要新方法利用所有数据进行业务分析–ApacheHadoop作为一个分析存储大量数据的关键数据平台出现hadoop与大数据•Hadoop是致力于“大数据”处理的最重要平台之一–能够轻松扩展到PB级别的数据存储，处理规模–带有高度容错能力的并行处理架构–基于普通的X86平台硬件架构，硬件成本低廉–用内置格式存储/处理数据–基于开源项目，拥有当量的代码来源，并且传统厂商也日益重视对其的支持，它已经成为重要的并行处理架构标准之一企业级Hadoop堆栈数据存储与访问方式大数据与应用总体设计行业大数据建设思考1.思考的问题A.使用当前数据资源建设大数据平台能做什么？实现以前无法实现的应用需求A.针对当前业务状况，为什么需要建设大数据平台改善现状，为未来发展奠定基础A.具备什么样的条件才能建设大数据平台？硬件和网络资源具备了吗？数据应用业务需求明确了吗？已有业务迁移到大数据平台可行吗？2.建设步骤A.分析当前及未来数据量及数据类型（不止是原始数据哦，还有新产生的大数据应用中间及结果数据）B.明确大数据应用业务需求（包括已有业务迁移和未来面对海量数据进行的以前无法做到的新型业务需求和模式）C.根据需求确定数据存储模式及结构（与应用相关）D.根据需求确定大数据应用建设技术路线●批处理模式●实时访问技术●流式计算●大规模并行计算●统计分析●OLAP分析●数据挖掘●智能搜索●。。。E.搭建系统运行及监控平台3.行业大数据人才需求数据科学家数据分析师数据挖掘工程师能力：1.具备分布式架构HADOOP上的变成能力，熟悉R语言等等挖掘分析技术2.具备概率统计，数据挖掘等数学基础3.行业数据科学展示能力4.行业决策制定5.跨界人才：能够在IT技术，数据分析，商业决策之间架起桥梁的复合型人才