大数据基础知识21

大数据基础知识电信云@大数据产品线目录•大数据定义•大数据价值•大数据产业链1.大数据定义共识，全球数据量每年+50%的速度指数递增工业、生产数据远大于我们现在关注的消费数据大量即时数据在价值未流失之前等待处理大数据营销，根据企业数据需要组织挖掘分析，并基于IT系统实时把分析提供给需要决策帮助的内部企业成员。互联网统计大数据是一个服务行业。大数据是传统统计与互联网相结合的行业。1.大数据定义大数据定义：所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。主要的特点:–Volume数据体量–Velocity数据速度–Variety数据多样–Veracity数据真实2.大数据价值在阐述大数据价值时，先一起先学习下数据价值数据信息知识智慧数据是约定俗成的数值量化，对客观事物的数量、熟悉、位置及其相互关系进行抽象表示，以适合在这个领域中用人工或自然的方式进行保存、传递和处理。2.大数据价值数据价值数据信息知识智慧信息是在时效内的一定含义的，经过加工处理对决策有价值的数据流。2.大数据价值数据价值数据信息知识智慧通过人们的参与对信息进行归纳、演绎、比较等手段进行挖掘，使其有价值的部分沉淀下来，并于已存在的人类知识体系相结合，这部分有价值的信息就转变成知识。2.大数据价值数据价值数据信息知识智慧智慧是人类基于已有的知识，针对物质世界运动过程中产生的问题根据获得的信息尽行分析，对比，演绎找出解决方案的能力。智慧乃以知识为根基，加上的运用能力、综合判断、创造力及实践能力来创造价值。2.大数据价值数据价值数据信息知识智慧智慧是人类基于已有的知识，针对物质世界运动过程中产生的问题根据获得的信息尽行分析，对比，演绎找出解决方案的能力。智慧乃以知识为根基，加上的运用能力、综合判断、创造力及实践能力来创造价值。2.大数据价值在此大数据作为服务工具，是数据分析能力的表现对大数据分析，主要分为五个方面（提供大数据解决方案时的价值输出载体）：可视化分析（AnalyticVisualization）数据挖掘算法（DateMiningAlgorithms）预测性分析能力（PredictiveAnalyticCapabilities）语义引擎（SemanticEngines）数据质量管理（DataQualityManagement）2.大数据价值可视化分析（AnalyticVisualization）2.大数据价值数据挖掘算法（DateMiningAlgorithms）数据挖掘算法是大数据分析的理论核心，其本质是一组根据算法事先定义好的数学公式，将收集到的数据作为参数变量带入其中，从而能够从大量复杂的数据中提取到有价值的信息。著名的“啤酒和尿布”的故事就是数据挖掘算法的经典案例。沃尔玛通过对啤酒和尿布购买数据的分析，挖掘出以前未知的两者间的联系，并利用这种联系，提升了商品的销量。亚马逊的推荐引擎和谷歌的广告系统都大量使用了数据挖掘算法。2.大数据价值语义引擎（SemanticEngines）语义引擎是机器学习的成果之一。过去，计算机对用户输入内容的理解仅仅停留在字符阶段，不能很好的理解输入内容的意思，因此常常不能准确的了解用户的需求。通过对大量复杂的数据进行分析，让计算机从中自我学习，可以使计算机能够尽量精确的了解用户输入内容的意思，从而把握住用户的需求，提供更好的用户体验。苹果的Siri和谷歌的GoogleNow都采用了语义引擎。2.大数据价值大数据解决方案在企业知识管理项目上的价值点：1.提供专业团队（数据建模、挖掘技术）与客户（行业专家）进行企业数据价值勘探。2.提供统一可扩展的元数据规则库构建方案。避免组织内产生不同信息和知识体系，保证数据的信息流通、知识管理、智慧创新。3.在公共大数据挖掘平台。定制数据汇集，并依托平台集约化的全面高效支持的时效、海量、弹性、关联等核心能力下快速构建解决和集成实施方案。4.提供私有大数据挖掘平台解决、集成方案，并建设性开放安全数据接口避免“数据孤岛”。3.大数据产业链大数据产业链，关键点，1.基础设施提供商2.基础系统提供商3.大数据解决方案提供商4.平台服务提供商3.大数据产业链1.基础设施提供商a.采集卡/视频采集卡、监控采集卡、空气质量采集器b.网络带宽/电信c.存储介质/d.计算设备/e.数据提供商2.基础系统提供商-目前最热门的开源生态系统：hadoop分布式计算框架-Yarn:MR/Spark/Storm分布式文件系统-Hdfs分布式结构化存储-Hbase/Cassandra3.大数据产业链3.大数据解决方案提供商a.行业、政府解决方案发现周期规律、促进数据关联、b.企业大数据解决方案加强数据一致，信息流通，知识积累b.企业面向主题解决方案面向市场营销、推广回报比、渠道质量、投资风险、产品定价等主题c.企业面向运营解决方案发现异常、跟踪质量、客户管理、预警风险解决方案3.大数据产业链4.平台服务提供商/电信云.大数据产品线我们致力于云计算.大数据生态环境的建设，全面提供集约化面向企业提供大数据平台和技术服务支持，在核心技术上我们已经完成，a.大规模数据分析支持Map、Reduce、Join、Union等多种数据节点处理模式，支持直接使用SQL语句对海量数据进行离线分析提供与ANSISQL高度兼容的语法支持，支持用户复杂的数据分析需求。3.大数据产业链4.平台服务提供商/电信云.大数据产品线b.分布式文件系统分布式文件系统拥有高可扩展性，支持上亿个文件和PB以上量级的文件存储实现了大规模数据的快速读写功能，实现了文件并行操作的高效机制支持大规模并发读写，充分利用分布式并行带宽3.大数据产业链4.平台服务提供商/电信云.大数据产品线c.任务调度采用数据驱动的多级流水线并行计算框架，在表述能力上兼容MapReduce，Map-Reduce-Merge，Spark等多种编程模式高可扩展性，支持十万以上级的并行任务调度自动检测故障和系统热点，重试失败任务，保证作业稳定可靠运行完成大数据基础知识Q&A