什么是大数据

一、什么是大数据1、概念：大数据（bigdata），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。2、如何理解大数据？大数据概念分解成三个层面：第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。第二层面是技术，技术是大数据价值体现的手段和前进的基石。分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。第三层面是实践，实践是大数据的最终价值体现。分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。3、大数据的特点：4V特点（IBM提出）：Volume（大量）、Variety（多样）、Value（价值）、Velocity（高速）。第一，数据体量巨大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）；第二，数据类型繁多。比如，网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。第四，处理速度快。4、大数据与云计算联系与区别从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。云计算和大数据两者之间结合后会产生如下效应：可以提供更多基于海量业务数据的创新型服务；通过云计算技术的不断发展降低大数据业务的创新成本。云计算与大数据区分在两个方面：第一，在概念上两者有所不同，云计算改变了IT，而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运营。第二，大数据和云计算的目标受众不同，云计算是CIO等关心的技术层，是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品，而大数据的决策者是业务层。5、大数据的价值体现：大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督；大数据帮助城市预防犯罪，实现智慧交通，提升紧急应急能力；大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物；大数据帮助航空公司节省运营成本，帮助电信企业实现售后服务质量提升，帮助保险企业识别欺诈骗保行为，帮助快递公司监测分析运输车辆的故障险情以提前预警维修，帮助电力公司有效识别预警即将发生故障的设备；大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找到最合适的商品购买时期、商家和最优惠价格；大数据帮助企业提升营销的针对性，降低物流和库存的成本，减少投资的风险，以及帮助企业提升广告投放精准度；大数据帮助娱乐行业预测歌手，歌曲，电影，电视剧的受欢迎程度，并为投资者分析评估拍一部电影需要投入多少钱才最合适，否则就有可能收不回成本；大数据帮助社交网站提供更准确的好友推荐，为用户提供更精准的企业招聘信息，向用户推荐可能喜欢的游戏以及适合购买的商品。6、大数据发展趋势趋势一：数据的资源化何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。趋势二：与云计算的深度结合大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。趋势三：科学理论的突破随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。趋势四：数据科学和数据联盟的成立未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。趋势五：数据泄露泛滥未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。在财富500强企业中，超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据，所有数据在创建之初便需要获得安全保障，而并非在数据保存的最后一个环节，仅仅加强后者的安全措施已被证明于事无补。趋势六：数据管理成为核心竞争力数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关;此外，对于具有互联网思维的企业而言，数据资产竞争力所占比重为36.8%，数据资产的管理效果将直接影响企业的财务表现。趋势七：数据质量是BI(商业智能)成功的关键采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。趋势八：数据生态系统复合化程度加强大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。而今，这样一套数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的细分，也就是市场的细分;系统机制的调整，也就是商业模式的创新;系统结构的调整，也就是竞争环境的调整等等，从而使得数据生态系统复合化程度逐渐增强。7、大数据产业链二、大数据与电子商务关系三、电子商务的发展趋势电子商务最近几年呈现两大发展形态：一是以马云主导的淘宝系，以及京东、1号店等，以产品为主要形式的实物型电商;二是以马化腾为主导的腾讯系，以及美团等，这些以服务为主要形式的服务型电商。未来将会有十大趋势，关键词分别是：移动化，平台化，三四五线城市，物联网，社交购物，O2O，云服务，大数据，精准化营销和个性化服务以及互联网金融。第一，移动购物。目前，手机用户已经达到了五亿，PC用户是5.9亿，手机的渗透率增速是远大于PC的渗透率。也就是说在2017年，手机用户将超过PC用户，电子商务将来的主战场不是在PC，而是在移动设备上。而移动用户有很多的特点，购买的频次更高、更零碎，购买的高峰不是在白天，是在晚上和周末、节假日。做好移动购物，不能简简单单的把PC电子商务搬到移动上面，而要充分的利用这种移动设备的特征，比如说它的扫描特征、图象、语音识别特征、感应特征、地理化、GPS的特征，这些功能可以真正的把移动带到千家万户。第二，平台化。平台化是在某个核心产品上面嫁接更多的服务，以满足用户一站式的需求。充分利用自己的流量、商品和服务使效益最大化的一个过程，可以利用全社会的资源增加自己商品的丰富度，增加自己的服务和地理覆盖。第三，向三四五线城市渗透。随着一二线城市网购渗透率接近饱和，电商城镇化布局将成为电商企业们发展的重点，三四线城市、乡镇等地区将成为电商“渠道下沉”的主战场，同时电商在三四线欠发达地区可以更大的发挥其优势，缩小三四线城市、乡镇与一二线城市的消费差别。阿里在发展菜鸟物流，不断辐射三四线城市;京东IPO申请的融资金额大约为15亿美元到19亿美元，京东表示将要有10到12亿美元用于电商基础设施的建设，似乎两大巨头都将重点放在了三四线城市。事实上，谁先抢占了三四线城市，谁将在未来的竞争中占据更大的优势。第四，物联网。物联网就是物物相连的互联网。其核心和基础仍是互联网，是在互联网基础上的延伸和扩展的网络;其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。以用户体验为核心的创新2.0是物联网发展的灵魂。可以试想一下，如果放一个牛奶放进冰箱，进冰箱的时候自动扫描，保质期、什么时候放进去、你的用量，当你要完的时候，马上可以自动下订单，作为商家接到订单马上给你送货，而这个订单触发生产，也就是说所有的零售、物流和最后的生产可以全部结合起来。第五，社交购物。社交购物可以让大家在社交网络上面更加精准的去为顾客营销，更个性化的为顾客服务。第六，O2O。传统零售在往线上走，电子商务往线下走，最后一定是O2O的融合，为顾客提供多渠道、更大的便利。第七，云服务和电子商务解决方案。电商市场最终是以客户需求为导向的，解决客户眼前的问题，为客户打造全方位、最优质、最便捷的一站式体验服务——为客户量身定制解决方案，用专业的人员做出专业的事情，为客户提供一个简单、快速、低成本的第三方服务解决方案平台，从而调整市场结构，整合产业链。第八，大数据的应用。数据是一个逐渐升级的过程，原始的数据是零散的，价值非常小，而这些数据经过过滤、分析而成为了信息，而在信息的基础之上建立模型，来支持决策，成为知识，而这些知识能够做预测，能够举一反三，能够悟出道理，最终变成智慧和决策。所以在整个数据升级，和数据价值的升级，充分体现大数据的价值。第九，精准化营销和个性化服务。以后的营销不再是大众化营销，而是窄众营销。每个人都希望最大效率的应用这个营销的渠道和营销的工具化是窄众营销，每个人精准化的的需求，提供个性化的营销和服务。第十，互联网金融。与传统金融的区别不仅在于金融业务所采用的媒介不同，更重要的在于金融参与者通过互联网、移动互联网等工具，使得传统金融业务具备透明度更强、参与度更高、协作性更好、成本更低、操作更便捷等一系列特征。发展模式有众筹、P2P网贷、第三方支付、数字货币、信息化金融机构、金融门户等。