大数据知识与案例

主讲：childjumphip参与由广东省经济和信息化委员会主办、广东工业大学大数据战略研究院承办的“战略新兴产业专题大数据应用培训班”。本PPT将通俗地转述培训课中的知识要点、有启发性的内容、大数据应用案例。大数据培训知识21:14前言：培训课程概述大数据技术与发展趋势——刘洪伟教授大数据产生的缘由大数据技术挑战分析与挖掘最优方案国内外大数据政策分析与解读——熊雄处长国内外政策广东省促进大数据发展行动计划四大重点行动广东推进举措广东工业大学智能信息处理研究所参访物联网智慧医疗智能感知短距离无线通信大数据系统平台成果转化企业大数据能力构建与培育——谢振东顾问大数据时代思维变革一切皆可量化企业大数据的特点大数据产业链企业大数据能力大数据商业模式与应用案例——谢卫红处长滴滴打车我查查比价软件某猪威客网营销策略商业模式大数据应用介绍——徐云西工程师数据类型Hadoop技术Spark技术数据平台架构巨杉公司数据库商务智能与商业分析——张瑾讲师大数据信息特点大数据分析技术商务智能数据挖掘机器学习PAGEDIRECTORY目录大数据的产生01大数据技术及分析02企业大数据03大数据应用案例04讲述内容21:14个人的看法0401第一部份大数据的产生★大数据的产生缘由★大数据的特征★大数据产业（链）CauseofBigData21:14大数据的产生——大数据的产生缘由各行各业大数据每天都在产生…我国网民数量(6.88亿)居世界之首，每天产生的数据量位居世界前列某宝网站-单日数据产生量超5万GB-存储量4000万GB-目前数据总量10亿GB-存储网页1万亿页-每天约60亿次搜索请求百度公司城市监控医院-每小时能产生3.6GB的数据-每月产生数据上千万GB-每个病人的CT影像达几十GB-全国每年保存的数据达上百亿GB新的数据来源/新的数据采集方法-互联网（社交网络、电子商务等）-物联网（传感器、二维码、RFID、无线射频识别、位置信息等）全时空数据的可采集性智能算法的使能非结构的数据形态-图片、视频、音乐-商务智能（BI）-人工智能（AI）而数据获取成本、存储成本和处理成本的下降，也推动了数据量的膨胀。1实时分析：流信息、即时需求Velocity（速度）2海量数据：超规模、数字化生活、数据商务。Volume（大量）3低价值密度：大量的不相关信息、需深度分析Value（价值）4多源异构性：不同形式（文本、图形、视频数据）、无模式或者模式不明显、不连贯语法和句义。Variety（多样）大数据的产生——大数据的特征大数据的产生——大数据产业（链）如交易数据、交互数据、传感数据。当前我国大数据处于起步发展阶段，各地积极性高，市场增速明显。2014年，我国大数据市场规模为759.4亿元，存在结构发展不均衡等特点。大数据产业链主要包括以下4个环节：大数据生产与集聚大数据组织与管理大数据分析与发现大数据应用服务如开展分布式文件系统、分布式计算系统、数据库、数据仓储、MOLAP、HOLAP、数据转换工具、数据安全等。如数据挖掘、数据统计、基于大数据的业务分析与预测、基于大数据的决策、商业智能、人工智能、数据可视化等。如数据运营、大数据交易、分析与预测服务、决策支持服务、数据分享平台、数据分析平台等。大数据IT基础设施：存储设备、运算设备、一体机、操作系统、基础软件、IT支撑等。02第二部份大数据技术及分析BigDataTechnology★大数据的技术（例）★大数据的分析方法（例）21:14大数据技术及分析——大数据的技术（例）基于Cookie信息的互联网精准广告定向技术Cookies是一种能够让网站服务器把少量数据储存到客户端的硬盘或内存，或是从客户端的硬盘读取数据的一种技术。Cookies是当你浏览某网站时，由Web服务器置于你硬盘上的一个非常小的文本文件，它可以记录你的用户ID、密码、浏览过的网页、停留的时间等信息。定向技术指的是依托于搜索引擎庞大的网民行为数据库，对网民几乎所有上网行为进行个性化的深度分析，按广告主需求锁定目标受众，进行一对一传播，提供多通道投放，按照效果付费。而用户追踪技术的基础就是Cookie。这只是大数据获取及应用的一小技术，大数据运用到的技术还有很多，包括有大数据采集—大数据预处理—大数据存储及管理—大数据分析及挖掘—大数据展现和应用（检索、可视化、安全等）各环节下的技术。大数据技术及分析——大数据的分析方法（例）大数据分析方法：回归分析、聚类分析、网络分析、关联分析….关联分析确定型关系。扑克牌表演，表面看似随机实际只需记忆不动点即可。啤酒与尿布溺水事件与雪糕销量非因果关系隐藏共因不确定关系。双色球，不确定型推理做不出精准，非必然的、随机的“王”“宝”“强”，餐饮促销。03第三部份企业大数据EnterpriseData★企业大数据有哪些★大数据对企业的作用★企业产品规划21:14企业大数据——企业大数据有哪些大数据是企业的感知载体、感知要素。企业通过各种的“感知器官”收集信息并以数据形式展示，数据的指标能监测和反映企业运行状态。-管理数据，反映企业的管理状况。-运营数据，反映企业的经营状况。-产品数据，反映产品销售情况，市场占有率。-生产数据，反映企业生产效率。-用户数据，反映用户活跃度，用户画像。企业大数据——大数据对企业的作用在技术上，大数据推动企业数据分析技术革新。大数据推进企业转型作用在管理上，大数据优化企业管理流程，促进管理效率提升在运营上，大数据改变了以往营销策略，提供个性化的产品和服务。在思维上，改变以技术或产品为导向的企业思维，要以用户需求为核心的大数据思维，通过大数据挖掘消费者用户的需求。企业大数据——企业产品规划汇聚企业相关数据，规划设计基于特定功能的数据产品，针对某一特定用户需求推出的数据解决方案。用户画像建模标签化·上网特征·兴趣偏好·购物偏好·人口属性·其他标签用户基本信息用户行为信息用户社交数据其他数据用户画像个性化推荐用户洞察产品偏好精准营销……04第四部份大数据应用案例Case★互联网公司布局★某威客网21:14大数据应用案例——互联网公司布局浏览器输入法消费行为统计分析网络入口用户粘性用户数据……银行卡消费→→个人消费情况分析←←银行←←支付宝、微信消费数据大数据应用案例——某猪威客网(一)某猪威客网——服务众包平台在最初的几年里，某猪网可以看作是一个服务业的“某宝”，将服务需求者与提供者链接起来，并从中收取佣金提成。现有的交易有赖于双方沟通，但是只要一沟通就会翻墙跑单。因为服务商想逃避佣金，买家也愿意逃佣金，平台不应该拿钱。◎交易产品非标准化◎复杂的个性化定制交易◎复杂购买◎交易非常低频◎购买决策非常理性存在的问题企业增长缓慢（朱明跃）大数据应用案例——某猪威客网(二)基于大数据的平台增值服务模式商业模式的创新第一，近500万的中小微企业用户。且每天新增将近5000户并在平台至少有一次交易。第二，服务商。某猪网8、9年做下来后平台上有一千万名家各界的专业人才，有设计师、工程师等等。第三，海量的作品数据。累积的作品数据有10个T以上，有些事垃圾，但也有一些有用的东西。第四，交易行为数据。各种服务日志、交易日志，都是海量的数据。用户数据“富含宝藏的海洋”深入挖掘分析小微企业的实际需求找切入点如果不收佣金，能为用户提供什么延伸服务？大数据应用案例——某猪威客网(三)基于大数据的平台增值服务模式“钻井模式”某猪网找到了切入点，在自己搭建的“钻井平台”上获得了“石油”。◎第一口井——通过对客户数据的研究后，发现客户设计完标志以后，大部分还需要做知识产权保护，其中最核心的是商标注册代理和版权登记。◎接下来成立的“猪标局”，只用了半年时间就成为了中国最大的商标公司。◎和依文集团合作成立“xx宝”。因为某猪网有很多VI作品交易，VI很大一部分是LOGO，如果这些企业想做职业装，就直接对接过去。◎企业孵化，某猪网的创意服务者中，不乏有收入和等级高的成立工作室，随后产生注册公司的需要。某猪展开合作，在各城市建创新型产业园。一年少收了佣金六千万，但仅凭商标业务就赚了三个亿。05第五部份个人的看法MyPoint★我对大数据的一些理解★大数据对我司的意义21:14个人的看法——我对大数据的一些理解对大数据的认识，我（jiao）的（liu）理（yi）解（xia）统计学信息技术汇集不同数据源像一门现代的“易经”做预测做决策的依据做精准营销资源优化配置从庞杂的数据背后挖掘、分析用户的行为习惯和喜好，找出更符合用户“口味”的产品和服务，并结合用户需求有针对性地调整和优化自身。一条信息可以很贵拥有稀缺数据资源的企业很热效益高甲级导航测绘-稀缺阿里11亿收购高德腾讯11亿入股四维百度竞购Here我司在大数据上的应用—估价宝评估参考价值提高评估业务效率定义用途价值个人的看法——大数据对我司的意义(一)大数据就是将海量碎片化的信息数据能够及时地进行筛选、分析，并最终归纳、整理出企业需要的资讯。快速地发现消费者的需求变化和市场发展趋势，从而帮助企业及时做出正确的决策。例，推广估价宝，通过对用户操作日志统计，获知地区下市民关注的地块情况。帮助了解客户和市场企业对各项运营数据，形成基于企业的资源分布可视图，让企业的管理者可以更直观地面对自己的企业，更好地利用各种已有和潜在资源。通过大数据的相关性分析，根据不同市场数据之间的交叉、重合，企业的运营方向将会变得直观而且容易识别，在品牌推广、战略规划方面将做到更有把握地面对。例，通过统计各业务盈利的比例、各业务投入资源的配置情况分析后，发现......盈利快。通过行业数据做关联分析，发现......技术应用于......比重上升......帮助做好规划和运营纯属个人观点——微聊大数据对我们公司的意义我司作为...数据供应商，可以定位为大数据产业链中的上游企业，做数据采集、生产，并打包出售，同时也是大数据的应用单位。但我觉得，我司现在并没有将形成一套有效的数据管理、存储、出售的机制。我们每年都有大量的...成果，那么，我们能否将这成果形成数据资源做二次的利用和挖掘呢？融入大数据产业的契机我对大数据的看法——大数据对我司的意义(二)大数据的发展得益于技术的革新。其中，各种前沿的采集或获取技术（如：无人机航拍技术、激光扫描技术、网络爬虫技术、图像识别技术）、新的数据表现形式（如：虚拟现实技术）都可以进入我司技术革新的思考范围。技术革新将给我司传统......业务变得更方便。大数据技术带来的技术革新思考技术单一“车调”“点调”多人作业营销渠道、新闻、外业反馈情报离线地图产品3个月更新多技术运用图像自动识别1人驾车采集外业、网络爬虫、用户回传数据等获取情报在线地图产品号称高速开通5分钟即可上线谢谢聆听TANKS21:14