大数据概念、应用及人才需求-缔元信秦雯52

BigData，it’smorethanwhatyouthink大数据概念、应用及人才需求缔元信.网络数据秦雯2014.09.25路径分析工具地理位置：（IP地址）广东省广州市来源：（referredURL）百度新闻访问时间：2010/09/1109:30:10-10:10:45客户端：PCIE6，WindowXPFlash5……CookieID：00008689d2da31dd33175ab2f0d07f50://data.auto.sina.com.cn/carstyles/?size=suv://money.sohu.com/20110614/n310053306.shtml://digi.it.sohu.com/20110614/n280679734.shtml=***://tech.163.com/mobile/11/0614/06/76G6BUKG0011309K_2.html地理位置：（IP地址）广东省广州市来源：（referredURL）百度新闻访问时间：2010/09/1109:30:10-10:10:45客户端：PCIE6，WindowXPFlash5……CookieID：00008689d2da31dd33175ab2f0d07f50新浪视频新浪汽车新浪科技搜狐财经搜狐IT网易汽车网易科技悍马宣传片搜索SUV产品库微软平板电脑操作系统新闻有关车险赔付新闻/车险专题北漂小家电选购推荐文章自主SUV车型对比文章低端Android手机/三星智能电视商场进入商场逛来逛去挑选商品收银结算离开商场商场会员去了哪里？商场广告进入网站浏览网站浏览页面订单结算关闭网站注册会员去了哪里！网络广告网站大数据产生场景——在线哪些人看了？在哪里看到的？哪些人被广告吸引？哪些人进了网站？从哪一页进来的？哪些人多次进入？进网站后看了什么？在网站停留时间？在站内怎么跳转的？对哪些商品感兴趣？关注商品哪些属性？有没有收藏或购买？多少注册成为会员？会员的消费特征？会员的行为特征？花钱买了什么？每次花多少钱？偏好什么结算方式？从哪一页离开的？什么状况下离开的？离开后去了哪里？大数据是人类在线直接和间接的行为记录人类在线交互行为数字化信息设备运行监测数据小数据和大数据的区别调查数据监测数据样本反馈主观的结果的结构化的断点的监测记录客观的过程的非结构化的连续的抽样的全样的大数据因为小，所以大浏览网页播放视频点击广告搜索信息打开APP发贴评论即时通信拍照上传心跳血压116.238.222.20000310100DDS0091[26/Jul/2013:23:58:59+0800]GET/a.gif?a=1401bb4baf2&t=&i=28f687c31.138b2e86a59.0.8f081215&b=http%3A//tech.sina.com.cn/internet/hdphoto/lltj_photo_manual.html%3Fp%3Dhttp%3A//=860010-0313010000&s=1024x768x32&l=zh-cn&z=8&j=1&f=11.5%20r31&r=http%3A//slide.tech.sina.com.cn/internet/slide_5_45265_32866.html&ck=1HTTP/1.020043==0.3769174627959728Mozilla/5.0(WindowsNT5.1)AppleWebKit/537.17(KHTML,likeGecko)Chrome/24.0.1312.57Safari/537.17vjsid=6761b4450a3da439b9b6dd846d7342a2收藏购买在线支付点赞转发…………大数据因为大，所以小网页浏览量200亿页次/天APP启用次数20亿次/天百度搜索量50亿次/天支付宝交易笔数2亿笔/天微博活跃用户数5000万/天微信活跃用户数1200万/天QQ活跃用户数2000万/天网页资源量15,000亿页微博发贴量1亿条/天移动APP数量50+万个大数据认知的误区大数据＝数据中心大数据＝云计算大数据＝数字化信息大数据＝海量数据数据中心[InternetDataCenter,IDC]是对互联网业务资源进行集中式处理和分发的物理环境。在大数据产业的传输层，是大数据应用的网络基础设施。云计算是互联网业务的系统平台，实现海量数据的高效存储和利用。在大数据产业的处理层，是大数据应用的系统基础设施。数字化信息是大数据的组成部分，但不是所有的数字化信息都能产生大数据。大数据是数字化信息被生产、消费的过程的记录。海量是大数据的特征之一，但大数据并不是简单地指量大的数据，而是能够反映人－人、人－物、物－物之间关联关系及过程演化的海量数据。大数据概念泡沫行业专家IT企业主管部门大数据处理流程数据采集数据处理数据管理数据应用其他数据公共数据在线业务原始数据收集数据清洗数据分类处理定义元数据规则定义数据采集规则定义数据应用维度不同维度的数据管理系统数据云计算平台（存储和计算）定义数据应用场景面向不同应用场景开发不同的数据产品或应用大数据的采集源大数据分类方法政务数据分类公共数据分类产业数据分类工商管理税务管理人口管理市场管理……教育医疗交通市政……汽车快消3C娱乐……用户数据分类性别年龄职业购买力……以“人”为本的大数据管理系统年龄属地职业学历资讯偏好性别关联人群静态信息娱乐偏好商品偏好地理位置相关服务相关事件生活习性相关动作动态信息实时信息……健康状况价值观特征……相关消费……Cookiesdata数据存储和计算平台（云计算）DDMP大数据管理平台SpiderdataAudienceSegmentationModelsDataExchangeUsersSegmentServiceProductandServiceontology-basedknowledgemanagementMedia用户自然特征用户社会特征用户消费特征用户兴趣特征Industrychannelkeywords……categoryETLNLPCustomizedservice缔元信DDMP平台数据采集层数据处理层数据应用层Cookiesdata数据存储和计算平台（云计算）缔元信DDMP大数据管理平台SpiderdataAudienceSegmentationModelsDataExchangeUsersSegmentServiceProductandServiceontology-basedknowledgemanagementMedia用户自然特征用户社会特征用户消费特征用户兴趣特征Industrychannelkeywords……categoryETLNLPCustomizedservice体育偏好曼城乳神成耀东中超足球比赛视频视频直播欧冠AC米兰VS巴萨韦德詹姆斯热火骑士NBA|NBA直播NBA比分贝克汉姆二公子滑铲欧冠|2012/13赛季科比阿尔芭黑丝CBA青岛新疆NBA视频NBA版海天盛筵淫乱派对潘晓婷安利杯_彩票殷瑞中老年羽球邀请赛百看不厌邹市明组图：东莞篮球宝贝小贝国安卡努CBA官网小贝宿茂臻詹姆斯足坛十谐星：李毅电视剧偏好倾城绝恋第35集倾城绝恋第20集倾城绝恋第31集倾城绝恋第15集倾城绝恋第22集倾城绝恋第14集倾城绝恋第17集倾城绝恋第13集倾城绝恋第21集倾城绝恋第19集倾城绝恋第39集汽车偏好江淮悦悦马自达CX-9斯巴鲁森林人北京现代ix35卡罗拉保时捷卡宴广汽传祺福特翼虎沃尔沃S60宝马7系丰田FJ酷路泽江淮宾悦汉兰达飞度丰田陆地巡洋舰长安VOSS宝马X5兰德酷路泽江淮瑞风大切诺基江淮同悦奥德赛现代胜达JEEP游戏偏好游戏攻略查询LM战队《诺亚传说》专区大话西游2数码偏好手机频道iPhone苹果Logo微信移动应用阿里四核旗舰机下载偏好UC影音(UC播放器仁和可立克科技迷博客控爱看视频娱乐八卦美容汽车迷财经高手雪花啤酒田径汽车迷游泳房产奔驰车羽毛球体育迷三星玩游戏科技迷关注时事娱乐八卦关注女性玩游戏爱旅游体育迷研究星座博客控F1音乐迷财经高手关注教育汽车迷高尔夫买彩票哈韩田径读书狂军事迷育儿文化重视健康足球上海;PC;10:00,12:00,17:00青岛，济南;PC，9:00,15:00北京;PC，Iphone；9:00,12:00TagManagement打酱油型汽车UserSegmentation看车用车汽车八卦图片用车服务看热闹型汽车兴趣型买车念头型买车计划型快要出手型对用户标识的Tag进行聚类研究，确定面向应用的用户分群买车产品库经销商轮胎油耗保养问答网站数据化运营变在线服务，等客变成拉客产品至上变成用户体验至上大数据实现精细化、精准化数据化运营解决什么问题？实时了解运营状况及时调整运营策略科学管理运营团队充分发掘用户需求持续改进用户体验不断提升服务能力怎样实现数据化运营：二看一用“看”数据：业务管理•不同维度的统计报表系统：供各级管理者使用。可分为实时报告、日报、周报、月报、季报、年报。“看”数据：过程控制•实时监测系统：供具体责任人对过程进行实时控制。•过程分析系统：供具体责任人对过程进行历史数据分析，发现存在的问题，并采取相应的策略优化过程。•过程预测系统：供具体责任人或机构预测未来过程的趋势，及时配备相应的资源以保证过程的顺利实施。“用”数据：即时应用•数据驱动的个性化服务过程控制：网站运营的四个环节站外推广页面导流用户转化内容优化网站运营4大环节链接管理资源管理用户管理渠道管理衡量渠道导入的流量规模发现最优质的流量——渠道管理衡量渠道导入用户的质量衡量渠道导入用户的有效性衡量渠道导入用户的有效性在推广的各个环节，计算单位用户的成本，评价渠道的ROI根据网站用户群的兴趣偏好或被推广的内容特征，选择精准营销渠道，高效导入目标用户。监测分析优化让用户第一时间看到想看的——链接管理衡量入口页导流效率衡量网页间的链接效率页面布局的合理性打开速度对用户体验的影响分析网站页面链接关系的合理性分析特定用户的历史访问行为，预判用户的偏好，系统自动推送相关信息。监测分析优化不浪费一分钱投入——资源管理衡量有效资源量衡量资源的利用率分析用户关注偏好分析页面链接关系的合理性根据用户需求，优化资源配置分析特定用户的历史访问行为，预判用户的偏好，系统自动推送相关信息。监测分析优化让每个用户爱上网站——用户管理忠诚用户成长性活跃用户成长性利用网站用户的历史行为数据，对网站用户按内容单元或按用户对网站的粘性等多个维度进行聚类分析，深入了解用户的行为特征及偏好特征，制定相应的内容策略及推广策略，改善用户体验。分析特定用户的历史访问行为，预判用户的偏好，为用户定制个性化页面，让网站