#LAMP人#品友互动-互联网行为分析和数据挖掘

第第1212期期《《新一代互联网行为定向广告技术的挑新一代互联网行为定向广告技术的挑战与优化战与优化--》》--品品友互动友互动专场专场群：83304912互联网广告的用户行为分析和数据挖掘数据挖掘唐亮Copyright@2012iPinyouAllRightsReserved.•我知道我的广告费浪费了一半，问题是我不知道哪一半被浪费了。JohnWanamaker（美国百货零售业之父）•浪费到哪里？•如何避免？•广告形式概述•广告主的数据分析目录•广告主的数据分析•用户属性分析与建模传统广告•电视、纸媒、户外广告等缺陷：难以获得受众的信息和“反馈”什么样的人看了我的广告？他们喜欢（或购买）我的产品吗？可以获得用户行为（浏览、点击、购买等）可以分析用户属性（关注点、兴趣爱好等）适于“定向投放”互联网广告适于“定向投放”•广告形式概述•广告主的数据分析目录•广告主的数据分析•用户属性分析与建模为广告主提供数据分析
分析网站的流量特点
分析用户的兴趣属性
分析用户的兴趣属性
提供个性化的数据服务……广告主的数据分析•访客来源：广告主的其它数据分析•页面热度•页面流失率和二跳率•新旧访客数量•访客的兴趣属性•……•广告形式概述•广告主的数据分析目录•广告主的数据分析•用户属性分析与建模（AudienceBuilder）•用户行为的收集•海量数据的存储广告数据分析的技术点•用户数据的挖掘•广告的定向投放品友的用户行为收集和数据存储•网页上添加JS代码，为用户设置cookie•分布式存储和计算平台（Hadoop、Pig、Mahout等）用户数据挖掘流程用户日志的统计用户属性的更新广告受众的提取广告后续的分析用户的日志统计•统计用户访问的具有类别特征的页面汽车类：auto.163.com•对用户进行兴趣分类用户兴趣属性的分类•采用向量空间模型（VectorSpaceModel）
提取页面内容
提取类别关键词
提取类别关键词
构建关键词向量
计算向量距离页面特征提取兴趣类别的特征词向量
基于样本数据
提取类别特征词汽车类：服饰类：……
设置特征词的权重汽车类：奔驰,w1奥迪,w24S店,w3……用户浏览的特征词向量
基于用户的浏览
提取特征词
设置特征词的权重
设置特征词的权重A,wa，B,wb，C,wc，……用户的兴趣分类特征词...兴趣类别(Ci)...用户浏览(u)特征词...用户浏览(u)广告受众的选择（投放前）•根据广告类别和用户的兴趣类别例如：准备投放Gucci广告选择具有个人关注/流行时尚等相关属性的用户选择具有个人关注/流行时尚等相关属性的用户基于用户属性库（cookie与属性类别的映射）展示广告的选择（投放中）•按历史点击率等信息选择广告例如，某用户既是Gucci受众，又是Benz受众，根据：Price(Gucci)*P(Gucci|f...f)Price(Gucci)*P(Gucci|f1...fn)vs.Price(Benz)*P(Benz|f1...fn)f1...fn是用户的兴趣属性（及媒体和广告位等属性）；P(A|f1...fn)是给定属性条件下，A类别广告的点击率；Price(A)是A广告的点击价格。多种属性的综合考量和选择•用户的兴趣属性•媒体、广告位等属性•时间、地域等属性•……•……如何确定：各个属性的权重？设置属性权重的方法•统计历史数据得到样本数据：在各种属性情况下的点击率等•设置属性权重的算法K近邻+模拟退火逻辑回归……K近邻(K-NearestNeighbor)•根据历史数据•预测当前数据模拟退火(SimulatedAnnealing)•初始：温度高，步长大搜寻范围广，以确定最优解的大致位置评价函数：评价当前值的优劣模拟退火•后续：温度低，步长小搜寻范围窄，以确定最优解的具体位置K近邻+模拟退火基于样本数据集90%训练集10%测试集1遍历测试集中的每条数据；划分训练集和测试集随机设置各个属性的初始权重1遍历测试集中的每条数据；2从训练集中提取“距离”最近的前K条数据3与测试数据的实际值比较，并统计误差若误差小于阈值，则得到各个属性的权重；否则，调整属性的权重，并迭代测试调整各个属性的权重（模拟退火）K近邻测试误差比较得到各个属性的权重广告效果分析（投放后）•各种曝光和点击情况
时间、地域等的分布
各种兴趣属性的分布
广告物料的效果评估
……
……•更新各种模型
分类模型
投放策略
……定向广告投放效果我们的技术：我们的技术：海量数据、云计算、分布式、数据挖掘、机器学习、海量数据、云计算、分布式、数据挖掘、机器学习、精准定向、用户行为分析精准定向、用户行为分析海量数据、云计算、分布式、数据挖掘、精准定向、海量数据、云计算、分布式、数据挖掘、精准定向、数据分析、数据分析、HadoopHadoop，，RedisRedis，，HbaseHbase，，HiveHive，，PigPig，，OozieOozie，，GangliaGanglia，，FlumeFlume，，LuceneLucene，，LIBSVMLIBSVM，，MahoutMahout，，ZookeeperZookeeper……………………品友互动感谢您的关注，希望继续支持：品友互动感谢您的关注，希望继续支持：官方网站：官方网站：官方微博：官方微博：://weibo.com/pinyouhudong招聘微博：招聘微博：://weibo.com/pinyouhudonghr尽管每一个词都名声显赫，热的发紫，但这的确就是尽管每一个词都名声显赫，热的发紫，但这的确就是我们每天正在做的和使用着的；我们每天正在做的和使用着的；我知道，你那一本正经的外表下面那颗躁动的心已经我知道，你那一本正经的外表下面那颗躁动的心已经蠢蠢欲动了蠢蠢欲动了!!!!!!!!来吧！这儿的舞台无比广阔，这儿的技术绝对前沿，来吧！这儿的舞台无比广阔，这儿的技术绝对前沿，这儿的事情会让你激动得颤抖这儿的事情会让你激动得颤抖!!!!!!!!加入品友：加入品友：[e-mail]@ipinyou.com我们的产品：我们的产品：OptimusOptimusFolo8Folo8