大数据时代的互联网行为定向广告技术_品友互动

大数据时代的互联网行为定向广告技术品友互动•互联网广告介绍•Hadoop云计算平台•用户行为分析和挖掘互联网广告分类•搜索广告–搜索广告是指广告主根据自己产品的内容和特点等，确定相关的关键词，自主定价投放的广告•展示广告–应用广泛–形式多样：图片、文字链接、视频广告、移动广告、社交广告等形式–前景广阔展示广告增长强劲互联网广告的计费方式•CPT/CPD(Cost-Per-Time):每小时/天费用•CPM(Cost-Per-Mille/Impressions):每千次曝光费用•CPC(Cost-Per-Click):每次点击费用•CPA/CPS(Cost-Per-Action):每次效果费用•……传统展示广告的缺点•广告资源价值没充分体现；存在浪费•广告投放效果不明显•用户体验差互联网行为定向广告•通过获取用户行为（浏览、点击、购买等），分析其用户属性（关注点、兴趣取向等），从而实现“定向投放”的广告•优点–网站广告资源充分利用–广告主实现最大的投放效果–网民体验更好，看到自己感兴趣的信息Hadoop云计算平台LibSVM用到的工具和技术日志收集系统-FlumeFlume在品友的使用•良好的可扩展性–简单的source和sinkAPIs。–基于事件流的设计易于把简单的操作组合成复杂的操作。–插件式的架构易于用户使用自己编写的sources、sinks和decorators。•良好的可管理性–WebPage–FlumeShell•良好的可靠性–三种级别的故障恢复模式Flume在品友的使用•优化前Flume占用的系统资源•优化后Flume占用的系统资源通过优化，Flume在内存和CPU的使用上都有较大的降低：2/3Sqoop在品友的使用•品友的数据源多样，数据种类众多，支持的业务复杂，怎么解决各个不同数据库与hadoop的快速、简易的传输？•Sqoop作为HadoopDBETL的利器，在品友得到了广泛的使用Pig在品友的使用•大量的业务、需求、分析需要大量的开发工作，怎么在有限的人力资源和时间成本中平衡•Pig的广泛使用–简单易学–PigScript转换为MapReduce程序,缩短开发时间–丰富的PigBuilt-InFunction–可扩展的PigUserDefinedFunctionMapReduce程序Oozie在品友的使用•由于我们的分析内容多种多样，一个分析过程可能就需要对HDFS进行操作、MapReduce、Pig、Sqoop和定时任务的提交•为了整合分析过程的各个阶段，使分析的过程更有逻辑性，并且提高Job在Hadoop上的执行效率，我们使用Oozie作为基于Hadoop的工作流引擎管理数据流水线。Oozie在品友的使用Ganglia在品友的使用•Ganglia是UCBerkeley发起的一个开源实时监视项目，我们使用Ganglia监控品友云的各个节点，提供系统静态数据以及重要的性能度量数据。•Nagios:良好的邮件或短信报警功能，我们用其对我们的系统进行异常预警Ganglia在品友的使用Redis在品友的使用•定向广告，要求极好的读写性能，Redis作为一款性能良好的内存数据库，在品友得到了极大的使用几亿的活跃Cookie几十亿的属性几千种类目实时获取任何一个用户的属性实时获取任何一个类目的用户list实时计算多属性交并条件下的用户量云中工作行为数据分析和建模品友的用户数据分析流程定向广告的投放广告后续的分析用户日志的统计用户属性的产生用户的日志统计•统计用户的网络行为：浏览行为：Url、Time、IP…..搜索关键词：=猎聘网=奔驰点击广告：点击什么广告……网购行为：购买什么类型商品…...……用户属性的产生•原理：相由心生，由表象反推本质•方法：TF/IDF、特征向量模型、SVM、决策树、k-means……•属性：–兴趣点，个人关注–购买倾向–人口属性：性别、年龄、职业、收入……–……用户兴趣属性的更新•新属性权重累加Fi=Fi+wi(Fi为兴趣属性，wi为新增权重量)•旧属性权重衰减Fi=Fi-1*p(0p1，i为时间戳)定向广告的投放•投放前:广告受众的选择•投放中:–广告物料的选择–投放策略的选择•投放后:广告效果的评估广告受众的选择（投放前）•根据所投广告的类别，分析其受众特征，然后从用户库中选择具有该特征的用户例如：准备投放Gucci广告选择具有流行时尚、奢侈品、高收入群体等相关属性的用户基于用户属性库（cookie与属性类别的映射）广告受众的选择Optimus定向投放用户属性选择广告物料的选择（投放中）•原理：根据该（类）广告的历史点击率等信息，产生样本数据，从而预测用户最可能对哪个广告感兴趣例如，某用户既是Gucci受众，又是Benz受众，根据：P(Gucci|f1...fn)vsP(Benz|f1...fn)f1...fn是用户的兴趣属性（及媒体和广告位等属性）P(A|f1...fn)是给定属性条件下，A类别广告的点击率•方法：逻辑回归、泊松分布…..•输出：提供对每个广告点击预测结果的降序列表投放策略的选择（投放中）•问题：决定最终投放哪个广告的原因，除了属性是否匹配外，大量其他外部因素，同样影响着最终广告的选择，所以需要均衡各方面因素：例如：广告需求量超过总流量时，怎么分配流量不同广告价格不同，怎么分配流量广告曝光阈值控制问题广告主的特殊投放要求……•方法：动态规划•输出：最终投放的广告其他分析和挖掘•流量预测–预测我们未来一定时间段的各种属性用户量，以更好指导我们的广告投放•媒体评分–媒体作弊、点击作弊、媒体群特征、地域、网站类别……•广告影响力周期•……广告效果分析（投放后）•各种曝光和点击情况时间、地域等的分布各种兴趣属性的分布广告物料的效果评估……•更新各种模型分类模型投放模型……•访问轨迹（订单轨迹）：广告主的数据分析•人口属性：广告主的数据分析广告主的其它数据分析•访客来源•页面热度•新旧访客数量•搜索关键词•……行为定向广告效果•CTR点击率提高了3-5倍前景展望•网络广告仍然是互联网收入的主要方式•大数据处理、数据分析：未来十年的互联网新爆发点•定向广告是网络广告和数据分析的结合