大数据变现和广告市场（PPT31页)

大数据变现与广告市场360商业产品首席架构师刘鹏微博：@北冥乘海生工业革命v.s.数据革命油田发电厂电气化工厂电力原油数据源原始数据大数据处理知识数据驱动型企业原材料商品未来，不会利用大数据的企业，将像不会用电的企业一样可笑什么是大数据问题？问题的目标函数数据采样率100%10%1%ABC•A：典型大数据问题，解决问题的效果随着采样率降低显著降低，例如行为定向、个性化推荐等。•C：一般数据分析，非大数据问题，解决问题的效果在采样率降低时变化很小，例如各种洞察、单维度统计等。•B：过渡类型问题，解决问题的效果随采样率降低温和下降，例如文本主题分析等。大数据变现与互联网广告•互联网广告是迄今为止，大数据领域唯一形成规模化营收的应用。•互联网广告是需要对数据进行全量加工分析，并直接变现的大数据应用。•在线广告支撑了整个互联网行业的大半壁江山。不了解互联网广告，就不可能深入了解互联网。美国互联网广告增长趋势中国互联网广告增长趋势品牌广告vs效果广告网络广告快速增长主要依靠效果广告在线广告简史搜索广告上下文广告CPM定向广告CPD广告精准定向广告广告网络广告交易市场线下广告竞价合约受众定向竞价系统需求方深度参与•什么是流量变现？–自有流量RPM水平的不断提升–典型产品：搜索广告、导航广告、门户品牌广告、社交网站信息流广告•什么是数据变现？–获取非自有流量，通过对用户行为的理解，提升其RPM水平从而获得差价–是流量变现的护城河，不断吸引广告主的关键–典型产品：AdNetwork(网盟),DSP，DMP流量变现vs数据变现互联网广告市场供给方(Supply)需求方(Demand)数据加工和交易广告交易营销数据的来源分类广告平台数据(第二方数据)广告主数据(第一方数据)其他来源数据(第三方数据)主要数据来源：DSP：第一方+第三方Network：第二方平台方数据应用常见受众定向方式曝光(exposure)关注(attention)理解(comprehension)信息接受(messageacceptance)保持(retention)购买(purchase)阶段定向方式上下文(2.1,3.1)重定向(2.2,2.3,3.1)行为(2.3,3.1)地域(2.3,4.1)人口属性(2.3,3.1,6.1)网站/频道(2.3,3.1,4.2)效果作用阶段Hyper-local(2.3,4.1)Look-alike(2.3,3.1,4.1,6.1)uaf,ufcf(见DSP部分)行为定向(Behaviortargeting)•根据用户历史上网记录和其他数据总结出用户兴趣，根据此投放广告•举例–YahooBT(BehaviorialTargeting)行为定向数据来源•用户标识–除上下文和地域外各种定向的基础，需要长期积累和不断建设–可以通过多家第三方ID绑定不断优化•用户行为–业界公认有效行为数据（按有效性排序）•交易，预交易，搜索广告点击，广告点击，搜索，搜索点击，网页浏览，分享，广告浏览–需去除网络热点话题带来的偏差–越靠近demand的行为对转化越有贡献–越主动的行为越有效行为定向数据来源•广告商(Demand)数据–简单的cookie植入可以用于retargeting。–对接广告商种子人群可以做look-alike，提高覆盖率。•用户属性和精确地理位置–非媒体广告网络很难获取，需通过第三方数据对接。–移动互联和HTML5为获得地理位置提供了便利性。•社交网络–朋友关系为用户兴趣和属性的平滑提供了机会–实名社交网络的人口属性信息相对准确数据交易所(DataExchange)•目的:–聚合多种原始行为数据，加工成统一标签后，在公开市场上售卖–聚合多种加工后标签数据，在公开市场上售卖•主要特征:–主要负责第三方数据的收集、加工和流转，不一定直接从事广告交易–多于广告交易平台、SSP等合作进行数据变现Bluekai标签体系类别描述数据来源规模(用户数)Intent最近输入词表现出某种产品或服务需求的用户BluekaiIntent160+MMB2B职业上接近某种需求的用户Bizo12+MMPastPurchase根据以往消费习惯判断可能购买某产品的用户Addthis,Alliant65+MMGeo/Demo地理上或人口属性上接近某标签的用户Bizo,Datalogix,ExpediaInterest/LifeStyle可能喜欢某种商品，或某种生活风格的用户Forbes,i360,IXI103+MMEstimatedFinancial根据对用户财务状况的估计做的分类V12第一方数据应用实时竞价AdxDSP1Demand网站Supply网站DSP2DSP3CookiemappingAdcall•多方参与的过程–分为cookiemapping和adcall两阶段•主要技术点：–Adx与DSP之间的用户身份同步(cookiemapping)–DSP数量较多时的服务和带宽成本优化重定向(Retargeting)重定向的分类•网站重定向(Siteretargeting)–根据用户在广告主网站上的行为进行重定向•搜索重定向(Searchretargeting)–根据用户与广告主相关的搜索行为进行重定向•个性化重定向(Personalizedretargeting)–根据用户在广告主网站上关注的具体产品和购买阶段，推送商品粒度的广告–不再推送已购买产品，而是推荐相关产品–对广告主而言，可以视为一个站外推荐引擎新客推荐(Look-alike)•问题:–对于中小电商，仅对老用户定向营销远远不够–对于某些类型的广告商，大多数用户无法通过重定向渠道捕捉，例如银行•新客推荐:–由广告商提供一部分种子用户，DSP通过网络行为的相似性为其找到潜在用户–是一种广告商自定义标签，可视为扩展重定向–在同样reach水平下，效果应好于通用标签从电商角度看推荐站内推荐站外推荐新客推荐pv:…,search:…,adc:…,share:…pv:…,search:…,adc:…,share:…看起来很相似！数据管理平台(DataManagementPlatform)•目的:–为网站提供第一方数据加工和应用能力，–结合公开市场第三方数据，加工跨媒体用户标签，–支持网站业务运营和广告投放，是否应直接从事广告交易存在争议•主要特征:–第一方用户定制化划分能力–统一的对外数据接口•核心业务：–主要提供面向publisher的数据加工服务–直接运营adnetwork，并帮助广告主进行campaign管理和优化•其他点评：–较早提出受众定向(audiencetargeting)的概念–数据标签不像bluekai那样在市场上公开出售,仅供委托他们优化campaign的广告商使用–使用标签impression创造的营收按照一定比例跟publisher分成数据管理平台(DataManagementPlatform)•目的:–为网站提供第一方数据加工和应用能力，–结合公开市场第三方数据，加工跨媒体用户标签，–支持网站业务运营和广告投放，是否应直接从事广告交易存在争议•主要特征:–第一方用户定制化划分能力–统一的对外数据接口多方数据加工框架第一方数据第三方数据第二方数据WebServerAdServerAdRankingAdretrievalYieldmanagementStreamComputingServingTrackingDatahighwayGridSessionloggenerationPageAttributesNon-advertisinglogsAudienceTargetingUserAttributesClickmodelingCTRmodel&featuresNear-linepagefetcherAnti-spamBillingReal-timetargetingAdIndexReal-timeindexingRTUserAttributesAdbaseRTfeaturesReal-timefeedbackCustomizedaudiencesegmentationWebUserAEETLdashboardCube11RTBS3rd-partydataRTBDStructurallabelbasePlanningAllocationplan大数据隐私安全•A29与PII–A29：欧盟负责隐私保护条例制定的委员会–A29原则•PersonalIdentifiableInformation(PII)不能使用•用户可以要求系统停止记录和使用自己的行为数据•不能长期保存和使用用户的行为数据•Quasi-identifier与K-anonymity–Quasi-identifier:朝阳区，35岁，在360上班–K-anonymity:北京市，30-40岁，互联网行业大数据隐私安全•稀疏行为数据的新挑战–从一个人观影或购物记录，能否反推他是谁？–实际案例：Netflix推荐大赛，有人从数据集里发现了自己的同事是同性恋–理论研究：RobustDe-anonymizationofLargeSparseDatasets•深度个性化系统也有隐私安全风险！–相关研究课题是差分隐私(DifferentialPrivacy)•隐私是大数据头上的达摩克里斯之剑Q&Ａ