第5讲：泊松回归

第五章：泊松回归以付费搜索广告为例5.1背景介绍•企业生产一种产品或者服务，除了关注该产品或者服务的生产过程以外，也同样重要的是关注相关信息在目标客户中的传递过程•一个企业的产品服务再好，如果客户不知道，那么一切都等于零。因此，现代企业营销实践，格外看重各种媒体信息的传播作用•企业希望通过最有效的方式将相关信息准确传递到目标客户耳中•但是怎样才能达此目的呢？5.1背景介绍•最传统的信息传播方式莫过于口碑（WordofMouth）。那就是通过现有客户的口口相传将企业的产品服务信息传递给新客户•过去的研究表明，口碑对产品服务信息的传递起着重要的作用▫例如，对新产品上市而言，口碑的作用将直接影响销量成长，进而影响产品的生命周期•直至今日，相关营销研究仍然认为口碑传播对企业产品服务的成功及其重要。通过口碑传播所获得的客户，同通过其他手段（例如：促销）获得的客户相比，具有更高的忠诚度，能够为企业带来更多的利润5.1背景介绍•但是，口碑传播也有它的劣势▫那就是不容易控制▫企业很难通过资源的投入过多地改变口碑传播的过程•因此，除了口碑传播以外，企业还需要别的手段帮助传播产品服务信息▫而最常用的手段之一就是广告•我们可以根据我们的常识，简单地判断一下有哪些常见的广告形式？▫显然，有电视、电台、报纸、杂志、灯箱、路牌、门户网站等等5.1背景介绍•总而言之，对于一个高度商业化的社会而言，信息的有效传播能够带来可观的商业价值•因此，但凡人们有可能留心注意采集信息的地方，都可以通过合理巧妙的形式展示广告▫过去人们忽视的很多死角（例如：电梯、厕所、出租车背）都被充分的利用了起来，而且常常发现有意想不到的效果•很多企业，尤其是新兴企业，在其诞生之初同行业领先者相比就有着先天的劣势▫因此，广告成了此类企业的生命线。广告的有效投放直接决定了企业的收入、利润、甚至存活5.1背景介绍•但是，这些常见的广告方式效果如何呢？•有一句行业俗语：“广告费的80%都被浪费了，但是不知道浪费在哪了”•这从一个侧面放映出一个现象，那就是对某些产品传统媒体的广告效果不尽人意，甚至广告效果在逐年递减•原因是什么呢？有很多原因，其中一个重要的原因就是这些广告都是被动形式的5.1背景介绍•也就是说，此类广告（例如：电视、电台、报纸）的展现无法做到根据客户的不同而不同•因此，有可能给想买衣服的消费者看洋酒的广告，而给向喝酒的顾客看电器广告•所以，此类广告的绝大多数展现面对的是无效客户•这就难怪它们的广告效果是差强人意的5.1背景介绍•那么有没有广告是允许消费者主动表达购买意愿的呢？▫有•最常讲的可能就是付费搜索广告（PaidSearchAdvertising）•它是当下备受关注的搜索引擎营销（SearchEngineMarketing）的核心之一5.1背景介绍•什么是付费搜索广告？•举一个简单的例子▫例如开学期间本人需要购买一张回天津的机票▫我需要找一个好的机票代理，但是又不知道到底谁好▫怎么办呢？我会打开一个常用的搜索引擎（例如：Google）▫然后在它的提示下输入汉字“天津飞机票”如下：5.1背景介绍5.1背景介绍付费搜索广告自然搜索结果5.1背景介绍•其中可以看到两种搜索结果▫一种叫做自然搜索结果（OrganicSearchResult）这部分结果的排列顺序是按照搜索引擎的复杂算法，根据展示页面同搜索关键词的相关度排序的如果一个企业的主页能在自然搜索结果中被排在非常前面，这是一件很开心的事情因为我可以看到你的主页连接，并有可能因此点击浏览你的主页因为，我已经通过关键词“天津飞机票”表达了我购买机票的意愿，因此我绝对是你的目标客户，我很有可能在你的网站上购买机票更重要的是，作为自然搜索结果，Google还不会向你收取任何费用！5.1背景介绍•其中可以看到两种搜索结果▫一种叫做自然搜索结果（OrganicSearchResult）但是，自然搜索也有它的缺点因为它太好了，所以你的竞争对手（其他的机票代理网站）都会拼命捉摸搜索引擎的潜在算法，通过各种手段（例如：页面优化，增加电计量等）努力把它们的主页挤进比较靠前的位置因此，对于任何一个有商业价值的关键词（例如：“天津飞机票”），没有任何企业能够保证自己的主页永远被自然搜索结果排在前面5.1背景介绍•其中可以看到两种搜索结果▫但是，如果你愿意支付一定的费用，那么故事就不一样了例如，你告诉Google，我愿意为每一个“天津飞机票”点击支付1元钱人民币，那么Google会根据你的出价，再结合你的主页的质量好坏，产生一个综合得分再按照该综合得分同其他竞拍该关键词的机票代理对比排序，决定是否展现你的主页如果展现，还将同时决定你的位置如果你的最终的分最高，那么你的主页将有幸被展现在最靠上的位置5.1背景介绍•其中可以看到两种搜索结果▫这就是付费搜索广告付费搜索广告的缺点是明显的那就是得花钱。对于某些竞争激烈的行业（例如：教育培训），每个点击花费一百多人民币是司空见惯的事情但是，付费搜索的好处是稳定可靠。原则上讲，只要能出足够高的价钱，你的主页一定能够得到展示5.1背景介绍•如今付费搜索广告已经越来越被更多的广告客户所接受▫为什么？前面已经提到了它的一个巨大优点，那就是更加准确地瞄准目标客户•除此以外，它还有好几个极其重要的特点▫第一，付费搜索广告及其便宜例如，没有几百万的现金，想打电视广告是很困难的（先不要谈效果）没有几十万，想在体面的平面媒体上打广告也是不容易的在搜索引擎上打广告要多少钱呢？以机票代理为例，一般来说每个点击不超过1元钱。但是假设该点击能够带来一个订单，那么所产生的利润大概是10-20元。如果该订单时国际机票，那么利润将更加客观5.1背景介绍•付费搜索广告的一个巨大优点就是更加准确地瞄准目标客户•除此以外，它还有好几个极其重要的特点▫第一，付费搜索广告及其便宜即使是昂贵的教育培训类广告（例如：MBA培训），也就最多百多元一个点击，但是如果能够产生一个订单，那么利润是极其丰厚的。因此，付费搜索的第一个优点：便宜！▫第二、付费搜索广告的效果是可以追踪的5.1背景介绍•付费搜索广告的一个巨大优点就是更加准确地瞄准目标客户•除此以外，它还有好几个极其重要的特点▫第一，付费搜索广告及其便宜▫第二、付费搜索广告的效果是可以追踪的前面一定提到一句业内俗语：“广告费的80%都被浪费了，但是不知道浪费在哪了”。这句话的另外一个含义就是面对众多的广告投放方式，到底哪一种对我的业务有效，很难评价但是，如果你所运营的是B2C业务，例如：网上电子商城技术上，我们可以追踪到底是哪一个关键词为你产生了订单，因此产生了广告效果，效果多大同传统广告方式的糊涂账相比，这是一个极其了不起的优势。因此，付费广告的第二个优势，那就是广告效果可测5.1背景介绍•付费搜索广告的一个巨大优点就是更加准确地瞄准目标客户•除此以外，它还有好几个极其重要的特点▫第一，付费搜索广告及其便宜▫第二、付费搜索广告的效果是可以追踪的▫最后一个优点，付费广告的门槛极低例如，对Google而言，任何人只要有一张信用卡，理论上都可以开通其AdWords帐户，然后竞拍你感兴趣的关键词相比较，如果你想要做央视的标王，没有几个亿的现金是不可能这一点使得付费搜索广告尤其受到极大量的中小企业追捧5.1背景介绍•虽然付费搜索广告有这么多的优点，要想把它的优点发挥到极致却是一件很不容易的事情•例如，以机票为例，能够表达飞天津机票的关键词太多了▫例如，“天津飞机票”（请注意“天津”和“飞机票”之间没有空格）和“天津飞机票”是两个不同的关键词，但是表达同样的购买意向▫这两个词在互联网上所产生的搜索量是不一样的，能够带给企业的利润也是不一样的▫除此以外，还有“天津机票”，“天津电子客票”，“天津便宜机票”等等。如果我们把所有的排列组和作完，总共会有多少类似的关键词呢？上亿个！5.1背景介绍•虽然付费搜索广告有这么多的优点，要想把它的优点发挥到极致却是一件很不容易的事情•例如，以机票为例，能够表达飞天津机票的关键词太多了▫例如，“天津飞机票”（请注意“天津”和“飞机票”之间没有空格）和“天津飞机票”是两个不同的关键词，但是表达同样的购买意向▫这两个词在互联网上所产生的搜索量是不一样的，能够带给企业的利润也是不一样的▫除此以外，还有“天津机票”，“天津电子客票”，“天津便宜机票”等等。如果我们把所有的排列组和作完，总共会有多少类似的关键词呢？上亿个！▫而一般来说一个普通的广告商能够维护多少个呢？不超过一万个，除非是大型客户5.1背景介绍•虽然付费搜索广告有这么多的优点，要想把它的优点发挥到极致却是一件很不容易的事情▫例如，以机票为例，能够表达飞天津机票的关键词太多了•如何从上亿个可能的关键词中找出最出色的一万个关键词是付费搜索广告研究的一个核心问题•它要求我们研究不同关键词的效果（例如：点击量）和它们的特征（例如：长度、展现量、排名等）之间的回归关系•这样一个关系，对于指导人们的搜索引擎营销意义极大5.1背景介绍•由此可见，在这个问题中，我们的因变量是点击量•它是取值为非负的整数▫这是一种新的因变量数据类型首先，它不同于第一二章线性回归中的连续型因变量点击量可能是0个，1个，2个等。但是，不可能是1.5个因此，线性回归不能处理此类因变量此外，它还不同于第三章中的0-1变量，因为点击量的取值范围更加丰富，不仅仅是0和1显然，点击量也不同于第四章中的定序变量请注意，点击量真的有数值意义，因为1个点击加2个点击真的等于3个点击5.1背景介绍•由此可见，在这个问题中，我们的因变量是点击量•它是取值为非负的整数▫这是一种新的因变量数据类型前面讨论的回归模型都不再适用▫我们需要一种全新的，面向计数数据（CountData）因变量的回归模型▫这就是本章将要介绍的泊松回归（PoissonRegression）5.2数据介绍•本数据来源于国内某培训公司，该公司的主要业务就是帮助各种各样的客户应负各种各样的考试▫类似的企业在国内极多。最为大家所知的莫过于新东方•但是，本案例提供者所关心的业务不是出国留学培训，而是各种家教和MBA联考培训•因此，它设计了几千个关键词，例如“暑期家教”，“mba培训”等•我们从中随机抽取了200个关键词某天的数据作为我们的演示案例•该数据包含下面的变量信息5.2数据介绍•关键词长度（𝐗𝟏）•该指标刻画了某关键词的长度▫例如“mba”包含三个字符“m”，“b”，还有“a”。因此其长度为3•考虑关键词长度很重要▫因为一般来说，关键词的越短，搜索的人越多，因此所产生的展现（Display,Impression）较多•但是，更多的展现能否带来更多的点击（Click）却是不一定的。相反，稍微长一点的关键词（例如：mba培训）往往代表着更加清晰的搜索意图，购买意愿。因此，有可能相关点击量反而更高5.2数据介绍•展现量（𝐗𝟐）•当消费者向搜索引擎输入一个关键词，搜索引擎便会依据一定规则把相关网站展现出来•对于一个给定的网站，每一次相关搜索都有可能使其被搜索引擎展现，而在一定时间段内（例如：一天以内），该网站被展现的次数就是展现量5.2数据介绍•展现量（𝐗𝟐）•由于搜索引擎对展现并不收费，因此展现本身对广告商而言是一个免费的午餐，而对于搜索引擎而言是一种投入•如果一个网站的展现量太高，但是没有产生足够点击，那么搜索引擎就仅仅忙于展现，为该网站做免费广告，但是无法产生足够收入•那么，搜索引擎会认为该网站的页面质量太差，进而影响该网站在同等或者类似出价情况下的竞价排名5.2数据介绍•平均点击价格（𝐗𝟑）•着是指在一定时间以内（通常是一天）所发生的所有点击的平均价格•人们也常常称其为单位点击成本（CostPerClick,CPC）•不同关键词的长度不一样，表述方式不一样，都会造成不同的搜索量，不同的竞争程度•受到人们追捧的热点词的平均点击价格往往都很贵5.2数据介绍•平均排名（𝐗𝟒）•这是指在一定时间以内（通常是一天）所发生的所有点击