【计算广告】在线广告市场与背景-1.1 在线广告综述（广告的模式、数据计算、定义及目的、形式、历史）

    在线广告，也称网络广告、互联网广告，顾名思义，指的是在线媒体上投放的广告。与传统广告不同的是，在线广告在其短短十几年的发展过程中，已经形成了以人群为投放目标、以产品为导向的技术型投放模式。它不仅为广告主带来了以准确接触目标受众为方法论的全新营销渠道，也为互联网免费产品和媒体找到了规模化变现的手段。可以说，不论在做用户产品还是商业产品，不深入了解在线广告，就不可能全面了解互联网业务。因此，互联网行业的从业者花一些时间把现代在线广告原理和产品搞清楚是必需的。

    不夸张地说，在过去相当长的一个时期内，大数据（big data）这一方法论唯一形成规模化营收的落地行业就是在线广告。即便在今天，计算广告仍然是大数据应用中最成熟、市场规模最大的行业

一、免费模式与互联网核心资产

免费模式的本质是将那些能够规模化、个性化传播信息的商品，以边际成本的价格出售。

    其实，这类免费产品在传播信息的过程中，获得了3项可变现的核心资产，这就是流量、数据和影响力。

（1）流量。流量的价值是，有人使用你的产品，你便可以在产品本身的功能之外夹带一些付费内容（sponsored content），或者称为广告，这样就把流量变成了收入。

（2）数据。有人在使用你的产品的过程中留下了一些行为和属性，比如搜过某个关键词，浏览过某个商品，填写过自己的性别，这些都是数据。根据这些数据，你可以更好地了解该用户的属性、偏好等信息。基于这些信息，可以调整投放付费内容的策略以提高效率。

（3）影响力。影响力指的是你的产品或内容获得了高于普通水准的关注与信任。当然，你投放的付费内容也就同时获得了更好的关注效果，而这些对于提高转化率同样是至关重要的（参见2.1节）。因此，具备影响力的产品或内容在投放广告时可以获得品牌溢价。

    将这3项资产通过商业产品的形式转变成收入的过程，即商业化（monetization）过程，与用户使用免费产品的过程是分离的，因此称为后向变现。从上面的介绍可以看出，无论是数据变现还是影响力变现，都是建立在流量变现的基础上的，而这样的体系也就是计算广告技术所支撑的、现代的商业化产品体系。

二、大数据与广告的关系

从数据来源、处理方式和应用方向这3个角度来看，大数据问题都有鲜明的特点。

（1）行为数据。传统的数据处理任务往往面对的是交易数据。所谓交易数据指的是商业活动中必须记录的数据，如电信运营商的话费充值、通话记录，银行的存取款、利息等。交易数据处理的规模往往并不太大，但是对一致性和实时性的要求非常高，IOE（IBM、Oracle和EMC）的计算架构为交易数据处理提供了成熟的方案。与此相对，商业活动中产生的非必须记录的数据，就是行为数据。电信运营商采集到的用户位置、银行的窗口排队以及网站的用户访问日志等，都属于行为数据。与交易数据相比，行为数据的加工有两个特点，首先是规模巨大，其次是对一致性的要求要低得多，例如，网站的日志丢失千分之一，往往并不是什么严重事故。由于这两个特点，传统的IOE架构并不合适，这些是大数据架构产生的原动力。

（2）全量加工。如果数据规模很大，并且问题无法通过采样来降低处理的复杂程度，那就必须利用一些专门为海量数据处理而设计的计算和存储技术（如MapReduce、NoSQL数据库等）来实现。如图1-1所示，我们考察某数据处理过程的目标函数，就有可能存在如下两类有代表性的情形。

图1-1　大数据问题的特性示意

    A类问题：如果通过数据采样能够显著降低数据处理的复杂程度，同时解决问题的效果（即目标函数）没有太大的下降，那么显然应该这样做。这类问题可以用图1-1中的A曲线来示意。一般的统计报表、报告等往往属于这类问题。

    B类问题：另有一些数据问题基本上不可能通过只处理一小部分数据来达到处理全量数据的效果，或者说，随着数据采样率的降低，解决问题的收益快速下降，这类问题是典型的大数据问题，可以用图1-1中的B曲线来示意。个性化推荐（personalized recommendation）和计算广告（computational advertising）等问题，需要用到每一个人的行为做定制化推送，而无法只采样一部分人做处理，符合这一特征。

（3）自动化应用。使用数据的应用有两种类型。一种是洞察（insight）应用，即对数据进行统计分析后得到整体的结果报表，再由决策者根据结果进行决策。洞察应用传统典型的例子是企业的财务报表，而商业智能（Business Intelligence，BI）也属于洞察应用。另外一种是自动化（automation）应用，即将数据处理的结果直接送给对业务进行自动决策的引擎。计算广告正是典型的自动化应用，从用户行为数据收集，到受众定向，再到线上根据用户标签的自动决策，整个过程都是自动进行的，人的作用只是建立流程和调整策略。电商的自动进货系统，也是一种大数据的自动化应用。

    由于上述3个特点的存在，面向中等规模交易数据的存储和计算的传统IOE架构变得不再合适，必须寻找新的方案。这些需求催生了Google的GFS、MapReduce和BigTable这“三驾马车”，也产生了Hadoop和Spark等开源技术方案。

（1）计算广告为规模化变现流量和数据提供了完整产品和解决方案，并创造了互联网大部分的利润。

（2）在线广告孵化了较成熟的数据加工和交易产业链，值得所有涉及大数据从业者学习和借鉴。

（3）由于存在商业上的限制条件，计算广告产品和技术比推荐系统更加复杂。因此，理解其产品和市场对于设计高效的商业产品大有益处。

三、广告的定义与目的

    William F.Arens在《当代广告学》[4]中给出的定义：广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的，通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。

    出资人、媒体和受众这三者的利益博弈关系是广告活动的主线，这一主线将贯穿于商业和产品形态的整个演化过程。另外，该定义还阐明了广告必须是有偿的、非人员的信息传播活动，这两点限制，前者使广告的目标变得明确，后者使这一目标可以用计算的方式来优化，这些都是计算广告产生的基础。

    广告的本质目的是什么呢？不同时代对这一问题存在不同的认知。在传统媒体时代，供给方与需求方在市场地位上有相当的距离，不论是电视台、机场还是杂志，都与大多数广告主需要的转化行为之间有相当大的差距。因此，传统广告的目的主要是借助媒体的力量来快速接触大量用户，以达到宣传品牌形象，提升中长期购买率与利润空间的目的。我们称这种目的的广告为品牌广告（brand awareness）。当然，也有许多广告商希望能利用广告手段马上带来大量的购买或其他转化行为，我们称这种目的的广告为直接效果广告（direct response），有时简称为效果广告。

    数字媒体的出现使效果广告空前蓬勃地发展起来，这主要有两方面的原因：一是数字媒体的特点可以让我们低成本地投送个性化广告，这本质上是在变现流量；二是一些在线服务，如搜索、电子商务，由于可以更清楚地了解用户的意图，也就使广告效果的优化更加容易，这本质上是在变现数据。

    在线广告兼有品牌和效果两方面的功能。不过，互联网广告行业的高速发展主要是因为效果广告市场带来的巨大红利。

    在互联网环境中，广告的本质虽然没有变化，但是由于大量直接效果需求的产生，其表现形式越来越丰富和灵活。不论是与线下类似的横幅、搜索竞价排名，还是软文，甚至是表面上与广告并不相干的游戏联运，其本质都是付费的信息推广，从产品的角度来看都可以归在广告的范畴下。

四、在线广告表现形式

（1）横幅广告（banner ad）。这是展示广告中最传统的形式。它是嵌入在页面中的图片，往往需要占据固定大小的版面。目前，横幅广告大多数也都不再是静止的图片，而是由Flash或HTML5等方式实现的动态素材。

（2）文字链广告（textual ad）。这种广告的素材形式是一段链接到广告主落地页的文字，是搜索广告的主流形式，在展示广告中也被广泛采用。文字链广告有时像横幅广告那样占据固定版面，有时则穿插在大量内容链接条目中。

（3）富媒体广告（rich media ad）。这类广告利用视觉冲击力较强的表现形式，向用户侵入式地投送广告素材。富媒体广告常见的形式有弹窗、对联、全屏等。它比较适合在高质量的媒体做品牌性质较强的广告投放，但是对用户的使用体验往往影响也较大。一些门户网站的首页有时会为某个品牌广告主提供专门定制的、交互形式很复杂的富媒体广告，这样的广告不太采用按受众投放的逻辑，主要强调创意的冲击力和交互形式的特色。

（4）视频广告（video ad）。视频广告指的是广告的创意由静态素材变成了一段视频，其信息的传播量和冲击力都得以大大提高。可以说，视频化已经成为在线广告最重要的趋势之一。有关视频广告的效果评价，除了点击率等，还可以采用用户观看时长等更接近用户印象的指标。

（5）交互式广告（playable ad）。视频广告承载了更多的创意信息，因此会带来较好的推广效果。于是，在移动场景下，业界开始探索让用户直接在创意上完成交互，体验被推广产品的交互式方案。

（6）社交广告（social ad）。社交网络的兴起给广告传播的渠道和能力都赋予了新的空间。在社交网络中嵌入的广告，可以统称为社交广告。社交广告中最典型的形式是插入在信息流中的广告，这种方式最早见于Twitter的“Promoted Tweets”产品。它力求在用户的交互过程中尽可能自然地插入广告，被归于原生广告的范畴中。“社交广告”与“社交网络中的广告”是两个不同的概念，例如，在社交网络页面上竞价售卖的文字链或横幅广告，其本质与普通网站上的展示广告并无太大区别。

（7）移动广告（mobile ad）。移动广告目前典型的形式有横幅、开屏、插屏、积分墙或推荐墙等。

（8）邮件营销广告（Email Direct Marketing，EDM）。这是通过电子邮件向用户推广信息的一种营销手段。

（9）激励广告（incentive ad）。数字广告区别于传统广告的重要特点是可以产生直接转化，因此很容易想到的一个策略，就是直接激励用户产生转化以提高效果，这类广告称为激励广告。激励广告的典型代表之一是移动上常用的积分墙模式，激励广告虽然能显著提高转化效率，但是由于用户对产品的真实需求并不强，因此后续效果会大打折扣，特别是在获取新客方面的价值比较差。

（10）团购。团购本质上是一种按照效果付费的泛广告产品，其本质也是一种激励性广告。团购推广的主要广告主是一些本地化的店铺，主要目的是为了获得新客。

（11）游戏联运。游戏联运是根据用户的最终游戏内消费在推广渠道和游戏开发商之间分成的商业产品，这仍然是一种按效果付费的泛广告产品。在页游和手游的推广中，联运是一种非常常见的发行模式

（12）固定位导航。这主要包括网址导航站的位置入口、应用分发平台的推荐位置等付费推广位置。

五、在线广告简史

1、合约广告

    在20世纪末，那时的在线媒体（如AOL、Yahoo!等网站）刚刚产生不久。它们的流量规模很大，投资人当然希望这些媒体也能够给自己带来真金白银。要对这些线上流量进行变现，或者称为商业化，最直接的方法就是把网站页面当成杂志版面，在里面插入广告位。线下的广告代理公司也就把这些网站当成新的杂志，按既往思路和逻辑进行采买。我们称这种在互联网上展示横幅广告的产品形式为展示广告（display advertising），也称显示广告。我们称上述的展示广告售卖模式为合约广告（agreement-based advertising），即采用合同的方式约定某一广告位在某一时间段为特定广告主所独占，并且根据双方的要求，制订广告创意和投放策略。

2、GD广告（担保式投送）

    这样的采买模式并没有用到数字媒体可以对不同用户投放不同内容的个性化特征。

    互联网广告运营者经过探索，很快就发现了数字媒体不同于传统媒体的本质特点：可以对不同的受众呈现不同的广告创意。在今天看来再平常不过的这个观念，实际上是在线广告效果和规模不断发展的核心驱动力。认识到这一点，媒体找到了一条能使广告位报价继续提高的思路。

    定向广告系统对计算技术提出了两个需求：一是受众定向（audience targeting），即通过技术手段标定某个用户的性别、年龄或其他标签，二是广告投放（ad serving），即将广告投送由直接嵌入页面变为实时响应前端请求，并动态决策和返回合适的广告创意。由于是从传统广告延伸而来，此时的定向广告仍然以合约的方式进行：媒体与广告主约定广告位、时间段和投放量，并在此基础上确定合同的总金额以及量未达标的情况下的赔偿方案。这种担保式投送（Guaranteed Delivery，GD）的交易方式，逐渐成为互联网合约式广告的主要模式。一般来说，这样的合约仍然主要面向品牌广告主，并且按照按千次展示付费（Cost per Mille，CPM）的计费方式。

    GD广告系统中有一个重要的计算问题，即保证满足各合约目标量的要求的同时，尽可能为广告主分配到效果更好的流量。这个问题有两个难点：一是如何有效地将流量分配到各个合约互相交叉的人群覆盖上；二是要在在线的环境下实时地完成每一次展示决策。这就是在线分配（online allocation）问题。如果将各合约的量看作约束条件，将广告效果看作目标函数，则可以利用带约束优化（constrained optimization）的数学框架来解决。为了得到在线环境下切实可行的方案，学术界和工业界的同仁进行了大量理论和工程方面的研究，有一些高效且简便的方案已经为各媒体实际采用。

3、竞价广告

    受众定向产生以后，有两方面的发展趋势：一是定向标签变得越来越精准，例如具体某件商品的购物兴趣；二是广告主的数量不断膨胀。在这些趋势下，按照合约方式售卖广告遇到了越来越多的麻烦：首先，很难对这些细粒度标签组合的流量做准确预估；其次，当一次展示同时满足多个合约的时候，仅按照在线分配策略决策，有可能浪费了部分本可以卖得更贵的流量。既然量的约束带来了这些麻烦，有没有可能抛弃它呢？这样的思路催生了计算广告历史上革命性的产品模式——竞价广告（auction-based advertising）。在竞价模式下，供给方只向广告主保证质即单位流量的成本，但不再给出量的保证。对于每一次展示，则按照收益最高这样的简单原则来决策。

    竞价广告产生的最初场景，是在互联网广告最主要的金矿——搜索广告（search ad）中。在以Google为代表的搜索引擎技术成熟以后，迅速成为互联网新的入口点。与门户网站不同，搜索引擎从一开始就没有被当作媒体来看待，因此搜索流量的变现也采用了付费搜索（paid search或sponsored search）的模式。从广告的视角来看，付费搜索显然也是一种定向广告，即根据用户即时兴趣定向投送的广告，而即时兴趣的标签就是关键词。搜索广告从一开始就直接达到了非常精准的程度，也就很自然地采用了竞价的售卖方式。

    除了变现搜索流量本身，搜索引擎也开始考虑将关键词竞价的方式推广到其他媒体上：如果将用户的搜索词换成正在页面中的关键词，可以将此产品从搜索结果页照搬到媒体页面上，这就产生了上下文广告（contextual advertising）。

    没有了合约的保证，大量的广告主处在一个多方博弈的环境中。与直觉不同的是，在如何向广告主收取每次竞价费用这一点上，并不是按照微观上最优的方案实施就可以达到整个市场最大的收益。关于定价机制的深入研究，产生了广义第二高价（Generalized Second Price，GSP）这一竞价重要的理论。

4、广告网络（AD Network）

    基于竞价和精准人群定向这两个核心功能，产生了广告网络（AD Network，ADN）这种新的产品形式。它批量地运营媒体的广告位，按照人群或上下文标签售卖给需求方，并用竞价的方式分配流量。广告网络的结算以按点击付费（Cost per Click，CPC）的方式为主，这种产品的千次展示收益（Revenue per Mille，RPM）一般来说达不到合约广告的水平，但它使大量媒体的剩余流量（remnant inventory），即没有能力通过合约售卖的流量，有了可行的变现手段：这些媒体可以直接把自己的库存（inventory）托管给ADN，借助ADN的销售和代理团队让自己的流量变现。

    竞价广告产生以后，流量采买形式发生了变化：一是更多地面向受众而非广告位进行采买；二是越来越需要技术手段保证广告主量的要求，并在此基础上优化效果。这又是一个与在线分配类似的带约束优化问题。但是实际上，这个问题有很大不同：因为只能在供给方定义好的标签组合上指定出价，而不能控制每一次展示的出价，市场看起来更像一个黑盒子，所以需求方只能靠选择合适的标签组合，以及阶段性调整出价来间接控制效果。这种面向多个ADN或媒体按人群一站式采买广告，并进行量和质优化的需求方产品，称为交易终端（Trading Desk，TD）。

5、实时竞价（Real Time Bidding）

    广告网络的竞价过程是内部进行的，这无法满足广告主定制化的人群选择和优化要求。

    需求催生了一种开放的竞价逻辑，让需求方按自己的人群定义来挑选流量，这就是实时竞价（Real Time Bidding，RTB），它将竞价过程由广告主预先出价，变成每次展示时实时出价。只要把广告展示的上下文页面URL，以及访客的用户标识等信息传给需求方，它就能进行完成定制化的人群选择和出价。于是，市场上产生了聚合各媒体流量，采用实时竞价方式进行变现的新产品形态——广告交易平台（AD Exchange，ADX）。这个名称让我们很容易联想起股票交易所。事实上，如果我们把ADN的交易方式想象成场外交易市场（over-the-counter market），那么ADX与股票交易所确实有着类似的作用。

    通过实时竞价，按照定制化人群标签采买广告，这样的产品就是需求方平台（Demand Side Platform，DSP）。由于实时竞价一般采用按展示次数计费的方式，DSP需要尽可能准确地估计每一次展示的期望价值。在这一点上，DSP比TD要方便多了，因为充分的环境信息使得深入的计算和估计成为可能。基于DSP的广告采买，非常类似于股票市场上的程序交易，我们把这样的广告采买方式也叫作程序化交易（programmatic trade）。除了RTB以外，还有其他几种程序购买的交易方式，我们将在6.2节中具体介绍。总体而言，在线广告中程序化交易的地位将会不断加强，这是由广告主利益最大化的趋势所决定的。

总结：

    在线广告发展的历史上，定向技术和交易形式的进化是一条主线。从最初的固定位置合约，发展到进行受众定向、按展示量结算的合约，再到竞价交易方式，并最终发展成开放的实时竞价交易。这条主线的核心驱动力是让越来越多的数据源为广告决策提供支持，从而提升广告的效果。除了这条交易形态的主线，互联网广告产品还有另外一条发展线路，即产品展现逻辑上的发展：在展示广告的最初阶段，广告位被作为与内容相对独立的单元来决策和运营，并且完全以优化收入为目标；同时，人们从搜索广告和社交网络信息流广告中得到了启发——将内容与广告对立起来，未必是一个好的选择，前面这两种广告产品，正是由于与内容的展现和触发逻辑有着高度的一致性，才使得它们的效果很突出。沿着这样的思路，将内容与广告以某种方式统一决策或展示的产品形式——原生广告（native ad）在近年来得到了越来越多的关注。如何将原生的决策方式与已经比较成熟的广告交易相结合，是目前移动互联网广告发展的热点。