浅谈广告投放效果优化(二)
综述
上一篇文章中我们针对效果广告投放的常用优化手段做了一个简单介绍，今天我们将会围绕其中的核心利器oCPA进行简单的介绍。
在展开论述前，我们先了解一下效果投放广告的常见的几种结算方式：
CPT（Cost Per Time），即每时间段曝光的费用（这里的时间段粒度可以是小时、天、星期甚至月年等）
CPM（Cost Per Mille），即每千次曝光的费用
CPC（Cost Per Click），即每次点击的费用
CPA（Cost Per Action），即每次行动转化的费用，不同的投放场景中转化的具体定义不同，常见的有留资、下载、激活（打开App）等
CPS（Cost Per Sales），即以实际销售额作为投放费用结算依据的形式，适用于电商购物类场景
在抛开技术发展的原因来看，上述的结算方式其实也代表了广告资源售卖中需求的演进以及供需关系的拉锯，越往上越有利于资源供给方，越往下越有利于资源需求方。传统的CPT、CPM以及CPC相对于广告主的最终效果仍有一段距离，广告主的利益无法得到保障；而CPA和CPS则完全从最终效果进行考量，其受限的因素较多，资源方的利益也无法得到有效保障。
在这种情况一下，一种兼顾平衡双方利益的结算模式应声而出,即oCPA。oCPA的具体模式包含oCPM和oCPC两种，其均为面向效果进行优化，最终的结算模式则分别以曝光和点击进行结算。
另外一方面，传统的CPM、CPC方式下，效果优化人员要针对不同的流量场景进行最终效果到CPC、CPM的指标转化，例如优化目标为每个转化5元，优化人员需要根据不同的媒体在不同的定向策略下的转化率进行一个初步的划算预估，以此作为CPC或者CPM订单的出价执行逻辑。这个过程是动态持续的，需要耗费优化师大量的精力。而oCPA模式下优化人员只需要填入期待的目标转化成本，剩下的转化及过程跟踪则完全交由系统进行。
接下来篇幅我们将会分享讯飞AI营销平台在oCPA效果广告的探索和实践。
系统架构
oCPA分别从人群、流量、出价等维度对转化效果进行优化，基于广告主回传的转化数据供机器学习，通过算法模型来预估每一次展示的转化价值。oCPA实际上相当于一个虚拟的运营人员，它拥有多维度的、实时反馈的、历史积累的海量投放数据，能够针对广告主预期成本和实时投放效果，进行快速地计算和调整，给出一个相对最优的出价，并且挖掘出更易发生转化的流量以及触达高转化用户，将运营人员从繁杂的日常运营中解放出来。
下面就对各个模块展开详述.
人群挖掘
广告效果优化的本质其实就是如何精准地找到产品的目标人群，因此我们首先想到的就是基于历史投放数据来挖掘更多更精准的受众用户。一方面对于现有的标签人群进行优质筛选，另一方面还需要挖掘更多潜在受众。
人群优选
目标是依据已有的转化数据，评估人群标签质量，从中挑选出更容易转化的优质标签。筛选的策略是结合标签的实际转化表现以及TF-IDF值计算加权cpa，TF-IDF是一种常用于信息检索和数据挖掘的加权算法，值越大代表重要性越高。具体做法如下：
- 首先以受众兴趣标签维度做下cpa(Cost Per Action，转化成本)过滤，滤除效果明显较差的标签
- 提取历史数据，整理成（用户ID，是否转化，人群标签列表，成本）,数据总记录数记为S
- 统计每个人群标签在所有数据里的出现次数，记为DF，每个人群标签一个DF值
- 计算人群标签ID的TF-IDF，因为每个标签在一个用户中的出现次数最多1次，因此TF=1，则标签TF-IDF的值为：<center>TF-IDF = log[ S / (DF + 1e-8 ) ]</center>
- 计算加权cpa，因为cpa是越低越好，所以需要先对TF-IDF求倒数，再与该标签的实际cpa相乘：<center>加权cpa = 标签的cpa * (1/TF-IDF)</center>
- 最后根据标签的加权cpa值排序，值越小，说明标签质量越高
人群扩展
目标是依据历史点击和转化用户，基于讯飞DMP(Data Management Platform,，数据管理平台)丰富的用户画像及活跃数据，主动挖掘出更多易转化的相似人群。具体步骤为：
- 读取监测点下历史所有订单的转化人群设备号，如果前期转化数据积累不够，可选择点击人群扩展
- 利用LR逻辑回归算法实现相似人群lookalike的功能，按相似度排序，取topK个相似用户
- 生成自定义人群标签，推送至投放引擎，实现潜在转化人群的挖掘
流量挖掘
人群挖掘是效果优化的直接途径，除此之外，我们也可以分析广告位流量，优选和扩展优质流量，从而间接地实现目标人群的挖掘。
流量优选
分析历史投放中各个广告位的表现，结合曝光、点击、转化数、转化成本等指标，筛选出转化成本满足广告主期望并且量级足够大的优质广告位，充分挖掘优质流量，最大程度地保质保量。 
流量探测
流量优选虽然可以挑选到优质的广告位，但是这些广告位的规模有限，在追求更大规模的转化体量时就需要找到一批转化效果同样很好的相似广告位，因此我们引入流量探测的功能模块。
流量推荐
基于广告位的历史投放数据寻找相似广告位，这是一种典型的推荐场景，推荐算法有很多，结合订单-广告位的投放特点，这里选择的是协同过滤和基于内容推荐的算法。
ALS+CF协同过滤
协同过滤(Collaborative Filtering, CF)纯粹基于用户的历史行为，跟物品本身属性、内容没有任何关系。简单的说给用户u推荐，只要找出与u相似的用户，把他们的行为推荐给u即可。通常有用户协同、物品协同、基于模型三种： 
图片来源
ALS（Alternating Least Squares，交替最小二乘法），是一种优化算法，被用于求解基于模型推荐算法(model-based CF)的最优解。它试图通过数量相对少的未被观察到的底层原因，来解释大量用户和产品之间可观察到的交互。通俗地说，就是对用户行为矩阵进行分解，分别得到用户特征矩阵和物品特征矩阵，从而可以计算用户-用户、用户-物品、物品-物品间的相似度。
在流量推荐的场景中，目标是找到相似广告位，借鉴协同过滤的思想，构建订单-广告位-点击矩阵，经过ALS算法分解后得到各个广告位的隐特征向量，然后计算广告位间的余弦相似度，得到每个广告位的相似结果集以及相似度：
<center>slot(i) : [(slot(1) : similarity(1)), (slot(2) : similarity(2)....(slot(j) : similarity(j)))]</center>
然后统计当前各个发生转化行为广告位的转化数占比，对转化广告位的相似集进行加权排序，即：
<center>权值w(i) = slot(i)的转化数/总转化数</center>
<center>rank(i) = w(i) * [(slot(1) : similarity(1)), (slot(2) : similarity(2)....(slot(j) : similarity(j)))]</center>
排序取topK个广告位来定投。
协同过滤充分利用了集体智慧，在大量的订单投放行为中收集答案，不需要对订单或者广告位进行建模，而且不要求广告位的描述是机器可理解的，这种策略可以共用订单之间的投放经验，很好地发现广告位之间潜在的相似性，而且随着广告位投放数据的增加，这种推荐一般也会越来越准确。
但是，它也存在一些缺陷，首先，这种强烈依赖丰富的历史投放数据，所以会存在冷启动问题，在数据量少的情况下，推荐结果的质量很难保证。因而，还需其他策略弥补效果。
基于内容推荐
基于内容推荐，顾名思义，就是把与你喜欢物品相似的物品推荐给你，发掘物品内容间的相关性。 
图片来源
运用该策略时有两个关键点：
- 怎么知道用户喜欢哪些物品
在流量推荐的场景中，自然而然地将已有转化效果好的广告位理解为种子广告位，召回与它们相似的广告位。 - 怎么知道哪些物品相似
我们主要通过人群、尺寸、标签属性等特征来刻画广告位，将其向量化，从而计算广告位间的相似度，这里用到的是余弦相似。
基于内容的推荐考虑了广告位的自身属性特征，主要优势在于无冷启动问题，只要产生了初始的历史数据，就可以开始进行推荐的计算，并且推荐的广告位与种子广告位直观上的相似度更高。
然而，该策略仅考虑广告位是否相似，倾向于给出相同的推荐，惊喜度不高，一定程度上会减弱探索优质广告位的能力。
模型融合
在推荐系统中，很少只使用一种策略的推荐引擎，单一的算法策略无法保证扩展广告位的质量，一般都是分场景使用不同的策略或者进行策略融合达到更好的推荐效果，这里结合两种策略的优点，我们这里采用模型融合的方式：
实时止损
oCPA核心目标仍然是保证广告主期望的转化效果，因而，不管是对于人群还是广告位，都需要实时监测其各方面指标，控制指标阈值，及时剔除效果差的流量；与此同时，也不能一棍子打死，随着时间的迁移，适时地重新给予一些效果表现差的广告位投放机会，对于多次投放仍然效果很差的广告位，会将其直接加进黑名单。
CVR动态出价
在RTB(Real Time Bidding)实时竞价中，流量主把访客的每次页面浏览，通过拍卖的形式卖给广告主，价高者得。此时，代表广告主的DSP平台会根据用户的兴趣偏好、媒体、素材、上下文等信息预估本条流量的价值。 
在CPC模式中，广告主为单次点击设置出价，然后ctr算法预估点击概率，计算得到该流量的点击价值，向中间交易平台ADX出价。这种出价模式只能优化到点击这一步，但是对于效果广告来说，关注的是最终转化，因此，需要精准预估每条流量的转化价值。 
oCPA系统依据回传的转化数据，训练ctr和cvr预估模型，算法选型主要是业界常用的FM+FTRL以及deepFM，这里不再详述。一条流量的转化价值由点击率、转化率、广告主出价相乘所得。
cvr预估就是估计用户点击广告后，是否发生转化行为的概率，正样本是点击且转化的行为。转化率的准确性对于转化价值的计算至关重要，但是在实际环境中，预估受到很多因素的影响，比如回传数据有延迟、回传数据噪声较大、模型准确率等，这时完全依赖ctr和cvr预估是很不明智的，可能出现流量效果不好但出价过高或者流量转化价值很高但出价低拿不到量的情况。
于是，我们引入调价因子λ，简单来说，cvr预估后，针对pCVR较高或者历史表现很好的广告位流量，系统会提高出价，确保优质转化流量的竟得；反之，降低出价。
动态出价的核心是动态系数的确定，我们采用的是基于bandit的强化学习策略，根据历史转化的正负反馈，不断优化λ，使得一方面整体转化成本达到最优，另一方面转化量级尽可能地高。
效果案例
某金融理财产品，广告主期望表单提交的转化成本控制在25以内。在投放初期，数据积累量级不够，oCPA的优化能力较弱，此时人工运营效果占优；随着数据积累的提升，oCPA系统得到充分地学习，此后转化成本稳定优于人工运营。最终整体转化成本较人工运营提升39%。
总结
本文对讯飞AI营销平台oCPA效果广告投放系统进行了系统的介绍，主要阐述了各个功能模块的实现逻辑，并列举了oCPA在金融行业的成功案例，欢迎感兴趣的行业伙伴与讯飞AI营销平台展开深入地合作！