整理關於即時競標行動廣告相關資料分析與競價決策

1. 指導教授: 沈錳坤
學生: 徐凡耘
2015/06/24

2. Outline
 Part I : 背景知識
 Ad Network 簡介
 RTB (Real Time Bidding) 簡介
 兩者的差別
 DSP/ DMP 需要作的事
 Part II : DSP中的算法
 用户選擇（Audience Selection）
 出價演算法（Bidding Algorithm)
 線上出價調整（Bid Adjustment)
 Part III: Data Preprocessing
 進行步驟
 參考文獻

3. •Ad Network 簡介
•RTB (Real Time Bidding) 簡介
•DSP 一般工作流程

4. 背景知識 - Ad Network 簡介
版位 廣告主
AD Network
1. 設置條件2. 廣告請求
3. 返回廣告

5. 背景知識 - RTB (Real Time Bidding)
廣告主版位
1. 設置條件
3. 公開競價
5. 返回廣告
DSP
AD Exchange
User A User B
2. 廣告請求
4. 得標廣告

6. 背景知識 – 兩者的差別
 以DSP角度
 原本廣告請求都一定有曝光機會，但現在不一定
 原本以CPC計價，現在要用CPM計價
 DSP變多了，競爭變多，要搶廣告主訂單
 以廣告主角度
 更符合自己利益
 可自訂投放受眾
 以DMP角度
 每家 DSP 都必須有這樣的部門分析受眾資料
 滿足廣告主客製化投放需求

7. 背景知識 – DSP/ DMP需要作的事
 追踪用戶行為 （Behavior Tracking）
 Action Data：
 DMP 在廣告主的網站上埋 code（通常是放一個 1X1 不可見
的圖像），當用戶瀏覽該網站時，DMP得到相關資料。在廣
告主授權下，把該資料交給 DSP。
 Mapping Data：
 DSP 會和第三方網站合作（例如：yahoo、google），在它
們的網站上埋 code，或者向 DMP 購買用戶瀏覽資料，這樣
就可以追蹤用戶在網路上的行為。
 用戶在每個網站上留下的cookie 不一樣，需要做 cookie
mapping.

8. 背景知識 – DSP/ DMP 需要作的事
 受眾選擇（Audience Selection）
 離線計算每個 campaign 的目標投放用戶集
 廣告主可以通過配置來管理這些目標投放的用戶集
 進行即時競價
 當 Ad Exchange 發佈廣告請求的時候，DSP 會收到以
下資料 (當前版位資料、當前用户的cookie 和基本資料)
 DSP 需要在 100ms 內，根據對該用戶的理解，並且考
慮當前的版位，根據自己的競價演算法，來決定以下資
料 (是否要對這次曝光進行競價? 要投放哪個 campaign
的廣告? 出價是多少? )

9. 背景知識 – DSP/ DMP 需要作的事
 廣告曝光
 競價最高者DSP，赢得了曝光機會，則 DSP 返回廣告
資訊，用戶就會再該廣告版位上看到該廣告(圖片、文
字、影片、 flash）
 追蹤轉化
 Ad Exchange 向 DSP 回報該 DSP 出價成功的曝光廣告
是否產生點擊或轉化
 根據這些統計資料如: 點擊率CTR、轉化率 CVR，每個
轉化平均成本 CPA 等各種指標，匯總成報表給廣告主

10. •用户選擇（Audience Selection）
•出價演算法（Bidding Algorithm)
•在線出價調整（Bid Adjustment)

11. 常用演算法– Audience Selection
 受眾選擇（Audience Selection） :
 找到每個 Campaign 的目標投放用户集 (user
targeting)
 方法一：Tagging based
 DSP 對所有能掌握住的用戶，根據其行為每個用戶打上
各種標籤（User Profiling）
 廣告主對每個 campaign 選擇一系列標籤，確定自己要
的用戶集

12. DSP中的演算法-Audience Selection
 Tagging 的作法：
 建立標籤體系(有無階層)，符合廣告主的習慣
 有些標籤可以直接拿到，如地區、作頁系統、瀏覽器
 用戶瀏覽行為貼標 (例如: 網頁類別、商品、電影 )
 UGC 標籤或 Meta Info中的資料，對應到標籤體系中的標籤
 瀏覽本文提取關鍵字，對應到標籤體系中的標籤
 專家定義
 對應不到標籤者，可用 KNN等演算法得到標籤
 行為加權計算
 權重與行為類型有關 (例如: 購買 > 點擊 > 瀏覽)
 權重與行為時間先後有關

13.  分類問題
 建立每個Campaign的segment點擊與否(Gradient
Boosting Trees)
 推薦問題
 協同過濾 (Item-base, User-base, SlopeOne 等)
 圖模型 (Random walk, label propagation 等)
 其他 (ALS, SVD, Topic Model)
DSP中的演算法-Audience Selection

14.  方法二：Retargeting
 紀錄曾經瀏覽過廣告主的cookie，然後廣告只對這些
cookie投放廣告
 核心技術
 廣告主/ DMP 在廣告主網站上嵌入JS收集
 廣告主通過 DMP 平台或者CRM系統，來挑選和管理
這些cookie
DSP中的演算法-Audience Selection

15.  方法三：Look-alike 模型的做法
(以M6D的做法為例)
 針對每個 campaign
 建立 model 預估用戶發生轉化機率 (P c|u)
 正例是在廣告主網頁發生轉化的用戶，反之為負例
 根據每個用戶 P(c|u) 將用戶劃分到不同的 Segments
 不同 segments 的 P(c|u)範圍不同，平均每個 Campaign 有
10~50個 segments。廣告主根據自己的需求決定開啟或者
關閉某些 segments
DSP中的演算法-Audience Selection

16. DSP中的算法-Bidding Algorithm
 Real time bidding 過程
 當 Ad Exchange 發送競價請求時，會帶出用戶的Cookie
與廣告版位資料
 檢索: DSP 先根據Cookie找到所有目標投放用戶集包含該
Cookie的Campaign
 過濾: 濾掉預算不符的Campaign與已達用戶曝光次數上限
的Campaign
 出價: 對每一個Campaign計算出價金額
 內部競價: 選擇出價最高的Campaign，並返回Ad
Exchange
 以上需要100ms內完成

17. DSP中的算法-Bidding Algorithm
 出價模型(以MD6為例)
(P(c | s, i, a)
一個曝光的價值 = 點擊機率 * 點擊價值
(P(c | s, a)
s 目標用戶的集合 (Segment)
a 廣告 Campaign
i 當前的版位 (inventory)
c 轉化 (conversion)
P(c | s, i, a) 與 P(c | s, a) 分別是對每個Compaign
建模的，BasePrice 是人為指定

19. 1. 整理資料
1.1 在 Hive 上建立資料
1.2 關聯 imp, click, conv
1.3 資料轉換與特徵抽取 (時間、IP、UA)
1.4 data profiling
2. 資料建模
2.1 隨機抽取資料做測試資料集，剩下的做訓練資料集
2.2 套用演算法
3. 成效評估
3.1 AUC 評估前後 life 值
進行步驟

20. 資料說明 (點擊、曝光、轉換與競標 log)
Bid_ID c664386ec6e82748041166b2db11602f
Timestamp 20130311195547700
類型 2
ID 2d1e5f1bbde3daf1e87e5d4b58bc45d2
UA
Mozilla/5.0 (Windows NT 6.1; WOW64)
AppleWebKit/535.12 (KHTML, like
Gecko) Maxthon/3.0 Chrome/18.0.966.0
Safari/535.12
IP 125.123.45.*
區域 94
城市 98
交易平台 2
廣告所在網域 kDsuqx9vdo5bgYMf5SqfNX
廣告所在URL ddf57d3266e44c0db001ed0d8cc59300
匿名URL_ID null
版位ID 3252010289
廣告寬度 160
廣告高度 600
廣告可視性 1
版位形式 0
版位底價 5
廣告創意ID 51fd94f6624989b7cecbc307f00f97f7
出價(CPM) 300
成交價 0
主頁URL 9f4e2f16b6873a7eb504df6f61b24044
廣告主ID 1458
用戶標籤 10057, 13042, 10031, 14273
Bid_ID e3d962536ef3ac7096b31fdd1c1c24b0
Timestamp 2.01303E+16
ID 37a6259cc0c1dae299a7866489dff0bd
UA
Mozilla/4.0 (compatible; MSIE 8.0;
Windows NT 6.1; Trident/4.0;
QQDownload 734; SLCC2; .NET CLR
2.0.50727; .NET CLR 3.5.30729; .NET CLR
3.0.30729; eSobiSubscriber 2.0.4.16;
MAAR),gzip(gfe),gzip(gfe)
IP 219.232.120.*
區域 1
城市 1
交易平台 2
網域 DF9blS9bQqsIFYB4uA5R
URL b6c5272dfc63032f659be9b786c5f8da
匿名URL_ID
版位ID 2006366309
廣告寬度 728
廣告高度 90
版位可視性 1
版位形式 0
版位底價 5
廣告創意ID 5aca4c5f29e59e425c7ea657fdaac91e
出價 300
廣告主ID 2345
用戶標籤 null

21. 參考文獻
 Bid Optimizing and Inventory Scoring in Targeted Online Advertising
 Design Principles of Massive, Robust Prediction Systems
 Bid Landscape forecasting in Online Ad Exchange Marketplance
http://www.sheetoo.com/app/course/overview?course_id=200
 Real-Time Bidding Algorithms for Performance-Based Display Ad
Allocation
 Fast Algorithm for Finding Matchings in Lopsided Bipartite Graphs with
Applications to Display Ads
Logistic Regression in Rare Events Data
 Alex Smola Blog: http://blog.smola.org/post/4110255196/real-simple-
covariate-shift-correction
 PID Controller wikipedia http://en.wikipedia.org/wiki/PID_controller