Submit Search
Upload
効果のあるクリエイティブ広告の見つけ方(Contextual Bandit + TS or UCB)
•
6 likes
•
4,321 views
Y
Yusuke Kaneko
Follow
TokyoR 第70回 LT での発表スライドです
Read less
Read more
Data & Analytics
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 34
Download now
Download to read offline
Recommended
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
最適輸送の解き方
最適輸送の解き方
joisino
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Takami Sato
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
深層学習の数理
深層学習の数理
Taiji Suzuki
Recommended
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
最適輸送の解き方
最適輸送の解き方
joisino
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Takami Sato
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
深層学習の数理
深層学習の数理
Taiji Suzuki
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
強化学習その3
強化学習その3
nishio
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索
西岡 賢一郎
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
Preferred Networks
もしその単語がなかったら
もしその単語がなかったら
Hiroshi Nakagawa
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Shoichi Taguchi
LightGBMを少し改造してみた ~カテゴリ変数の動的エンコード~
LightGBMを少し改造してみた ~カテゴリ変数の動的エンコード~
RyuichiKanoh
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Yusuke Kaneko
DID, Synthetic Control, CausalImpact
DID, Synthetic Control, CausalImpact
Yusuke Kaneko
More Related Content
What's hot
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
強化学習その3
強化学習その3
nishio
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索
西岡 賢一郎
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
Preferred Networks
もしその単語がなかったら
もしその単語がなかったら
Hiroshi Nakagawa
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Shoichi Taguchi
LightGBMを少し改造してみた ~カテゴリ変数の動的エンコード~
LightGBMを少し改造してみた ~カテゴリ変数の動的エンコード~
RyuichiKanoh
What's hot
(20)
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
全力解説!Transformer
全力解説!Transformer
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
強化学習その3
強化学習その3
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
「世界モデル」と関連研究について
「世界モデル」と関連研究について
ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
もしその単語がなかったら
もしその単語がなかったら
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
LightGBMを少し改造してみた ~カテゴリ変数の動的エンコード~
LightGBMを少し改造してみた ~カテゴリ変数の動的エンコード~
More from Yusuke Kaneko
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Yusuke Kaneko
DID, Synthetic Control, CausalImpact
DID, Synthetic Control, CausalImpact
Yusuke Kaneko
企業の中の経済学
企業の中の経済学
Yusuke Kaneko
TokyoR_74_RDD
TokyoR_74_RDD
Yusuke Kaneko
LightGBM: a highly efficient gradient boosting decision tree
LightGBM: a highly efficient gradient boosting decision tree
Yusuke Kaneko
Hastie_chapter5
Hastie_chapter5
Yusuke Kaneko
How to correctly estimate the effect of online advertisement(About Double Mac...
How to correctly estimate the effect of online advertisement(About Double Mac...
Yusuke Kaneko
More from Yusuke Kaneko
(7)
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
DID, Synthetic Control, CausalImpact
DID, Synthetic Control, CausalImpact
企業の中の経済学
企業の中の経済学
TokyoR_74_RDD
TokyoR_74_RDD
LightGBM: a highly efficient gradient boosting decision tree
LightGBM: a highly efficient gradient boosting decision tree
Hastie_chapter5
Hastie_chapter5
How to correctly estimate the effect of online advertisement(About Double Mac...
How to correctly estimate the effect of online advertisement(About Double Mac...
効果のあるクリエイティブ広告の見つけ方(Contextual Bandit + TS or UCB)
1.
効果のある クリエイティブ広告の 見つけ方
2.
自己紹介 ● サイバー何ちゃらの新卒1年目 ● 配属の結果,CTRひたすら予測するマンにならないといけないので色々勉強中 研修ではGo触ったりしてましたが今は
Pythonメイン ● twitter:@coldstart_p(前のは恥ずかしくなって変えました ) github:https://github.com/ykaneko1992 (今日のシミュレーションのコードをあげます)
3.
今日の話 Contextual Banditにおいて, 決定的アルゴリズムのUCBよりベイズ的アプローチのThompson Samplingの方がよくなる,というお話
4.
元ネタ ● 元ネタ:Dimakopoulou, Maria,
Susan Athey, and Guido Imbens. "Estimation Considerations in Contextual Bandits." arXiv preprint arXiv:1711.07077 (2017). → 元々はContextual Banditは推定法に対してsensitiveだというモチベーションから,パラメトリック な手法とノンパラメトリックな手法での推定法を提案した論文 ● 全部紹介していると時間がないので,パラメトリックな手法のみの紹介に絞ります → generalized random forestを使用したノンパラ推定や, Inversed Propensity Score(IPW)を用い た補正などが紹介されているので興味があれば元論文を読んでください
5.
どっちの広告を出すべきか? 広告A CTR:15% クリック数:1500 imp数: 10000 広告B CTR:10% クリック数:10 imp数:100 問題: 次のユーザーにどちらの広告を 配信すべきか? →Bの方がいい可能性もある →どれくらいimp数重ねればいい? 試行の中で利益得るには?
6.
バンディット(Bandit)アルゴリズム ● モチベ:「どちらの広告を配信すべきか」という意思決定を N回繰り返して,最終的に多くのク リック数を得たい ●
Aだけ配信してると,実は Bの方がよかった場合には損 →Bが本当はどんなCTRなのかを確認しつつ,適度に Aでクリックを稼ぎたい! ● 本当のCTRの確認に極振りすると A/Bテストになるが,要はこれも損をしてる ● クリック率の期待値と分散を用いて,上のことを行うのが バンディットアルゴリズム ● 詳しく知りたい人は本多・中村本参照
7.
どっちの広告を出すべきか?(続) 広告A CTR:15% imp数:20000 CTR(男女別) 男性:25% 女性: 2% 広告A CTR:12% imp数:10000 CTR(男女別) 男性:1%
女性: 20% 問題: 次のユーザーにどちらの広告を 配信すべきか? →男女の差異が非常に大きい →通常のBanditだと男女差を考慮 できない
8.
Contextual Bandit ● クリック率の期待値と分散を,特定の変数(コンテクスト,今回は男女)ごとに変えれば,男 女で取る選択肢を変えることができる →Contextual
Bandit ● 具体的には,変数ごとに回帰モデルを持つなどして実行する
9.
どうやって選択肢を選ぶのか ● 以下の2つの方法(本田・中村 3章) 1.UCB
アルゴリズム →信頼区間の上限 (Upper Confidence Bound :UCB) が最大になる選択肢を引く = 決定論的アルゴリズム 2.Thompson Sampling(TS) →その選択肢が最適である 事後確率に従って選択肢をランダムに選択 =ランダムアルゴリズム (ベイズ戦略) ● Thompson Samplingの方がいい! という話をします
10.
論文のシミュレーション設定 ● 選択肢3つ(0,1,2),コンテクスト2つ(X_0, X_1),選択肢の利得は以下の図
(グラフの縦軸は報酬の 期待値) ● 利得の式に1次項と2次項が入っていることに注意
11.
手法 1. コンテクストを50セット用意して,一様ランダムに選択肢を引く (コールドスタート) 2.
各選択肢ごとにブートストラップを用いて復元抽出をして(今回は 100回)リッジ回帰を回す これによって,各選択肢ごとに標本分布の平均と分散が得られる 3. 平均,分散を元に次の 10セットを以下の基準で選択をする (バッチ学習) UCB: となる選択肢を選ぶ TS: に従い各選択肢で乱数を生成し,乱数が最大になった選択肢を選ぶ 4. 各バッチごとに10セットのコンテクストを追加して 2,3のプロセスを繰り返す. ● 今回はパラメトリックなのでリッジ回帰をまわす時は1次項と2次項を含めて回す
12.
シミュレーション ● Rでシミュレーションを回してみた ● 下の図(再掲)を上から見て2次元化したものを再現する つまり,右上に赤(0),左下に青(2)が来るようになればうまくいっていると言える
13.
シミュレーション(左がUCB,右がTS)
14.
シミュレーション(左がUCB,右がTS)
15.
シミュレーション(左がUCB,右がTS)
16.
シミュレーション(左がUCB,右がTS)
17.
シミュレーション(左がUCB,右がTS)
18.
シミュレーション(左がUCB,右がTS)
19.
シミュレーション(左がUCB,右がTS)
20.
シミュレーション(左がUCB,右がTS)
21.
シミュレーション(左がUCB,右がTS)
22.
シミュレーション(左がUCB,右がTS)
23.
シミュレーション(左がUCB,右がTS)
24.
シミュレーション(左がUCB,右がTS)
25.
シミュレーション(左がUCB,右がTS)
26.
シミュレーション(左がUCB,右がTS)
27.
シミュレーション(左がUCB,右がTS)
28.
シミュレーション(左がUCB,右がTS)
29.
シミュレーション(左がUCB,右がTS)
30.
シミュレーション(左がUCB,右がTS)
31.
シミュレーション(左がUCB,右がTS)
32.
シミュレーション(左がUCB,右がTS)
33.
まとめ ● TSの方が,UCBよりよくなった ● TSの方が良くなる理由としては,UCBだと決定的アルゴリズムなので,フィードバック ループのような状況に陥りやすいという問題があるからと思われる ●
(時間があれば)ノンパラの方の再現などもしてみたい
34.
シミュレーション結果(論文) 上がTS,下がUCB → TSの方がうまくいってる
Download now