ABテスト・LPOのための統計学【社内向けサディスティックエディション】データアーティスト株式会社

DLPOチーム内セミナー
LPOのための統計
DLPOチームバイトリーダー山本覚
社外秘！！公開用資料

本セミナーの目的とスコープ
LPOに必要な基礎統計を理解する。
→営業:自社サービスの強みをより正確に理解することで、セールストーク・シートの質向上。
→コンサル:測定可能な提案の作成。提案の効果を正確に把握。
→開発:統計にかかわる開発の効率向上。
→オペサポ:お客様への正確な対応。
※数学ⅠA・ⅡBまでは勉強していることを前提とし話を進めますので、不安のある方は復習をお願いします。
[目的]
MVT誤差
User Modeling
統計
クリエイティブ作成
Web
マクロな
キャンペーン設計
LPOツール
[スコープ]
A/Bテスト

今日言ってるLPOの基礎統計とは？
A/B テスト MVT Full-F Parametric MVT Full-F Non-Parametric

なぜ統計が重要か？
True Value Observed Value
次に何が
起こるか
法則の発見

参考図書
[統計学入門]
DLPOプロジェクトに入ったときに購入し、現在まで現役でレギュラーな本です。
ぱっと見とっつきやすくは無いですが、ズルをせず、かつなるべくシンプルな方法で式変形をしています。
他の本と読み比べることなくこの本の中だけで完結しているのも魅力的です。
DLPOにでてくる基礎統計はこの本にほぼ全て書いてあります。ぜひぜひ一度手を動かしながら、
頭からお尻まで読破することをお勧めいたします。
[Landing Page Optimization]
英語なんでしんどいですが、多変量解析の章がLPOの視点から非常によく書かれています。
その章だけでも読んだら良いと思います。
[実験計画法]
全件テストに関するイメージがつかみやすい。見開きでぱっとわかる。
http://www.qmss.jp/qmss/related/stat02.htm

１．統計学の基礎
1.1 統計学とは
1.2 統計データと統計手法
1.3 統計データの分析プロセス
２．1次元のデータ
2.1 度数分布とヒストグラム
2.2 代表値
2.3 散らばりの尺度
３．2次元のデータ
3.1 2次元のデータとは
3.2 散布図と分割表
3.3 相関係数
3.4 直線および平面のあてはめ
４．確率
4.1 ランダムネスと確率
4.2 標本空間と事象
4.3 確率の定義
4.4 加法定理
4.5 条件付確率と独立性
５．確率変数
5.1 確率変数と確率分布
5.2 確率変数の期待値と分散
5.3 モーメントとモーメント母関数
5.4 チェビシェフの不等式
5.5 確率変数の変換
６．確率分布
6.1 超幾何分布
6.2 二項分布とベルヌーイ分布
6.3 ポアソン分布
6.4 幾何分布と負の二項分布
6.5 一様分布
6.6 正規分布
6.7 指数分布
6.8 ガンマ分布
6.9 ベータ分布と一様分布
6.10 コーシー分布
6.11 対数正規分布
6.12 パレート分布
6.13 ワイブル分布
付．モーメント母関数による証明
11．推定
11.1 点推定と区間推定
11.2 点推定の考え方とその手順
11.3 点推定の基準
11.4 点推定の例
11.5 区間推定
12．仮説検定
12.1 検定の考え方
12.2 正規母集団に対する仮説検定
12.3 いろいろのχ２検定
12.4 中心極限定理を用いる検定
12.5 検出力
13．回帰分析
13.1 回帰分析
13.2 回帰係数の推定
13.3 偏回帰係数の統計的推測
13.4 重回帰分析
付．ガウス・マルコフの定理の証明
統計学入門の関連事項
ハイライトされた項目は
今回のセミナーの誤差論と
深く関係があります。
６．確率分布
6.1 超幾何分布
6.2 二項分布とベルヌーイ分布
6.3 ポアソン分布
6.4 幾何分布と負の二項分布
6.5 一様分布
6.6 正規分布
6.7 指数分布
6.8 ガンマ分布
6.9 ベータ分布と一様分布
6.10 コーシー分布
6.11 対数正規分布
6.12 パレート分布
6.13 ワイブル分布
付．モーメント母関数による証明
７．多次元の確率分布
7.1 同時確率分布と周辺確率分布
7.2 条件付確率分布と独立な確率変数
7.3 多次元正規分布
7.4 独立な確率変数の和
付．数学的証明
８．大数の法則と中心極限定理
8.1 大数の法則
8.2 中心極限定理
8.3 中心極限定理の応用
９．標本分布
9.1 母集団と標本
9.2 母数と統計量
9.3 統計量の標本分布
9.4 有限母集団と有限母集団修正
10．正規分布からの標本
10.1 正規分布の性質
10.2 分散が既知のときの標本平均の標本分布
10.3 標本分散の標本分布
10.4 分散が未知のときの標本平均の標本分布
10.5 2標本問題
10.6 標本相関係数の標本分布

シミュレーションしましょう→統計ツール紹介
R は有名な統計言語『 S 言語』をオープンソースとして実装し直した統計解析ソフトです．さまざまなプラットフォーム
（OS）に対応しており，誰でも自由にダウンロードすることができます．それにも関わらず，世界中の専門家が開発に携
わっており，日々新しい手法・アルゴリズムが付け加えられていますので，機能的にはあの有名な『 S-plus 』を凌駕し
ているといっても過言ではありません．とにかく計算が速い上にグラフィックも充実しているので数値計算などにも持っ
てこいです(インタープリタなんですが、長い計算ではCのサブルーチンが動くので早いです)．
http://cse.naro.affrc.go.jp/takezawa/r-tips/r.htmlR-Tips
http://aoki2.si.gunma-u.ac.jp/R/Rによる統計処理
http://www1.doshisha.ac.jp/~mjin/R/Rで学ぶデータサイエンス
Rの操作方法全般。辞書代わりに使う。
統計をやる際のコードがいろいろ載ってます。
概念だけ理解して実装しきるという視点から書かれています。相当良いサイトです。
百聞は
一見にしかず！！
→シミュレーションしよう。
想定しているモデルは、自分が考えているよりもダイナミックです。
Ex:悪いクリエイティブから切っていく。実際どんな感じで得をするの？

アジェンダ
1 A/Bテスト
誤差論~得られたCVRを正しく解釈するために~
・分散・標準偏差とは
・真値から実測値の推定
・実測値からの真値の推定
2 MVT
・多変量解析とは
・多変量解析の分類
・一部実施で目指していること
・完全実施パラメトリック
3 最適化
トラフィックの無駄遣いをしちゃダメだよ。
守る
攻める

1 A/Bテスト～誤差論を中心に～

どうして誤差が重要か？
LP1
LP2
UU:3000
UU:3000
CV:941
CV:912
CVR1>CVR2といっていいのか？
以下の質問に答えられる人は今回のゼミの誤差論については聞かなくても平気です。
LP LP
UU:100,000 UU:1000
CV:10,000 CV:95
~2011/4/3 2011/4/4
Q. 1
Q. 2
下がってしまったんですが。。。
？
？
A/Bテスト、こんな疑問が良く出ます。ちゃんとこたえられるだろうか？？

平均・分散・標準偏差
母集団
x
n
平均: 

n
i
ix
n 1
1
 不偏分散:
母集団の中からn回サンプリングした場合の平均、不偏分散、不偏標準偏差は以下の式になります。




n
i
ix
n 1
22
)(
1
1

不偏標準偏差: 
イカサマの無いサイコロを
50回振った場合。
※xiはi回目のサンプリングの実測値
0123456
μ
σ
σ
振った番号
サイコロの値
自由度で割っている。
計算上便利
データの解釈上便利
)( ix偏差:
サンプリング

母平均、平均
母平均:統計量の期待値
  

m
j
jj XpXE
1
 
5.3
6
6
1
5
6
1
4
6
1
3
6
1
2
6
1
1
6
1


XE
サイコロの場合
平均はnが増えていくと母平均に漸近していく。
期待値:

母分散、不偏分散
母分散:
(偏差：観測値と平均の差)統計量の偏差の2乗の期待値
    

m
j
jj XpXE
1
22

  
2.916667
)5.36(
6
1
)5.35(
6
1
)5.34(
6
1
)5.33(
6
1
)5.32(
6
1
)5.31(
6
1
222
222
2



 XE
不偏分散はnが増えていくと母分散に漸近していく。

統計量の和の分散
],[2][][
)])([(2])[(])[(
)])((2)()[(
])[(][
22
22
2
YXCovYVXV
YXEYEXE
YXYXE
YXEYXV
yxyx
yxyx
yx







共分散=相関係数2
・X,Yが独立のとき、Cov[X,Y]=0
][][][ YVXVYXV 
・X=Yのとき、Cov[X,Y]=V[X]
][2]2[ 2
XVXV 
同様に ][][ 2
XVaaXV 
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
02468
x
dnorm(x,0.3,(0.3*0.7/100)^0.5)
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
02468
x
dnorm(x,0.4,(0.4*0.6/100)^0.5)
ハイライトの二つの式を覚えてください！！
0.0 0.1 0.2 0.3 0.4 0.5 0.6
02468
prob.sample
prob.density
元の
フィルム
男性の
体重
女性の
体重
カップルの
体重
スクリーン

平均のばらつき
nn
n
n
nn
n
XXX
VXV
n
i
n
2
2
2
1
2
2
2
2
2
2
21
][









 




平均値の分散は？X1, X2, ・・・ ,Xnが互いに独立に分散σ2の分布にしたがうとき
√V[X]

CVの考察のために
LP
CVする:X=1 (確率p)
CVしない:X=0 (確率 1-p)
複数CVが無い時のみ！
CVR=pとわかっている場合
)1()1()1(][
0)1(1][
22
ppppppXV
pppXE


n人がLPに来て独立に行動するとわかっている場合。
)1(][
][
pnpCVV
npCVE


nppCVRV
pCVRE
/)1(][
][


0.0 0.2 0.4 0.6 0.8 1.0
0.000.100.20
p
V[X]
一回のランディング(CVの有無)はベルヌーイ試行です。
√V[X]

ベルヌーイ試行と二項分布
ベルヌーイ試行であるランディングをn回繰り返した場合CVがk回ある確率は
  knk
kn ppCkCVP

 1][
p=0.3の場合

二項分布と正規分布
二項分布の確率密度関数は同じ母数(平均と分散)を持つ正規分布で良く近似できます。
n>100のとき、
二項分布で正規分布を
近似してもほぼ問題ない。
中心極限定理

正規分布
 







 
 2
2
2
exp
2
1
)(:),(




x
xfN
+σ +2σ +3σ +4σ+2σ+3σ+4σ +σ
68.26 %
95.44%
99.74%
99.994%
母数をどのように選択しても
面積は常に1になる。
平均値の付近に集積するようなデータの
分布を表した連続的な変数に関する確率
分布である。中心極限定理により、独立な
多数の因子の和として表される確率変数
は正規分布に従う。

正規分布からの標本
0.0 0.1 0.2 0.3 0.4 0.5 0.6
02468
prob.sample
prob.density
真のCVRが0.3の場合、
そこから100人サンプリングして
CVRを測定値とする。
これを10万回繰り返した場合。平均: 0.3000641
不偏標準偏差: 0.04591629
0.0 0.1 0.2 0.3 0.4 0.5 0.6
02468
prob.sample
prob.density
真のCVRが0.3の場合、
そこから10000人サンプリングして
CVRを測定値とする。
これを10万回繰り返した場合。
真の値が分かっていても、標本数が少ない場合、その平均は真の値からずれる。
拡大
平均: 0.299985
不偏標準偏差: 0.004599207
690.04582575][ 5.0
XV
5690.00458257][ 5.0
XV

Q1:すごいUU集めた値がすぐにずれました？
LP1 LP1
UU:100,000 UU:1000
CV:10,000
CVR:0.1
(ほぼ真値)
CV:95
CVR:0.095
~2011/4/3 2011/4/1
Q. 1 下がってしまったんですが。。。
0.094868][ 5.0
XV
0.0 0.1 0.2 0.3 0.4 0.5 0.6
02468
prob.sample
prob.density
CVR=0.1で1000人サンプリング
観測される値の確率密度関数

Histogram of sample.0.4.cv.v - sample.0.3.cv.v
sample.0.4.cv.v - sample.0.3.cv.v
Frequency
-0.2 -0.1 0.0 0.1 0.2 0.3 0.4
0100020003000400050006000Histogram of sample.0.3.cv.v
sample.0.3.cv.v
Frequency
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
02000400060008000
Histogram of sample.0.4.cv.v
正規分布からの標本
真のCVRが0.3、0.4の場合、
そこから100人ずつサンプリングして
CVRの差を測定値とする。
これを10万回繰り返した場合。
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
02468
x
dnorm(x,0.3,(0.3*0.7/100)^0.5)
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
02468
x
dnorm(x,0.4,(0.4*0.6/100)^0.5)
LP1 LP2 平均:0.0998328
不偏標準偏差: 0.06723252
930.06708203][
100
)4.01(4.0
100
)3.01(3.0
][][][





YXV
YVXVYXV

標本からの真値の推定
npp
ppp
ppp
ppp
p
pp
pp
pp
/)ˆ1(ˆˆ
ˆˆˆˆ
ˆˆˆ
ˆ







 pppp  ˆˆ 
Pが0.3のときσpは0.4582
その実測値は0.4439～0.4702
実測値から真値を区間推定できる。
pの真値
標本数n
pの実測値
実測値のばらつき
pの真値
標本数n
pの真値
真値のばらつき
True Value Observed Value
同じ

標本からの真値の推定
実測値から真値を区間推定できる。
+σ +2σ +3σ +4σ+2σ+3σ+4σ +σ
68.26 %
95.44%
99.74%
99.994%
014491.01000/)3.01(3.0ˆ
1000
3.0ˆ



p
n
p

この場合、pの真値は
99.994%で0.3±4×0.0144191に
収まる。

測定値からの真値の幅とnの依存性
神様CVRを発生
CVR=10+10*乱数→10～20のCVRを作る。
まだ未知。30000UUまで待ってみる。
答え合わせ
CVR=0.1120388
0.1119
32%以下のことは起きている。
0.1900
0.1140 0.1120

例1:0.3±2.52*0.014491
にpの真値がある確率。
0.491なので両サイドでは
0.984で収まる。
例1:0.3±Z*0.014491に90%収まると
言える、Zの値。
量サイドで0.9なので、
片方で0.45となるZを探す。
左図よりZ=1.65のときとなる。
標本正規分布表の使い方
http://www.koka.ac.jp/morigiwa/sjs/standard_normal_distribution.htm
DLPOで出力しているもの。

Q2:二つのクリエイティブのCVRの差の真値の推定
LP1 LP2
UU:3000 UU:3000
CVR:941 CVR:912
CVR1>CVR2といっていいのか？
V[X-Y]=V[X]+V[Y]
V[CVR]=CVR(1-CVR)/UU
0. 967±1.19%
-0.10 -0.05 0.00 0.05 0.10
051015202530
x
dnorm(x,cvr.d,sd.d)
0.967=0.81σ
0.291
0.209
CVR1<CVR2となる確率が20.9%もある。
統計的には有意水準5%でCVR1<CVR2となることを
否定しきれない。

おまけ:誤差の伝搬
f(x)=axやf(x1,x2)=x1+x2の分散の求め方はここまででわかりました。
微積分の知識を使うことで分散の計算可能な範囲を近似的に拡張することができます。
となります。この式を理解するには大学1年の数学が必要になりますので、今すぐわからなくても問題ありませんが、
そこから得られる式は覚えておいて損はありません。
2
2
2
1
2
1
2
2
2
1
2
2
1
21
, xxy xxx
x
y
x
x
y
xxy
 






 2
2
2
1
2
1
2
24
2
2
2
2
1
221
2
1
1
,
1
xxy xx
xx
x
x
y
xx
y
x
x
y
 






積の分散:CVRにも分散があり、商材の値段にも分散がある場合。
商の分散:CVRの改善率を求めたい場合。
http://www.infra.kochi-tech.ac.jp/takagi/Survey1/3Error.pdf

多変量解析とは？
多次元のX:独立変数(説明変数)とY:従属変数(被説明変数)の間の関連性を解析すること。
Xの値が離散的である場合、X:因子、Xの値:水準と呼びます。
Sepal
Petal
説明変数:Irisの各部位の大きさ
被説明変数：Irisの種類
(setosa,versicolor,virginica)

多変量解析の一般的なテーマ
一般的な多変量解析のテーマとLPOでいう多変量解析のテーマとは結構乖離があります。
普通の多変量解析の本を買ってきても
ちょっとスコープがずれてます！
第1章統計学の基礎
第2章 Rの基礎
第3章線形回帰モデル
第4章判別分析
第5章ロジスティック回帰モデル
第6章主成分法
第7章対応分析分析法
第8章因子分析法
第9章正準相関分析法
第10章多次元尺度法
第11章クラスター分析法
複数の説明変数間
の関係性を分析する。
一般的な多変量解析の教科書で学ぶことと、
DLPOで用いる多変量解析で使う技術はか
なり異なります。一部のことに慣れてしまえ
ば、ここまでの誤差論で用いた考え方のみ
でほぼ説明することができます。
これは一般的な多変量解析では、独立変
数間の出現頻度の関係性の解析に多くの
力を注いでいますが、LPOでは各クリエイ
ティブは独立に配信されるため以下の技術
を用いないことによります。LPOにタグが付
き、クリエイティブをまたいだ属性間の分析
を行う場合に下記の技術が用いられます。
※ターゲティングセグメントを因子とみなし
た場合は下の技術はかなり役立ちますが、
LPのクリエイティブ
を変数とみなす限りは下の技術の多くは本
質的に用いられることはありません。
被説明変数
説明変数
ターゲティングの無い
LPOではここだけ

LPOにおける多変量解析
ＬＰＯのMVTの場合、因子(factor)はエリア、水準(level)は登録されているクリエイティブに
なります。
複数のエリアがある場合に多変量解析となります。
LP
[アクセス解析]
1因子、1水準
LP_1 LP_2
[A/Bテスト]
1因子、多水準
1 2 12
1
2
[MVT]
多因子、多水準
※一つのLPのCVRを複数のターゲティングセグメントごとに解析していくことも多変量解析ですが、LPOでは慣習的
にエリアを複数にした場合にMVTと呼んでいます。

探索空間(Search Space)の拡張｜MVTをやる理由
A/B
訴求軸
MVT
訴求軸
ビジュアル
わかりやすさ
探索空間の拡張

実際はLPOではきれいなMVTは難しいとき
3次元の中の2次元多様体に答えが集中している。
2.5次元を考えればいい。
→ベイズ統計を駆使して頑張らなくてはならない。
を読むとちょっとわかるが、
しんどい。
金利
即日審査
金利詳細A
金利詳細B
即日詳細A
即日詳細B
芸能人A
芸能人B
芸能人C
訴求軸
ビジュアル
わかりやすさ
インタラクションが強いところは
始めからまとめてしまってください。
↓
今のA/Bテストにエリアがあるの
はその名残。
Ex:消費者金融の場合

MVTはデータ収集、データ解析の二つの視点で分類することができます。
データ取得
完全実施要因計画法一部実施要因計画法
データ解析
パラメトリック GWO,DLPO 種主のDOE,DLPO,T&T
ノンパラメトリック Site Tuner,DLPO 実現不可能
多変量解析の分類
完全・ノンパラ完全・パラ一部・パラ
Advantage
一番良いパターンが見つか
る。
全体の傾向を早くつかめる。
柔軟にモデルを作れる。
簡単なモデルであれば少な
いサンプル数で正確にパラ
メーターを測定できる。
複数のパターンを表示して
はいけないときに使える。
Disadvantage
サンプル数がパターン数と
比例して必要。
パターンの単独の実測値の
誤差が大きい。
交互作用の計算に制限が
ある。
後からクリエイティブを追加
しづらい。
それぞれのアドバンテージ、ディスアドバンテージ
LPOでは完全実施要因計画法でお願いします。

データの取得について
[データ取得]
[データ解析]
B
M S
1 2 12
1
2
個別に
比較
交互作用を
比較
一部実施要因計画法:
探索空間の一部の点に
おけるデータを取得する。
完全実施要因計画法:
探索空間の全ての点に
おけるデータを取得する。
パラメトリック:
モデルを作成し、
そこで用いられる係数を推定する。
ノンパラメトリック:
パターンごとのCVRを実測する。
M
S
B
A/Bテストと基本一緒

主効果モデル|パラメトリック
Y= μ + α + β + ε
β
α
A1 A2 A3 A4 B主効果
B1 5.53 2.2 4.23 3.65 -1.5906
B2 8.2 6 7.32 6.67 1.55544
B3 6.7 3.63 5.36 4.16 -0.5302
B4 7.86 4.32 6.15 5.9 0.56534
A主効果 1.58 -1.5 0.27 -0.4 5.49304
μ
ε:残差
Y= fA(vA) + fB(vB)と書けるときは
完全に主効果モデルが成り立つ。
まずは主効果だけに絞って話をします。

一部実施要因計画法
ここでは例としてエリアをメインエリア、サブエリア、バ
ナーエリアと区切り、メインエリアにＭ１とＭ２、サブエリ
アにＳ１とＳ２、バナーエリアにＢ１とＢ２が登録されて
いるとします。
全てのクリエイティブの組合せは２＾３＝８通りになります。
一方各クリエイティブがＣＶＲに与える個別の効果(これを主効果と呼びます)
のみを測定することで実際に測定するパターンは４通りまで減らすことが可能です。
しかしここで無作為に選んだ４通りのパターンでは交互作用の効果を最大限主効果に
持たせることができない、もしくは全く主効果を計算できないことがあります。
→実験計画法を用いてきちんとテストパターンを設計する。
B
M S
1 2 12
1
2

テストするパターン設計の話に入る前にCVRの分解の話をします。
あるパターンのCVRは、そのパターンの各エリアのクリエイティブがパターン全体のCVRに
影響を与えて求まっていると考えることができます。
たとえばM1,S1,B1を出した場合には
CVR=μ
+M1+S1+B1
+M1S1+S1B1+B1M1
+err
と書くことができます。ここでM1等は主効果、M1S1等は２因子の主効果、errは3因子以上の
主効果とテスト上の誤差になります。
ここで、平均と主効果のみを求めるのであれば、求める値はμ,M1,M2,S1,S2,B1,B2になります。
ただし、各因子の主効果の平均を取ると0なるので、M1+M2=0, S1+S2=0, B1+B2=0となり、
結果求める値はμ,M1,S1,B1の4つになります。
求める値が4つの場合は方程式が4つあれば基本的には解くことができます。つまり、
四つのパターンの測定をすれば済むことになります。
一般的に、N個の因子がある場合、パターン数は
1+1個目の因子の水準数+2個目の因子の水準数+ ・・・+N個目の因子の水準数-N
となります。初めの1は平均の分、最後にNを引いているのは主効果の平均は0になるので、
変数を減らせる分になります。
一部実施要因計画法
平均
主効果
2因子間交互作用

メインサブバナー
パターン１ 1 1 1
パターン２ 2 1 1
パターン３ 1 2 2
パターン４ 2 2 2
前ページで、4つのパターンで基本的には答えが求まると書きました。
このようにパターンを組んだ場合は、主効果を求めることができません。
後で個別の効果がわからない形でいっぺんに複数のパターンを
変更してしまったことに寄ります。これは、
y=2x+4
3y=6x+2
といった連立方程式に解がないことに対応しています。
パターン設計1|一部実施
Not 直行表

パターン１ 1 1 1
パターン２ 2 1 1
パターン３ 1 2 1
パターン４ 1 1 2
続いて上の様にパターン１に対して２、３、４では各エリアを別々に変更した場合
は個別の効果を測定することは可能になります。一方ここで求まる主効果には
問題があります。上記の４パターンを分解式に直しますと、
パターン１：μ+M1+S1+B1+M1S1+S1B1+B1M1+err
パターン２：μ+M2+S1+B1+M2S1+S1B1+B1M2+err
パターン３：μ+M1+S2+B1+M1S2+S2B1+B1M1+err
パターン４：μ+M1+S1+B2+M1S1+S1B2+B2M1+err
ハイライトした、交互作用にはオーバラップがある一方、M2S2,S2B2,B2M2の
交互作用は全くテストに反映されていないことが分かります。これではもし
上記の三つの交互作用が大きな値であった場合に対応することができません。
パターン設計2|一部実施
Not 直行表

パターン１ 1 1 1
パターン２ 1 2 2
パターン３ 2 1 2
パターン４ 2 2 1
一方左の様にした場合は、平均と主効果は
パターン１：μ+M1+S1+B1+M1S1+S1B1+B1M1+err
パターン２：μ+M1+S2+B2+M1S2+S2B2+B2M1+err
パターン３：μ+M2+S1+B2+M2S1+S1B2+B2M2+err
パターン４：μ+M2+S2+B1+M2S2+S2B1+B1M2+err
各パターンには交互作用にオーバーラップがなく網羅出来ていることが分かります。
つまり、求まった主効果には交互作用の効果が含まれておりこの主効果だけから、
全パターンを予測したとしても、交互作用を加味して予測を行っていることになります。
μ=-0.5Pt1+0.5Pt2+0.5Pt3+0.5Pt4
M1=0.5Pt1+0.5Pt2-0.5Pt3-0.5Pt4
S1=0.5Pt1-0.5Pt2+0.5Pt3-0.5Pt4
B1=0.5Pt1-0.5Pt2-0.5Pt3+0.5Pt4
の様に求まり、
与えられたパターン数の中で交互作用を最大限含むようにパターンを生成しています。
一部実施(デザイン3)

M
S
B
デザイン1 デザイン2 デザイン3
S
B
B
M
M
S
S
B
B
M
M
S
含まれる二因子間交互作用の直感的イメージ
S
B
B
M
M
S

デザイン3
一部実施から完全実施へ
S
B
B
M
M
S
完全実施
S
B
B
M
M
S
一か所の色を
薄めて、全体を
塗ればいいんじゃ？
それぞれの精度は
下がる？？
完全実施要因計画法
二因子間交互作用で
見ると色の濃さは
変わってない。
↓
三因子以上の交互作用も
全て均一に求められる。
↓
パラメトリックで見ても
完全実施の方が良い！

とはいえ交互作用はそんなに重要なのか？

キッコロモリゾー
CVR= MEキッコロ + MEモリゾー
交互作用も重要だから考えよう

モリゾーキッコロ
CVR= MEモリゾー+ MEキッコロ
二人がちょっと離れているが、
言われなければ気付かない。
交互作用

ゾーコロ
CVR= MEゾー+ MEモリ+ MEコロ + MEキッ
= MEモリ+ MEゾー+ MEキッ+ MEコロ
≒ MEモリゾー+ MEキッコロ
モリキッ
だいぶ印象が違うが
“そういうデザインなのかな?”と思える。
交互作用

CVR= MEゾー+ MEモリ+ MEコロ + MEキッ
= MEモリ+ MEゾー+ MEキッ+ MEコロ
≒ MEモリゾー+ MEキッコロ + Interaction悪意
悪意を感じる。
ゾーコロモリキッヲタラス
交互作用

いきなりですがちょっとユーザーセグメントの話

完全実施要因計画法|パラメトリック
A1 A2 A3 A4 B主効果
B1 5.53 2.2 4.23 3.65 -1.5906
B2 8.2 6 7.32 6.67 1.55544
B3 6.7 3.63 5.36 4.16 -0.5302
B4 7.86 4.32 6.15 5.9 0.56534
A主効果 1.58 -1.5 0.27 -0.4 5.49304
μ
β
α
αβ






ji
ji
i
BjAiCVP
CVPBjCVPAiCVPBjAiCVP
AiCVPCVPAiCVP
)|(
)()|()|()|(
)|()()|(
C,D・・・もあるが、A,Bのみに注目

CVR=f(A,B,C) 真値を自由に定義
パラメトリックな予測の精度
A:1~4,B:1~4,C:1~4の3つがある。
0.0 0.1 0.2 0.3 0.4 0.5 0.6
02468
prob.sample
prob.density
n個サンプリングしてくる。
モデルの作成、真値の予測
観測

0.06 0.08 0.10 0.12 0.14 0.16
0.080.100.120.140.16
ノンパラメトリック,推定値
真値
0.06 0.08 0.10 0.12 0.14
0.080.100.120.140.16
主効果モデル、推定値
真値
0.06 0.08 0.10 0.12 0.14 0.16
0.080.100.120.140.16
主効果・2因子間交互作用モデル、推定値
真値
2因子間交互作用を含めてCVRを生成した場合

相関係数
相関係数（そうかんけいすう、correlation
coefficient）とは、2 つの確率変数の間の相
関（類似性の度合い）を示す統計学的指標
である。原則、単位は無く、-1 から 1 の間
の実数値をとり、1 に近いときは2 つの確率
変数には正の相関があるといい、-1 に近け
れば負の相関があるという。0 に近いとき
はもとの確率変数の相関は弱い。因みに 1
もしくは -1 となる場合は 2 つの確率変数は
線形従属の関係にある。

交互作用
真値は主効果のみ p=μ+α+β+γ

交互作用
真値は主効果と2因子間交互作用 p=μ+α+β+γ+αβ+βγ+γα

真値は主効果と2,3因子間交互作用
交互作用
p=μ+α+β+γ+αβ+βγ+γα+αβγ

真値は主効果と2因子間交互作用 p=μ+α+β+γ+αβ+βγ+γα+αβγ

0th Order Polynomial 1st Order Polynomial
3rd Order Polynomial 9th Order Polynomial
過学習について

Root-Mean-Square (RMS) Error:
過学習とモデルの選択

おまけ:α1-α2
これまでの話だと二つの主効果の差の分散は
)()()( jiji VVV  
)|()|(
)}()|({)}()|({
AjCVPAiCVP
CVPAjCVPCVPAiCVPji


となりそうですが、実際はもっと小さな値になります。これは
本来計算すると0になる値の分散をそのまま足してしまっていることに起因します。
],[2][][
)])([(2])[(])[(
)])((2)()[(
])[(][
22
22
2
YXCovYVXV
YXEYEXE
YXYXE
YXEYXV
yxyx
yxyx
yx







下の式のように統計量の分散の和を計算する場合は、二つの値が独立であるかに
十分注意する必要があります。
なお、Aiを出している場合と、A2を出している場合のCVRに相関は無く
は独立となります。))|(())|(()( AjCVPVAiCVPVV ji 

キャンペーンを通したテスト設計
A/B テスト MVT Parametric MVT Non-Parametric

A/Bテスト、MVT-Non-Parametricの足切り
足切り、選抜をどのように行えばいいか？？Q. 3
LP2
LP2
LP2
LP2
LP
LP2
LP2
LP2
LP
LP2
LP2
LP LP
Q.どう変化するのか？
A.わからん。
悪いパターンをどんどん切ってCVRを上げないと、
マーケッターさんが切られちゃうよ！！

#初期登録
max.cvr=0.2
min.cvr=0.12
default.position=0.5 #デフォルトの全体順位
pttrn.num=100 #全パターン数
max.test.day=100 #テスト期間
day.uu=10000 #日ごとのUU
signif.level=0.01 #有意水準(0.05,0.01,0.001で実験)
0.2
0.12
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
02468
x
dnorm(x,0.3,(0.3*0.7/100)^0.5)
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
02468
x
dnorm(x,0.4,(0.4*0.6/100)^0.5)
0.0 0.1 0.2 0.3 0.4 0.5 0.6
02468
prob.sample
prob.density
B A A-B
0
[シミュレーションのConfig]
[足切の条件]
BがAに勝つ確率が有意水準以下なら切ってしまう。
このプロセスを毎日やった場合。

縦CVR,横Day 縦Pt数,横Day 縦CV数(赤最適化、黒全体)
横Day

0 20 40 60 80 100
0.160.170.180.190.20
Index
apply(pttrn.cv.mat,2,sum)/apply(pttrn.uu.mat,2,sum)
0 20 40 60 80 100
0100200300400500
Index
active.craetive.num.v
0 20 40 60 80 100
050000100000150000200000
Index
cumsum(rep(pttrn.cvr.v[default.num]*day.uu,max.test.day))
0 20 40 60 80 100
050000100000150000200000
Index
cumsum(apply(pttrn.cv.mat,2,sum))

1
2
3
4
5
4
1
2
3
4
5
4
1
2
3
4
5
4
主効果のチャンピオンを発見する。
A B
C
6エリア10クリエイティブ(1,000,000パターン) を用意してみる。
CVRが0.16の周りで、±0.04でばらつくようにする。
3因子の交互作用までは入るようにする。

0 5 10 15 20 25 30
0.160.220.28
Index
test.average.cvr.v
0 5 10 15 20 25 30
103050
Index
deg.free.v
0 5 10 15 20 25 30
0e+006e+05
Index
seach.space.size.v
6エリア10クリエイティブ(1,000,000パターン) ので有意水準(0.001)とき
黄色い本にがんばれば100万~1000万でもいけると書いてあったので、参考までに増やしてみる。
パターン数240
ここからノンパラメトリックな
最適化を行う。

0 5 10 15 20 25 30
0.160.220.28
Index
test.average.cvr.v
0 5 10 15 20 25 30
02040
Index
deg.free.v
0 5 10 15 20 25 30
0e+006e+05
Index
seach.space.size.v
6エリア10クリエイティブ(1,000,000パターン) ので有意水準(0.05)とき

早い分最適化の
値が下がった

多変量解析のためには
再急降下法(今回のに一番近い)
山登り法
シミュレイテッドアニーリング
進化的アルゴリズム
などなどいろいろあります。なかにはかなり効率的に交互作用を考えながら
最適化を行っているアルゴリズムもあります。
が、どんな状況でもうまくいく究極のアルゴリズムなんてもんはありません。
誰かがただ飯をおごってくれると言ったら大体裏があるものです。
終わりに(No Free Lunch Theorem)
基本的には等価交換はいつも成り立ちます。
私が尊敬する錬金術師はそれで体が
半分持ってかれてました。
計算コスト、足りないUUを自分たちの知恵で
補い、LPOに関して言えばなんか
うまくいくアルゴリズムを作っていきましょう！！

ABテスト・LPOのための統計学【社内向けサディスティックエディション】データアーティスト株式会社

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to ABテスト・LPOのための統計学【社内向けサディスティックエディション】データアーティスト株式会社

Similar to ABテスト・LPOのための統計学【社内向けサディスティックエディション】データアーティスト株式会社 (9)

More from Satoru Yamamoto

More from Satoru Yamamoto (18)

Recently uploaded

Recently uploaded (9)

ABテスト・LPOのための統計学【社内向けサディスティックエディション】データアーティスト株式会社