Recommended
More Related Content
What's hot
What's hot (20)
Similar to マーケティングで使えるBigQueryMLテンプレート
Similar to マーケティングで使えるBigQueryMLテンプレート (20)
マーケティングで使えるBigQueryMLテンプレート
- 1. https://gcpug.jp BigQuery ML Marketing Templates Google Developers Expert なかむら さとる
- 2. https://gcpug.jp ● 名前： なかむら さとる(@satoluxx) ● 所属： 株式会社グルーヴノーツ ● お仕事： 普段はデータの前処理とか、コンサルとかやってます ● その他： Google Developers Expert(GCP) #bq_sushiというBigQueryのコミュニティやってます 毎日BigQuery叩いて変化を感じとっています はじめに
- 4. https://gcpug.jp このドキュメントはGoogle Cloud Blogで投稿された”Predictive marketing analytics using BigQuery ML machine learning templates”で紹介されているドキュメント”BigQuery ML Marketing Templates”を解説しています。 実際に使用されているデータやSQLなどはGitHubにありますので、そちらも参考にしてくだ さい。 はじめに
- 5. https://gcpug.jp このドキュメントには一般的なマーケティングで使われそうなBQMLのテンプレートを記載し ています。このテンプレートでは以下の概要にそったデータを使用します。 ● 顧客はB2Bでオフィス用品を取り扱っています：社名はOS Inc. ● OS Incの顧客企業情報はCRMのAccountにデータを持っています。 ● この企業のエンドユーザーはOS IncのECサイトにログインして消耗品を注文します。 そのエンドユーザーの情報はCRMのUserにデータを持っています。 ● 各エンドユーザーのECサイトでの行動履歴はGA360で取得しています。 今回のテンプレートは架空のB2B企業に基づいていますが、モデリングや手法などはB2C でも同様に使うことができます。 概要
- 6. https://gcpug.jp 今回のユースケースは以下の3つです。 ● 顧客セグメンテーション ● カスタマーライフタイムバリュー(LTV) ● コンバージョン/購買予測 ユースケース
- 7. https://gcpug.jp 以下のデータを利用します。 ● 企業情報 ● 企業情報に紐付いたユーザーの情報 ● ユーザーの行動履歴（GA360） 実際にはこれらのデータは、別の場所にあることが多いですが、それらを統合してMLや分 析が出来る環境を作るのが重要な最初のステップです。 利用するデータ
- 8. https://gcpug.jp ● CRM Account 企業情報 ● CRM User 企業情報に紐付いたユーザーの 情報 ● GA360 行動履歴 ● CRM Signups ユーザーがサインアップしたログ 利用するデータ
- 9. https://gcpug.jp データをしっかり見て、どういうデータでトレーニングすれば良い結果が生まれそうかを考え る。 ● 業務知識とデータ知識から、モデルに影響がありそうなデータを選択する ● 非ランダムのデータを入れてみる ● Feature Engineeringを実行する、簡単にいうとデータをどういう風に加工し、学習させ るのかを考える（例：日付ではなく『第◯◯週の◯曜日』とか） モデルを作成する際に可視化（グラフとか）して、データを見るのが一般的です。 （データポータルなんかで） モデルを作るにあたって
- 10. https://gcpug.jp モデルを作成する手順は以下のとおりです。 1. データを選択 2. モデルを構築 3. モデルを評価 4. 精度があがるまで1. 〜 3.を繰り返します。 実際にはデータを加工したり、きれいにする作業が必要です。一般的なテクニックは以下の とおりです。 1. 外れ値を削除する 2. null値の補完 3. 統計的な手法を用いてデータを変換する 4. 値を特定のグループにまとめる モデルを作るにあたって
- 11. https://gcpug.jp BigQuery MLでは以下の機能をすでに持っています。 ● 回帰モデルの学習率の自動調整 ● 分類モデルと回帰モデルでは過学習を防ぐため、テストデータと学習データに分割し てテストを行います。デフォルトでは80:20でこの数値は変更できます ● 数値標準化 ● 文字列のワンホットエンコーディング ● NULLの補完：カテゴリの場合は『NULL』というカテゴリとして扱われ、数値の場合は平 均値が入ります ● 学習データに偏りがある場合は、自動的に重みを調整します BigQuery MLの標準機能
- 14. https://gcpug.jp 利用するデータは以下の通りです。 顧客セグメンテーション：利用するデータ データ 説明 データの加工 収入 会社の年間売上 小、中、大にグループ分け。このデータ がクラスタに与える影響の解釈を簡単 にするために行った。 サイトの滞在時間 ユーザーのサイト滞在時間の合計 GA360データから集計 ユニークなページビュー ユーザーが閲覧したページの総数 GA360データから集計 ロイヤリティプログラム ユーザーのロイヤリティプログラム LTV ユーザーのLTV 年齢 ユーザーの年齢
- 26. https://gcpug.jp 利用するデータは以下の通りです。 （※このデータの『年齢』と『ロイヤリティプログラム』をそのまま使うと精度が低かった(55.8%) ため、データを加工して精度が向上(70.8%)しました。） ライフタイムバリュー（LTV）：利用するデータ データ 説明 データの加工 サイトの滞在時間 ユーザーのサイト滞在時間の合計 GA360データから集計 ユニークなページビュー ユーザーが閲覧したページの総数 GA360データから集計 画面の解像度 ユーザーが最も使用する画面の解像度 GA360データから集計 ロイヤリティプログラム ユーザーのロイヤリティプログラム LTV ユーザーのLTV 小、中、大にグループ化します。これを予測のた めの値（ラベル）にします。 年齢 ユーザーの年齢 国コード ユーザーの国番号
- 27. https://gcpug.jp ● GA360のデータから滞在時間とユニークなページビューの合計を取ります ● LTVの境界を決めます ● ユーザーがよく使う解像度ごとの回数と、その使用頻度が一番多いものを取り出しま す ライフタイムバリュー（LTV）：データ準備（共通）
- 28. https://gcpug.jp ● ユーザーの年齢をグループ化 ● LTVをグループ化 ● 準備した全てのデータを紐づけて学習データを作成 この際に学習データはクエリ実行後にビューで保存します。 ライフタイムバリュー（LTV）：データ準備（その１）
- 30. https://gcpug.jp ● 年齢の平均値を取り出す ● 年齢がNullを平均値で補完する ● LTVのグループ化と、ロイヤリティの正規化 ● 準備した全てのデータを紐づけて学習データを作成 この際に学習データはクエリ実行後にビューで保存します。 ライフタイムバリュー（LTV）：データ準備（その2）
- 37. https://gcpug.jp 利用するデータは以下の通りです。 コンバージョン/購買予測：利用するデータ データ 説明 データの加工 1ヶ月目のサイト滞在時間 サイトを始めて利用してから1ヶ月間のサイト 滞在時間 GA360データから集計 2ヶ月目のサイト滞在時間 サイトを始めて利用してから2ヶ月目のサイト 滞在時間 GA360データから集計 3ヶ月目のサイト滞在時間 サイトを始めて利用してから3ヶ月目のサイト 滞在時間 GA360データから集計 ユニークなページビュー ユーザーのロイヤリティプログラム LTV ユーザーのLTV LTVが有料会員に変更する要素となっている 年齢 ユーザーの年齢
- 38. https://gcpug.jp ● GA360のデータから滞在時間とユニークなページビューの合計を取得 ● ユーザーが最初にアクセスした日付を取得 ● 1ヶ月目のサイト滞在時間の合計を取得 ● 2ヶ月目のサイト滞在時間の合計を取得 ● 3ヶ月目のサイト滞在時間の合計を取得 ● 最初にアクセスした日付から3ヶ月以内に有料会員になったユーザーにラベルをつけ る ● 3ヶ月以内に有料会員になったユーザーとなっていないユーザー数の差が大きいの で、なっていないユーザーからランダムで15000ユーザーを抜き出してサンプルデータ を作成 コンバージョン/購買予測：データ準備（その1）
- 45. https://gcpug.jp ● どういうデータを使うのか ● そのデータをどのようにトレーニングで使うのか ● 1回のトレーニングではなかなか精度は出ない ● マーケティングで利用出来そうなその他のデータも自動的に取り込むことができます ● 精度を目標にしない、利用する目的に対してのインパクトを目標としましょう ● BQMLでTensorFlowのモデルが読み込めるようになりました 最後に