Submit Search
Upload
Mlct 20150430v2
•
Download as PPTX, PDF
•
10 likes
•
4,315 views
Masakazu Sano
Follow
Machine Learning Casual Talks #3
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 24
Download now
Recommended
Sano tokyowebmining 36_20140526
Sano tokyowebmining 36_20140526
Masakazu Sano
Masakazu Sano Tokyowebmining 37 20140621
Masakazu Sano Tokyowebmining 37 20140621
Masakazu Sano
人工知能Xファッション最前線
人工知能Xファッション最前線
Kazuki Baba
Sano hmm 20150512
Sano hmm 20150512
Masakazu Sano
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3
Masakazu Sano
オープニングトーク - 創設の思い・目的・進行方針 -データマイニング+WEB勉強会@東京
オープニングトーク - 創設の思い・目的・進行方針 -データマイニング+WEB勉強会@東京
Koichi Hamada
hivemallを使って4日間で性別推定した話
hivemallを使って4日間で性別推定した話
eventdotsjp
パーソナル広告配信徹底入門
パーソナル広告配信徹底入門
yskn67
Recommended
Sano tokyowebmining 36_20140526
Sano tokyowebmining 36_20140526
Masakazu Sano
Masakazu Sano Tokyowebmining 37 20140621
Masakazu Sano Tokyowebmining 37 20140621
Masakazu Sano
人工知能Xファッション最前線
人工知能Xファッション最前線
Kazuki Baba
Sano hmm 20150512
Sano hmm 20150512
Masakazu Sano
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3
Masakazu Sano
オープニングトーク - 創設の思い・目的・進行方針 -データマイニング+WEB勉強会@東京
オープニングトーク - 創設の思い・目的・進行方針 -データマイニング+WEB勉強会@東京
Koichi Hamada
hivemallを使って4日間で性別推定した話
hivemallを使って4日間で性別推定した話
eventdotsjp
パーソナル広告配信徹底入門
パーソナル広告配信徹底入門
yskn67
ユーザー分析における特徴量の作り方
ユーザー分析における特徴量の作り方
Kazuya Obanayama
Sapporo20140709
Sapporo20140709
Kimikazu Kato
[データマイニング+WEB勉強会][R勉強会] 創設の思い・目的・進行方針
[データマイニング+WEB勉強会][R勉強会] 創設の思い・目的・進行方針
Koichi Hamada
研究室勉強会資料「データ分析チュートリアル」
研究室勉強会資料「データ分析チュートリアル」
ymmt3-lab
アドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
アドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
Kei Tateno
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
Kimikazu Kato
Deep learning Libs @twm
Deep learning Libs @twm
Yuta Kashino
セレンディピティと機械学習
セレンディピティと機械学習
Kei Tateno
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎
Katsuhiro Takata
Optimizing AIC in Questionnaire Analysis
Optimizing AIC in Questionnaire Analysis
T T
Scikit-learnを使って 画像分類を行う
Scikit-learnを使って 画像分類を行う
Arata Honda
[R勉強会][データマイニング] R言語による時系列分析
[R勉強会][データマイニング] R言語による時系列分析
Koichi Hamada
Pythonで画像処理をやってみよう!第6回 - Scale-space 第3回 -
Pythonで画像処理をやってみよう!第6回 - Scale-space 第3回 -
Project Samurai
Shinyを自由に使ってみる
Shinyを自由に使ってみる
Masanori Takano
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
正志 坪坂
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
Koichi Hamada
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
tanutarou
20190723 mlp lt_bayes_pub
20190723 mlp lt_bayes_pub
Yoichi Tokita
実社会・実環境におけるロボットの機械学習 ver. 2
実社会・実環境におけるロボットの機械学習 ver. 2
Kuniyuki Takahashi
Sano tokyowebmining 201625_v04
Sano tokyowebmining 201625_v04
Masakazu Sano
法人顧客データあれこれ
法人顧客データあれこれ
Izumi Akiyama
More Related Content
What's hot
ユーザー分析における特徴量の作り方
ユーザー分析における特徴量の作り方
Kazuya Obanayama
Sapporo20140709
Sapporo20140709
Kimikazu Kato
[データマイニング+WEB勉強会][R勉強会] 創設の思い・目的・進行方針
[データマイニング+WEB勉強会][R勉強会] 創設の思い・目的・進行方針
Koichi Hamada
研究室勉強会資料「データ分析チュートリアル」
研究室勉強会資料「データ分析チュートリアル」
ymmt3-lab
アドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
アドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
Kei Tateno
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
Kimikazu Kato
Deep learning Libs @twm
Deep learning Libs @twm
Yuta Kashino
セレンディピティと機械学習
セレンディピティと機械学習
Kei Tateno
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎
Katsuhiro Takata
Optimizing AIC in Questionnaire Analysis
Optimizing AIC in Questionnaire Analysis
T T
Scikit-learnを使って 画像分類を行う
Scikit-learnを使って 画像分類を行う
Arata Honda
[R勉強会][データマイニング] R言語による時系列分析
[R勉強会][データマイニング] R言語による時系列分析
Koichi Hamada
Pythonで画像処理をやってみよう!第6回 - Scale-space 第3回 -
Pythonで画像処理をやってみよう!第6回 - Scale-space 第3回 -
Project Samurai
Shinyを自由に使ってみる
Shinyを自由に使ってみる
Masanori Takano
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
正志 坪坂
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
Koichi Hamada
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
tanutarou
20190723 mlp lt_bayes_pub
20190723 mlp lt_bayes_pub
Yoichi Tokita
実社会・実環境におけるロボットの機械学習 ver. 2
実社会・実環境におけるロボットの機械学習 ver. 2
Kuniyuki Takahashi
What's hot
(20)
ユーザー分析における特徴量の作り方
ユーザー分析における特徴量の作り方
Sapporo20140709
Sapporo20140709
[データマイニング+WEB勉強会][R勉強会] 創設の思い・目的・進行方針
[データマイニング+WEB勉強会][R勉強会] 創設の思い・目的・進行方針
研究室勉強会資料「データ分析チュートリアル」
研究室勉強会資料「データ分析チュートリアル」
アドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
アドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
Deep learning Libs @twm
Deep learning Libs @twm
セレンディピティと機械学習
セレンディピティと機械学習
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎
Optimizing AIC in Questionnaire Analysis
Optimizing AIC in Questionnaire Analysis
Scikit-learnを使って 画像分類を行う
Scikit-learnを使って 画像分類を行う
[R勉強会][データマイニング] R言語による時系列分析
[R勉強会][データマイニング] R言語による時系列分析
Pythonで画像処理をやってみよう!第6回 - Scale-space 第3回 -
Pythonで画像処理をやってみよう!第6回 - Scale-space 第3回 -
Shinyを自由に使ってみる
Shinyを自由に使ってみる
Big data解析ビジネス
Big data解析ビジネス
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
10回開催記念 「データマイニング+WEB ~データマイニング・機械学習活用による継続進化~」ー第10回データマイニング+WEB勉強会@東京ー #Toky...
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
20190723 mlp lt_bayes_pub
20190723 mlp lt_bayes_pub
実社会・実環境におけるロボットの機械学習 ver. 2
実社会・実環境におけるロボットの機械学習 ver. 2
Viewers also liked
Sano tokyowebmining 201625_v04
Sano tokyowebmining 201625_v04
Masakazu Sano
法人顧客データあれこれ
法人顧客データあれこれ
Izumi Akiyama
第1回文献紹介勉強会20140826
第1回文献紹介勉強会20140826
Masakazu Sano
LT資料
LT資料
Kazuma Kadomae
機械学習に取り組んでいる企業の紹介
機械学習に取り組んでいる企業の紹介
Kazuma Kadomae
クライアントサイドMVVMアーキテクチャとVue.jsをまとめたよ
クライアントサイドMVVMアーキテクチャとVue.jsをまとめたよ
Seki Yousuke
Viewers also liked
(6)
Sano tokyowebmining 201625_v04
Sano tokyowebmining 201625_v04
法人顧客データあれこれ
法人顧客データあれこれ
第1回文献紹介勉強会20140826
第1回文献紹介勉強会20140826
LT資料
LT資料
機械学習に取り組んでいる企業の紹介
機械学習に取り組んでいる企業の紹介
クライアントサイドMVVMアーキテクチャとVue.jsをまとめたよ
クライアントサイドMVVMアーキテクチャとVue.jsをまとめたよ
Similar to Mlct 20150430v2
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
Hiroshi Senga
20180925_【サポーターズCoLab勉強会】【営業から運用まで】データサイエンティストという職業
20180925_【サポーターズCoLab勉強会】【営業から運用まで】データサイエンティストという職業
Shunsuke Nakamura
20180920_【ヒカ☆ラボ】【データサイエンティストが教える 】 機械学習、人工知能を使った「ビジネスになる」アプリケーションの作り方
20180920_【ヒカ☆ラボ】【データサイエンティストが教える 】 機械学習、人工知能を使った「ビジネスになる」アプリケーションの作り方
Shunsuke Nakamura
.net micro framework for toppers
.net micro framework for toppers
Kiyoshi Ogawa
Pythonによる機械学習
Pythonによる機械学習
Kimikazu Kato
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Recruit Technologies
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
データマイニングCROSS 第2部-機械学習・大規模分散処理
データマイニングCROSS 第2部-機械学習・大規模分散処理
Koichi Hamada
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
HironoriTAKEUCHI1
ChatGPT(LLMによる生成系AI)の追加学習を No Code で行う ~ 概念モデリング教本を元に ~
ChatGPT(LLMによる生成系AI)の追加学習を No Code で行う ~ 概念モデリング教本を元に ~
Knowledge & Experience
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
20180809_機械学習を使った「ビジネスになる」アプリケーションの作り方
20180809_機械学習を使った「ビジネスになる」アプリケーションの作り方
Shunsuke Nakamura
Microsoft Autonomousへの取り組み
Microsoft Autonomousへの取り組み
Hirono Jumpei
Deep Learningを用いたロボット制御
Deep Learningを用いたロボット制御
Ryosuke Okuta
ML Sagemaker Dev.IO
ML Sagemaker Dev.IO
__john_smith__
リアルタイムトレンド抽出飛び込み用
リアルタイムトレンド抽出飛び込み用
DMM.com
20181117 azure ml_seminar_1
20181117 azure ml_seminar_1
sady_nitro
Soft neuro
Soft neuro
ssuser3a4b8c
機械学習システム開発案件の事例紹介
機械学習システム開発案件の事例紹介
BrainPad Inc.
レコメンドエンジン作成コンテストの勝ち方
レコメンドエンジン作成コンテストの勝ち方
Shun Nukui
Similar to Mlct 20150430v2
(20)
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
20180925_【サポーターズCoLab勉強会】【営業から運用まで】データサイエンティストという職業
20180925_【サポーターズCoLab勉強会】【営業から運用まで】データサイエンティストという職業
20180920_【ヒカ☆ラボ】【データサイエンティストが教える 】 機械学習、人工知能を使った「ビジネスになる」アプリケーションの作り方
20180920_【ヒカ☆ラボ】【データサイエンティストが教える 】 機械学習、人工知能を使った「ビジネスになる」アプリケーションの作り方
.net micro framework for toppers
.net micro framework for toppers
Pythonによる機械学習
Pythonによる機械学習
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
データマイニングCROSS 第2部-機械学習・大規模分散処理
データマイニングCROSS 第2部-機械学習・大規模分散処理
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
ChatGPT(LLMによる生成系AI)の追加学習を No Code で行う ~ 概念モデリング教本を元に ~
ChatGPT(LLMによる生成系AI)の追加学習を No Code で行う ~ 概念モデリング教本を元に ~
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
20180809_機械学習を使った「ビジネスになる」アプリケーションの作り方
20180809_機械学習を使った「ビジネスになる」アプリケーションの作り方
Microsoft Autonomousへの取り組み
Microsoft Autonomousへの取り組み
Deep Learningを用いたロボット制御
Deep Learningを用いたロボット制御
ML Sagemaker Dev.IO
ML Sagemaker Dev.IO
リアルタイムトレンド抽出飛び込み用
リアルタイムトレンド抽出飛び込み用
20181117 azure ml_seminar_1
20181117 azure ml_seminar_1
Soft neuro
Soft neuro
機械学習システム開発案件の事例紹介
機械学習システム開発案件の事例紹介
レコメンドエンジン作成コンテストの勝ち方
レコメンドエンジン作成コンテストの勝ち方
Mlct 20150430v2
1.
ネット広告実務で機械学習を活用するうえでの苦労話
2.
アジェンダ • 自己紹介 • FreakOutの概観 •
機械学習苦労話
3.
自己紹介
4.
佐野正和(さのまさかず, @Masa_S3) • データマイニングエンジニア
(Techlead) • バックグラウンドは素粒子物理学 • 5年くらいネット広告分野で分析業務を担当 分析チーム • 5名+3名アルバイト(現時点) • FreakOutとM.T.Burn(スマホ向けアドネットワーク)のプロダクト改善 メンバーを募集しております! • 分析から学習モデルの実装までやってみたい方。 • 自分の実装モデルをリアルなデータで試したい方。 • アナリティクスの力でビジネスをドライブさせてみたい方。
5.
• FreakOutの概観
6.
ネット広告売買の世界:Real Time Bidding(RTB) •
SSP(Supply-Side Platform)がimpressionのオークションを仕切って、 それに複数のDSP(Demand-Side Platform )がセリに参加するイメー ジ。 DSP1 DSP2 DSP3 SSP いくらで 配信す るの? ¥10 ¥30 ¥20 DSP2を配信 ユーザID, 広告サイズ等 を開示 6
7.
DSP (Demand-Side Platform)とは 7 これまで
現在 広告枠 広告主 広告枠 メディア ユーザ 広告枠 ? 広告主のロジックでの買い付けが可能に ネット広告のパラダイムシフト 取引対象が、「広告枠」から「人」へ変化 手売りでの 広告販売 RTBによる 自動買い付け 広告枠
8.
50ms or die. フリークアウトのTechチームが掲げるミッション。 月間2200億のリクエスト、 その1つ1つに対して50msでレスポンスを返さないと、 事業そのものが成り立たない
9.
50msでやっていること 広告主側のロジックで、 必要な枠、必要な人、必要な瞬間だけ をリアルタイムに判定して入札 ↓ 競合十数社でのオークションに勝てば バナーを表示
10.
・入札配信サーバ/Hadoopクラスタは、それぞれ 数百台の規模 ・基本はオンプレミス、一部AWS使用 ・入札サーバは安いコアを並べる FreakOut DSP の構成概要
11.
ロジックのABテスト環境 月間2200億のトラフィックに対して、 複数の入札ロジックを、任意の割合(%)で 並行して走らせることが可能 結果も即座に集計可能 常時複数のアルゴリズムが実環境で検証されている 高速PDCA
12.
• 機械学習苦労話
13.
広告主側のロジックで、 必要な枠、必要な人、必要な瞬間だけ をリアルタイムに判定して入札 • 高精度なユーザ判別(click/CV)の実現 • 制約 •
高速レスポンス • オンプレ 機械学習への制約
14.
機械学習への制約 学習器 Impression log click log 学習 (ロジスティ回帰) Clickする確率 イメージ 過去の履歴 入札価格の決定
15.
ロジックの一例:クリック予測モデル Hivemallのロジスティック回帰を活用 • amplify()関数を活用したアンサンブル学習でイテレーション効 果を得る。 • Hiveで学習から検証まで実行可能で非常に便利。 学習用のログは直近数日分のimpression
& click log • 学習時間;1時間程度
16.
ロジックの一例:クリック予測モデル 課題 • amplifyを使うと処理の途中過程で学習データが10倍程度に なる(設定による)。 • オンプレ環境ではデータ容量を大きくできない •
使用容量が多いと特徴量の種類を増やすことも容易ではな い • 精度を落とさず容量を減らしたい
17.
ロジックの一例:クリック予測モデル Subsamplingの導入 Simple and scalable
response prediction for display advertising[CHAPELLE, MANAVOGLU, ROSALES] Negative Samples (impresion log)Positive Samples (click log)
18.
ロジックの一例:クリック予測モデル Subsamplingの導入 Simple and scalable
response prediction for display advertising[CHAPELLE, MANAVOGLU, ROSALES] Negative samples Positive samples Subsampling rate r(<1)でnegative sampleからサンプリング。 subsampling
19.
ロジックの一例:クリック予測モデル Subsamplingの導入 Simple and scalable
response prediction for display advertising[CHAPELLE, MANAVOGLU, ROSALES] 非常に簡潔
20.
ロジックの一例:クリック予測モデル Subsamplingの導入 Simple and scalable
response prediction for display advertising[CHAPELLE, MANAVOGLU, ROSALES] 精度をほぼ変えずに消費リソースの削減を実現 • r=0.2 • 60-80%の消費リソース減少 • 学習時間も半分以下に
21.
おまけ苦労話:モデルの比較 実配信環境にモデルを投下するためには機械学習モ デルの比較検証が大事 モデルを同じ基準で比較するのが意外と難しい
22.
view cv • Viewからクリックまでは期間が短い • コンバージョンまでにはラグが存在する場合があ る
23.
view cv view cv オンライン検証開始 すでに動いているモデルと新しい モデルを比較検証する場合、 Model Bのような検証開始日より 過去から発生しているコンバー ジョンを除外しないと公平な比較 にならない。 クリック予測モデルと違う点で気 をつけるべき点。 案外落とし穴 。遅れて発生する コンバージョンは割と多い。 New
model A Old model B
24.
まとめ 地味なところ大事。特にデータ周り。 同じくらい業務知識も大事。落とし穴に気づける。
Download now