SlideShare a Scribd company logo
1 of 32
Download to read offline
bigfoot 活用事例
minne 事業部 CTL shiro16
@_shiro16 shiro16
shiro16 #とは
● 2015/07 入社 EC 事業部に配属
● 前職、前々職でインフラ〜アプリ(Android) まで一通り経験
● 2015/10 minne に異動
○ 社内公募があったので試用期間にも関わらず応募
● なんやかんやあってチーフテクニカルリード
● 主な仕事は 愛犬と戯れること Elasticsearch 等を使った検索機能の開
発 + 改善 と CTL 業
本題: bigfoot 知ってますか?
bigfoot #とは
bigfoot #とは
● ペパボの次世代ログ基盤
● 各サービスの行動ログを集約することにより他サービスの行動も自サービスに
活用できる
詳細は こちら
bigfoot #とは
bigfoot #とは
● ログを送る = rack-bigfoot
● ログを貯める = Treasure Data(PlazmaDB)
● ログを扱う = Hive QL(クエリ)
○ 定期実行管理 = bigfoot-cron
● ログを可視化 = redash
● 集計結果を貯める = Treasure Data(PlazmaDB/Datatank)
bigfoot #とは
それでは事例のご紹介
bigfoot #とは
事例その 1 : 作家向けアクセス解析
事例その1 : 作家向けアクセス解析
1. 作家が自分の作品のアクセス数を閲覧することが可能
2. アクセス数は作品毎に閲覧が可能
3. アクセス数は日毎に閲覧が可能
4. 閲覧可能なアクセス数の期間は前日までの過去一週間
a. リアルタイムではない
どんな機能か?
設計しよ!
事例その1 : 作家向けアクセス解析
事例その1 : 作家向けアクセス解析
● user_id, product_id, date, pv のカラムを持つテーブル作る
● 作品毎は WHERE user_id = ? でいける
● 日付毎の合計は WHERE user_id = ? GROUP BY date とかでいける
な
● 作品ページにアクセスする毎にインクリメントすればいいか〜
設計
という設計にはしません
事例その1 : 作家向けアクセス解析
事例その1 : 作家向けアクセス解析
● 今回の機能はあくまで第一弾の仕様
● 第二弾、第三弾の機能拡張で他にもいろいろなこと見れるようにしたい
なぜか?
どうしたか?
事例その1 : 作家向けアクセス解析
事例その1 : 作家向けアクセス解析
● クエリは bigfoot-cron で管理し定期実行
○ ※定期実行機能は Treasure Data のもの
● bigfoot-client を使用して rails からクエリの結果を取得
● 取得した結果を Elasticsearch に保存
● rails では 1 日 1 回上記の job を実行
シン・設計
事例その1 : 作家向けアクセス解析
事例その1 : 作家向けアクセス解析
● 1 日の在庫の復活回数がリリース前より増加
○ アクセス多いが在庫が 0 の作品を(売れそうなので)復活させてくれた
● #minneの人気作品 というハッシュタグをつけての tweet 多数
● 喜びの声多数
結果
ちなみにこの機能 3 月中旬にリリースされたのですが、
1 月に配属された ogidow がほぼ 1 人で作ってます
事例その1 : 作家向けアクセス解析
新卒が出来るんだから皆さんなら余裕ですよね?(煽り)
事例その1 : 作家向けアクセス解析
事例その 2 : 注目ワードの更新
事例その2 : 注目ワードの更新
● 実は元々は yaml 管理
● 最終更新日 2016/01 …
● 全く更新されていない
● しかし、一定数のクリックはあるっぽい
注目ワード #とは
自動更新して click 数アゲアゲにしたいので設計しよ!
事例その2 : 注目ワードの更新
● 人気とか最近急に検索回数が増えた(急上昇)単語出すと良さそう
● カテゴリ毎に 10 件からランダムで表示するといいかも
● どんな単語で検索されているか?はログから追う必要がある
● マーケとかでも使いたいから redash でも見れるといいな
○ でも bigfoot-cron と redash でクエリを二重管理したくない
● 集計結果を datatank に入れれば rails + redash で使えて便利
● rails 側は datatank から取得したものを redis に保存しておこう
○ レスポンスタイムの向上の為
設計
事例その2 : 注目ワードの更新
事例その2 : 注目ワードの更新
自動化した結果
事例その2 : 注目ワードの更新
click 数約 1.25 倍
● 最終的に click 数は約 1.25 倍になった
● 過程を省略していますが、注目ワードのロジックは ”人気の単語のみ”
→ “急上昇の単語のみ” → “人気 + 急上昇の単語” という順で変更を行
なった。
● 変更の結果を集計し、最終的に数値が高かった “人気 + 急上昇の単
語” になった
結果補足
事例その2 : 注目ワードの更新
事例その 3 : 開発以外への活用
事例その3 : 開発以外への活用
1. 機能開発後に bigfoot を使用して効果検証をするのは minne ではアタ
リマエ
2. 前日の人気の検索単語を使って twitter に投稿
3. 昨年のログを集計し、バズった検索単語を抽出
a. 例えば “父の日” などの季節要因の単語を何月何日からユーザは探し出す
か?
b. この結果に合わせてマーケ側が特集などを計画
4. GA から完全移行も可能で minne mag は全ての数値を bigfoot から取
得するように変更した
一部を紹介
bigfoot 活用事例
1. ログは出来るだけ早く貯めた方が良い
a. 昨年のログを元に色々考えたり出来る
2. 効果検証大事
3. 複雑なクエリむずいけど楽しい
4. ログは貯めるだけではなく、分析、活用するのが大事
5. 思い付きでシュッと出したデータでもマーケの人めっちゃテンション上
がってた
a. 承認欲求満たされる
b. こんなやつ出しましたよって声を出すの大事
c. 見える化も大事
まとめ
おわり

More Related Content

Similar to Bigfoot 活用事例

drive api×deeplapiで高性能ocr翻訳サービスを開発した話【WebAPT_LT会】
drive api×deeplapiで高性能ocr翻訳サービスを開発した話【WebAPT_LT会】drive api×deeplapiで高性能ocr翻訳サービスを開発した話【WebAPT_LT会】
drive api×deeplapiで高性能ocr翻訳サービスを開発した話【WebAPT_LT会】TakeshiYamamoto33
 
Power BI のいろいろな活用パターン
Power BI のいろいろな活用パターンPower BI のいろいろな活用パターン
Power BI のいろいろな活用パターンYugo Shimizu
 
Pythonで業務改善をしたときにあった問題(ライト版)
Pythonで業務改善をしたときにあった問題(ライト版)Pythonで業務改善をしたときにあった問題(ライト版)
Pythonで業務改善をしたときにあった問題(ライト版)Satoshi Yamada
 
スタートアップツールチラ見せ
スタートアップツールチラ見せスタートアップツールチラ見せ
スタートアップツールチラ見せHisatoshi Kikumoto
 
Letsgo developer 2012 Continuous Delivery
Letsgo developer 2012 Continuous DeliveryLetsgo developer 2012 Continuous Delivery
Letsgo developer 2012 Continuous DeliveryNobuhiro Sue
 
Reviewing_machine_learning_program.pdf
Reviewing_machine_learning_program.pdfReviewing_machine_learning_program.pdf
Reviewing_machine_learning_program.pdfyusuke shibui
 
(Best) practices for working globally in IT industry - DMM.Study Night
(Best) practices for working globally in IT industry - DMM.Study Night(Best) practices for working globally in IT industry - DMM.Study Night
(Best) practices for working globally in IT industry - DMM.Study NightEiji Shinohara
 
ありらいおんさんのデータ本の作り方
ありらいおんさんのデータ本の作り方ありらいおんさんのデータ本の作り方
ありらいおんさんのデータ本の作り方myrmecoleon
 
[Okta x Jamf合同新年会] Okta Workflowsによるノーコード業務改善 〜Jamf APIを使ってMac端末情報を自動収集してみよう〜
[Okta x Jamf合同新年会] Okta Workflowsによるノーコード業務改善 〜Jamf APIを使ってMac端末情報を自動収集してみよう〜[Okta x Jamf合同新年会] Okta Workflowsによるノーコード業務改善 〜Jamf APIを使ってMac端末情報を自動収集してみよう〜
[Okta x Jamf合同新年会] Okta Workflowsによるノーコード業務改善 〜Jamf APIを使ってMac端末情報を自動収集してみよう〜Ryo Sasaki
 
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎Katsuhiro Takata
 
機械学習でテスト実行を効率化するLaunchable.pdf
機械学習でテスト実行を効率化するLaunchable.pdf機械学習でテスト実行を効率化するLaunchable.pdf
機械学習でテスト実行を効率化するLaunchable.pdfyusuke shibui
 
Githubサービスについて
GithubサービスについてGithubサービスについて
GithubサービスについてAkura Pi
 
あなたの安心を高速に守る Container-based CI
あなたの安心を高速に守る Container-based CIあなたの安心を高速に守る Container-based CI
あなたの安心を高速に守る Container-based CIWataru MIYAGUNI
 
\広報でもできる!/GitHubでらくらく原稿確認!
\広報でもできる!/GitHubでらくらく原稿確認!\広報でもできる!/GitHubでらくらく原稿確認!
\広報でもできる!/GitHubでらくらく原稿確認!Sachiko Imaoka
 
プロダクトマネジメントに「編集力」を活かせ!
プロダクトマネジメントに「編集力」を活かせ!プロダクトマネジメントに「編集力」を活かせ!
プロダクトマネジメントに「編集力」を活かせ!Yusuke Hisatsu
 
今日から始めるGopher - スタートGo #0 @GDG名古屋
今日から始めるGopher - スタートGo #0 @GDG名古屋今日から始めるGopher - スタートGo #0 @GDG名古屋
今日から始めるGopher - スタートGo #0 @GDG名古屋Takuya Ueda
 

Similar to Bigfoot 活用事例 (20)

個人開発者LT会.pdf
個人開発者LT会.pdf個人開発者LT会.pdf
個人開発者LT会.pdf
 
HTML5 のお話
HTML5 のお話HTML5 のお話
HTML5 のお話
 
drive api×deeplapiで高性能ocr翻訳サービスを開発した話【WebAPT_LT会】
drive api×deeplapiで高性能ocr翻訳サービスを開発した話【WebAPT_LT会】drive api×deeplapiで高性能ocr翻訳サービスを開発した話【WebAPT_LT会】
drive api×deeplapiで高性能ocr翻訳サービスを開発した話【WebAPT_LT会】
 
Power BI のいろいろな活用パターン
Power BI のいろいろな活用パターンPower BI のいろいろな活用パターン
Power BI のいろいろな活用パターン
 
Pythonで業務改善をしたときにあった問題(ライト版)
Pythonで業務改善をしたときにあった問題(ライト版)Pythonで業務改善をしたときにあった問題(ライト版)
Pythonで業務改善をしたときにあった問題(ライト版)
 
スタートアップツールチラ見せ
スタートアップツールチラ見せスタートアップツールチラ見せ
スタートアップツールチラ見せ
 
Letsgo developer 2012 Continuous Delivery
Letsgo developer 2012 Continuous DeliveryLetsgo developer 2012 Continuous Delivery
Letsgo developer 2012 Continuous Delivery
 
Reviewing_machine_learning_program.pdf
Reviewing_machine_learning_program.pdfReviewing_machine_learning_program.pdf
Reviewing_machine_learning_program.pdf
 
(Best) practices for working globally in IT industry - DMM.Study Night
(Best) practices for working globally in IT industry - DMM.Study Night(Best) practices for working globally in IT industry - DMM.Study Night
(Best) practices for working globally in IT industry - DMM.Study Night
 
俺とGitHub
俺とGitHub俺とGitHub
俺とGitHub
 
ありらいおんさんのデータ本の作り方
ありらいおんさんのデータ本の作り方ありらいおんさんのデータ本の作り方
ありらいおんさんのデータ本の作り方
 
[Okta x Jamf合同新年会] Okta Workflowsによるノーコード業務改善 〜Jamf APIを使ってMac端末情報を自動収集してみよう〜
[Okta x Jamf合同新年会] Okta Workflowsによるノーコード業務改善 〜Jamf APIを使ってMac端末情報を自動収集してみよう〜[Okta x Jamf合同新年会] Okta Workflowsによるノーコード業務改善 〜Jamf APIを使ってMac端末情報を自動収集してみよう〜
[Okta x Jamf合同新年会] Okta Workflowsによるノーコード業務改善 〜Jamf APIを使ってMac端末情報を自動収集してみよう〜
 
Not free
Not freeNot free
Not free
 
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎
 
機械学習でテスト実行を効率化するLaunchable.pdf
機械学習でテスト実行を効率化するLaunchable.pdf機械学習でテスト実行を効率化するLaunchable.pdf
機械学習でテスト実行を効率化するLaunchable.pdf
 
Githubサービスについて
GithubサービスについてGithubサービスについて
Githubサービスについて
 
あなたの安心を高速に守る Container-based CI
あなたの安心を高速に守る Container-based CIあなたの安心を高速に守る Container-based CI
あなたの安心を高速に守る Container-based CI
 
\広報でもできる!/GitHubでらくらく原稿確認!
\広報でもできる!/GitHubでらくらく原稿確認!\広報でもできる!/GitHubでらくらく原稿確認!
\広報でもできる!/GitHubでらくらく原稿確認!
 
プロダクトマネジメントに「編集力」を活かせ!
プロダクトマネジメントに「編集力」を活かせ!プロダクトマネジメントに「編集力」を活かせ!
プロダクトマネジメントに「編集力」を活かせ!
 
今日から始めるGopher - スタートGo #0 @GDG名古屋
今日から始めるGopher - スタートGo #0 @GDG名古屋今日から始めるGopher - スタートGo #0 @GDG名古屋
今日から始めるGopher - スタートGo #0 @GDG名古屋
 

Recently uploaded

新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000Shota Ito
 
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価sugiuralab
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directoryosamut
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka
 
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールプレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールsugiuralab
 
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 

Recently uploaded (7)

新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
 
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
 
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールプレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
 
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
 

Bigfoot 活用事例