Submit Search
Upload
トレジャーデータ 導入体験記 リブセンス編
•
6 likes
•
5,813 views
Kentaro Yoshida
Follow
第1回 トレジャーデータ ユーザ会で発表した、 Livesense Inc. での導入事例紹介です。
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 52
Download now
Download to read offline
Recommended
Data Factoryの勘所・大事なところ
Data Factoryの勘所・大事なところ
Tsubasa Yoshino
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
PostgreSQLでpg_bigmを使って日本語全文検索 (MySQLとPostgreSQLの日本語全文検索勉強会 発表資料)
PostgreSQLでpg_bigmを使って日本語全文検索 (MySQLとPostgreSQLの日本語全文検索勉強会 発表資料)
NTT DATA OSS Professional Services
認証/認可が実現する安全で高速分析可能な分析処理基盤
認証/認可が実現する安全で高速分析可能な分析処理基盤
Masahiro Kiura
Hueによる分析業務の改善事例
Hueによる分析業務の改善事例
Masahiro Kiura
2014年4月17日 dstnHub発表スライド「dataspiderインターナル:アーキテクチャ編」
2014年4月17日 dstnHub発表スライド「dataspiderインターナル:アーキテクチャ編」
dstn
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
VirtualTech Japan Inc.
Data Factory V2 新機能徹底活用入門
Data Factory V2 新機能徹底活用入門
Keisuke Fujikawa
Recommended
Data Factoryの勘所・大事なところ
Data Factoryの勘所・大事なところ
Tsubasa Yoshino
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
PostgreSQLでpg_bigmを使って日本語全文検索 (MySQLとPostgreSQLの日本語全文検索勉強会 発表資料)
PostgreSQLでpg_bigmを使って日本語全文検索 (MySQLとPostgreSQLの日本語全文検索勉強会 発表資料)
NTT DATA OSS Professional Services
認証/認可が実現する安全で高速分析可能な分析処理基盤
認証/認可が実現する安全で高速分析可能な分析処理基盤
Masahiro Kiura
Hueによる分析業務の改善事例
Hueによる分析業務の改善事例
Masahiro Kiura
2014年4月17日 dstnHub発表スライド「dataspiderインターナル:アーキテクチャ編」
2014年4月17日 dstnHub発表スライド「dataspiderインターナル:アーキテクチャ編」
dstn
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
VirtualTech Japan Inc.
Data Factory V2 新機能徹底活用入門
Data Factory V2 新機能徹底活用入門
Keisuke Fujikawa
[Azure Deep Dive] Spark と Azure HDInsight によるビッグ データ分析入門 (2017/03/27)
[Azure Deep Dive] Spark と Azure HDInsight によるビッグ データ分析入門 (2017/03/27)
Naoki (Neo) SATO
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
Supership株式会社
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
Keisuke Takahashi
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
dstn
GresCubeで快適PostgreSQLライフ
GresCubeで快適PostgreSQLライフ
NTT DATA OSS Professional Services
Redmineosaka 20 talk_crosspoints
Redmineosaka 20 talk_crosspoints
Shinji Tamura
DynamoDBを利用したKPI保存システム
DynamoDBを利用したKPI保存システム
gree_tech
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
Insight Technology, Inc.
GDLC11 oracle-ai
GDLC11 oracle-ai
Hirokuni Uchida
Yahoo! JAPANのOracle構成-2017年版
Yahoo! JAPANのOracle構成-2017年版
Yahoo!デベロッパーネットワーク
IoT時代におけるストリームデータ処理と急成長の Apache Flink
IoT時代におけるストリームデータ処理と急成長の Apache Flink
Takanori Suzuki
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
2t3
グラフデータベースNeo4Jでアセットダウンロードの構成管理と最適化
グラフデータベースNeo4Jでアセットダウンロードの構成管理と最適化
gree_tech
Innodb Deep Talk #2 でお話したスライド
Innodb Deep Talk #2 でお話したスライド
Yasufumi Kinoshita
Google bigquery導入記
Google bigquery導入記
Yugo Shimizu
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
Yahoo!デベロッパーネットワーク
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
Insight Technology, Inc.
ヤフーを支えるフラッシュストレージ
ヤフーを支えるフラッシュストレージ
Yahoo!デベロッパーネットワーク
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
GruntでJavaScript 前作業の自動化!
GruntでJavaScript 前作業の自動化!
leverages_event
運用の現場での監視運用ツールの活用
運用の現場での監視運用ツールの活用
真治 米田
More Related Content
What's hot
[Azure Deep Dive] Spark と Azure HDInsight によるビッグ データ分析入門 (2017/03/27)
[Azure Deep Dive] Spark と Azure HDInsight によるビッグ データ分析入門 (2017/03/27)
Naoki (Neo) SATO
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
Supership株式会社
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
Keisuke Takahashi
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
dstn
GresCubeで快適PostgreSQLライフ
GresCubeで快適PostgreSQLライフ
NTT DATA OSS Professional Services
Redmineosaka 20 talk_crosspoints
Redmineosaka 20 talk_crosspoints
Shinji Tamura
DynamoDBを利用したKPI保存システム
DynamoDBを利用したKPI保存システム
gree_tech
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
Insight Technology, Inc.
GDLC11 oracle-ai
GDLC11 oracle-ai
Hirokuni Uchida
Yahoo! JAPANのOracle構成-2017年版
Yahoo! JAPANのOracle構成-2017年版
Yahoo!デベロッパーネットワーク
IoT時代におけるストリームデータ処理と急成長の Apache Flink
IoT時代におけるストリームデータ処理と急成長の Apache Flink
Takanori Suzuki
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
2t3
グラフデータベースNeo4Jでアセットダウンロードの構成管理と最適化
グラフデータベースNeo4Jでアセットダウンロードの構成管理と最適化
gree_tech
Innodb Deep Talk #2 でお話したスライド
Innodb Deep Talk #2 でお話したスライド
Yasufumi Kinoshita
Google bigquery導入記
Google bigquery導入記
Yugo Shimizu
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
Yahoo!デベロッパーネットワーク
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
Insight Technology, Inc.
ヤフーを支えるフラッシュストレージ
ヤフーを支えるフラッシュストレージ
Yahoo!デベロッパーネットワーク
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
What's hot
(20)
[Azure Deep Dive] Spark と Azure HDInsight によるビッグ データ分析入門 (2017/03/27)
[Azure Deep Dive] Spark と Azure HDInsight によるビッグ データ分析入門 (2017/03/27)
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
GresCubeで快適PostgreSQLライフ
GresCubeで快適PostgreSQLライフ
Redmineosaka 20 talk_crosspoints
Redmineosaka 20 talk_crosspoints
DynamoDBを利用したKPI保存システム
DynamoDBを利用したKPI保存システム
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
GDLC11 oracle-ai
GDLC11 oracle-ai
Yahoo! JAPANのOracle構成-2017年版
Yahoo! JAPANのOracle構成-2017年版
IoT時代におけるストリームデータ処理と急成長の Apache Flink
IoT時代におけるストリームデータ処理と急成長の Apache Flink
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
グラフデータベースNeo4Jでアセットダウンロードの構成管理と最適化
グラフデータベースNeo4Jでアセットダウンロードの構成管理と最適化
Innodb Deep Talk #2 でお話したスライド
Innodb Deep Talk #2 でお話したスライド
Google bigquery導入記
Google bigquery導入記
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
[db tech showcase Tokyo 2017] D35: 何を基準に選定すべきなのか!? ~ビッグデータ×IoT×AI時代のデータベースのアー...
ヤフーを支えるフラッシュストレージ
ヤフーを支えるフラッシュストレージ
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Similar to トレジャーデータ 導入体験記 リブセンス編
GruntでJavaScript 前作業の自動化!
GruntでJavaScript 前作業の自動化!
leverages_event
運用の現場での監視運用ツールの活用
運用の現場での監視運用ツールの活用
真治 米田
20141003 webマーケティングエンジニアリング
20141003 webマーケティングエンジニアリング
Innova Inc.
セミナ受講レポート NRI Senju V12
セミナ受講レポート NRI Senju V12
Yukio Saito
Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -
Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -
Tier_IV
AITCシニア技術者勉強会 「今さら聞けないWebサイト開発」 vol1
AITCシニア技術者勉強会 「今さら聞けないWebサイト開発」 vol1
近藤 繁延
Ruby向け帳票ソリューション「ThinReports」の開発で知るOSSの威力
Ruby向け帳票ソリューション「ThinReports」の開発で知るOSSの威力
ThinReports
クラウド事業者に求めるビジネス要件
クラウド事業者に求めるビジネス要件
雄哉 吉田
基調講演「データのグループウェア化」
基調講演「データのグループウェア化」
Cybozucommunity
ネットワーク分散型フレームワークConView
ネットワーク分散型フレームワークConView
Rakuten Group, Inc.
Gmo media.inc 第9回西日本ossの普及を考える会
Gmo media.inc 第9回西日本ossの普及を考える会
Dai Utsui
SIerとクラウドの付き合い方
SIerとクラウドの付き合い方
Yusuke Suzuki
Automation with SoftLayer and Zabbix
Automation with SoftLayer and Zabbix
softlayerjp
150515 IBM Bluemix x SoftLayer Meetup - ioDrive x DRBD
150515 IBM Bluemix x SoftLayer Meetup - ioDrive x DRBD
Izumi Akiyama
OSC2014広島 CloudStackの歩き方【完全版】
OSC2014広島 CloudStackの歩き方【完全版】
Midori Oge
【kintone café松江#1】kintoneの可能性
【kintone café松江#1】kintoneの可能性
Koji Asaga
2012 事業計画
2012 事業計画
Toshiaki Takeda
2014年を振り返る 今年の技術トレンドとDockerについて
2014年を振り返る 今年の技術トレンドとDockerについて
Masahito Zembutsu
MSC 2010 T2-1 クラウドで企業の PC 運用管理が変わる! Windows Intune (基本編)
MSC 2010 T2-1 クラウドで企業の PC 運用管理が変わる! Windows Intune (基本編)
kumo2010
SHIRASAGI Introduction OSC nagoya 2016
SHIRASAGI Introduction OSC nagoya 2016
Naokazu Nohara
Similar to トレジャーデータ 導入体験記 リブセンス編
(20)
GruntでJavaScript 前作業の自動化!
GruntでJavaScript 前作業の自動化!
運用の現場での監視運用ツールの活用
運用の現場での監視運用ツールの活用
20141003 webマーケティングエンジニアリング
20141003 webマーケティングエンジニアリング
セミナ受講レポート NRI Senju V12
セミナ受講レポート NRI Senju V12
Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -
Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -
AITCシニア技術者勉強会 「今さら聞けないWebサイト開発」 vol1
AITCシニア技術者勉強会 「今さら聞けないWebサイト開発」 vol1
Ruby向け帳票ソリューション「ThinReports」の開発で知るOSSの威力
Ruby向け帳票ソリューション「ThinReports」の開発で知るOSSの威力
クラウド事業者に求めるビジネス要件
クラウド事業者に求めるビジネス要件
基調講演「データのグループウェア化」
基調講演「データのグループウェア化」
ネットワーク分散型フレームワークConView
ネットワーク分散型フレームワークConView
Gmo media.inc 第9回西日本ossの普及を考える会
Gmo media.inc 第9回西日本ossの普及を考える会
SIerとクラウドの付き合い方
SIerとクラウドの付き合い方
Automation with SoftLayer and Zabbix
Automation with SoftLayer and Zabbix
150515 IBM Bluemix x SoftLayer Meetup - ioDrive x DRBD
150515 IBM Bluemix x SoftLayer Meetup - ioDrive x DRBD
OSC2014広島 CloudStackの歩き方【完全版】
OSC2014広島 CloudStackの歩き方【完全版】
【kintone café松江#1】kintoneの可能性
【kintone café松江#1】kintoneの可能性
2012 事業計画
2012 事業計画
2014年を振り返る 今年の技術トレンドとDockerについて
2014年を振り返る 今年の技術トレンドとDockerについて
MSC 2010 T2-1 クラウドで企業の PC 運用管理が変わる! Windows Intune (基本編)
MSC 2010 T2-1 クラウドで企業の PC 運用管理が変わる! Windows Intune (基本編)
SHIRASAGI Introduction OSC nagoya 2016
SHIRASAGI Introduction OSC nagoya 2016
More from Kentaro Yoshida
Improve data engineering work with Digdag and Presto UDF
Improve data engineering work with Digdag and Presto UDF
Kentaro Yoshida
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Kentaro Yoshida
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
Kentaro Yoshida
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
Kentaro Yoshida
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
Kentaro Yoshida
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
Kentaro Yoshida
MySQLユーザ視点での小さく始めるElasticsearch
MySQLユーザ視点での小さく始めるElasticsearch
Kentaro Yoshida
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Kentaro Yoshida
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
Kentaro Yoshida
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Kentaro Yoshida
Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記
Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記
Kentaro Yoshida
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
Kentaro Yoshida
More from Kentaro Yoshida
(12)
Improve data engineering work with Digdag and Presto UDF
Improve data engineering work with Digdag and Presto UDF
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLユーザ視点での小さく始めるElasticsearch
MySQLユーザ視点での小さく始めるElasticsearch
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記
Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
トレジャーデータ 導入体験記 リブセンス編
1.
2.
page 1. 自己紹介 2. 事業紹介 3.
導入当時 4. 活用方法 5. 導入前後 6. 安定運用化 7. 今後の期待 8. まとめ 本日の流れ 2
3.
page 1. 自己紹介 3
4.
5.
page Fluentd歴 < TreasureData歴 5
6.
page 執筆書籍 6 サーバ/インフラエンジニア養成読本 ログ収集∼可視化編 [現場主導のデータ分析環 境を構築!] (Software
Design plus) 出版社/メーカー: 技術評論社 定価: 本体1,980円+税
7.
page 7
8.
page 拙作の公開中Fluentdプラグイン 8 rewrite-tag-filter geoip mysql-replicator munin twitter anonymizer mysql-query gamobile watch-process twilio sentry feedly
9.
page 2. 事業紹介 9
10.
あたりまえを、発明しよう。
11.
12.
13.
14.
15.
16.
17.
可視化された未来型 不動産プラットフォームサービス
18.
page 3. 導入当時 18
19.
page 導入当時 19 MySQL5.0系を利用。その構成にムリが生じ始めていた トランザクションテーブルとログテーブルの混在 分析クエリによるスロークエリの温床 本番のスキーマ変更のレビュー工数の手間 データのサイジング計画を建てる手間
20.
page 導入当時 20 MySQLへの高コストなINSERTクエリによるページ表示遅延 INSERTコストを下げる為に、可能な限りログを定期的に 消し込む必要がある。消し込みバッチが増殖。 消し込める範囲も限られるため、INSERTクエリと消し込 みクエリにより、レプリケーション遅延は常態化する 例え非同期化してもレプリケーション遅延は直らない
21.
page これじゃダメだ! 21
22.
page 事業加速のスピードをさらに上げたい 22
23.
page Hadoop基盤が必要であることは明白 しかし少ない人員で誰が運用するのか 23
24.
page かの有名な太田さんや古橋さんが Bigdata as a
Serviceを “TreasureData”として サービスインする を耳にする 24
25.
page 当時のトレジャーデータのメンバー 25 引用元 http://itpro.nikkeibp.co.jp/article/NEWS/20120928/426103/
26.
page 2012年5月 太田さんにメール 数営業日後、全サーバへの導入完了 26
27.
page 1つの社内スタートアップメディアを 先行事例として試験導入 27
28.
page 4. 活用方法 28
29.
page 活用方法 29 ユーザの行動ログの収集と分析 集計結果のGoogleSpreadSheet書き出しが圧倒的に多い さまざまな履歴データの保管と集計 A/Bテスト 不達メールアドレスのクリーニング 名寄せ処理、クロールデータ etc… 機械学習 (Hivemall)
30.
page 活用方法 30 行動ログの分析(A/Bテストや不正ユーザ検出) KPIダッシュボードへの書き出し(GoogleSpreadSheetベース) レガシーブラウザのコンバージョン数のモニタリング デグレが発生し取りこぼしが発生しても早期に検出可能 ロボットのクロール状況の追跡 ロボットからのクロールが意図通りかモニタリング レスポンスタイムや500エラーの発生率の追跡 JavaScript SDKを用いたWebビーコン型アクセス解析
31.
page A/Bテストなどの裏側ではTreasureDataが大活躍 31 活用方法
32.
page 単にABテストをすると必要な 計測回数を満たしていないこともある 32
33.
page あるメディアでのA/Bテスト事例 33 引用元:【テストツール不要】明日から試せる転職会議式ABテストのはじめ方 http://qiita.com/kekekenta/items/8b1f9d2a17c4c6a6b638
34.
page 途中でクリック率が反転する例 34 引用元:【テストツール不要】明日から試せる転職会議式ABテストのはじめ方 http://qiita.com/kekekenta/items/8b1f9d2a17c4c6a6b638
35.
page A/Bテストの計測量が足りているかは 信頼区間を計算するべきである 35
36.
page 信頼区間の計算手法など、詳しくは 「転職会議 2倍」で検索! 36
37.
page 参考になる弊社公開記事 37 【テストツール不要】明日から試せる転職会議式ABテストのはじめ方 http://qiita.com/kekekenta/items/8b1f9d2a17c4c6a6b638
38.
page 参考になる弊社公開スライド 38 登録数2倍にしてと言われた時の正しい対処法 http://www.slideshare.net/KurosawaChihiro/2-42758053
39.
page 39 「コンバージョン数を2倍にしてくれ」と言われた時の対処法 http://www.slideshare.net/tsuyoshika/2-52482724 参考になる弊社公開スライド
40.
page 5. 導入前後 40
41.
page 導入前後 41 スキーマやデータサイズの呪縛から解放された クエリの結果をURLとして参照できる GoogleSpreadSheet書き出しでリアルタイム更新される ダッシュボードが手軽に作れることに感激する Hadoopの運用が任せられるため事業に集中出来る サポートチャットの対応が素晴らしいため心強い 新規事業立ち上げに伴う導入支援にも応えていただけた
42.
page サポートチャット利用状況 42
43.
page いつもありがとうございます! 43
44.
page 6. 安定運用化 44
45.
page 安定運用化 45 td-agentの監視はもちろん必要(Mackerl + PagerDutyなど) td-agentのバッファサイズなどのチューニングも必要 社内向けにクエリのクックブックを提供 社内向けにWebコンソールの運用ガイドラインを定める Teamユーザの発行方針 Saved
Queiesの命名ルール 一部のノウハウはQiitaなどで公開中
46.
47.
48.
page 7. 今後の期待 48
49.
page 今後の期待 49 Pythonを用いた独自UDF対応 ストリーミングデータ処理の対応 環境変数への対応(Hivemallの乱数seedを固定したい) Hivemallを用いた予測結果をDynamoDBへ書き出したい 億単位の全組み合わせ予測結果を事前に計算しておきたい コンソールのスピードや使い勝手の改善 2016 Q1のNew Web
Consoleが楽しみです
50.
page 8. まとめ 50
51.
page まとめ 51 TreasureDataを契約して良かった 導入によるメリットは計り知れない 今ではHiveよりもPrestoをメインに利用している 共に成長すること3年、今後の動向が楽しみです
52.
page Thanks! 52 ご清聴ありがとうございました。
Download now