TableauとGoogle Cloud Platformをヘビーに使っているアドテクスタジオですが、今回イベントでどのように利用しているかを話してきました。その時の資料です。

1. How to work
Tableau x Google Cloud Platform in
CyberAgent AdTech Studio
2016 March 24th
CyberAgent, Inc. All Rights Reserved

2. Agenda

3. サイバーエージェントとは
アドテクスタジオとは
サイバーエージェントでのTableauの導入について
サイバーエージェントでのGoogle Cloud Platformの導入について
実際のTableau x Google Cloud Platformの導入事例

4. 自己紹介

5. Ken Takao
株式会社サイバーエージェント
アドテク本部 技術戦略部 技術戦略室
Central Infrastructure Agency
Infra Manager
アドテク本部の技術ボードメンバー
としてTableau,GCPの推進を行ってます。

6. サイバーエージェントとは？

7. OUR VISION
当社は1998年の創業以来、インターネットを軸に事業を展開し、
現在では当社の代表的なサービスである「Ameba」をはじめ、ス
マートフォン向けに多数のコミュニティサービスやゲームを提供
しています。2011年よりスマートフォン事業へ経営資産を大きく
シフトし、2014年9月期には売上高の約7割がスマートフォン事
業に転換。変化対応力を強みに事業拡大を続けております。
Ameba事業は、先行投資期から収穫期に移行。インターネット
広告事業においては、スマートフォン広告市場の約3割を取り扱
い、インターネット広 告 市 場 国 内ナンバーワンのシェアを拡 大
し、アドテクノロジー分野や動画広告など、新しい広告手法にも
積極的に取り組んでおります。2009年から展開するゲーム事業
においても、ネイティブゲームにて複数本のヒットタイトルが出る
など、国内有数のゲーム事業へ成長いたしました。

8. タイトル TITLE

9. タイトル TITLE

10. アドテクスタジオとは？

14. 200名以上の
エンジニア
20以上の
広告システム
1000台以上の
物理サーバー GCP,AWS,
IDCF Cloudなど
マルチクラウド
10PB以上の
データ基盤
数PBの
データ
ウェアハウス

15. サイバーエージェントでの
Tableauの導入

16. 2014年3月よりTableau Desktopを導入
一部の開発者やデータサイエンティストが
データを可視化するのに利用。
2014年12月よりTableau Serverを導入
一部のチームでTableau Serverを
利用してデータの可視化を共有し始める。
2016年1月よりTableau Server Core Licenseを導入
社内のTableauユーザー数が爆発的に増加

17. 288人が使ってどれくらい CPUを使っているかというと全く使ってない
（ロードアベレージが平均 0.0133）
ネットワークトラフィックはそこそこ出ているが上限が 20Gbps
社員全員が使ってくれるといいな。

18. Tableauの何がいいのか？
１．数クリックで簡単にグラフが作れちゃう。
２．データソースが何でも繋がる。
よく使うデータソースCSV,Excel,MySQL,PostgreSQL,
Redshift,Oracle,
Matrix,Google Spreadsheetなどなど
３．数クリックで簡単にデータを共有できちゃう。
コアライセンスなら
４．簡単に管理画面に組み込めてしまう！
５．ユーザー数が増えれば増えるほどお得に！

19. サイバーエージェントでの
Google Cloud Platform
の導入

20. Google Cloud Platformの導入状況
Ameba事業本部、アドテク本部で導入中
cyberagent.co.jp,cyberagent.io,ameba-cloud.comの3つのドメ
インが存在する。
ameba-cloud.comの方ではabema.tvやameba freshなど
新規サービスで利用中。
アドテク本部では動画広告配信システムに利用中。
AWSと比較すると
リザーブドインスタンスを購入する必要が無い。
（いっぱい使っていると勝手に割り引かれる。）
BigQueryだったり、強力なロードバランサーが使えたり、
リージョンをまたいでも同一ネットワークだったり便利

21. BigQueryについて
サーバーを必要とせず、
簡単にデータを保持できる超高速データベース
現在では配信サーバーのログデータをストリームでインサー
トして（月間54TB）配信のアルゴリズムに役立てている。
（後半、神田より実用事例を説明します。）
データ量が少ないとか金額も少ないので管理系のCSVをロー
ドさせるのにも最適！

22. Tableauで費用分析
Google Cloud Platformでは1日ごとの費用を
CSVにしてGoogle Cloud Storageにアップできます。
http://ameblo.jp/principia-ca/entry-12104991502.html
これをCRONでBigQueryにロード
これをTableauで可視化
bq load --skip_leading_rows=1 payment.gcp gs://cia-payment/payment-2016-03-16.csv Account_ID:STRING,
Line_Item:STRING,Start_Time:TIMESTAMP,End_Time:TIMESTAMP,Project:STRING,Measurement1:STRING,
Measurement1_Total_Consumption:FLOAT,Measurement1_Units:STRING,Credit1:STRING,Credit1_Amount:
FLOAT,Credit1_Currency:STRING,Cost:FLOAT,Currency:STRING,Project_Number:STRING,Project_ID:STRING,
Project_Name:STRING,Project_Labels:STRING,Description:STRING
なんと僅か数分で左のグラフ
ができてしまう！
Tableauの予測機能で費用予
測まで可能！？

23. 実際のTableau x
Google Cloud Platform
の導入事例

24. 自己紹介

25. Katsunori Kanda
株式会社サイバーエージェント
アドテク本部 技術戦略部 技術戦略室
Core Development Group
Senior Software Engineer
potix2 @ twitter/github
※毎月LispMeetup(shibuya.lisp)を開催しています
今月は3/30に開催予定。残りわずか。

26. Tableau × BigQueryの
限界を探ったときの話

27. Tableau × BigQueryの
導入に際して実施した、
その限界を探るパイロットスタディの
顛末をお話します

28. 広告の前提知識を少しだけ・・・

29. いつ x 誰が x どの広告と何処で接触して
その結果、どうなったのか？
ということに関心があります。
広告システムでは、

30. 例えば、
帰宅中にtwitterをしている会社員は、ゲーム広告を見るとよくクリックする傾向がある。
というような事象がわかれば効率よく広告配信ができる。
みたいな話です。

31. それをふまえて、

32. スタディ１

33. 1分区切りで配信状況を可視化

34. やってみたこと

35. Tableauのデータソースとして、
BigQueryを追加

36. これをクリック

39. 1日分のログ1TBに、

40. Group By hour, minute

41. ちょっと重いけど、普通に動いた！

43. ただ・・・
レポートをちょっと修正すると

45. 思考の妨げ

46. 課金

47. そこで、

48. データ抽出

49. コレをクリック

50. スタディ１まとめ
● TableauからBigQueryの接続は簡単
● 快適な操作＆コスト低減のためにはデータ抽出が有効
● RDB的感覚で無理なクエリーでもBigQueryなら動く

51. スタディ2

52. どの広告がいつ配信されているのか
を可視化したい

53. スタディ１のデータソースに
「広告主」のディメンジョンを追加

54. Group By hour, minute, advertiser

55. だいたい数百万行くらい

56. これでもBigQueryは動く

57. 広告主ごとに色分けをしてみる

59. Tableauでも表示できた！

60. もう少し過酷にしてみる

61. メジャーを追加していくと・・・

63. 突然のレンダリング待ち

64. スタディ２まとめ
● データソースを変更＆色分けだけで得られる情報量は格段
にあがった
● ただ、現実的な時間で描画できるとは限らない
● ポイントを絞り、不要な情報を削ぎ落とすことで「見やすく」、
「高速な」レポートができる
※最初から情報を削ぎ落としすぎると新たな気づきが得られないことも・・・

65. ちょっとだけ脱線

66. スタディ２のクエリーへさらに
ディメンジョンを追加する

67. Group By hour, minute, advertiser,
publisher

68. 数十億から数百億件くらい

69. これだとBigQueryも、
Tableauも動かなくなる・・・

70. 広告配信は、
組み合わせ最適化問題

71. 配信先が追加されただけで
組み合わせ数が一気に跳ね上がる

72. ちなみに、今回のスタディを通して
● システムの改善ポイントを見つけ、修正するに至った
● 事業上の取り組むべき課題を見つける事ができた

73. まとめ
● データは雄弁
● 速いは正義
● 常識にとらわれないクエリーから新たな気づきを得る