1. • August 15th, 2013 - 3:30PM PDT
「お手軽
」のはずが
監視サービスの話になりました
Presented by
Hironobu Yoshikawa – CEO
Kazuki Ohta – CTO
Rich Ghiossi – VP, Marketing
Keith Goldstein – VP, Sales
Kengo Hirouchi – Director, Japan
Ankush Rustagi – Director, Marketing
田村清人
www.treasuredata.com
Copyright 2013

2. 会社概要
チーム概要
Hiro Yoshikawa – CEO
Open source business veteran
2011 12月創業、米国カリフォルニア州。
創業者は日本人3人組。2013年12月現在、社
員約30名。
Kaz Ohta – CTO
Founder of Hadoop Group Japan
Sadayuki Furuhashi – Chief Architect
MessagePack, Fluentd
ビッグデータの収集・保存・解析を一手に行
えるクラウドサービスを提供。他のサービス
と異なり、数日で始められるのが特徴。
サービスコンセプト
すぐに使い始められる
•
クラウドサービスとしての提供を行う
、手厚いサポート
• “Trend Setting Products” in Data for 2014
(Database Trends and Applications)
• “5 Hot Big Data Startups”
(Enterprise Apps Today)
Rich Ghiossi – VP Marketing
VP Marketing, ParAccel and HP
投資家概要
•
•
Keith Goldstein – VP Sales & BD
VP, Business Devt, Tibco and Talend
Sierra Ventures – (Tim Guleri)
Leading venture capital firm in Big Data
Bill Tai
Renown investor, GP Charles River Ventures
Jerry Yang
Founder, Yahoo!
Yukihiro “Matz” Matusmoto
Creator, “Ruby” programming language
James Lindenbaum
Founder, Heroku

3. いきなりですが、これだけは言っておきた
い
おれは副社長なんかじゃねえ！
平社員様(Fluentd担当)だ！
www.treasuredata.com
Copyright 2013
3

4. 4
Project
• もともとはTreasure Data のデータコレクタ部分を、オープンソース化
• 2013年、国内外で広く浸透
• 世界中でデータを解析可能な形で収集するのをお手伝い
"We use Fluentd to collect massive data logs for our platforms. Having
developed a system based on Fluentd, we are now effectively monitoring and
analyzing our services in real-time. We are very much satisfied with its flexibility,
especially how easy it is to use in tandem with other systems."
"We utilize Fluentd to collect a very large amount of logs. The logs are
written into Hadoop HDFS clusters, and are also used to analyze
various service statuses in realtime. We also use many plugins from
rubygems.org to further enhance this mechanism."
Fluentd is very similar to Apache Flume or Facebook’s Scribe
[but] it’s easier to install and maintain and has better
documentation and support than either Flume or Scribe”
Fluentd オープンソースプロジェクトのユーザー例 (http://fluentd.org/)

5. Deliver apps, the right Collect logs, the right
way
way
Addons
Plugins
Matz is our fan!
www.treasuredata.com
Copyright 2013
5

6. 6
「お手軽Fluentd」のはずが監視サービスの話になった理由を話
す間に可愛いロゴを見ててもらうスライド

7. 7
本日の話: Fluentd
• 公式ドキュメント
• http://docs.fluentd.org/articles/monitoring
• いくつかの方法が紹介されています。
• Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
• http://www.slideshare.net/GedowFather/fluentd-meetup-2fluentd
• Monitによる監視事例
• あまりまとまった資料が無く、よく質問される。監視して
れば防げるデータ事故がかなり多い。 @ TD

8. 8
• 基本編
• プロセス監視
• ポート監視
• システム情報
• CPU/Memory/Network
• Fluentd特化編
• buffer溢れ
• buffer flushのリトライ回数
• Fluentd自体のエラー / ワーニングログ

9. 10
先月発表
”Treasure Agent Monitoring Service”

10. 11
Treasure Agent Monitoring Service
• td-agentのモニタリングサービス
• Treasure Dataのクラウドサービスの一機能
• fluent-plugin-td-monitoringをインストール
• td-agent v1.1.18 にはこっそり既に入っております
Treasure Agent
td-monitoring
Treasure Data Service
統計情報の定期送付 (毎分)
• システム統計情報
• Fluentd内部メトリクス情報
• SSLによる送信

11. 12
設定ファイルの書き換え (8行! 簡単!)
#
# 設定ファイルに下記を追加
#
<source>
type td_monitor_agent
# TD の APIキー
apikey TREASURE_DATA_APIKEY
# インスタンスID
instance_id aggregator1
</source>
リスタート後、動作開始
#
# カウント処理を追加
#
<match apache.**>
type td_counter
<store>
type file
path /path/to/apache.log
time_slice_format %Y%m%d
time_slice_wait 10m
time_format %Y%m%dT%H%M%S%z
buffer_type file
buffer_path /path/to/buf
</store>
</match>

12. 13
: フリー (無料)
• Treasure Dataのフリープランの一機能
• 台数など、何らかの制限はフリープランにつけると
思います
• まずはaggregatorノードから使ってみて下さい
• 現時点ではベータリリース
• フィードバック頂けるユーザー様を探しています
• kiyoto@treasure-data.com までメールを頂くか、終
了後に Treasure Data の誰かに名刺を渡して頂ける
と嬉しいです！！！

13. 14
まとめ
• Fluentdのモニタリングサービスはじめます
• $ yum upgrade td-agent
• $ apt-get upgrade td-agent
• $ gem install fluent-plugin-td-monitoring
•
kiyoto@treasure-data.com までメー
ル下さい！