Submit Search
Upload
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
•
205 likes
•
65,571 views
Kentaro Yoshida
Follow
発表レポートブログはこちらです。 http://y-ken.hatenablog.com/entry/elasticsearch-meetup-vol2
Read less
Read more
Technology
Report
Share
Report
Share
1 of 70
Download now
Download to read offline
Recommended
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Kohei Tokunaga
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション
土岐 孝平
PostgreSQL 15の新機能を徹底解説
PostgreSQL 15の新機能を徹底解説
Masahiko Sawada
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon Web Services Japan
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
NTT DATA Technology & Innovation
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
NTT DATA Technology & Innovation
Recommended
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Kohei Tokunaga
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション
土岐 孝平
PostgreSQL 15の新機能を徹底解説
PostgreSQL 15の新機能を徹底解説
Masahiko Sawada
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon Web Services Japan
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
NTT DATA Technology & Innovation
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
NTT DATA Technology & Innovation
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
Amazon Web Services Japan
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
NTT DATA Technology & Innovation
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
NTT DATA Technology & Innovation
Azure API Management 俺的マニュアル
Azure API Management 俺的マニュアル
貴志 上坂
決済サービスのSpring Bootのバージョンを2系に上げた話
決済サービスのSpring Bootのバージョンを2系に上げた話
Ryosuke Uchitate
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
KeycloakでAPI認可に入門する
KeycloakでAPI認可に入門する
Hitachi, Ltd. OSS Solution Center.
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
NTT Communications Technology Development
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Amazon Web Services Japan
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
Tetsutaro Watanabe
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
はじめてのElasticsearchクラスタ
はじめてのElasticsearchクラスタ
Satoyuki Tsukano
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
Yoshiki Nakagawa
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
Miki Shimogai
Dockerfile を書くためのベストプラクティス解説編
Dockerfile を書くためのベストプラクティス解説編
Masahito Zembutsu
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
Insight Technology, Inc.
データベース技術の羅針盤
データベース技術の羅針盤
Yoshinori Matsunobu
More Related Content
What's hot
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
Amazon Web Services Japan
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
NTT DATA Technology & Innovation
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
NTT DATA Technology & Innovation
Azure API Management 俺的マニュアル
Azure API Management 俺的マニュアル
貴志 上坂
決済サービスのSpring Bootのバージョンを2系に上げた話
決済サービスのSpring Bootのバージョンを2系に上げた話
Ryosuke Uchitate
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
KeycloakでAPI認可に入門する
KeycloakでAPI認可に入門する
Hitachi, Ltd. OSS Solution Center.
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
NTT Communications Technology Development
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Amazon Web Services Japan
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
Tetsutaro Watanabe
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
はじめてのElasticsearchクラスタ
はじめてのElasticsearchクラスタ
Satoyuki Tsukano
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
Yoshiki Nakagawa
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
Miki Shimogai
Dockerfile を書くためのベストプラクティス解説編
Dockerfile を書くためのベストプラクティス解説編
Masahito Zembutsu
What's hot
(20)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Redisの特徴と活用方法について
Redisの特徴と活用方法について
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Azure API Management 俺的マニュアル
Azure API Management 俺的マニュアル
決済サービスのSpring Bootのバージョンを2系に上げた話
決済サービスのSpring Bootのバージョンを2系に上げた話
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
KeycloakでAPI認可に入門する
KeycloakでAPI認可に入門する
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
はじめてのElasticsearchクラスタ
はじめてのElasticsearchクラスタ
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
Dockerfile を書くためのベストプラクティス解説編
Dockerfile を書くためのベストプラクティス解説編
Viewers also liked
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
Insight Technology, Inc.
データベース技術の羅針盤
データベース技術の羅針盤
Yoshinori Matsunobu
Serverspec at hbstudy #45
Serverspec at hbstudy #45
Gosuke Miyashita
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
Shinsuke Sugaya
3年前の僕へ
3年前の僕へ
garden_tree
DBスキーマもバージョン管理したい!
DBスキーマもバージョン管理したい!
kwatch
Viewers also liked
(6)
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
データベース技術の羅針盤
データベース技術の羅針盤
Serverspec at hbstudy #45
Serverspec at hbstudy #45
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
3年前の僕へ
3年前の僕へ
DBスキーマもバージョン管理したい!
DBスキーマもバージョン管理したい!
Similar to ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
Kentaro Yoshida
LINEのMySQL運用について
LINEのMySQL運用について
LINE Corporation
データカタログソフトウェア CKAN
データカタログソフトウェア CKAN
Fumihiro Kato
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
VirtualTech Japan Inc.
LODを使ってみよう!
LODを使ってみよう!
uedayou
Log analysis by using elasticsearch,kibana and fluentd.
Log analysis by using elasticsearch,kibana and fluentd.
Tadayasu Yotsu
イマドキの現場で使えるJavaライブラリ事情
イマドキの現場で使えるJavaライブラリ事情
takezoe
[A33] [特濃jpoug statspack on pdb oracle database 12c] 20131115 補足・続報付き
[A33] [特濃jpoug statspack on pdb oracle database 12c] 20131115 補足・続報付き
Insight Technology, Inc.
ISUCONの勝ち方 YAPC::Asia Tokyo 2015
ISUCONの勝ち方 YAPC::Asia Tokyo 2015
Masahiro Nagano
はじめよう Backbone.js
はじめよう Backbone.js
Hiroki Toyokawa
Couch Db勉強会0623 by yssk22
Couch Db勉強会0623 by yssk22
Yohei Sasaki
Google Dev Fest 2010 Japan LT: OpenSocial JavaScript API is good, Lightweight...
Google Dev Fest 2010 Japan LT: OpenSocial JavaScript API is good, Lightweight...
Nobuhiro Nakajima
Reladomo in Scala #scala_ks
Reladomo in Scala #scala_ks
Hiroshi Ito
SPARQLから入門するLinked Open Data(LOD)ハンズオン 第2回
SPARQLから入門するLinked Open Data(LOD)ハンズオン 第2回
yamahige
Jjugccc2017spring-postgres-ccc_m1
Jjugccc2017spring-postgres-ccc_m1
Kosuke Kida
ScyllaDBユーザー勉強会 #1
ScyllaDBユーザー勉強会 #1
Changhwan Lee
スケールアップファーストのNoSQL、ScyllaDB(スキュラDB)
スケールアップファーストのNoSQL、ScyllaDB(スキュラDB)
昌桓 李
エンジニアのための Azure 基礎知識
エンジニアのための Azure 基礎知識
Daiyu Hatakeyama
Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14
Masahiro Nagano
シラサギハンズオン 東京
シラサギハンズオン 東京
Yu Ito
Similar to ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
(20)
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
LINEのMySQL運用について
LINEのMySQL運用について
データカタログソフトウェア CKAN
データカタログソフトウェア CKAN
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
LODを使ってみよう!
LODを使ってみよう!
Log analysis by using elasticsearch,kibana and fluentd.
Log analysis by using elasticsearch,kibana and fluentd.
イマドキの現場で使えるJavaライブラリ事情
イマドキの現場で使えるJavaライブラリ事情
[A33] [特濃jpoug statspack on pdb oracle database 12c] 20131115 補足・続報付き
[A33] [特濃jpoug statspack on pdb oracle database 12c] 20131115 補足・続報付き
ISUCONの勝ち方 YAPC::Asia Tokyo 2015
ISUCONの勝ち方 YAPC::Asia Tokyo 2015
はじめよう Backbone.js
はじめよう Backbone.js
Couch Db勉強会0623 by yssk22
Couch Db勉強会0623 by yssk22
Google Dev Fest 2010 Japan LT: OpenSocial JavaScript API is good, Lightweight...
Google Dev Fest 2010 Japan LT: OpenSocial JavaScript API is good, Lightweight...
Reladomo in Scala #scala_ks
Reladomo in Scala #scala_ks
SPARQLから入門するLinked Open Data(LOD)ハンズオン 第2回
SPARQLから入門するLinked Open Data(LOD)ハンズオン 第2回
Jjugccc2017spring-postgres-ccc_m1
Jjugccc2017spring-postgres-ccc_m1
ScyllaDBユーザー勉強会 #1
ScyllaDBユーザー勉強会 #1
スケールアップファーストのNoSQL、ScyllaDB(スキュラDB)
スケールアップファーストのNoSQL、ScyllaDB(スキュラDB)
エンジニアのための Azure 基礎知識
エンジニアのための Azure 基礎知識
Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14
シラサギハンズオン 東京
シラサギハンズオン 東京
More from Kentaro Yoshida
Improve data engineering work with Digdag and Presto UDF
Improve data engineering work with Digdag and Presto UDF
Kentaro Yoshida
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Kentaro Yoshida
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
Kentaro Yoshida
トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編
Kentaro Yoshida
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
Kentaro Yoshida
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
Kentaro Yoshida
MySQLユーザ視点での小さく始めるElasticsearch
MySQLユーザ視点での小さく始めるElasticsearch
Kentaro Yoshida
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Kentaro Yoshida
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
Kentaro Yoshida
Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記
Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記
Kentaro Yoshida
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
Kentaro Yoshida
More from Kentaro Yoshida
(12)
Improve data engineering work with Digdag and Presto UDF
Improve data engineering work with Digdag and Presto UDF
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
MySQLユーザ視点での小さく始めるElasticsearch
MySQLユーザ視点での小さく始めるElasticsearch
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記
Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
Recently uploaded
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
Recently uploaded
(9)
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
1.
12th Nov, 2013 ElasticSearch+Kibanaでログデータの検索と 視覚化を実現するテクニックと運用ノウハウ Kentaro Yoshida
in 第2回 ElasticSearch勉強会 page 1
2.
1. はじめに 2. 自己紹介 本日の流れ 3.
Kibana v3 4. システム構成例 5. JDBCの利用 6. 運用ノウハウ 7. まとめ 8. 次回予告 page 2
3.
1. はじめに page 3
4.
引用元 site:http://www.elasticsearch.org/ -
Google 検索 page 4
5.
引用元 site:http://www.elasticsearch.org/ -
Google 検索 page 5
6.
引用元 site:http://www.elasticsearch.org/ -
Google 検索 page 6
7.
引用元 site:http://www.elasticsearch.org/ -
Google 検索 page 7
8.
引用元 site:http://www.elasticsearch.org/ -
Google 検索 page 8
9.
“Kibana” is a
great Log Visualization Tool!! page 9
10.
2. 自己紹介 page 10
11.
自己紹介 • よしけんさん • (株)リブセンス •
Web系インフラの 研究開発エンジニア 好きなプロダクト page 11
12.
お知らせ
13.
14.
3. Kibana v3 page
14
15.
Kibana v3 時間軸ベースのログの検索&視覚化ツール UIがやたら格好イイ クエリ言語を覚える必要は無い 時刻データを持つログファイルに特化している 例えば、Webサーバのアクセスログや、アプリログ Fluentd (Ruby)
や、LogStash (JAVA) からElasticSearchに流し込む 例えばFluentdの fluent-plugin-geoip を用いて、アクセス元のIP から求められる地域情報をKibanaの地図にプロットも出来ます page 15
16.
Kibana v3 Kibanaのインターフェースが触れるデモが公式に用意されています http://demo.kibana.org/ 次ページからの画面は次のURLからも参照できます http://bit.ly/HKa9vu http://demo.kibana.org/#/dashboard/temp/ _LsCoVEBQIe5zb5EMr4apA page 16
17.
Kibana v3 page 17
18.
Kibana v3 page 18
19.
Kibana v3 page 19
20.
Kibana v3 page 20
21.
Kibana v3 page 21
22.
4. システム構成例 page 22
23.
システム構成例 次のソフトウェアを組み合わせた構成の説明を行います フロントエンド : Nginx Kibanaの静的ファイル配信と認証 検索システム:ElasticSearch KibanaからのリクエストをNginxを通して処理 Fluentdからのログデータの流し込み先 ログアグリゲータ:Fluentd 位置情報付与のために
fluent-plugin-geoip ElasticSearchへの出力のために fluent-plugin-elasticsearch page 23
24.
Nginx設定例 upstream elasticsearch { server
127.0.0.1:9200; } server { listen server_name access_log *:8080 ; kibana.myhost.org; /var/log/nginx/kibana.myhost.org.access.log; satisfy any; allow 192.168.0.0/16; allow 10.0.0.0/8; allow 127.0.0.1; deny all; auth_basic "Restricted"; auth_basic_user_file /etc/nginx/conf.d/kibana.myhost.org.htpasswd; location /kibana/ { root /usr/share/nginx/www; index index.html index.htm; } } page 24 location / { proxy_pass http://elasticsearch; proxy_read_timeout 90; }
25.
Fluentdとの連携サンプル Apacheのアクセスログの IPアドレスを基に地域情報の抽出を行う fluent-plugin-geoipを利用する MaxMind社が提供しているgeoipデータベースを用いる 上記のFluentd Pluginには無償版のGeoLiteCityが同封されているのでそ のまま使えるが、有償版のデータベースファイルも利用可能 gem
‘geoip-c’を利用するため、事前にインストールする必要がある RHEL/CentOS:GeoIP-devel, Ubuntu/Debian:libgeoip-dev 参考 http://y-ken.hatenablog.com/entry/fluent-plugin-geoip-v0.0.4 page 25
26.
Fluentdとの連携サンプル <source> type forward </source> <source> type monitor_agent bind
0.0.0.0 port 24220 </source> <match apache.access> type geoip add_tag_prefix es. geoip_lookup_key host enable_key_country_code geoip_country </match> <match es.apache.access> type elasticsearch host localhost port 9200 type_name apache include_tag_key true tag_key @log_name logstash_format true logstash_prefix apache flush_interval 10s buffer_type file buffer_path /var/log/td-agent/buffer/es buffer_chunk_limit 100m buffer_queue_limit 500 retry_wait 10s </match> page 26
27.
Fluentdとの連携サンプル 他にも、こんなことも出来ます fluent-plugin-munin を利用した、H/Wメトリクス情報の収集と検索 fluent-plugin-dstat を利用した、リソース監視情報の収集と検索 fluent-plugin-twitter
を利用した、ツイートの収集と検索 page 27
28.
Fluentdとの連携サンプル もっといろいろなデータを入れたくなりませんか? このように集計することで生きるデータはアクセスログに限りません MySQLや Hadoop (TreasureData)
のレコードにも埋もれています page 28
29.
5. JDBCの利用 page 29
30.
JDBCの利用 今回利用するプラグイン elasticsearch-river-jdbc https://github.com/jprante/elasticsearch-river-jdbc ElasticSearchにデータを流し込むプラグイン機構をRiverと言う このプラグインは、RiverプラグインとしてJDBCドライバを使うもの JDBCドライバがあればどんなDBにも接続できます page 30
31.
JDBCの利用 目的 Kibanaから容易に絞り込み・視覚化を行えるようにすること 注意 Kibanaから使えるよう、JOINせずに使える表に予め展開すること プロダクションで使う際にはしっかりと動作検証を重ねましょう 2013年11月時点で、妙な挙動になる事が時々あります page 31
32.
JDBCの利用 インストール方法 インストール後、ElasticSearchを再起動して反映 curlコマンドでプラグイン一覧を確認すると良いでしょう $ $ $ $ page 32 cd /usr/share/elasticsearch sudo
./bin/plugin --install river-jdbc -url http://bit.ly/1iovWV9 sudo /etc/init.d/elasticsearch restart curl "http://localhost:9200/_nodes?pretty&plugin=true"
33.
JDBCの利用 今回は次のミドルウェアとJDBCドライバで接続する方法を紹介 MySQL 5.6 TreasureData (Hadoop) page
33
34.
JDBCの利用 MySQL編 JDBCドライバをダウンロードします http://dev.mysql.com/downloads/connector/j/ ダウンロードした.jarファイルを次のディレクトリへ格納します $ sudo
cp -a mysql-connector-java-5.1.27-bin.jar /usr/share/ elasticsearch/plugins/river-jdbc/ ElasticSearchを再起動して読み込ませます $ sudo /etc/init.d/elasticsearch restart page 34
35.
JDBCの利用 MySQL編 _riverに設定を登録します curl -XPUT
'localhost:9200/_river/mysql_jdbc_river/_meta' -d '{ "type" : "jdbc", "jdbc" : { "driver" : "com.mysql.jdbc.Driver", "url" : "jdbc:mysql://localhost:3306/test", "user" : "your_mysql_user", "password" : "your_mysql_password", "strategy" : "oneshot", "sql" : "select * from orders", }, "index" : { "index" : "jdbc_mysql", "type" : "test_orders" } }' page 35
36.
JDBCの利用 TreasureData編 JDBCドライバをダウンロードします http://docs.treasure-data.com/articles/jdbc-driver ダウンロードした.jarファイルを次のディレクトリへ格納します $ sudo
cp -a td-jdbc-0.2.2-jar-with-dependencies.jar /usr/share/ elasticsearch/plugins/river-jdbc/ ElasticSearchを再起動して読み込ませます $ sudo /etc/init.d/elasticsearch restart page 36
37.
JDBCの利用 TreasureData編 _riverに設定を登録します $ curl
-XPUT 'localhost:9200/_river/td_jdbc_river/_meta' -d '{ "type" : "jdbc", "jdbc" : { "driver" : "com.mysql.jdbc.Driver", "url" : "jdbc:td://api.treasure-data.com/mywebsite", "user" : "foo@example.com", "password" : "your_td_password", "strategy" : "oneshot", "sql" : "select v['''member_id'''] as `_id`, v['''action'''] AS action from foo", }, "index" : { "index" : "jdbc_td", "type" : "test_action" } }' page 37
38.
JDBCの利用 諸注意 elasticsearch-0.90.6には不具合が見つかっているため、 0.90.5か、修正版の0.90.7をご利用ください。 https://github.com/elasticsearch/elasticsearch/issues/4089 page 38
39.
6. 運用ノウハウ page 39
40.
Q. どんなログの視覚化に便利? page 40
41.
Q. どんなログの視覚化に便利? 例えばこのようなデータの視覚化にも利用できます エラーログの俯瞰(WEBサーバやDBサーバのエラーログ) ページの応答速度の推移(アクセスログの応答時間) n秒以上応答に掛かるページの推移(アクセスログの応答時間) HTTPステータスコードが404・500エラーとなった推移 Googlebot等からのクロール状況 ログイン成功数/ログイン失敗数 自社広告の露出回数・クリック回数の推移 などなど... page 41
42.
Q. 設定周りのTipsが知りたい page 42
43.
Q. 設定周りのTipsが知りたい /etc/sysconfig/elasticsearch ES_HEAP_SIZE 潤沢に設定しましょう 例えばメモリ4GBのサーバで、ElasticSearch専用ならば3GB程度 DATA_DIR デフォルトは/var/lib/elasticsearch/ /data/などの別のブロックデバイスを利用する場合に設定 page 43
44.
Q. 設定周りのTipsが知りたい /etc/elasticsearch/elasticsearch.yml cluster.name 初回起動時に作成する/var/lib/elasticsearch/以下のディレクトリ 名にも利用するため、稼働中に変更する場合は停止の上、ディレク トリのリネームも同時に行いましょう node.name 設定しないと再起動する度に変わります page 44
45.
Q. 設定周りのTipsが知りたい /etc/elasticsearch/elasticsearch.yml discovery.zen.ping.multicast.enabled 1台のみで単体稼働させる場合はfalseにします cluster.nameを変更しなくても良いので設定の共通化が可能 http.max_content_length Fluentd等からバルク登録する際にデフォルトの100MBでは 不足する場合には、ここの値を増やします Fluentd側の設定でいうbuffer_chunk_limitより大きくしましょう page 45
46.
Q. 9200番ポート空けたくないです page 46
47.
Q. 9200番ポート空けたくないです リバースプロキシがあれば、外向きには80番ポートのみでも動かせます サーバのFirewallで、22番と80番しか空けられない状況でも使えます Nginxの設定サンプルは、先ほど紹介したP.24を参照してください page 47
48.
Q. 便利プラグインが知りたい page 48
49.
Q. 便利プラグインが知りたい 管理系プラグイン:少なくともHQとbigdeskは入れましょう HQ:データのブラウズやインデックス管理が出来て便利 head:データの簡易ブラウズが出来て便利 bigdesk:JXM的な負荷確認やクラスター管理に便利 $ $ $ $ page 49 cd
/usr/share/elasticsearch sudo ./bin/plugin --install royrusso/elasticsearch-HQ sudo ./bin/plugin --install mobz/elasticsearch-head sudo ./bin/plugin --install lukas-vlcek/bigdesk
50.
Q. バックアップ/リストア方法は? page 50
51.
Q. バックアップ/リストア方法は? こちらの9枚目から記載されている https://speakerdeck.com/imotov/new-features-inelasticsearch-v1-dot-0 rsyncでバックアップを行う方法 http://karussell.wordpress.com/2011/07/10/how-to-backupelasticsearch-with-rsync/ 特定のインデックスのバックアップ・リストア http://qiita.com/toyama0919/items/ccd5eb9169967db54a76 page 51
52.
Q. 便利な保守ツールが知りたい page 52
53.
Q. 便利な保守ツールが知りたい 指定日数より前のLogStash形式のインデックスを削除するツール Kibanaを利用するなら定期実行する必要があります logstash-%{+YYYY.MM.dd} (例:logstash-2013.11.12) といったインデックスが日時で作られます どちらも便利ですが、prefix文字列の指定が出来る後者がお勧めです CentOS
6.4にて動作確認済みです https://github.com/bloonix/logstash-delete-index https://github.com/crashdump/logstash-elasticsearch-scripts page 53
54.
Q. JSONクエリは面倒です page 54
55.
Q. JSONクエリは面倒です CLIから使うなら elseql https://github.com/raff/elseql SQLでElasticSearchに問い合わせできるPythonコマンド Ruby・PHP等から使うなら http://www.elasticsearch.org/guide/en/elasticsearch/client/ community/current/clients.html page 55
56.
Q. Fluentd連携時のTipsが知りたい page 56
57.
Q. Fluentd連携時のTipsが知りたい fluent-plugin-elasticsearch のバッファ設定に注意 計画停止時の未転送ログ消失を避けるため、buffer_type
fileを推奨 ElasticSearchのメンテナンス中に転送待ちログが溢れないように、 buffer_chunk_limit と buffer_queue_limitのチューニングが必要 例えば1分100MBのログ流量で30分メンテナンスするならば、 次の式を満たす必要があります。 3000MB < buffer_chunk_limit * buffer_queue_limit 最大でbuffer_queue_limitの数だけファイルが開いたままの状態とな るため、 Too many open files エラーに気をつけましょう page 57
58.
Q. Fluentd連携時のTipsが知りたい /etc/elasticsearch/elasticsearch.yml http.max_content_length デフォルトは100mb fluent-plugin-elasticsearchで指定する buffer_chunk_limitより大 きくしましょう page
58
59.
7. まとめ page 59
60.
まとめ ElasticSearch素晴らしい 無料で使えるダッシュボード、Kibanaとのコンビネーションは秀逸 引き続き活用し、情報を共有していきます page 60
61.
8. 次回予告 page 61
62.
次回予告 ElasticSearchへMySQLレコードを 非同期レプリケーションして、 日本語対応全文検索を行う夢を見た話 ∼MySQL BinlogAPI挫折体験記∼ page 62
63.
お知らせ
64.
お知らせ
65.
66.
67.
68.
69.
70.
Thanks! ご清聴ありがとうございました。 page 70
Download now