Apache ambari

Apache Ambari
Joe Ooura & Yuta Imai
2016/7/7
© Hortonworks Inc. 2011 – 2015. All Rights Reserved

2 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
はじめに
Ã  質問はQUESTIONSというボタンからお願いします。プレゼンター以外には⾒
えません。
Ã  Twitter経由でもコメント、質問、⼤歓迎です！ #hwxjp
Ã  資料はこちらにアップロード済みです。
–  http://www.slideshare.net/imaifactory/apache-ambari

⾃⼰紹介
Ã  ⼤浦譲太郎 Twitter：@JOOOURA
Ã  5歳児と8歳児の⽗
Ã  サーバ、ストレージのシステム営業を経て2011年に
フラッシュメモリストレージ企業の⽇本法⼈⽴ち上げに
参画。Evangelist、プリセールスSE、広報、営業など⼀通
りをカバー
エンタープライズフラッシュの代名詞ともなるioDriveシ
リーズを⽇本国内の通信キャリア、⾦融機関、WEBサービ
ス事業者、アドテク、DC事業者に多数導⼊。
Ã  2016年1⽉より、ホートンワークスジャパンの⼆⼈⽬の
営業として参画。
現在はエヴァンジェリスト活動及びエンタープライズ向け
セールス、パートナー⽀援を⾏なっている。

Hortonworks会社概要
IPO 4Q14 (NASDAQ: HDP)

２つのHadoopへの道
プロプライエタリ
App
App App App
App
App
Page 5 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
オープンエンタープライズ H a d o o p
オープンコミュニティ

HortonworksだけがオープンエンタプライズHadoopを提供
H O R T O N W O R K S データプラットフォーム
YARN: Data Operating System
クリックストリームセンサーソーシャルモバイル位置情報サーバーログ
バッチインタラクティブサーチストリーミングマシンラーニング
既存データ

Hortonworks Data Platform
powered by Apache Hadoop
Hortonworks Data Platform
powered by Apache Hadoop
Enrich
Context
Store Data
and Metadata
Internet
of Anything
Hortonworks DataFlow
powered by Apache NiFi
動的・鮮度が重要な
インサイト
静的・過去データ
によるインサイト
Hortonworks DataFlowによるHadoopの可能性の拡⼤
Hortonworks DataFlowとHortonworks Data Platformにより、
ビックデータ基盤のエンド・ツー・エンドソリューションを提供します。
Connected Data Platform

Apache Communityへの貢献
1,500を超えるエコシステムパートナー
Hortonworks テクノロジーパートナー
専⾨家集団：開発に深く携わるコア・メンバーにより構成
Ã  コミッターの多くがHortonworksの社員で
す。Apache Hadoop プロジェクトに関わるコ
ミッターの約1/3はHortonworksの社員です。
Apache NiFiの⼤半を始めとする多くの重要なプ
ロジェクトに関わっています。
Ã  コミッターはコネクティッド・データプラッ
トフォームを改良し、⾰新を続けています。
Ã  Hadoopのロードマップに関わっています。
コミュニティに対し、重要なリクワイアメント
を⾔える⽴場にいます。
Hortonworks はApache
Communityに⾮常に深く関与してい
ます。

HDP Enterprise and Enterprise Plus サブスクリプション
Enterprise
Enterprise
Plus
Apache Hadoop & YARN ✔ ✔
Apache Tez ✔ ✔
Apache Hive ✔ ✔
Apache Pig ✔ ✔
Apache Sqoop ✔ ✔
Apache Flume ✔ ✔
Apache Mahout ✔ ✔
Apache Ambari ✔ ✔
Apache Oozie ✔ ✔
Apache Falcon ✔ ✔
Apache Knox ✔ ✔
Apache HBase ✔ ✔
Apache Accumulo ✔
Apache Storm ✔
HDP Advanced Security ✔
Apache Solr Separate Separate
Enterprise Enterprise Plus
Apache Hadoop & YARN ✔ ✔
Apache Ambari ✔ ✔
Apache Falcon ✔ ✔
Apache Flume ✔ ✔
Apache HBase ✔ ✔
Apache Hive ✔ ✔
Apache Knox ✔ ✔
Apache Mahout ✔ ✔
Apache Oozie ✔ ✔
Apache Phoenix ✔ ✔
Apache Pig ✔ ✔
Apache Sqoop ✔ ✔
Apache Tez ✔ ✔
Apache Zookeeper ✔ ✔
Apache Accumulo ✔
Apache KaXa ✔
Apache Ranger ✔
Apache Spark ✔
Apache Storm ✔
Apache Solr Separate Separate
HDP サブスクリプリョンに含まれる内容
•  24x7, 365⽇/年のグローバルサポート
•  Web 及び電話によるサポート（⽇本語窓⼝あり）
•  バグフィックスや、エンハンスメントのリクエストが可能
•  アップグレード、アップデート、パッチへのアクセス権
•  HDP旧リリースバージョンへの複数年におけるZ-Stream メンテナン
ス
•  カスタマーサポートポータル、ナレッジベースへのアクセス
•  WEBベースセルフラーニングHortonworks利⽤権
•  以下のリモートトラブル対応及び解析⽀援:
•  設定に関する問い合わせ、クラスタマネジメント
•  パフォーマンス問題
•  データロード、プロセス、クエリー問題
•  アプリ開発の質問についてのリモートアドバイス
•  半年ごとのチェックポイントレビュー (ent plusでは四半期毎)

HDPサブスクリプションサービスのValueとは
-アプリケーション開発の問い合わせ
-分析、ユースケースの追加の相談例
-こんな分析をしたいが、どのようなデータをとればよいか
-やりたいことを実現するためにどのようなコンポーネントを揃えればよいか
-機械学習による提案型システムヘルスチェックサービスSmart Senseの提供
Hadoopの開発エンジニアを多数抱えるホートンワークスだから⾃信を持ってお
届けできるサービス。
内製化にも対応。
Hadoopエンジニア、ディヴェロッパー、コミッターを抱えるユーザ企業もサブ
スクリプションサポートを有効活⽤。

7/19 Meet Up! Tokyo
Azureビッグデータ関連サービスとHortonworks勉強会
Future of Data 〜データの未来を考えよう〜 @Tokyo
データ活⽤最前線〜 Azureビッグデータ関連サービスとHortonworks勉強会
⽇時： 2016/7/19（⽕）19:00 - 21:00 (受付: 18:30)
場所：⽇本マイクロソフト株式会社
東京都港区港南 2-16-3 品川グランドセントラルタワー http://aiming-inc.com/ja
http://futureofdata.connpass.com/event/34585/
‪#‎マイクロソフトさんの会場（品川グランドセントラルセンター）を借りて⾏います。データ活⽤の最新動向について関⼼
のある⽅は是⾮参加ください！
19:05 - 19:45
仮）Azureビッグデータ関連サービス最新情報  
日本マイクロソフト株式会社佐藤直生
19:45 - 20:05
仮）Hadoop Summit San Jose レポート  
ホートンワークスジャパン株式会社北瀬公彦
20:05 - 20:45
仮）Hortonworks Data Platformとは  
ホートンワークスジャパン株式会社今井雄太

7/29 Meet Up! Osaka
Future of Data 〜データの未来を考えよう〜
Future of Data 〜データの未来を考えよう〜 @ Osaka
データ活⽤最前線〜蓄積、分析、可視化〜データビジュアライゼーションとHadoopのディストリビュータ
「Hortonworks」について
⽇時：2016/7/29（⾦）19:00 - 21:00 (受付: 18:30)
場所：株式会社 Aiming (エイミング)
⼤阪府⼤阪市北区⼤深町3-1 グランフロント⼤阪タワーB 18階
http://aiming-inc.com/ja
http://futureofdata.connpass.com/event/35431/
1. 神⼾市×バルセロナ市の国際連携ワークショップ「WORLD DATA VIZ CHALLENGE 2016」の概要
2. 6/28 〜 6/30にSan Joseで⾏われた「Hadoop Summit San Jose」のレポート
3. ヤフオク！におけるデータ蓄積、分析、可視化（仮）
4. データ蓄積、分析プラットフォームの ‪#‎Hortonworks‬ 紹介
を予定しています。
‪#‎Aiming‬ （エイミング）さんの会場（グランフロント⼤阪タワーB 18階）を借りて⾏います。データ活⽤の最新動向につ
いて関⼼のある⽅は是⾮参加ください！

⾃⼰紹介
Ã  今井雄太Twitter：@imai_factory
Ã  Solutions Engineer
Ã  広告配信サーバーのレポート作成のために
MapReduce(perl + streaming!)を使ったのがHadoop
との出会い。
Ã  その後、AWSにてアドテクやゲームのお客様を担当しつ
つ、EMRやS3などのビッグデータなプロダクトを主に担
当。そんなつながりでHortonworksに⼊社してHadoop
をやっています。

Agenda
Ã  What is Apache Ambari?
Ã  Ambari features
Ã  Ambari and HDP
Ã  まとめ

What is Apache Ambari?

Apache Ambari – Ambari UI

What is Apache Ambari?
•  ApacheプロジェクトによるオープンソースのHadoopクラスタマネージャ。
•  機能⾯では主に以下を提供する。
•  クラスタの作成/管理
•  設定管理
•  サービス管理
•  モニタリング
•  拡張性の⾼いWeb UI
•  HDPのクラスタマネージャとして利⽤されている。
•  ODPiのクラスタマネージャとしても採⽤されている。
hps://ambari.apache.org/

Ambari and HDP

Ambari
Server
Ambari
Agent
RM NN
NM DN
Ambari
Agent
NM DN
Ambari Internals
Metrics
Monitor
/Log
Feeder
Metrics
Monitor
/Log
Feeder
Metrics
Monitor
Metrics
Collector
Grafana
New!
Solr
Log
Search UI
New!
Ambari
Web
Browser
Ambari
REST API
Hadoop Cluster
Ambari
Agent

Ambari features

How Do People Use Ambari?
Health Checks, Alerts Stacks, Views
Lifecycle controls, Rolling
Restarts, Decommission/Re-
commission
Host Groups, Versioning,
Compare, Revert,
Recommendahons, Security
Setup
Install Wizard (UI),
Blueprints (API)
設定管理
拡張性モニタリング
サービス管理
クラスタ作成

Ambari in HDP

クラスタ作成

Lifecycle controls, Rolling
Restarts, Decommission/Re-
commission
Compare, Revert,
Recommendahons, Security
Setup
Blueprints (API)
コンフィグ管理
サービス管理
クラスタ作成

クラスタ作成
Ambari Server用ホスト
クラスタ用ホスト群

クラスタ作成
•  Ambari serverのインストールと起動(Ambari server用ホストにて)
cd /etc/yum.repos.d/
wget <ambari-repo-url>
yum install ambari-server
ambari-server setup
ambari-server start
hps://cwiki.apache.org/conﬂuence/display/AMBARI/Install+Ambari+2.2.2+from+Public+Repositories

Ambari
Server
クラスタ作成
Ambari Server⽤ホスト
クラスタ⽤ホスト群
Ambari Serverがインストールされた

Ambariによるクラスタ構築
hp://<AMBARI_SERVER_HOST>:8080 にアクセス

Ambari Agentのインストール

Ambari
Server
Ambari
Agent
Ambari
Agent
Ambari
Agent
クラスタ作成
Ambari Agentがインストールされた
※⼿動で事前にインストールしておくことも可能

インストールするサービスの選択

インストールする各サービスの初期設定

クラスタ構築開始前の最終的な設定レビュー

クラスタの構築には20〜40分くらいはかかります

構築完了！

•  完成！

Ambari
Server
Ambari
Agent
RM NN
Ambari
Agent
NM DN
Ambari
Agent
NM DN
クラスタ作成

Blueprint
•  HDPのクラスタ構成をJSONでテンプレート化したもの、とそのAPI。
Blueprintを元にクラスタを構築することが可能。
•  Blueprintは現在Ambari UIではサポート
されていないので、REST APIベースで
利⽤する
•  https://cwiki.apache.org/conﬂuence
/display/AMBARI/Blueprints
curl -u $USER:$PW $HOST:8080/api/v1/clusters/Sandbox?
format=blueprintで既存クラスタのBlueprintを取得できる

設定管理

Lifecycle controls,
Rolling Restarts,
Decommission/Re-
commission
Compare, Revert,
Recommendations,
Security Setup
Blueprints (API)
設定管理
サービス管理
クラスタ作成

Hadoop関連の設定管理
•  Hadoopエコシステムでは慣習的にxmlが利⽤されている。
•  サービス、コンポーネントごとに多数のxmlファイルが利⽤される。
•  core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml, hive-
site.xml…..
•  これらのファイルを、関連するすべてのホストに配置する必要がある。
•  設定を更新する場合には、関連するすべてのホスト上のxmlファイルを更新す
る必要がある。更にその後、関連するすべてのホスト上のすべての関連プロセ
スを再起動してやる必要がある・・・
管理、運⽤に⼿間がかかる・・・・

Ambariによる各サービスの設定管理

設定更新後、必要なプロセスの再起動をしてくれる
Ambariでの再起動時に、新しい設定ファイル(xml)が配布される

バージョン管理をしているので⽐較やロールバックも可能

依存する設定や推奨値などのレコメンデーション

Lifecycle controls,
Rolling Restarts,
Decommission/Re-
commission
Compare, Revert,
Recommendations,
Security Setup
Blueprints (API)
設定管理
サービス管理
クラスタ作成
Hadoop運⽤での
地味にめんどくさい部分を引き受けてくれる

モニタリング

Health Checks, Alerts
Stacks, Views
Lifecycle controls,
Rolling Restarts,
Decommission/Re-
commission
Compare, Revert,
Recommendations,
Security Setup
Blueprints (API)
コンフィグ管
理
サービス管理
クラスタ作成

Hadoopのモニタリング
•  歴史的にHadoopのモニタリングにはNagiosとGangliaが利⽤されることが
多かった。
•  Ambariは設定の管理だけではなく、Ambari AlertとAmbari Metricsという
仕組みを持っており、これらを利⽤することで監視運⽤もAmbariに統合する
ことができるようになってきた。
•  Ambari2系以降ではこれらの利⽤を推奨
•  https://docs.hortonworks.com/HDPDocuments/Ambari-2.1.1.0/bk_upgrading_Ambari/
content/_moving_from_ganglia_to_ambari_metrics.html

Amba
ri
Server
Ambari
Agent
RM NN
Ambari
Agent
NM DN
Ambari
Agent
NM DN
Ambari Metrics
Metrics
Monitor
Metrics
Monitor
Metrics
Monitor
Metrics
Collecto
r
Grafana
New!

Ambari Metrics
•  Hadoop運⽤に必要なメトリクスをデフォルトでモニタしてくれる
•  表⽰⽤ウィジェットは柔軟にカスタマイズできる

New! Ambari MetricsとGrafana
•  HDP⽤に設定済みのGrafanaをAmbari MetricsのViewerとして利⽤できるように
対応サービス(Ambari2.2.2時点)
•  システムリソース
•  YARN
•  HDFS
•  HBase

Ambari Alerts
Ã  もちろんリソースモニタリングだけではなく、プロセスやポートの監視とア
ラートの発呼もできる
Ã  Ambari Webで利⽤可能なアラート⼀覧については下記を参照
–  http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/
bk_Ambari_Users_Guide/content/_list_of_predeﬁned_alerts.html

New! Log Search
Hortonworks
Sandbox with
HDP2.5 Tech
Previewにて体験可能

Ambari
Server
Ambari
Agent
RM NN
NM DN
Ambari
Agent
NM DN
Ambari Internals
Metrics
Monitor
/Log
Feeder
Metrics
Monitor
/Log
Feeder
Metrics
Monitor
Metrics
Collector
Grafana
New!
Solr
Log
Search UI
New!
Ambari
Web
Browser
Ambari
REST API
Hadoop Cluster
Ambari
Agent

サービス管理

Lifecycle controls,
Rolling Restarts,
Decommission/Re-
commission
Compare, Revert,
Recommendations,
Security Setup
Blueprints (API)
設定管理
サービス管理
クラスタ作成

Hadoop関連のエコシステムやサービス
•  多くのHadoopエコシステムやサービスは単体のプロセスではなく、複数の
コンポーネントから成りなっている。
•  例えばHiveはHiveクライアント、Hiveserver2、Metastore Service、
MySQL。HBaseであればHMaster、Region ServerとZookeeperなど。
•  先ほどの設定管理と同様に、正しく運⽤するには複数のホストに様々なコン
ポーネントを配置し、それら起動や停⽌の管理をしてやる必要がある。

Ambariによるサービスの追加

各サービスに必要なプロセス群の管理

サービスごとのメトリクスモニタリング

HDP以外のパッケージ管理も可能です
https://cwiki.apache.org/
conﬂuence/display/AMBARI/
How-To+Deﬁne+Stacks+and
+Services

拡張性

Lifecycle controls,
Rolling Restarts,
Decommission/Re-
commission
Compare, Revert,
Recommendations,
Security Setup
Blueprints (API)
コンフィグ管
理
サービス管理
クラスタ作成

Ambariが提供する拡張性 - Upgrade
•  HDPの各種パッケージは下記のように(CentOSの例)/usr/hdp配下にバージョンごとに配置されて
いる
•  current内のファイル群が実⾏されるが、実体はバージョンごとのディレクトリ内のバイナリへのリ
ンク
•  AmbariによるHDPアップグレードでは、新しいバージョンのRPMの取得と、シンボリックリンクの
切り替え、そしてプロセスの再起動を⾏ってくれる
[root@sandbox ~]# ls /usr/hdp
2.5.0.0-817
current
[root@sandbox ~]# ls -l /usr/hdp/current/
lrwxrwxrwx 1 root root 29 Jul 4 19:41 accumulo-tracer -> /usr/hdp/2.5.0.0-817/accumulo
lrwxrwxrwx 1 root root 26 Jul 4 19:41 atlas-client -> /usr/hdp/2.5.0.0-817/atlas
lrwxrwxrwx 1 root root 26 Jul 4 19:41 atlas-server -> /usr/hdp/2.5.0.0-817/atlas

Ambariが提供する拡張性 – Ambari View
Files View

Zeppelin View

Hive View

Storm View

List of View

Custom View
https://cwiki.apache.org/conﬂuence/display/AMBARI/Views
https://github.com/hortonworks-gallery/ambari-iframe-view

View Only Ambari
•  Viewのみを提供するAmbari Webを構築することもできる
•  クラスタの設定や構成にはタッチさせたくはないが、HDFS ViewやHive
Viewなどの機能だけを提供できる

Ambari and HDP

Ambari 2.4 + HDP Support Matrix
Ã  Added support for HDP 2.5
Ã  Deprecated support for HDP 2.3
HDP 2.5 HDP 2.4 HDP 2.3 HDP 2.2 HDP 2.1
Ambari 2.4

deprecated

deprecated
Ambari 2.2.2

deprecated
Ambari 2.2.1

deprecated

deprecated
Ambari 2.2

deprecated

Ambari 2.4 + HDP2.5 is in tech-preview now!
https://hortonworks.com/tech-preview-hdp-2-5/

まとめ

まとめ
Lifecycle controls,
Rolling Restarts,
Decommission/Re-
commission
Compare, Revert,
Recommendations,
Security Setup
Blueprints (API)
コンフィグ管
理
サービス管理
クラスタ作成

次回！
Ã  今のところ⽇程は未定ですが、8⽉中のどこか
Ã  テーマ（下記で検討中）
–  ゲスト（ユーザーさんやパートナーさん）と⼀緒にしゃべる
–  ユースケース（たとえば⾃動⾞IoT）などをテーマに、アーキテクチャやベストプラク
ティス、事例について話す
今⽇のウェビナーはオンデマンドでも閲覧可能です！
品質改善のため、RATINGSからウェビナーの評価をお願いします！
※予定は変更になる可能性があります

お問い合わせはお気軽に
yimai@hortonworks.comまで

Apache ambari

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (18)

Similar to Apache ambari

Similar to Apache ambari (20)

More from Yuta Imai

More from Yuta Imai (8)

Recently uploaded

Recently uploaded (8)

Apache ambari