More Related Content
Similar to クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt (20)
More from Cloudera Japan (13)
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
- 1. 1© Cloudera, Inc. All rights reserved.
クラウド上でのHadoop基盤
とCloudera Director 2.0
嶋内 翔、Cloudera
- 2. 2© Cloudera, Inc. All rights reserved.
⾃自⼰己紹介
• 嶋内 翔(しまうち しょう)
• テクニカルエバンジェリスト
• 2011年年4⽉月にClouderaの最初の⽇日本⼈人社員として⼊入社
• お客様がCloudera製品を活⽤用できるように⼀一緒に議論論するのがメインの
仕事
• email: sho@cloudera.com
• twitter: @shiumachi
- 3. 6© Cloudera, Inc. All rights reserved.
クラウド上でのHadoopはオンプレとは違う
最適なパフォーマンスのため
の区分化
コスト削減のための⼀一時的ク
ラスタの採⽤用
効率率率性のための、ストレージ
と計算リソースの別個の拡張
Object
Store
STORE
COMPUTE
- 4. 49© Cloudera, Inc. All rights reserved.
Cloudera Director
クラウド環境にエンタープライズデータハブをもたらす
Cloudera Director とは?
• Cloudera ユーザのためのインスタンスプロビジョ
ニング・管理理ツール
• バッチ処理理のための⼀一時起動、BIのための⻑⾧長期稼
働、業務システムのためのHAクラスタなどを簡単
に構築、管理理可能
柔軟なデプロイ
• AWS と GCPをビルトインでサポート
• Open Plugin Frameworkで任意のクラウド環境に
デプロイ可能
• テンプレートを使ってクラスタを構築可能
簡単な管理理
• ジョブ実⾏行行時の⼀一時的なクラスタ構築
• 複数のクラスタ・環境を1つの画⾯面で管理理可能
• REST API サポート
- 5. 50© Cloudera, Inc. All rights reserved.
Director クライアント
• サーバなし
• コマンドラインで操作
Director サーバ
• 環境、クラスタなどを⼀一元管理理
• Web UI or コマンドライン
Cloudera Director アーキテクチャ
- 6. 51© Cloudera, Inc. All rights reserved.
AWS / GCPの選択やリージョンの
選択など、クラウド環境を設定する
複数の環境を同時利利⽤用可能
環境設定
- 7. 52© Cloudera, Inc. All rights reserved.
• インスタンスタイプなどを設定可
能
• AWSスポットインスタンス・GCP
プリエンプティブルインスタンス
なども設定可
• カスタムAMIも利利⽤用可能
インスタンステンプレート
- 8. 53© Cloudera, Inc. All rights reserved.
• どのCDHコンポーネントを利利⽤用す
るか選択
• インスタンス数も設定可能
• HAクラスタ、Kerberos 環境など
も設定可能
• 約15-‐‑‒30分ぐらいで構築可能
• カスタムAMIを使うともっと速
い
クラスタ構築
- 11. 56© Cloudera, Inc. All rights reserved.
同⼀一のクラスタを作るなら、
「Clone Cluster」で簡単に複製可
能
クラスタの複製
- 12. 57© Cloudera, Inc. All rights reserved.
• カスタムスクリプト
• インスタンスプロビジョン後の
カスタムパッケージのインス
トール
• CM APIを使った事前設定変更更
• クラスタ停⽌止前のS3へのデータ
コピー
• クラスタテンプレート
• ノードタイプごとに異異なるセ
キュリティグループの設定など
も可能
その他の機能
- 13. 58© Cloudera, Inc. All rights reserved.
Cloudera Director インストール⽅方法
• qiitaに公開しました
http://qiita.com/shiumachi/items/90649830cb9b45726d99
• 元⽂文書はこちら
http://www.cloudera.com/documentation/director/latest/topics/
director_̲get_̲started_̲aws.html
- 14. 59© Cloudera, Inc. All rights reserved.
Get
Started
AWS
Reference
Guide
GCP
Reference
Guide
Download
Cloudera
Director
www.cloudera.com/downloads
Try
It
Out
Cloudera
Live
(includes
step-‐by-‐step
tutorial)
AWS
Quickstart
Azure
Marketplace
Resources
API
IntegraLon
&
ScripLng
hOps://github.com/cloudera/director-‐
sdk
hOps://github.com/cloudera/director-‐
scripts
AddiLonal
Cloud
IntegraLon
hOps://github.com/cloudera/director-‐spi
hOps://github.com/cloudera/director-‐
google-‐plugin