Cloud from Scratch / ゼロからクラウド構築

.
目次のかわりに、今日は
1. クラウド基盤
2. データセンター、クラウドエンジニア（CE)の定義
3. （ソフト）ロボット、自動化、OSSの分野
4. 演習１：クラウドをゼロから構築してみる
5. 演習２： CEになって独自のプロジェクト
6. (時間があれば）WRAPUP：クラウドにおけるいくつか課題
を学んでいきます。
M.Zhanikeev -- maratishe@gmail.com Cloud from Scratch / ゼロからクラウド構築-- http://bit.do/marat140829 2/52
.
2/52

.
クラウドとは？
.
3/52

.
クラウドの定義：標準の見方
SaaS : Software as a Service → アプリを提供する
SaaS : PaaS : Platform as a Service → ストーレジサービスなどの提供
IaaS : Infrastructure as a Service　→　ハードウェアを提供する
+CaaS : Cloud as a Service
.
4/52

.
クラウドの定義：なんでもクラウド
Cloud
.
5/52

.
クラウドの定義：なんでもクラウド
.
クラウドの目標は...
.
...場所、技術、所属性などに関係なく、全ての資
源をクラウド化すること
.
Cloud
クラウド化：或る資源（リソ
ース）を、クラウドらしい
形にして使うこと
資源：保存（ストーレジ）、計
算、ネットワーク、アプリ
クラウド化＝仮想化
仮想化＝API化
API化＝ブラックボック
ス化: ボックスの中身を隠し
て、可能性を限った
.
6/52

.
何でもクラウドは可能か？
Cloud
.
7/52

.
クラウド：別の見方
.
8/52

.
階層の形をしているクラウド
Cloud APPs …
Cloud Management
Platform(s)
Location 1 Location 2 …
Tier 3
Tier 2
Tier 1
少なくても3層がある→
　TIER
Tier 1: 物理的な場所、デ
ータセンターなど
Tier 2: 場所・リソースを管
理しているソフト
Tier 3: Tier2上で出来てい
るサービスを用いたアプ
リ
なぜ階層型？ビズネスを設
けるときに判断しやすいか
らです.
.
9/52

.
クラウドの単位：DC（Aさん募集）
（今の）クラウド：ネットでつながっているデー
タセンター（DC)を合わせたリソース
(これからの）クラウド：ユーザ端末（スマホ）な
ども含める　→　mobile cloud
基本的に、複数のプロバイダがDCを共有するこ
とがない→ vertical integration
あれば、horizontal integrationと呼ぶ
vertical → horizontalの移転なら、クライアン
ト側のシステムになる07
07 M.Zhanikeev High Availability Cloud Storage...Smart, Throughput and Socially Aware IEICE NS研(horizontal)
.
10/52

.
クラウドの単位：DC, PMs, CE
クラウドプロバイダの意思決定：DCいく
つ？ DC毎にPMいくつ？
CE : クラウドエンジニアの仕事です！
CE：仕事の内容とは？SE? EE? 営業？
.
11/52

.
クラウドの単位：CEの仕事は？
クラウドを構築する
クラウド上で動いているリソースを管理する
クラウドの性能を把握し、改善する
上記の項目で生じた負担を、自動化などによ
り、出来るだけ減らす
.
12/52

.
クラウドの単位：+ VMs + ROBOTs
VM: PM上で動いている仮想マシン＝仮想
計算機
VMの実行、管理はCEの仕事
ROBOT： CEが作るヘルパー、ソフトに限ら
ない
.
13/52

.
CEの事例：Macサーバのラック
場面： Macサーバ（性能の良いMac)のラックを作りたい(アップルが）、商
品にしたい
問題： Mac OSXは、microkernel型で、kernelエラーに弱い、
よくフリーズする（経験ある方？）
解決： ...?
.
14/52

.
CEの事例：Macサーバのラック
場面： Macサーバ（性能の良いMac)のラックを作りたい(アップルが）、商
品にしたい
問題： Mac OSXは、microkernel型で、kernelエラーに弱い、
よくフリーズする（経験ある方？）
解決：フリーズ反応（電気量の変動）+ ラックにロボットアーム（シ
ャーシ型）によるボタン押し= 売られる商品
.
15/52

.
CEの仕事：OSSの部分
CEの仕事にOSSの部分が含まれている
OSS : Operations Systems and Software (管理に関わるシステムとソフト）
クラウドなどになってから、NGOSSもある（NG:次世代）
OSSの目的：（何でも）負担を減らす
.
16/52

.
CEの事例2 : NTT自宅ハブのストーリ
IEICE研究会の発表（NTTAT)、2012年辺り（私が聞いたもの）
マンション型インタネット接続設置の話題、光なども
問題：状況が良く側って、ハードウェアの交換が必要となる
解決：ハブを設置するときに、（現状の）ユーザ数の2倍程度口のハブを用
意する→　80％のハード交換が不要となった
.
17/52

.
CEの仕事：取りまとめ
OSSの部分はもちろんのこと
階層のモデルで、全層に分かって仕事すること
解決として何でも良い！API化により、内部が隠れているため、効果のあ
る解決方法が良い（ロボットアームでも）
性能が重要！CEの殆どの負担、一番難しい問題、殆どの問題に解
決が存在しない世界
.
18/52

.
クラウドを構築する（演習１）
.
19/52

.
Step 1: Switch
外部（インタネット）＜＞（DC
の）内部の接続
普段、DCに口が1個だけです
日本の場合、殆ど１Gbps, 最近
10Gbpsが増えている
もちろん、セキュリティなどを含めて、も
少し複雑な通信網もありえますね
.
20/52

.
Step 2 : + PM
空っぽい状態からPMを立ち上げ
る、一瞬のことじゃないね！
（最低）条件って何？
.
21/52

.
Step 2a : PMの（最低）条件
マルチコアのCPU : 仮想化の技術により1VM=1コアの設定
RAMメモリの十分な方: VMを立ち上げる時に設定するパラメタ
HDメモリの十分の方：これもパラメタ
.... じゃ、ハードウェアとして、どっちが良い？Googleの場合？個人の好み？
.
22/52

.
Step 2a : PM初期化
SCP 1.6
Deploy CD
Linux __
Install CD
Case 1: Linux OSをCDからインスト
ールし、ネットワークからクラウドプラ
ットフォームをインストールする
Case 2: Bootable USBから、OS
+クラウドプラットフォームを一発
でインストールする
Case 3: 専用CDから、OS+クラ
ウドプラットフォームを一発でイン
ストールする
どっちにする？どっちに時間がか
かる？面倒くささ？
.
23/52

.
Step 2a : Time Watcher : Tさん募集
各段階でかかった時間を
記録したいので、Tさんを募
集します
Androidなら、Hybrid
Stopwatchを薦めている
（LAP記録）
.
24/52

.
Step 2 : + PM (CEさんの作業）
XCP 1.6のUSBを使ってインストール
する
Mac Mini：電源を入れてALTを押
し続ける、USBが出たときに選択する
インストール順序にしたがって、インスト
ールする
IP: 192.168.11.10, MASK:
255.255.255.0, GW:
192.168.11.1
.
25/52

.
Step 3 : + (2台目の) PM
も一台
IP: 192.168.11.11, MASK:
255.255.255.0, GW:
192.168.11.1
.
26/52

.
Step 4 : + NOC
NOC : Network Operations Center
DCを管理するマシン・場所
CE, ボロットが働いているマシン
Windowsでも構いません、何でも構いま
せん
.
27/52

.
Step 4 : Xen Server (Windows)
Windows用のXCP管理ソフ
ト
GUIから何でも出来る
NOC上に既にインストールされ
ているので、PMx2の状況を
確認する
.
28/52

.
Step 4 : xeのCLI
CE仕事のOSSの部分に直接絡んでいる
Xen Serverの中で、CLIのxeコマンドもある
GUIより機能性が高い
また、Linux, MacなどのOS用なCLIもあるので、NOCはどいう環境でも立ち上げる
ことができる
.
29/52

.
Step 5 : + VM
VMの作り方： (1)新規でインストー
ル、(2).xvaイメージからインポート
(1)にすると、OSSが把握しているCEに
怒られる
ベストなパターン： CEが(1)で.xva
を（1回だけ）用意し、それ以降ずっと(2)
で運用する
教材の中
で：***small***と***min***をイ
ンポートしてみよう（CLI.txtが参照）
.
30/52

.
Step 6 : + PROBE
PM・VMの性能なら、xeのCLIを
使う
別途でトラヒックをキャプチャし、
分析を行うこともある
本クラウドに、NetGearのスマートハ
ブを使っているから、ProSafeをつかっ
て、ミラーリングの設定が出来る
ミラーリング：邪魔しないで別のマ
シンで処理できるからです
Data Center Forensics 04
04
M.Zhanikeev A Software Design and Algorithms for Multicore Capture in Data Center Forensics 9th ACM ASIACCSW
(multicore)
.
31/52

.
クラウド運用・管理（演習２）
.
32/52

.
クラウド運用・管理とは？
全部CEの仕事
仕事：インタフェース化、API化（VM立ち上げるなど）
仕事：性能測定・分析・管理
VMマイグレーションとその自動化(ロボット）
適当にマイグレーションをしてはいけません、コスト・グリーン化などがある02
VM以外のリソースのマイグレーション
02 M.Zhanikeev Optimizing Virtual Machine Migration for Energy-Efficient Clouds IEICEJ, vol.E97-B, no.2 (migration)
.
33/52

.
VMマイグレーションの演習
一番単純な方法： vm-export → (別のPMに）vm-import
NOCを使って（独自に＝やりたい人）、やってみてください
ハブに自分のマシンをつなげて、予備NOCを作ってもよい
時間ログを取りましょう、.xvaファイルが2個がある（小・大）
.
34/52

.
VMマイグレーション＝コスト計算
マイグレーションに掛かった時間・電力などは、コストと呼ぶ
そのコストの最小化は重要　→　VMマイグレーションのグリーン
化
たとえば: bin packing問題でマイグレーション計画を立てちゃだめ！02
宿題：コストを減らす方法をリストアップしてみてください
02 M.Zhanikeev Optimizing Virtual Machine Migration for Energy-Efficient Clouds IEICEJ, vol.E97-B, no.2 (migration)
.
35/52

.
wrapup: 何でもクラウドは可能？
DC内のOSS・管理・自動化を上手く作れば... 可能です。
VM作成・解除・移動のAPI化を設計すれば... 可能です。
DC内間の（VM+)リソースマイグレーションを上手く設計すれば... 可能です。
マイグレーションの時に、コスト最小化を考慮すれば....可能な範囲で運用経費の
節約もできる！
.
36/52

.
（今の）クラウドの問題点
.
37/52

.
PM != ストーレジ
PMはハードウェアの（結構）固いAPI
化
API化： VMだけのマシンの意味
PMにストーレジが出来ない
そりゃ残念！（インポート、エクスポート
の時間を考えて）
.
38/52

.
VM PM間、通信しない決まり
また、PMのAPI化の決まり
目的： VMがハードウェアが意識しな
いこと
「私はxxのVMです、ちょっと、別のPMに移
動したいのですが...」が出来ない
そりゃ残念
.
39/52

.
解決：Cloud Visitation Platform
Cloud APPs …
Cloud Management
Platform(s)
Location 1 Location 2 …
Tier 3
Tier 2
Tier 1
Cloud Visitation
Platforms
06 M.Zhanikeev A Cloud Visitation Platform for Federated Services at Network Edge Cisco Project Proposal (visitation)
.
40/52

.
解決：CVP : APIs
Cloud Visitation Platform
…
App
App
Ap…p
APIs
Container
…
Application
Specifics PM上: 2つのインタ
Generics,
Resilience
Interfaces Billing,
Storage Sensors
Multitenancy
Physical Device
…
Fairness
フェース・APIを用意す
る
ハードウェアの機能
性が意識でき、APIの可能
な限りの使用も出来る
.
41/52

.
解決：Cloud Visitation : Apps (PULL)
Device
3rd Party Provider
Service
Pull-Based
Installation
(of Apps)
App App App …
End
User
Local
services
One
Cloud
個人・自宅の使用パ
ターン
End User + 機器プ
ロバイダ＋第3者の
サービスの複雑な関係
CiscoのFog
Computingの概念を実
現した提案06
.
42/52

.
解決：Cloud Visitation : Apps (PUSH)
Cloud/device
Owner
App App App …
3rd Party
Service Federated
Clouds
Local
services
Federated
Cloud
Manager
Federated Cloudsの
使用パターン
各DCがFCMのサービ
スに登録する
第3者のサービスが
FCMにお願いして、アプリ
をプッシュする
同じ提案、別の使用パター
ン06
.
43/52

.
The Minics Project : まず、質問！
比較対象その１： NIIが東京の建物から提供しているクラウド
比較対象その２：今日構築したミニクラウドを日本国内の10大学（10か
所）に設置し、ネットでつながったクラウド
どっちが増し？なぜ？
.
44/52

.
The Minics Project
03 M.Zhanikeev MINICS: Building Manual http://tinyurl.com/minicsBuild (minics)
.
45/52

.
Pocket Clouds ?
Mac MiniにLAN+WiFi、両方あるが、
PM化によりWiFiが動かない
動いたら、LANの無い、無線だけで
接続するクラウドを、ポケットにしま
って、持参する
.
46/52

.
Practical Cloud : Video Streaming
.
47/52

.
Users・SPs・CPsのリソース経済
1. 新役割： SP、ユーザ→SP→クラウド
2. SP：クラウドのリソースを借りて、サービスに与える
3. User, SP, CP間に、リソース経済が生じる01
01 M.Zhanikeev Multi-Source Stream Aggregation in the Cloud ACDN Book, Wiley (streaming)
.
48/52

.
Video Streaming : Cloud vs P2P
01 M.Zhanikeev Multi-Source Stream Aggregation in the Cloud ACDN Book, Wiley (streaming)
.
49/52

.
普通の経済: Micropayments
micropayments : 料金の非常に小さいお支払
.
50/52

.
Micropayments : Cloud Coins
.
Cloud Coinとは？
.
.クラウドドライブで保存されたeコイン
アクセス料金が生じないか
ら、集約が可能となる（１週間分な
ど）
新特徴のため、リソース経済にも適
切：リソース課金など
コイン・APIなど既に実装済05
05 M.Zhanikeev 3 Cloud Drives Can Use OAuth for Micropayments and Resource Metering Alike 9th ACM CFI (coin)
.
51/52

.
That’s all, thank you ...
.
52/52

.
[01] M.Zhanikeev (streaming)
Multi-Source Stream Aggregation in the Cloud
ACDN Book, Wiley
[02] M.Zhanikeev (migration)
Optimizing Virtual Machine Migration for Energy-Efficient Clouds
IEICEJ, vol.E97-B, no.2
[04] M.Zhanikeev (multicore)
A Software Design and Algorithms for Multicore Capture in Data Center Forensics
9th ACM ASIACCSW
[04] M.Zhanikeev (multicore)
A Software Design and Algorithms for Multicore Capture in Data Center Forensics
9th ACM ASIACCSW
[05] M.Zhanikeev (coin)
3 Cloud Drives Can Use OAuth for Micropayments and Resource Metering Alike
9th ACM CFI
[06] M.Zhanikeev (visitation)
.
52/52

.
A Cloud Visitation Platform for Federated Services at Network Edge
Cisco Project Proposal
[07] M.Zhanikeev (horizontal)
High Availability Cloud Storage...Smart, Throughput and Socially Aware
IEICE NS研
.
52/52

Cloud from Scratch / ゼロからクラウド構築

Recommended

Recommended

More Related Content

Similar to Cloud from Scratch / ゼロからクラウド構築

Similar to Cloud from Scratch / ゼロからクラウド構築 (20)

More from Tokyo University of Science

More from Tokyo University of Science (20)

Recently uploaded

Recently uploaded (11)

Cloud from Scratch / ゼロからクラウド構築