CloudStackユーザ会 OSC.cloud

CloudStack
構築事例例＋Tips

OCDET環境編
　

⽇日本CloudStackユーザ会
@MayumiK0
Copyright (C) 2012 Japan CloudStack User Group All Rights
Reserved.

CloudStackユーザ会で

Reserved.
2

OCDETとは
オープンクラウド実証実験タスクフォース

http://www.ocdet.org/
⽇日本CloudStackユーザ会は
⽬目的: OpenIaaS研究会に参加しております
オープンソースベースの各クラウド基盤技術の
実証実験を通じて相互接続による連携、運⽤用ノ
ウハウを周知し、クラウド基盤の⼀一般化と利利活
⽤用の促進を図る。
Reserved.
3

OCDET ファシリティ・機器
ラック: IDCフロンティア様よりご提供
PCサーバ、ネットワーク機器を各社より機材ご提供

□ IDCフロンティア様
ラック x 1本 1500KV □ NetGear/IBS様
NetGear RNDP6610(NAS)
NFS/iSCSI 12T(物理理)

ファシリティ・機材は全て借⽤用！
※ただし、ケーブルは⾃自腹
□ Intel様/IDCF様 Intel製サーバ x 3 –
ノード⽤用
SandyBridge-‐‑‒EP 8 cores 3.1GHz
Memory: 32G

□ モーフ様 Rackable製サーバ x 3台 – ノード⽤用
RackableA20X □ ATWORKS様⾃自社サーバ x 3台 – 管理理
CPU:XeonE5320 1.86GHz (4corex2) 系サーバ⽤用
MEM:16GB Intel Core i5-‐‑‒2520M 2.5GH(2コア)
8GBメモリ

OCDET CloudStack構成
グローバルネットワーク

-‐‑‒Management Server
Gateway#1
(KVM)
　 APサーバ✕２すべてオープンソースで
DBサーバ✕2 構成
VPN#1　
FW#1　
Zabbix#1
-‐‑‒NFS Server （Primary/Secondary領領域）
-‐‑‒Compute Node✕3
-‐‑‒LVS（負荷分散）✕2

プライベートネットワーク（VLANによりネットワークを分けている）
　

Management
Host
#1
(KVM)
　
CloudStack
CloudStack
Compute　 Compute
Compute

Management
DB
LVS#1
暫定NFS
Node
Node
Node

Server#1　
Server#1　
(node004)
(node005)
(node006)
Primary

Storage
Secondary

Storage

Management
Host
#2
(KVM)
Storage
(NFS)
CloudStack
CloudStack

Management
DB
LVS#2
Server#2　
Server#12

Reserved.
5

OCDET CloudStack構成
■ CloudStack
Apache CloudStack 4.0
・リリース情報
　blog:https://blogs.apache.org/cloudstack/entry/apache_̲cloudstack_̲4_̲0_̲0
・ダウンロードURL
　http://incubator.apache.org/cloudstack/downloads.html

・インストールガイドHTML版
　http://incubator.apache.org/cloudstack/docs/en-‐‑‒US/
　　　Apache_̲CloudStack/4.0.0-‐‑‒incubating/html/Installation_̲Guide/index.html

■ OS
CentOS6.3(64bit版)

Reserved.
6

Management Serverインストール
[root@manager01
~]#
vi
/etc/yum.repos.d/CloudStack.repo

[cloudstack]
CloudStack⽤用リポジトリ追加
name=cloudstack

baseurl=http://cloudstack.apt-get.eu/rhel/4.0/

enabled=1

gpgcheck=1
サインされてないので

「-‐‑‒-‐‑‒nogpgcheck」オプションを
[root@manager01
etc]#
hostname
--fqdn
つけないと⼊入らない
manager01.cs01.ocdet.org

[root@manager01
~]#
yum
install
--nogpgcheck
cloud-client

(ざっくり省略)

cloud-aws-api.x86_64
0:4.0.0-0.140.el6.4.0

cloud-client-ui.x86_64
0:4.0.0-0.140.el6.4.0

cloud-core.x86_64
0:4.0.0-0.140.el6.4.0

cloud-deps.x86_64
0:4.0.0-0.140.el6.4.0

Apache CloudStack 4.0は
cloud-python.x86_64
0:4.0.0-0.140.el6.4.0

install.sh がありません
cloud-scripts.x86_64
0:4.0.0-0.140.el6.4.0

yum installでいれます
cloud-server.x86_64
0:4.0.0-0.140.el6.4.0

cloud-setup.x86_64
0:4.0.0-0.140.el6.4.0

cloud-utils.x86_64
0:4.0.0-0.140.el6.4.0

Complete!

Reserved.
7

DB Serverインストール①
[root@db01
~]#
rpm
-qa
|grep
mysql
mysql-‐‑‒serverをインストールしておく
mysql-server-5.1.61-4.el6.x86_64
こと
mysql-libs-5.1.61-4.el6.x86_64

mysql-5.1.61-4.el6.x86_64
[mysqld]セクションに次の⾏行行を挿⼊入し

ます

[root@db01
~]#
vi
/etc/my.cnf
innodb_̲rollback_̲on_̲timeout=1 追加
[mysqld]
innodb_̲lock_̲wait_̲timeout=600 追加
datadir=/var/lib/mysql
max_̲connections=700 追加
socket=/var/lib/mysql/mysql.sock
log-‐‑‒bin=mysql-‐‑‒bin 追加
user=mysql
binlog-‐‑‒format = 'ROWʼ’ 追加
#
Disabling
symbolic-links
is
recommended
to
prevent
assorted
security
risks
bind-‐‑‒address = 0.0.0.0 追加
symbolic-links=0

innodb_rollback_on_timeout=1

innodb_lock_wait_timeout=600

max_connections=700

1管理理サーバあたり
log-bin=mysql-bin

max_̲connections 350を⽬目安に
binlog-format
=
‘ROW’

OCDET構成では
bind-address
=
0.0.0.0

管理理サーバ２台なので

[root@db01
~]#
service
mysqld
restart
700で設定
mysqld
を停止中:

[

OK

]

mysqld
を起動中:

[

OK

]

Reserved.
8

DB Serverインストール②
[root@db01
~]#
mysql_secure_installation

NOTE:
RUNNING
ALL
PARTS
OF
THIS
SCRIPT
IS
RECOMMENDED
FOR
ALL
MySQL

SERVERS
IN
PRODUCTION
USE!

PLEASE
READ
EACH
STEP
CAREFULLY!

Change
the
root
password?
[Y/n]
Y

「Disallow root login remotely」以外は全
Remove
anonymous
users?
[Y/n]
Y

て「Y」で設定
Disallow
root
login
remotely?
[Y/n]
n

Remove
test
database
and
access
to
it?
[Y/n]
Y

Reload
privilege
tables
now?
[Y/n]
Y

...
Success!

Cleaning
up...

All
done!

If
you've
completed
all
of
the
above
steps,
your
MySQL

installation
should
now
be
secure.

Thanks
for
using
MySQL!

Reserved.
9

CloudStack設定①
[root@manager01
~]#
yum
install
mysql

(省略)

Complete!

#
cloud-setup-databases
cloud:DBパスワード@DBサーバのIPアドレス
--deploy-as=root:DBサーバpasswoed

（省略)
データベースをセットアップします。
Applying
/usr/share/cloud/setup/bridge/db/cloudbridge_offering.sql

[
OK
]
※必要に応じて、-‐‑‒e <encryption_̲type> -‐‑‒
Applying
/usr/share/cloud/setup/bridge/db/cloudbridge_offering_alter.sql

[
OK
]
m <management_̲server_̲key> -‐‑‒k
Processing
encryption
...

[
OK
]

<database_̲key>を付けて
Finalizing
setup
...

[
OK
]

セキュリティ設定を⾏行行いましょう

CloudStack
has
successfully
initialized
database,
you
can
check
your
database
configuration
in
/
etc/cloud/management/db.properties

Reserved.
10

CloudStack設定②
[root@manager01
~]#
cloud-setup-management

Starting
to
configure
CloudStack
Management
Server:

Configure
sudoers
...

[OK]

KVM環境ではvhd-‐‑‒utilは不不要なので
Configure
Firewall
...

[OK]

スキップ
Configure
CloudStack
Management
Server
...[OK]

CloudStack
Management
Server
setup
is
Done!

[root@manager01
network-scripts]#
mkdir
-p
/mnt/secondary

[root@manager01
network-scripts]#
mount
-t
nfs
172.16.10.19:/export/secondary
/mnt/secondary

[root@manager01
network-scripts]#
cd
/mnt/secondary/

[root@manager01
secondary]#
cat
>
hoge
NFS領領域が正しく
test
file
rootで読み書き可能なことを確認しておく
[root@manager01
secondary]#
ls
-al
hoge

-rw-r--r--.
1
root
root
10
11月

4
18:31
2012
hoge

[root@manager01
secondary]#
rm
hoge

Reserved.
11

CloudStack設定③
[root@manager01
secondary]#
cd

[root@manager01
~]#
wget

http://download.cloud.com/templates/acton/acton-systemvm-02062012.qcow2.bz2

(省略)

システムVM⽤用のテンプレートの配置する。

wgetで⾃自ホストにDownLoadしておいて

-‐‑‒f オプションで指定した⽅方がやり直し時に

は便便利利

[root@manager01
~]#
/usr/lib64/cloud/common/scripts/storage/secondary/cloud-install-sys-tmplt
-m
/
mnt/secondary
-f
acton-systemvm-02062012.qcow2.bz2
-h
kvm
-F

Uncompressing
to
/usr/lib64/cloud/common/scripts/storage/secondary/38d0870e-d5f2-43a5-
a2b7-276c41796a5f.qcow2.tmp
(type
bz2)...could
take
a
long
time

Moving
to
/mnt/secondary/template/tmpl/1/3///38d0870e-d5f2-43a5-a2b7-276c41796a5f.qcow2...could

take
a
while

Successfully
installed
system
VM
template
acton-systemvm-02062012.qcow2.bz2
to
/mnt/secondary/
template/tmpl/1/3/

[root@manager01
~]#
umount
/mnt/secondary/
システムVMと仮想ルータ⽤用のテンプレート

がSecondaryStorageに格納されます

Reserved.
12

Agentインストール
[root@node006
~]#
vi
/etc/yum.repos.d/CloudStack.repo

[cloudstack]

name=cloudstack

baseurl=http://cloudstack.apt-get.eu/rhel/4.0/

enabled=1

gpgcheck=1

[root@node006
~]#
yum
install
cloud-agent

[root@node006
~]#
yum
install
--nogpgcheck
cloud-agent

Reserved.
13

無事に動きました

Reserved.
14

CloudStack Tips編

CloudStack Tips

Reserved.
15

CloudStack Tips編
SystemVMが起動しない場合
GUIで確認するとProxy Console VMと
Secondary Storage VMが「Starting」のまま

(1)NFS
・Compute NodeをCloudStack Agentとして登録すると　
　Compute NodeがPrimaryStorage領領域をmountする
・SystemVM起動(Deploy)時はPrimaryStorage領領域に書き込む
・NFSの設定を誤るとmount領領域のownerがnobody:nobodyになり
　仮想イメージを書き込めない。そのためSystemVMをDeployできない。

(2)コントロールグループ（cgroup）

Reserved.
16

CloudStack Tips編
SystemVMが起動しない場合
(1)NFS
[root@node006
~]#

df
-kh

Filesystem

Size

Used
Avail
Use%
マウント位置

/dev/mapper/vg_node006-lv_root

50G

2.3G

45G

5%
/

tmpfs

16G

0

16G

0%
/dev/shm

/dev/sda1

485M

37M

423M

9%
/boot

/dev/mapper/vg_node006-lv_home

852G

200M

809G

1%
/home

172.16.20.19:/export/primary

197G

9.8G

178G

6%
/mnt/bf4b1152-4359-3311-be2c-8b2271948d00

[root@node006
~]#
ls
-lsa
/mnt/bf4b1152-4359-3311-be2c-8b2271948d00

合計
715248

4
drwxr-xr-x.

3
root
root

4096
11月
26
21:44
2012
.

正しくroot:rootでmountされていることを確認しましょう
Reserved.
17

CloudStack Tips編
仮想ルータにホストからsshできます
[root@node006
~]#
ssh
-i
.ssh/id_rsa.cloud
169.254.3.116
-p
3922

Linux
r-5-VM
2.6.32-5-686-bigmem
#1
SMP
Mon
Jan
16
16:42:05
UTC
2012
i686

The
programs
included
with
the
Debian
GNU/Linux
system
are
free
software;

the
exact
distribution
terms
for
each
program
are
described
in
the

individual
files
in
/usr/share/doc/*/copyright.

Debian
GNU/Linux
comes
with
ABSOLUTELY
NO
WARRANTY,
to
the
extent

permitted
by
applicable
law.
root@r-5-VM:~#
date;
ifconfig
–a

eth0

Link
encap:Ethernet

HWaddr
02:00:6b:3d:00:02

Last
login:
Sun
Dec

9
14:20:04
2012
from
169.254.0.1

inet
addr:10.1.1.1

Bcast:10.1.1.255

Mask:255.255.255.0

Linux
r-5-VM
2.6.32-5-686-bigmem
#1
SMP
Mon
Jan
16
16:42:05
UTC
2012
i686

UP
BROADCAST
RUNNING
MULTICAST

MTU:1500

Metric:1

RX
packets:11592
errors:0
dropped:0
overruns:0
frame:0

TX
packets:8741
errors:0
dropped:0
overruns:0
carrier:0

The
programs
included
with
the
Debian
GNU/Linux
system
are
free
software;

collisions:0
txqueuelen:1000

RX
bytes:972709
(949.9
KiB)

TX
bytes:2582211
(2.4
MiB)

the
exact
distribution
terms
for
each
program
are
described
in
the

individual
files
in
/usr/share/doc/*/copyright.
eth1

Link
encap:Ethernet

HWaddr
0e:00:a9:fe:03:74

inet
addr:169.254.3.116

Bcast:169.254.255.255

Mask:255.255.0.0

UP
BROADCAST
RUNNING
MULTICAST

MTU:1500

Metric:1

Debian
GNU/Linux
comes
with
ABSOLUTELY
NO
WARRANTY,
to
the
extent

RX
packets:12285
errors:0
dropped:0
overruns:0
frame:0

TX
packets:10166
errors:0
dropped:0
overruns:0
carrier:0

permitted
by
applicable
law.

collisions:0
txqueuelen:1000

root@r-5-VM:~#

RX
bytes:1937229
(1.8
MiB)

TX
bytes:1915520
(1.8
MiB)

Reserved.
18

CloudStack Tips編
仮想ルータにホストからsshできます
VMware vSphereの場合はホストからではなく管理理サーバからログイン

# ssh -‐‑‒i /var/lib/cloud/management/.ssh/id_̲rsa -‐‑‒p 3922 root@リンクローカルIP

Proxy Console VM
Secondary Storage VMも同様の⽅方法でsshできます

Reserved.
19

CloudStack Tips編
CloudStackで利利⽤用するDBでよく参照するtable

Reserved.
20

CloudStack Tips編
ログの調べ⽅方
例例）DeployVM
[root@manager01
management]#
zcat
management-server.log.2012-12-12.gz
|
grep
DeployVM

2012-12-12
02:11:07,436
DEBUG
[cloud.async.AsyncJobManagerImpl]
(catalina-exec-5:null)
submit
async
job-56,
details:

AsyncJobVO
{id:56,
userId:
2,
accountId:
2,
sessionKey:
null,
instanceType:
VirtualMachine,
instanceId:
7,
cmd:

com.cloud.api.commands.DeployVMCmd,
cmdOriginator:
null,
cmdInfo:
{"sessionkey":"xC3F7odnUaqCSIiLnl4RO7gH5gQ
u003d","ctxUserId":"2","serviceOfferingId":"35690ace-f8cd-472f-
b587-1812ddd379aa","zoneId":"928e3322-2854-4246-8264-9d17c7c05a35","templateId":"b30d7821-f7db-468c-9a8a-
cd57a8bf4a8b","response":"json","id":"7","networkIds":"302929d8-9bbf-4465-bbb9-
fd610fc96860","hypervisor":"KVM","name":"test03","_":"1355245866228","ctxAccountId":"2","ctxStartEventId":"214","disp
layname":"test03"},
cmdVersion:
0,
callbackType:
0,
callbackAddress:
null,
status:
0,
processStatus:
0,
resultCode:

0,
result:
null,
initMsid:
90520734315668,
completeMsid:
null,
lastUpdated:
null,
lastPolled:
null,
created:
null}

2012-12-12
02:11:07,442
DEBUG
(Job-Executor-31:job-56)
Executing

com.cloud.api.commands.DeployVMCmd
for
job-56

2012-12-12
02:11:21,078
DEBUG
(Job-Executor-31:job-56)
Done
executing

com.cloud.api.commands.DeployVMCmd
for
job-56

Reserved.
21

CloudStack Tips編
Job番号でtrace
例例) DeployVMのjob番号「job-‐‑‒56」で処理理を追ってゆく

Reserved.
22

CloudStack Tips編
削除したVMがなかなか消えない
例例) 検証環境などリソースが少ない環境で削除したVMを
　　完全に削除したい　

秒数で指定

[root@manager01
~]#
/etc/init.d/cloud-management
restart

グローバル設定変更更後は再起
Stopping
cloud-management:

[

OK

]
動を忘れずに
Starting
cloud-management:

[

OK

]

Reserved.
23

CloudStackユーザ会

つかもうぜ！　 CloudStack
世界でいっとー　スリルなIaaS
さがそうぜ！　 CloudStack
世界でいっとー　ユカイなIaaS
Cloudはでっかい宝島
　　　そうさ今こそユーザ会
今日は参加できずに

残念

／）(
◕
‿‿
◕
)（＼

⽇日本CloudStackユーザ会
事務局⻑⾧長：荒井康宏 24

ご静聴ありがとうございました

CloudStackユーザ会 OSC.cloud

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to CloudStackユーザ会 OSC.cloud

Similar to CloudStackユーザ会 OSC.cloud (20)

More from samemoon

More from samemoon (20)

CloudStackユーザ会 OSC.cloud