VIOPS07: 分散ブロックストレージ Sheepdog 〜プロダクト品質に向けて〜 日本電信電話株式会社 NTT ソフトウェアイノベーションセンタ 森田 和孝 2012年7月20日(金曜日)10：00-18：00 VIOPS07 WORKSHOP Virtualized Infrastructures Workshop [07]

1. 分散ブロックストレージ Sheepdog
〜プロダクト品質に向けて〜
VIOPS07 WORKSHOP
2012年7月20日
NTT ソフトウェアイノベーションセンタ 森田 和孝

2. Copyright (C) 2012 NTT Corporation 2
Sheepdog とは
● PCクラスタ型のブロックストレージシステム
● ユーザに任意のサイズの仮想ディスクを提供
● 仮想化ソフトウェア QEMU/KVM では標準サポート
● libvirt や OpenStack などの管理ソフトからも利用可能
● QEMU 以外からも, iSCSI, NBD (network block device),
ファイルシステムとしてアクセス可能
Sheepdog クラスタ
Amazon EBS の機能
Isilon のアーキテクチャ
をオープンソースで実現

3. Copyright (C) 2012 NTT Corporation 3
全体構成
● QEMU/KVM を対象
● ライブマイグレーション
可能
● イーサネットで動作可能
● ネットワークが分断して
もデータ一貫性を保証
● 汎用のPCサーバのみで
動作
● 数千台まで拡張可能
● 単一障害点なし
● 自律運用可能
● スナップショット・クロー
ン機能
● 任意の冗長度・サイズ
で作成可能
● 仮想ディスク作成後で
もサイズの拡張が可能
仮想化環境
Sheepdog クラスタ
仮想マシン
ホストマシン
仮想ディスク
イーサネット
スイッチ
ストレージ
マシン

4. Copyright (C) 2012 NTT Corporation 4
コミュニティの現状
● Ml登録者数 (2012/6 現在)
● 248 人
● 一ヶ月のパッチ数（2012/5）
● 183 件 (うち 171 件が外部開発者)
● 一ヶ月のML投稿数(2012/5)
● 1083 件
● コミッター
● 2名 (NTT, Taobao)
● 開発者
● 21 名
ML投稿数の推移
ML投稿数

5. Copyright (C) 2012 NTT Corporation 5
事例
● ElasticHosts
● イギリスのパブリッククラウドを提供する会社
● 実サービスでSheepdogを利用している
● Taobao
● 中国最大のECサイトを提供する会社
● 1000 台規模の Sheepdog 検証を行っている
● 現在の Sheepdog 開発の中心
● 某ベンチャー企業
● 大規模プライベートクラウドを提供する会社
● Linuxカーネル開発, ストレージ開発で著名な Christoph が開発に
参加している

6. Copyright (C) 2012 NTT Corporation 6
1000 台規模における性能評価
Sheepdog クラスタ (物理 96 台, 仮想 960 台)
- HP ProLiant BL460c G1
- Intel Xeon E5410 2.33GHz
- 8 GB RAM
- 150GB SAS x 2 (raid0)
- Gigabit Ethernet x 2 (bonding)
ZooKeeper クラスタ (5 台)
（マシンスペックは Sheepdog クラスタと同一）
仮想マシン
- QEMU/KVM
- 2 cpu
- 2 GB RAM
- 80 GB Sheepdog disk
- virtio-net

7. Copyright (C) 2012 NTT Corporation 7
I/O 性能
● VM 台数に対して, トータル性能が線形にスケールする
● 各 VM から見ると, raw ディスクを直接使う場合に比べて8割強の性能が得られる
シーケンシャル read (ブロックサイズ 4 KB) シーケンシャル write (ブロックサイズ 4 KB)
トータルI/O数/秒
トータルI/O数/秒
VM 数 VM 数

8. Copyright (C) 2012 NTT Corporation 8
ストレージサーバの障害試験
● サーバ 960 台中, 10
台 (1 ゾーン) の障害
を試験したところ, 約
7 分で, データの復旧
完了
● 復旧完了までの時間
が, サーバごとにばら
つきがある点が問題
経過時間
マシン番号

9. Copyright (C) 2012 NTT Corporation 9
過負荷時におけるサーバ追加／離脱
● VM 内で負荷 (qemu の
build) をかけている状態で,
サーバ 960 台中, 10 台 (1
ゾーン) の障害を試験したと
ころ, 各サーバは平均約 45
分でデータの復旧が完了.
● 950 台中, 35 台のサーバが
落ちてしまっているが, 最新
バージョンの Sheepdog では
修正済
● データ復旧中に VM の性能
が落ちてしまうことが課題
マシン番号
経過時間

10. Copyright (C) 2012 NTT Corporation 10
まとめ
● Sheepdog は, ノウハウがあれば十分運用可能なレベルまで品質が
上がってきました
– 1000 台規模でも動きます
– 日本でも積極的な試用、評価をお待ちしてます
– 今年末ごろに安定版 (Sheepdog 1.0) をリリース予定です
● Sheepdog は信頼性, 拡張性, 管理容易性の実現を目指した分散
ブロックストレージシステムです
– クラウドストレージのデファクトスタンダードを目指しています
● その他の情報
– Project site: http://www.osrg.net/sheepdog/
– Mailing list
● Developers: sheepdog@lists.wpkg.org
● Users: sheepdog-users@lists.wpkg.org
– Wiki: https://github.com/collie/sheepdog/wiki