141030ceph

分散仮想ストレージシステム
またはSoftware Defined Storage
ご紹介資料
OSSラボ株式会社
2014/10/30
14/10/30Copyright 2014(C) OSS Laboratories Inc. All Rights 1
Reserved
http://www.ossl.co.jp
TWITTER: http://twitter.com/satoruf
LINKEDIN: http://jp.linkedin.com/in/satorufunai/ja
SLIDESHARE: http://www.slideshare.net/sfunai
FACEBOOK: http://www.facebook.com/satoru.funai

仮想ストレージとは
l 仮想ストレージの階層
l Disk Virtualization （ディスクの仮想化）:論理ブロック(LBA)
l Block Virtualization （ブロックの仮想化）:LVM/RAID
l File Virtualization （ファイルの仮想化）：VFS
l File System Virtualization （ファイルシステムの仮想化）
(SNIA（Storage Network Industry Association）が作成したストレージ仮想化技術の分類)
l ファイルシステムの仮想化：
l クラスタ/グリッドファイルシステム／仮想ストレージ／Software Defined Storage, etc.
l ユーザからはサーバや記憶装置の多様性と分散が隠蔽され、単なるボリュームや
ファイルとして扱える透過性を持つ。
l 商⽤用製品例
l EMC ViPR, scaleIO
l VMware VSAN
l Datacore SANSymphony-V
l NexentaStor
l Cleversafe/Amplidata
l 分散ファイルシステムは、レプリケーションによるフォールトトレラント性強化
を⽬目指したもの、並列化による性能強化を⽬目指したもの、両⽅方を同時に実現しよ
うと設計されたものがある。
14/10/30
Copyright 2014(C) OSS Laboratories Inc. All Rights 2
Reserved

分散仮想ストレージのアーキテクチャ
l メタデータ管理
l 集中管理型／分散管理型、フォールトトレランス、スケールアウト
l ネーミング
l データ格納場所とオブジェクトIDのマッピングアルゴリズム
l クライアントアクセス
l POSIX/FUSE/Block/REST
l キャッシングと⼀一貫性保持
l WORM/Transactional locking/Leasing
l レプリケーション／同期⽅方式
l 同期／⾮非同期、Read only/Read/Write、CAP定理、PAXOS
l ロードバランス
l データ偏在の⾃自動修正
l ⾃自⼰己修復機能（Self Healing）
14/10/30
Reserved

いろいろあります
14/10/30
Copyright 2014(C) OSS Laboratories Inc. All Rights
Reserved
4
製品名開発主体ライセンス
Amage クリエーションライン株式会社プロプライエタリ
Ceph Inktank LGPL2
Chiron FS luisfurquim@gmail.com GPL3
Cloudian クラウディアン株式会社プロプライエタリ
CloudStore/Kosmosfs/Quantcastfs Quantcast Apache License 2.0
Cosmos Microsoft internal 非公開
dCache DESY and others プロプライエタリ
FraunhoferFS (FhGFS) Competence Center for High Performance Computing FhGFS license
FS-Manager CDNetworks プロプライエタリ
General Parallel File System(GPFS) IBM プロプライエタリ
Gfarm file system 筑波大学/産業技術総合研究所 BSD
GlusterFS Gluster, a company acquired by Red Hat GPL3
Google File System(GFS) Google 非公開
Hadoop Distributed File System ASF, Cloudera, Pivot, Hortonworks, WANdisco, Intel Apache License 2.0
IBRIX Fusion IBRIX プロプライエタリ
LeoFS 楽天技術研究所 Apache License 2.0
Lustre
originally developed byCluster File System and currently supported
by Intel(formerly Whamcloud)
GPL

分散ファイルシステムの種類
14/10/30
Reserved
5
分類概要例
分散ファイルシステム複数のホストがコンピュータネットワークを経
由して共有しつつファイルにアクセスすること
を可能にする。複数のサーバ上に配置された
ファイルを、論理的に構造化された 1つ以上の
名前空間で透過的にアクセスできる。
Amazon S3
Andrew File System
(AFS) etc.
分散フォールト
トレラント
ファイルシステム
データを複製する事により、分散ファイルシス
テムを構成する要素に障害が発⽣生しても、デー
タ喪失する事なくアクセスが継続できる。
Microsoft DFS
Moose FS, etc.
分散並列
データを細かく分割し、分散ファイルシステム
上の各ホストに分散配置する事により、性能を
スケールアウトできる。
FraunhoferFS
(FhGFS)
PVFS/OrangeFS
etc.
分散並列フォールト
トレラント
上記全ての機能を備えたファイルシステムCeph
GlusterFS
sheepdog, XtreemFS
etc.

Cephの歴史
6
RHEL-OSP
Certification
FEB 2014
OpenStack
Integratio
n 2011
MAY 2012
Launch of
Inktank
2010
Mainline
Linux
Kernel
Open
Source
2006
2004
Project
Starts
at
UCSC
Production
Ready
Ceph SEPT
2012
Xen
Integration
2013
2012
CloudStack
Integration
OCT 2013
Inktank Ceph
Enterprise
Launch
APR 2014
Inktank
Acquired by
Red Hat
Copyright © 2014 by Inktank

Ceph開発者数の推移
14/10/30
Reserved
7

Cephの特徴
l ベンダフリー
l 汎⽤用PCサーバ／汎⽤用OS(Linux)を使⽤用
l 特別なハードウェア不要
l オープンソース
l フォールトトレラント
l スケールアウト
l 汎⽤用プロトコル
l POSIXファイルシステム
l ブロックデバイス
l REST(AWS S3/SWIFT互換)
l WAN越しリモートレプリケーション（RGWのみ）
l RW同期(LANのみ）
14/10/30
Reserved

Cephのアーキテクチャ
APIKernel
Client
RADOS
Reliable, Autonomous, Distributed Object Store

MonitorsOSDsMDS
MonitorsOSDsMDS
MonitorsOSDsMDS
vfs
ブロックデバイ
スドライバ
ブロック
デバイス
9
CephFS

POSIX互換ファイ
ルシステム
Kernel-client及び
FUSE-clientから
使⽤用できる
Librados

C, C++, java,
Python, Ruby, PHP
からRADOSに
アクセスできるAPI
ライブラリ
RADOSGW
(RADOS
Gateway)

AWS S3及び
OpenStack
SWIFT互換の
REST APIを提供
するhttpプロキシ
RBD
(RADOS Block
Device)

Linuxカーネルか
らRADOSをブロッ
クデバイスとして
使⽤用できる
ノード
ブロック
デバイス
APIQEMU
/KVM
Kernel
Client
FUSE
Client
File system
ノード
File system
vfs
ブロックデバイ
スドライバ
ブロック
デバイス
ブロック
デバイス

CALAMARI
10

従来型ストレージとの違い
14/10/30
従来型ストレージCephストレージ
TCP/IPTCPが通れば
Reserved
11
Hypervisor
VM
⾼高価
VM
VM
FC/iSCSI SAN
RAID
ストレージ
Hypervisor
VM
VM
VM
RAID
ストレージ
筐体障害対応には
⼆二重化必要
スケールアップ
拡張に１ヶ⽉月？
Hypervisor
VM
安価
VM
VM
汎⽤用サーバ
Linux
Hypervisor
VM
VM
VM
汎⽤用サーバ
Linux
筐体障害対応は、不要
（最低３台以上）
スケールアウト
追加に数分
良い
ローリング
アップグレード
無停⽌止保守
FWアップ
グレード時
停⽌止

ブロックデバイスのマウント⽅方法
物理サーバ
QEMU/KVM
14/10/30
物理サーバ
Hypervisor
VM
Linux
Kernel
Kernel
ClientClient
librbd
Reserved
12
RBD
(RADOS Block Device)
VM
物理サーバ
Linux
アプリケー
ションアプリケー
ション
アプリケー
ション
Linuxページ
キャッシュを使⽤用ユーザースペース
モジュール
LinuxのみサポートRBD Cacheを使⽤用
カーネルスペース
モジュール
Hypervisorの種類
は問わない
VM OSの種類は
問わない
Hypervisorの種類は
QEMU/KVMのみ

キャッシュ・ティアリング
Read/WriteWriteRead
CEPH STORAGE CLUSTER
SSD
HDD

Erasure coding（イレージャーコーディング）
l Erasure Coding：定訳はないが、「消失符号」あるいは「消失訂正符号」という訳語も⼀一
部で使われている。
l オブジェクトを分割して消失訂正符号を付加し、物理的に異なるノードに分散して格納す
ることで、その分割したデータのいくつかが消失した場合でも、元のオブジェクトを復元
することができる⼿手法で、マイクロソフトのAzureストレージにも採⽤用されている技術。
l 実装の仕組みは複数のアルゴリズムが⽤用意されているが、⼀一般的にオブジェクトの容量に
対して20%~40%程度の符号を付加すれば良いことから、レプリケーション（複製）に⽐比
べ物理的なディスクの利⽤用効率(実効容量)が⾼高い。
l ただし、オブジェクトの書き込みの都度、符号化処理を⾏行行うので、パフォーマンスが劣化
する可能性があり、ディスクの利⽤用効率を優先する⼤大規模案件やパフォーマンスを要求し
ないアーカイブ⽤用途などに適している。
Erasure Codingレプリケーション
利⽤用効率(2ディスク障害
での保証)
約140%200%
CPU使⽤用率HighLow
読み書き速度遅い速い

Replication vs ERASURE CODING
15
CEPH STORAGE CLUSTERCEPH STORAGE CLUSTER
Full copies of stored objects
One copy plus parity
§ Very high durability
§ Cost-effective durability
§ Quicker recovery
§ Expensive recovery

Multi-site Replication
オブジェクトストレージ(RADOSGW)
のみ対応
l 物理的ロケーションの離れた別ク
ラスターにメタデータとデータを
複製。
l 複製⽅方式は、マスター／スレーブ、
スレーブはRead Only
l 複製先は複数可能
l ディザスタリカバリー⽤用のバック
アップデータを保証する。
l ⼀一貫性はAP(Eventually
consistency)

14/10/30
Reserved

Cephのユースケース
Traditional
14/10/30
Ceph
Target
NAS Object
Content Store
(traditional NAS)
Reserved
17
Virtualization and
Private Cloud
(traditional SAN/NAS)

High Performance
(traditional SAN)
CapacityPerformance
IT
Cloud
Application
s
XaaS Compute Cloud
Open Source Block
XaaS Content Store
Open Source NAS/Object
Ceph Target

Webオブジェクトストア
18
S3/SwiftS3/SwiftS3/SwiftS3/Swift

共有ファイルシステム
19
Native
Protocol
Native
Protocol
Native
Protocol
Native
Protocol

バックアップ／コールドストア
CEPH STORAGE CLUSTER
Copyright © 2014 by Inktank20

災害対策
21
CEPH STORAGE CLUSTERCEPH STORAGE CLUSTER
Site ASite B

VMイメージ
22
Native
Protocol
Native
Protocol
Native
Protocol
Native
Protocol

参考情報
14/10/30
Reserved
23
http://www.mellanox.com/related-docs/whitepapers/
WP_Deploying_Ceph_over_High_Performance_Networks.pdf

参考情報
14/10/30
2,419MB/sec (8M Seq. READ)
110k IOPS (4k Seq. READ)
Reserved
24

Incremental Object size test One Client ‒
180 OSDs, 1 x replicated pool
Monitor Nodes
Private Network (192.168.50)
Client Node
OSD Nodes
Public Network (172.27.50)
3GB/s
1GB/s
12GB/s 6GB/s
http://www.slideshare.net/Inktank_Ceph/06-ceph-day-october-8th-2014-smc?qid=34fdee3f-a686-4738-b0b1-
a02032480876v=qf1b=from_search=5

Incremental Object size test One Client ‒ 180 OSDs,
1 x erasure coded pool (k=4,m=2)
Monitor Nodes
Private Network (192.168.50)
Client Node
OSD Nodes
Public Network (172.27.50)
3GB/s
1GB/s
12GB/s 6GB/s

CEPH+OPENSTACKインテグレーション
27
VolumesEphemeral
Copy-on-Write Snapshots
RADOS CLUSTER

OPENSTACK USER SURVEY, 05/2014
28
DEV / QAPROOF OF CONCEPTPRODUCTION

Glance（イメージサービス）連携
RBD

/etc/glance/glance-api.conf

default_store=rbd
rbd_store_user=glance
rbd_store_pool=images
Store, Download
Glance Server
Image

Ceph COW clone
l COW:Copy-on-write
l ⾼高速なボリューム作成、低容量消費
14/10/30
Reserved
30
READ
クライアント
WRITE

Cinderボリューム作成
l Ceph COW cloneを使⽤用するため、⾼高速
14/10/30
Reserved
31

Cinder snapshot/backup on Ceph
l CephのRBD Snapshotを使⽤用
l RBD snapshotは、読み込み専⽤用
l Snapshotから、ブート可能なボリュームを作成（COW
clone）
l Cinder backup on Ceph
l 差分バックアップサポート（Ceph RBD snapshot）
l 異なるPG（ラック／ゾーン）を指定
14/10/30
Reserved
32

Cinder/Nova連携
ライブマイグレーション
VM
librbd
RBD

Nova/compute
VM
Libvirt
(QEMU/KVM)
Cinder Server
VM
Boot from volume
ボリューム作成／接続
VolumeImage
Copy-on-write clone
librbd
VM
Libvirt
(QEMU/KVM)

SWIFT/Keystone連携
SWIFTのバックエンドとしてCeph RADOS GWを使⽤用
Keystone Server
RADOSGW
RESTful Object Store
Query token
Access with token
Grant/revoke

OpenstackでのCeph使いどころ
プロダクション構成例
外部HA Proxy
NW
14/10/30
Public管理ストレージ
Ceph
Reserved
35
l コントローラノード
l RBDカーネルクライアントを使⽤用し、
下記ファイルをCeph上にマウント
l データベースファイル
l 各種テンポラリファイル
l 各種設定ファイル
l ログ
l Cinder/Glance
l 各コンピュートノードにlibrbdを設定
し、イメージ、ボリュームとして使⽤用
する
l Swift
l RADOS GWを使⽤用し、バックアップ
置き場とする
HA Proxy
コントローラ
10gb
同期
コントローラ
Ceph
ネットワーク
Ceph
ネットワーク
コンピュート

OpenStack+Cephのメリット
l OpenStack 全体の可⽤用性の向上
l MySQL のデータさえダンプ取得すれば、リストア可能
l OS イメージ・スナップショットは Ceph 上にあ
るのでバックアップ不要
l Compute ノード上のインスタンスデータは
Ceph のスナップショットから復旧
l Network ノードは分散・冗⻑⾧長可能、データのバッ
クアップは不要
l 最⼩小構成（３ノード）から始めて、スケールアウ
ト可能
14/10/30
Reserved
36

OPENSTACK ADDITIONS
l JUNO
l Enable Cloning for rbd-backed ephemeral disks
l KILO
l Volume Migration from One Backend to Another
l Implement proper snapshotting for Ceph-based ephemeral
disks
l Improve Backup in Cinder

CoreOS とCeph
l CoreOSとは
l CoreOS は Alex Polvi が設⽴立立した会社であり、OS、新しい Linux Distribution である。OSS で公開されている。
l CoreOS は Google や Facebook などの環境を参考にしており、柔軟にスケールし、さらにはインフラ構築そのもの
のプロセス⾃自体も効率よく合理的に⾏行行えるよう設計されている。
l また運⽤用、管理（セキュリティ）におけるコストを必要最低限に抑えるようにも考えられている。
l CoreOS の⼤大きな特徴
l ⼩小さくかつ堅牢なコア
l 安全なアップデート
l アプリケーションコンテナ ( Docker専⽤用 )
l クラスタリング
l 分散システムツール
l カスタマイズ可能な SDK
l Docker環境ではDBファイル等を保存する永続データストアは、各ホストのローカ
ルストレージに置いてしまうとコンテナがホストを移動できなくなってしまうので、
外部共有ストレージを使う必要がある
l AWS/GCP等のパブリッククラウドでは、⽬目的に応じてストレージサービスを選べ
ばいい訳だが、ローカル環境では耐障害性を考慮した外部共有ストレージを⽤用意す
る必要がある
l ⼀一番簡単なのは、Ceph-FUSEを使ってPOSIXファイルシステムとして直接マウン
トする⽅方法だが、CoreOSでは423.0.0からCephブロックデバイスカーネルモ
ジュールが追加された
14/10/30
Reserved
38

CoreOS インテグレーション
http://qiita.com/satoruf/items/437d634c70bb8e501b69
14/10/30
Kernel
Client
Kernel
Client
フェイルオーバ
マウント
Reserved
39
RBD
(RADOS Block Device)
CoreOS
Docker
コンテナ
librbd
CoreOS
Docker
コンテナ
librbd
/dev/rbd

CEPH ROADMAP as of 2014/10
40
2014/11
2015/3?
GiantHammerI-Release

GIANT
41
§ Tree frozen September 9
§ 0.85 dev release includes
§ RDMA support groundwork
§ Improved SSD performance
§ Improvements to stand alone
civetweb-based RGW frontend
§ New ‘osd blocked by’ command
§ 0.86 released 07 Oct (Giant
RC)
§ Low level OSD debugging tool
§ Local repairable codes (LRC)
§ Librados locking refactor
§ MDS and mon improvements

RBD
42
l Client-side caching
l (Now enabled by default!)
l New option that makes cache
write-through until “flushed”
l Eucalyptus support
l https://
mdshaonimran.wordpress.com/
2014/09/17/eucalyptus-block-storage-
service-with-ceph-rbd/

RGW
43
l Stand-alone civetweb
front end
l Civetweb ‒ embedded C/C+
+ web server
l No need for Apache
overhead, dependencies, etc

CEPHFS
44
l Lots of activity!
l 1/3 of core team assigned here
l A lot of outside commits
l Inktank / Red Hat team using
CephFS internally on QA
infrastructure
l Sanding rough edges
l “Not Supported” vs “Not
Ready”
l Feedback encouraged

CephFS Dogfooding
l Using CephFS for internal build/test lab
l 80 TB (80 x 1 TB HDDs, 10 hosts)
l Old, crummy hardware with lots of failures
l Linux kernel clients (ceph.ko, bleeding edge kernels)
l Lots of good lessons
l Several kernel bugs found
l Recovery performance issues
l Lots of painful admin processes identified
l Several fat fingers, facepalms
14/10/30
Reserved
45

参考資料
l Openstack+Cephインテグレーション紹介
l http://www.slideshare.net/sfunai/openstackceph
l Cephベンチマークをしました
l http://www.slideshare.net/sfunai/ceph-33123790
l Openstack+Ceph設定ガイド
l http://www.slideshare.net/sfunai/
openstackceph-39609805
l Ceph/GlusterFS/XtreemFSの検証報告
l https://s3-ap-northeast-1.amazonaws.com/cloudconductorwpupdate/whitepaper/
%E5%88%86%E6%95%A3%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB
%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AEWAN%E8%B6%8A
%E3%81%88%E5%90%8C%E6%9C%9F%E3%83%AC%E3%83%97%E3%83%AA
%E3%82%B1%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%AE
%E6%A4%9C%E8%A8%BC.pdf
14/10/30
Reserved
46

⽇日本Cephユーザー会
l メーリングリスト
l https://groups.google.com/forum/#!forum/
ceph-jp
l cephユーザー会で検索して下さい。
14/10/30
Reserved
47

Cephアプライアンス登場!!
14/10/30
Reserved
最小構成標準価格（税別）：
4,409万7,000円から
48

141030ceph

Recommended

Recommended

More Related Content

What's hot

What's hot (19)

Similar to 141030ceph

Similar to 141030ceph (20)

More from OSSラボ株式会社

More from OSSラボ株式会社 (20)

Recently uploaded

Recently uploaded (10)

141030ceph