SlideShare a Scribd company logo
1 of 26
Download to read offline
ConoHa、OpenStack SwiftでObject 
Storage始めました。 
~ ConoHaのOpenStack Swift環境について~ 
GMOインターネット株式会社 
システム本部 
郷古直仁 
OSC Tokyo 2014/Fall 2014-10-19 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
自己紹介 
•郷古直仁(@naoto_gohko) 
•所属:GMOインターネット システム本部 
第二サービス開発部 オープンコンピューティングチーム 
•ConoHaサービスの開発運用、GMOアプリクラウドの 
サービスの開発運用、お名前.com VPS KVMの運用な 
どクラウド系サービスのお仕事、OpenStack関係 
• Ingressは… 緑だけど… 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
自己紹介 
•美雲このは(@MikumoConoHa) 
•クラウドのようなVPS「ConoHa」の応援団長 
•データセンターの座敷童子 
•年齢: 13歳くらい? 
•身長: 150cm+α 
•https://www.conoha.jp/blog/conoha 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
ConoHa webのリニューアル 
https://www.conoha.jp/ 
•上記URLにアクセスすると、会社で開いても落ち着いて見 
られるデザインに(このはのダークスーツ姿ではなかったw) 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
ConoHa webのこのは仕様 
https://www.conoha.jp/conoha 
•上記URLにアクセスすると、新しいConoHaデザイン 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. 
デザイン設定 
切り替え
ConoHa webのリニューアル 
https://www.conoha.jp/ 
•リニューアルとともに、OpenStack Swiftを使った 
Object Storageのサービスが追加されました 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
オブジェクトストレージ 
始めました(2014/09~) 
•OpenStack Swiftを使った 
Object Storage 
•RESTful httpsアクセス可能な分 
散ストレージシステム 
•450円/100GB単位から 
転送量無制限、容量上限なし 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
OSC Tokyo 2014/Fall 
•OpenStack関係のセミナー多し!!
オブジェクトストレージとは? 
•ファイルオブジェクトの格納場所はコンテ 
ナ(バケット)などの格納領域の中にフラッ 
トに配置される 
•ファイルシステムなどに見られるディレ 
クトリ構造とは対照的 
•オブジェクトの格納されるストレージ領域 
は冗長性と分散性を持つ 
•レプリカの数やキャッシュの工夫により 
webの配信エンジンとしての利用も 
•アクセスにはRESTfulなwebの仕組みを 
利用する場合がほとんど 
•メタデータのアクセスにhttpを利用 
file filestack 
file 
filestack
OpenStack Swiftとは? 
•オブジェクトの格納領域はAccount, 
Container, Objectの3サービスにより管理 
される 
•Swift Proxyサービスがオブジェクトの保存 
情報をAccount, Containerに保存、実オ 
ブジェクトはObjectサービスに保存 
•認証サービスには主にKeystoneを利用する 
•メタデータなどの機能pluginはSwift Proxy 
に入れることで、機能が拡張できる 
•システムの独立性が高いので、メジャーバージョ 
ンアップしやすい 
•SoftLayer, HPCloud, CloudVPS 
rackspace cloudfiles などと共通 
swift container 
swift account 
swswiftif to bojbejcetcsts 
swift proxy 
keystone 
plugin ratelimit 
plugin s3swift 
plugin static web 
plugin … … 
swift proxy keystone 
swift container 
swift account 
swswiftif to bojbejcetcsts
OpenStack Swift: ConoHa 
•OpenStack Havana 
Swift 1.12 
•5 zones 
•3 copy objects 
•keystone auth 
ConoHa (Grizzly) 
GMO Apps Cloud (Havana) 
=>> Swiftと認証系のOpenStack 
が違います
ConoHaのObject Storageの構成の秘密: 1 
•実は、OpenStack Swift上、データ領域はGMOアプリ 
クラウド(OpenStack Havana)と同居している 
=>> tenant_id(user)がそれぞれのkeystoneで重複し 
ないことが条件 
swift proxy keystone swift proxy keystone 
swift container 
swift account 
swift container 
swift account 
swift container 
swift account 
swift container 
swift account 
swift container 
swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. 
swift account 
Havana Grizzly 
Havana
ConoHaのObject Storageの構成の秘密: 1 
•Storage Clusterを共有するメリット 
=>> OpenStack SwiftはScale outさせるほうがメリッ 
トが高い 
=>> 共通化することで、コストメリットも 
swift proxy keystone swift proxy keystone 
swift container 
swift account 
swift container 
swift account 
swift container 
swift account 
swift container 
swift account 
swift container 
swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. 
swift account 
Havana Grizzly 
Havana
ConoHaのObject Storageの構成の秘密: 1 
•Storage Clusterを共有するメリット 
おなじOpenStack Swiftを使う 
=>> 利用方法など、ノウハウがたまり、提案しやすくなる 
Havana Grizzly 
swift proxy keystone swift proxy keystone 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
ConoHaのObject Storageの構成の秘密:2 
•構成のチューニングとしては、Account, Containerの 
両方のサービスは分散メタデータ型データベースとして動 
作するので、CPU、Disk IOに注意する(SSD以上の高速 
ストレージ、CPUのObjectサービスとの分離) 
swift proxy keystone swift proxy keystone 
swift container 
swift account 
swift container 
swift account 
swift container 
swift account 
swift container 
swift account 
swift container 
swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. 
swift account 
Havana Grizzly 
Havana
ConoHaのObject Storageの構成の秘密: 3 
•Network構成はFull 10Gbps Network 
Universal service for ConoHa and GMO Apps cloud Unit8 (Physical Layer) 
reverse-proxy01 reverse-proxy02 
MicroNode 
x2 
swift-proxy02 
IBM Xeon E5 
CPU 2 socket 
GMO Apps cloud Unit8 (Physical Layer) the Internet 
Reverse proxy 
nginx vm instances 
proxy node network 
account03 
account04 
account05 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. 
Object storage/glance global network 
LVS DSR 
(act-stdby) 
elvs01 
elvs02 
Storage node network 
proxy node network 
account01 
Replication network 
swift-proxy01 
account02 
Manage/IPMI network (Object Storage only) 
the Cloud 
(Internet) 
Reverse proxy 
HAProxy 
Reverse proxy 
HAProxy 
swift-proxy 
swift-proxy 
LVS 
pacemaker 
LVS 
pacemaker 
zone 01 zone 02 zone 03 zone 04 zone 05 
MicroNode 
x2 
sdata01 sdata02 sdata03 sdata04 sdata05 
sdata06 sdata07 sdata08 sdata09 sdata10 
LVS 
pacemaker 
nfv-lvs01 
LVS 
pacemaker 
nfv-lvs02 
LVS DSR 
(act-act) 
vm instances 
x2 
keystone API 
keystone DB MySQL 
keystone token kvs 
(mysql memcache IF) 
MariaDB 
Galera cluster 
Manage network (Unit8 Compute) 
Reverse proxy 
nginx 
x2 
keystone01 
keystone02 
api-app01 
api-app02 
nova API 
cinder API 
ceilometer API 
vm instances 
x2 
vm instances 
x2 
keystone-db01 
keystone-db02 
MySQL DB 
api-reverse-proxy01 api-reverse-proxy02 
container 
account 
container 
account 
container 
account 
container 
account 
container 
account
ConoHaのObject Storageの構成の秘密: 4 
•提供URL EndpointはHTTPS 
SSL TerminationにはHAProxyを利用 
(HAProxy 1.5からHTTPS利用可能です) 
swift proxy keystone swift proxy keystone 
swift container 
swift account 
Havana Grizzly 
swift container 
swift account 
swift container 
swift account 
swift container 
swift account 
swift container 
swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. 
swift account 
Havana 
revers proxy revers proxy
HAProxy 1.5 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
nginx (keystone API;reverse proxy) 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
どうやって使うの>< 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
利用例 01: WordPress pluginからのFull backup; UpdraftPlus 
•WordPressのpluginでweb, DBのfull backupが 
Object Storageに取得できるplug in 
http://updraftplus.com 
•plug inを入れて設定のみ 
Full backupなので、 
siteの複製にも使えます 
•URLが変わる場合には 
WordPressではfull 
pathで記載されるので 
注意が必要 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
利用例 02: ownCloud 
•Dropboxのように使えるownCloud serverには、 
OpenStack Swiftをバックエンドストレージとしてセッ 
トアップすることで、ownCloud自体の冗長性を拡張でき 
ます http://owncloud.org 
•ownCloudさんがセミナー、ブース出展していますので、 
そちらも見て下さい 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
利用例 03: StackSync 
•ownCloudと同様にDropbox的なインターフェースを提 
供するストレージサーバインターフェース 
http://stacksync.org 
•Atlanta 2014 
サミットで発表が 
あったOSS 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
今後のOpenStack Swift対応予定 
•OpenStack Swiftの継続的update (予定) 
Swift 1.12 =>> Swift 2.1 
•Swift pluginの追加機能 (予定) 
SwiftSync: swift to swiftのコンテナ同士の同期処理 
etc. 
•そして、さらなる使い方の共有 
このべん、勉強会、技術ブログに継続的に共有します 
Private CloudでSwiftを使う場合の参考にもどうぞ 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
オブジェクトストレージ、もう一度おさらい 
• 450円/100GB~ 
• 容量無制限、転送量課金なし 
• 使ってもらうほどスケールメリット 
効果が出るサービスです 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
では、つづいて、ひろのぶさんの 
OpenStack Swift使い方講座になります。 
Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.

More Related Content

Viewers also liked

OpenStack Swift production deployments
OpenStack Swift production deploymentsOpenStack Swift production deployments
OpenStack Swift production deploymentsAtul Jha
 
OpenStack Cinder Overview - Havana Release
OpenStack Cinder Overview - Havana ReleaseOpenStack Cinder Overview - Havana Release
OpenStack Cinder Overview - Havana ReleaseAvishay Traeger
 
OpenStack으로 바로보는 상용 클라우드 플랫폼
OpenStack으로 바로보는 상용 클라우드 플랫폼OpenStack으로 바로보는 상용 클라우드 플랫폼
OpenStack으로 바로보는 상용 클라우드 플랫폼Tae Young Lee
 
Virtualized network with openvswitch
Virtualized network with openvswitchVirtualized network with openvswitch
Virtualized network with openvswitchSim Janghoon
 
[오픈소스컨설팅] About Storage Cloud
[오픈소스컨설팅] About Storage Cloud [오픈소스컨설팅] About Storage Cloud
[오픈소스컨설팅] About Storage Cloud Ji-Woong Choi
 
A Guide to SlideShare Analytics - Excerpts from Hubspot's Step by Step Guide ...
A Guide to SlideShare Analytics - Excerpts from Hubspot's Step by Step Guide ...A Guide to SlideShare Analytics - Excerpts from Hubspot's Step by Step Guide ...
A Guide to SlideShare Analytics - Excerpts from Hubspot's Step by Step Guide ...SlideShare
 

Viewers also liked (7)

OpenStack Swift production deployments
OpenStack Swift production deploymentsOpenStack Swift production deployments
OpenStack Swift production deployments
 
Lecture 07 swift
Lecture 07 swiftLecture 07 swift
Lecture 07 swift
 
OpenStack Cinder Overview - Havana Release
OpenStack Cinder Overview - Havana ReleaseOpenStack Cinder Overview - Havana Release
OpenStack Cinder Overview - Havana Release
 
OpenStack으로 바로보는 상용 클라우드 플랫폼
OpenStack으로 바로보는 상용 클라우드 플랫폼OpenStack으로 바로보는 상용 클라우드 플랫폼
OpenStack으로 바로보는 상용 클라우드 플랫폼
 
Virtualized network with openvswitch
Virtualized network with openvswitchVirtualized network with openvswitch
Virtualized network with openvswitch
 
[오픈소스컨설팅] About Storage Cloud
[오픈소스컨설팅] About Storage Cloud [오픈소스컨설팅] About Storage Cloud
[오픈소스컨설팅] About Storage Cloud
 
A Guide to SlideShare Analytics - Excerpts from Hubspot's Step by Step Guide ...
A Guide to SlideShare Analytics - Excerpts from Hubspot's Step by Step Guide ...A Guide to SlideShare Analytics - Excerpts from Hubspot's Step by Step Guide ...
A Guide to SlideShare Analytics - Excerpts from Hubspot's Step by Step Guide ...
 

More from Naoto Gohko

ODC 2020 : "Rocky 8"
ODC 2020 : "Rocky 8"ODC 2020 : "Rocky 8"
ODC 2020 : "Rocky 8"Naoto Gohko
 
2019 0704 about ConoHa VM migration from C1 to C2
2019 0704 about ConoHa VM migration from C1 to C22019 0704 about ConoHa VM migration from C1 to C2
2019 0704 about ConoHa VM migration from C1 to C2Naoto Gohko
 
serverless openstack 101
serverless openstack 101serverless openstack 101
serverless openstack 101Naoto Gohko
 
2018 04-14-cockroachdb-20-now-available
2018 04-14-cockroachdb-20-now-available2018 04-14-cockroachdb-20-now-available
2018 04-14-cockroachdb-20-now-availableNaoto Gohko
 
2017 0715 osc17do conoha cloud osclient
2017 0715 osc17do conoha cloud osclient2017 0715 osc17do conoha cloud osclient
2017 0715 osc17do conoha cloud osclientNaoto Gohko
 
2017 0306 Apache OpenWhisk starting
2017 0306 Apache OpenWhisk starting2017 0306 Apache OpenWhisk starting
2017 0306 Apache OpenWhisk startingNaoto Gohko
 
Miracle Linux seminer Hatohol and ConoHa
Miracle Linux seminer Hatohol and ConoHaMiracle Linux seminer Hatohol and ConoHa
Miracle Linux seminer Hatohol and ConoHaNaoto Gohko
 
2016 1214-dev-night-vol1-in-tanita
2016 1214-dev-night-vol1-in-tanita2016 1214-dev-night-vol1-in-tanita
2016 1214-dev-night-vol1-in-tanitaNaoto Gohko
 
OSunC Chiba LT Ubuntu 14.04 to 16.04.1 upgrade with ConfigDrive cloud image
OSunC Chiba LT Ubuntu 14.04 to 16.04.1 upgrade with ConfigDrive cloud imageOSunC Chiba LT Ubuntu 14.04 to 16.04.1 upgrade with ConfigDrive cloud image
OSunC Chiba LT Ubuntu 14.04 to 16.04.1 upgrade with ConfigDrive cloud imageNaoto Gohko
 
Openstack days taiwan 2016 0712
Openstack days taiwan 2016 0712Openstack days taiwan 2016 0712
Openstack days taiwan 2016 0712Naoto Gohko
 
2016 0626 ubuntu 1604 LTS party LT
2016 0626 ubuntu 1604 LTS party LT2016 0626 ubuntu 1604 LTS party LT
2016 0626 ubuntu 1604 LTS party LTNaoto Gohko
 
OpenStack ComputingはHyper-Convergedの夢を見るのか?
OpenStack ComputingはHyper-Convergedの夢を見るのか?OpenStack ComputingはHyper-Convergedの夢を見るのか?
OpenStack ComputingはHyper-Convergedの夢を見るのか?Naoto Gohko
 
OpenStack cloud for ConoHa, Z.com and GMO AppsCloud in okinawa opendays 2015 ...
OpenStack cloud for ConoHa, Z.com and GMO AppsCloud in okinawa opendays 2015 ...OpenStack cloud for ConoHa, Z.com and GMO AppsCloud in okinawa opendays 2015 ...
OpenStack cloud for ConoHa, Z.com and GMO AppsCloud in okinawa opendays 2015 ...Naoto Gohko
 
2015 0807 ConoHa I am the bone of the OpenStack API CLI tool
2015 0807 ConoHa I am the bone of the OpenStack API CLI tool2015 0807 ConoHa I am the bone of the OpenStack API CLI tool
2015 0807 ConoHa I am the bone of the OpenStack API CLI toolNaoto Gohko
 
Janog36 ConoHa: Making GSLB - OpenStack Designate and PowerDNS
Janog36 ConoHa: Making GSLB - OpenStack Designate and PowerDNSJanog36 ConoHa: Making GSLB - OpenStack Designate and PowerDNS
Janog36 ConoHa: Making GSLB - OpenStack Designate and PowerDNSNaoto Gohko
 
Openstack summit walk DNSaaS 2015-0713 Summit LT
Openstack summit walk DNSaaS 2015-0713 Summit LTOpenstack summit walk DNSaaS 2015-0713 Summit LT
Openstack summit walk DNSaaS 2015-0713 Summit LTNaoto Gohko
 
2015 0228 OpenStack swift; GMO Internet Services
2015 0228 OpenStack swift; GMO Internet Services2015 0228 OpenStack swift; GMO Internet Services
2015 0228 OpenStack swift; GMO Internet ServicesNaoto Gohko
 
1st OCDET Baremetal MTG OpenStack baremetal compute by GMO AppsCloud
1st OCDET Baremetal MTG OpenStack baremetal compute by GMO AppsCloud1st OCDET Baremetal MTG OpenStack baremetal compute by GMO AppsCloud
1st OCDET Baremetal MTG OpenStack baremetal compute by GMO AppsCloudNaoto Gohko
 
Open stack swift is too Enterprise? 2014/12/01 advent cal
Open stack swift is too Enterprise?  2014/12/01 advent calOpen stack swift is too Enterprise?  2014/12/01 advent cal
Open stack swift is too Enterprise? 2014/12/01 advent calNaoto Gohko
 
TechOYAJI 2014 tokyo summer LT; CentOS7 and RDO Icehouse OpenStack
TechOYAJI 2014 tokyo summer LT;  CentOS7 and RDO Icehouse OpenStackTechOYAJI 2014 tokyo summer LT;  CentOS7 and RDO Icehouse OpenStack
TechOYAJI 2014 tokyo summer LT; CentOS7 and RDO Icehouse OpenStackNaoto Gohko
 

More from Naoto Gohko (20)

ODC 2020 : "Rocky 8"
ODC 2020 : "Rocky 8"ODC 2020 : "Rocky 8"
ODC 2020 : "Rocky 8"
 
2019 0704 about ConoHa VM migration from C1 to C2
2019 0704 about ConoHa VM migration from C1 to C22019 0704 about ConoHa VM migration from C1 to C2
2019 0704 about ConoHa VM migration from C1 to C2
 
serverless openstack 101
serverless openstack 101serverless openstack 101
serverless openstack 101
 
2018 04-14-cockroachdb-20-now-available
2018 04-14-cockroachdb-20-now-available2018 04-14-cockroachdb-20-now-available
2018 04-14-cockroachdb-20-now-available
 
2017 0715 osc17do conoha cloud osclient
2017 0715 osc17do conoha cloud osclient2017 0715 osc17do conoha cloud osclient
2017 0715 osc17do conoha cloud osclient
 
2017 0306 Apache OpenWhisk starting
2017 0306 Apache OpenWhisk starting2017 0306 Apache OpenWhisk starting
2017 0306 Apache OpenWhisk starting
 
Miracle Linux seminer Hatohol and ConoHa
Miracle Linux seminer Hatohol and ConoHaMiracle Linux seminer Hatohol and ConoHa
Miracle Linux seminer Hatohol and ConoHa
 
2016 1214-dev-night-vol1-in-tanita
2016 1214-dev-night-vol1-in-tanita2016 1214-dev-night-vol1-in-tanita
2016 1214-dev-night-vol1-in-tanita
 
OSunC Chiba LT Ubuntu 14.04 to 16.04.1 upgrade with ConfigDrive cloud image
OSunC Chiba LT Ubuntu 14.04 to 16.04.1 upgrade with ConfigDrive cloud imageOSunC Chiba LT Ubuntu 14.04 to 16.04.1 upgrade with ConfigDrive cloud image
OSunC Chiba LT Ubuntu 14.04 to 16.04.1 upgrade with ConfigDrive cloud image
 
Openstack days taiwan 2016 0712
Openstack days taiwan 2016 0712Openstack days taiwan 2016 0712
Openstack days taiwan 2016 0712
 
2016 0626 ubuntu 1604 LTS party LT
2016 0626 ubuntu 1604 LTS party LT2016 0626 ubuntu 1604 LTS party LT
2016 0626 ubuntu 1604 LTS party LT
 
OpenStack ComputingはHyper-Convergedの夢を見るのか?
OpenStack ComputingはHyper-Convergedの夢を見るのか?OpenStack ComputingはHyper-Convergedの夢を見るのか?
OpenStack ComputingはHyper-Convergedの夢を見るのか?
 
OpenStack cloud for ConoHa, Z.com and GMO AppsCloud in okinawa opendays 2015 ...
OpenStack cloud for ConoHa, Z.com and GMO AppsCloud in okinawa opendays 2015 ...OpenStack cloud for ConoHa, Z.com and GMO AppsCloud in okinawa opendays 2015 ...
OpenStack cloud for ConoHa, Z.com and GMO AppsCloud in okinawa opendays 2015 ...
 
2015 0807 ConoHa I am the bone of the OpenStack API CLI tool
2015 0807 ConoHa I am the bone of the OpenStack API CLI tool2015 0807 ConoHa I am the bone of the OpenStack API CLI tool
2015 0807 ConoHa I am the bone of the OpenStack API CLI tool
 
Janog36 ConoHa: Making GSLB - OpenStack Designate and PowerDNS
Janog36 ConoHa: Making GSLB - OpenStack Designate and PowerDNSJanog36 ConoHa: Making GSLB - OpenStack Designate and PowerDNS
Janog36 ConoHa: Making GSLB - OpenStack Designate and PowerDNS
 
Openstack summit walk DNSaaS 2015-0713 Summit LT
Openstack summit walk DNSaaS 2015-0713 Summit LTOpenstack summit walk DNSaaS 2015-0713 Summit LT
Openstack summit walk DNSaaS 2015-0713 Summit LT
 
2015 0228 OpenStack swift; GMO Internet Services
2015 0228 OpenStack swift; GMO Internet Services2015 0228 OpenStack swift; GMO Internet Services
2015 0228 OpenStack swift; GMO Internet Services
 
1st OCDET Baremetal MTG OpenStack baremetal compute by GMO AppsCloud
1st OCDET Baremetal MTG OpenStack baremetal compute by GMO AppsCloud1st OCDET Baremetal MTG OpenStack baremetal compute by GMO AppsCloud
1st OCDET Baremetal MTG OpenStack baremetal compute by GMO AppsCloud
 
Open stack swift is too Enterprise? 2014/12/01 advent cal
Open stack swift is too Enterprise?  2014/12/01 advent calOpen stack swift is too Enterprise?  2014/12/01 advent cal
Open stack swift is too Enterprise? 2014/12/01 advent cal
 
TechOYAJI 2014 tokyo summer LT; CentOS7 and RDO Icehouse OpenStack
TechOYAJI 2014 tokyo summer LT;  CentOS7 and RDO Icehouse OpenStackTechOYAJI 2014 tokyo summer LT;  CentOS7 and RDO Icehouse OpenStack
TechOYAJI 2014 tokyo summer LT; CentOS7 and RDO Icehouse OpenStack
 

2014 1019 Public OpenStack Swift service by ConoHa IaaS

  • 1. ConoHa、OpenStack SwiftでObject Storage始めました。 ~ ConoHaのOpenStack Swift環境について~ GMOインターネット株式会社 システム本部 郷古直仁 OSC Tokyo 2014/Fall 2014-10-19 Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 2. 自己紹介 •郷古直仁(@naoto_gohko) •所属:GMOインターネット システム本部 第二サービス開発部 オープンコンピューティングチーム •ConoHaサービスの開発運用、GMOアプリクラウドの サービスの開発運用、お名前.com VPS KVMの運用な どクラウド系サービスのお仕事、OpenStack関係 • Ingressは… 緑だけど… Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 3. 自己紹介 •美雲このは(@MikumoConoHa) •クラウドのようなVPS「ConoHa」の応援団長 •データセンターの座敷童子 •年齢: 13歳くらい? •身長: 150cm+α •https://www.conoha.jp/blog/conoha Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 4. ConoHa webのリニューアル https://www.conoha.jp/ •上記URLにアクセスすると、会社で開いても落ち着いて見 られるデザインに(このはのダークスーツ姿ではなかったw) Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 5. ConoHa webのこのは仕様 https://www.conoha.jp/conoha •上記URLにアクセスすると、新しいConoHaデザイン Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. デザイン設定 切り替え
  • 6. ConoHa webのリニューアル https://www.conoha.jp/ •リニューアルとともに、OpenStack Swiftを使った Object Storageのサービスが追加されました Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 7. オブジェクトストレージ 始めました(2014/09~) •OpenStack Swiftを使った Object Storage •RESTful httpsアクセス可能な分 散ストレージシステム •450円/100GB単位から 転送量無制限、容量上限なし Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 8. OSC Tokyo 2014/Fall •OpenStack関係のセミナー多し!!
  • 9. オブジェクトストレージとは? •ファイルオブジェクトの格納場所はコンテ ナ(バケット)などの格納領域の中にフラッ トに配置される •ファイルシステムなどに見られるディレ クトリ構造とは対照的 •オブジェクトの格納されるストレージ領域 は冗長性と分散性を持つ •レプリカの数やキャッシュの工夫により webの配信エンジンとしての利用も •アクセスにはRESTfulなwebの仕組みを 利用する場合がほとんど •メタデータのアクセスにhttpを利用 file filestack file filestack
  • 10. OpenStack Swiftとは? •オブジェクトの格納領域はAccount, Container, Objectの3サービスにより管理 される •Swift Proxyサービスがオブジェクトの保存 情報をAccount, Containerに保存、実オ ブジェクトはObjectサービスに保存 •認証サービスには主にKeystoneを利用する •メタデータなどの機能pluginはSwift Proxy に入れることで、機能が拡張できる •システムの独立性が高いので、メジャーバージョ ンアップしやすい •SoftLayer, HPCloud, CloudVPS rackspace cloudfiles などと共通 swift container swift account swswiftif to bojbejcetcsts swift proxy keystone plugin ratelimit plugin s3swift plugin static web plugin … … swift proxy keystone swift container swift account swswiftif to bojbejcetcsts
  • 11. OpenStack Swift: ConoHa •OpenStack Havana Swift 1.12 •5 zones •3 copy objects •keystone auth ConoHa (Grizzly) GMO Apps Cloud (Havana) =>> Swiftと認証系のOpenStack が違います
  • 12. ConoHaのObject Storageの構成の秘密: 1 •実は、OpenStack Swift上、データ領域はGMOアプリ クラウド(OpenStack Havana)と同居している =>> tenant_id(user)がそれぞれのkeystoneで重複し ないことが条件 swift proxy keystone swift proxy keystone swift container swift account swift container swift account swift container swift account swift container swift account swift container swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. swift account Havana Grizzly Havana
  • 13. ConoHaのObject Storageの構成の秘密: 1 •Storage Clusterを共有するメリット =>> OpenStack SwiftはScale outさせるほうがメリッ トが高い =>> 共通化することで、コストメリットも swift proxy keystone swift proxy keystone swift container swift account swift container swift account swift container swift account swift container swift account swift container swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. swift account Havana Grizzly Havana
  • 14. ConoHaのObject Storageの構成の秘密: 1 •Storage Clusterを共有するメリット おなじOpenStack Swiftを使う =>> 利用方法など、ノウハウがたまり、提案しやすくなる Havana Grizzly swift proxy keystone swift proxy keystone Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 15. ConoHaのObject Storageの構成の秘密:2 •構成のチューニングとしては、Account, Containerの 両方のサービスは分散メタデータ型データベースとして動 作するので、CPU、Disk IOに注意する(SSD以上の高速 ストレージ、CPUのObjectサービスとの分離) swift proxy keystone swift proxy keystone swift container swift account swift container swift account swift container swift account swift container swift account swift container swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. swift account Havana Grizzly Havana
  • 16. ConoHaのObject Storageの構成の秘密: 3 •Network構成はFull 10Gbps Network Universal service for ConoHa and GMO Apps cloud Unit8 (Physical Layer) reverse-proxy01 reverse-proxy02 MicroNode x2 swift-proxy02 IBM Xeon E5 CPU 2 socket GMO Apps cloud Unit8 (Physical Layer) the Internet Reverse proxy nginx vm instances proxy node network account03 account04 account05 Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. Object storage/glance global network LVS DSR (act-stdby) elvs01 elvs02 Storage node network proxy node network account01 Replication network swift-proxy01 account02 Manage/IPMI network (Object Storage only) the Cloud (Internet) Reverse proxy HAProxy Reverse proxy HAProxy swift-proxy swift-proxy LVS pacemaker LVS pacemaker zone 01 zone 02 zone 03 zone 04 zone 05 MicroNode x2 sdata01 sdata02 sdata03 sdata04 sdata05 sdata06 sdata07 sdata08 sdata09 sdata10 LVS pacemaker nfv-lvs01 LVS pacemaker nfv-lvs02 LVS DSR (act-act) vm instances x2 keystone API keystone DB MySQL keystone token kvs (mysql memcache IF) MariaDB Galera cluster Manage network (Unit8 Compute) Reverse proxy nginx x2 keystone01 keystone02 api-app01 api-app02 nova API cinder API ceilometer API vm instances x2 vm instances x2 keystone-db01 keystone-db02 MySQL DB api-reverse-proxy01 api-reverse-proxy02 container account container account container account container account container account
  • 17. ConoHaのObject Storageの構成の秘密: 4 •提供URL EndpointはHTTPS SSL TerminationにはHAProxyを利用 (HAProxy 1.5からHTTPS利用可能です) swift proxy keystone swift proxy keystone swift container swift account Havana Grizzly swift container swift account swift container swift account swift container swift account swift container swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. swift account Havana revers proxy revers proxy
  • 18. HAProxy 1.5 Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 19. nginx (keystone API;reverse proxy) Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 20. どうやって使うの>< Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 21. 利用例 01: WordPress pluginからのFull backup; UpdraftPlus •WordPressのpluginでweb, DBのfull backupが Object Storageに取得できるplug in http://updraftplus.com •plug inを入れて設定のみ Full backupなので、 siteの複製にも使えます •URLが変わる場合には WordPressではfull pathで記載されるので 注意が必要 Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 22. 利用例 02: ownCloud •Dropboxのように使えるownCloud serverには、 OpenStack Swiftをバックエンドストレージとしてセッ トアップすることで、ownCloud自体の冗長性を拡張でき ます http://owncloud.org •ownCloudさんがセミナー、ブース出展していますので、 そちらも見て下さい Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 23. 利用例 03: StackSync •ownCloudと同様にDropbox的なインターフェースを提 供するストレージサーバインターフェース http://stacksync.org •Atlanta 2014 サミットで発表が あったOSS Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 24. 今後のOpenStack Swift対応予定 •OpenStack Swiftの継続的update (予定) Swift 1.12 =>> Swift 2.1 •Swift pluginの追加機能 (予定) SwiftSync: swift to swiftのコンテナ同士の同期処理 etc. •そして、さらなる使い方の共有 このべん、勉強会、技術ブログに継続的に共有します Private CloudでSwiftを使う場合の参考にもどうぞ Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  • 25. オブジェクトストレージ、もう一度おさらい • 450円/100GB~ • 容量無制限、転送量課金なし • 使ってもらうほどスケールメリット 効果が出るサービスです Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.