SlideShare a Scribd company logo
1 of 15
© IBM Corporation 1
Presented by:
クラウドの次に起こるコト
CPUとHypervisor 進化の視点からの考察
2015年7月24日
高良 真穂
日本IBM株式会社
クラウド事業統括
テクニカルサービス本資料は、発表者によって準備された資料であり
IBMの公式の見解を代表するものではありません。
© IBM Corporation 2© IBM Corporation 2
自己紹介
高良 真穂
(たから まほ)
勤務先
日本アイ・ビー・エム
クラウド事業統括
テクニカル・サービス
ITアーキテクト
担当部長
ウェブ記事
ソフトレイヤー活用ガイド
http://www.gg-web.jp/document/
ソフトレイヤー探検隊
https://goo.gl/N7LjGC
© IBM Corporation 3
text
IBMのクラウドの取り組みは?
– パブリック・クラウド
• SoftLayer (IaaS)
– Bluemix (BluemixはSoftLayer上で稼動)
– IBM Cloud OpenStack Service (ICOSと呼ばれ、SoftLayerベアメタルで提供)
• Bluemix (PaaS)
– アプリケーションのチーム開発と稼動環境 DevOps
• Cloudant (CouchDBのマネージド・サービス / DBaaS)
• COMPOSE (MongoDB, Redis, Elasticsearch, PostgreSQL, and other database
as a service (DBaaS)
• CMS (Cloud Managed Service) IBM Strategic Outsourcing のサービス
– プライベート・クラウド/ハイブリッド・クラウド
• IBM Cloud Orchestrator OpenStackの周辺を拡張するソフトウェア
• Bluebox OpenStackのマネージド・サービス
• IBM Puresystem 定型パターンのインストールを自動化
• Bluemix Local (近日リリース予定) 社内に設置できるBluemix
© IBM Corporation 4
text
IBMのクラウドの取り組みは?
– マーケットプレイスの提供開始
• SaaS、PaaS、IaaS にまたがる多様な製品やサービスの探索、試用、購入を、Web
上でスムーズに行うことができ、クラウド利用の利便性を大幅に向上させる
• クラウドを活用するには、SaaSで提供されるビジネス・コンポーネント、ミドル
ウェアの構成パターン、仮想環境やセキュリティ・ソリューションなどを容易に発
見し、試用から導入までを効率よく進めることが求められていた
– クラウドを推進する組織改革
– 支援するOSSプロジェクト
• Docker 戦略的提携
– IBM container提供
• OpenStack Premiumスポンサー
• MongoDB Goldスポンサー
• Apache Spark
– 研究者・開発者3500人投入
http://www.ibm.com/cloud-computing/jp/ja/marketplace.html
© IBM Corporation 5© IBM Corporation 5
未来は過去の延長線にある!?
過去の技術を振り返りながら次を考える
1975年 IBM VM/370 計画とシステム・ジェネレーション・ガイドの抜粋
当時、MFの開発費は、日本の国家予算に匹敵すると言われていた
背景 アポロ打ち上げ、冷戦体制
© IBM Corporation 6
クラウド関連技術の振り返り&未来
1987 IBM メインフレームLPAR (PR/SM)
1968 IBM メインフレームVM (CP/CMS)
1998 VMware開始
2001 IBM pServer LPAR p670
2003 Xen初版リリース
2008 Hyper-V
2006 AWS 設立
2005 SoftLayer設立
2006 Intel VT-x 仮想化
2005 Intel マルチコアCPU
1998 Rackspace 設立
2010 OpenStack Austin リリース
2013 Docker 初版リリース
2010 Azure開始
2007 IBM AIX WPAR
次に起こるコト?
2003 ブロードバンドの普及
p670
IBM/S370
© IBM Corporation 7
クラウド関連技術の振り返り&未来
1987 IBM メインフレームLPAR (PR/SM)
1968 IBM メインフレームVM (CP/CMS)
1998 VMware開始
2001 IBM pServer LPAR p670
2003 Xen初版リリース
2008 Hyper-V
2006 AWS 開始
2005 SoftLayer設立
2006 Intel VT-x 仮想化
2005 Intel マルチコアCPU
1998 Rackspace 開始
2010 OpenStack Austin リリース
2013 Docker 初版リリース
2010 Azure開始
2007 IBM AIX WPAR
次に起こるコト?
2003 ブロードバンドの普及
p670
IBM/S370
CPUとHypervisorが
クラウドの推進力
CPUとHypervisor 進化の視点からの考察
© IBM Corporation 8
Xen の進化と今後?
Hardware (Intel VT-x or AMD-V)
PV on HVM (Xen 3.1〜), PVH (Xen 4.0 〜)
User
Process
Device
driver
Domain0 Linux Kernel
Back-end
driver
User
Process
Normal
Linux Kernel
Front-end
driver
Xen Hypervisor
User
Process User
Process
Normal
Linux Kernel
Front-end
driver
User
Process User
Process
準仮想化 Xen Para Virtualization 完全仮想化 Xen Full Virtualization
いいとこ取り
Xeon E5-2650v3 2.3GHz SoftLayerベアメタル上で比較
Xen バージョン 4.4.1
CPU コア x4 で比較、ベアメタルの場合は、コアのOnline数を制限
2015年
普及
この先は、何処へ?
2003年〜 2005年〜
Intel VT-x AMD-Vは不要
専用のカーネルが必要
少ないオーバーヘッド
Intel VT-x AMD-Vは必須
一般のカーネルが動作
エミュレーションの
オーバーヘッドが大きい
© IBM Corporation 9
Xenの祖先 LPAR
Hardware (POWER4以降)
Hypervisor
AIX AIX Linux
(POWER用)
Hypervisor
HMCHardware
CPU
Memory
I/O slot
core core core core core core core core
LAN SCSI LAN SCSI LAN SCSIHBALAN
5G 20G 10G
内臓HDD
AIX Kernel
User
Process
User
Process
AIX Kernel
User
Process
User
Process
Linux Kernel
User
Process
User
Process
LPAR #1 LPAR #2 LPAR #3
2001年〜
LPAR (Logical PARtitioning:論理分割
• 論理分割によるオーバーヘッドが無い
• OS〜H/Wまで専用設計のため高価
• 1社で全てを開発、サポート
特徴
Xenもハードウェア化 20??年〜
p670
© IBM Corporation 10
text
クラウドの高性能化の課題
マルチCPUサーバーはNUMAベース
• NUMA(Non-Uniform Memory Access、ヌマ)とは、共有メモリ型マルチプロセッサコンピュータシス
テムのアーキテクチャのひとつで、複数プロセッサが共有するメインメモリへのアクセスコストが、
メモリ領域とプロセッサに依存して均一でないアーキテクチャ
# numactl –H
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9
node 0 size: 32660 MB
node 0 free: 26155 MB
node 1 cpus: 10 11 12 13 14 15 16 17 18 19
node 1 size: 32768 MB
node 1 free: 31936 MB
node distances:
node 0 1
0: 10 21
1: 21 10
インターコネクト メモリバスCPUメモリバス CPU
I/Oバス
I/Oバス
メインメモリ メインメモリ
I/OデバイスI/Oデバイス
Node 0 Node 1
コア 0〜9
メモリ 32GB
コア 10〜19
メモリ 32GB
numa コマンドでの確認結果
ベアメタルのマザー
ボード
2CPUタイプ
Node1Node2
© IBM Corporation 11
text
クラウド高性能化の課題
– NUMA ノード を VMが跨ると性能が上がらない
• UnixBenchのテストでも、メモリ間コピーが速度が劣化するためスコアが上がらない
– ベアメタルでは、VMのオーバーヘッドが無いが影響はある
– VMはNUMA構造の影響が大きい
UnixBench
3712.3
100%
UnixBench
2650.6
71.4%
ベアメタル
Xen HVM
© IBM Corporation 12
text
NUMA のBuilding Block Server
– NUMAノードをインターコネクト・ケーブルで繋いで、4CPU〜
16CPUまでスケールアップできる (System p の ベストセラー機)
8core 12core 16core
p570
© IBM Corporation 13
Dockerの先祖 WPAR
AIX Kernel
Hypervisor
HMCHardware
CPU
Memory
I/O slot
core core core core core core core core
LAN SCSI LAN SCSI LAN SCSIHBALAN
5G 20G 10G
内臓HDD
AIX Kernel
User
Process
User
Process
Linux Kernel
User
Process
User
Process
WPAR (system partitionの例)
AIX Kernel
/
/usr/lib/var
専用の root
ファイルシステム
inetd cron
syslog
専用プロセス
User
Process User
Process
/
/usr/lib/var
専用の root
ファイルシステム
inetd cron
syslog
専用プロセス
User
Process User
Process
User
Process
wpar1- AIX wpar2 - AIX
User
Process
Global AIX
/
/wpar2/wpar1/usr
Globalの
ファイルシステム
…
Global AIX /
wpar1 AIX /
wpar2 AIX /
LPARとWPARの関係
Workload Partition(ワークロードパーティション、WPAR)は、オペレー
ティングシステムレベルの仮想化技術のソフトウェア実装の1つ
WPAR 2007年〜
OSをコンテナ化、流動可能
© IBM Corporation 14
text
演算パワーの飛躍的進化
– GPGPU/MICを利用することで飛躍的な演算能力
– 課題は、並列プログラミングと消費電力と廃熱
Xeon
E5-2650
GPGPU
Many Integrated
many Core
GPGPU
K80
Parallel
Computing
Parallel
Computing
Messaging
Layer8コア
128GFlops
4992コア
1870GFlops
INTEL
NVidia
CUDA
© IBM Corporation 15
text
これからクラウドで起こるコト
–Xen Hypervisor は、ハードウェア化
• NonHA PV → HVM → PVH → Hardware Xen
• Direct IO を利用した安価なパーティショニング
• Dom0 Linuxのデバドラを利用した安価な実装
–高価なCPUから普及型CPUへ広がる
• POWER CPU → INTEL CPU → ARMコア (組込み機器クラウド)
• 組込み機器の様々なデバドラは Dom0を使って継承
–Xen Hypervisor に最適化されたマザーボード
• NUMAのXenへの最適化⇔XenのNUMA考慮
• Xeon版 Building Block サーバー
–飛躍的演算パワーの向上
• 人工知能センター 学習時はサーバー増強など、モードに応じた増減
• 電力供給と冷却(廃熱)の課題

More Related Content

More from VIOPS Virtualized Infrastructure Operators group ARCHIVES

VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~
VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~
VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~VIOPS Virtualized Infrastructure Operators group ARCHIVES
 
VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところ
VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところVIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところ
VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところVIOPS Virtualized Infrastructure Operators group ARCHIVES
 
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密VIOPS Virtualized Infrastructure Operators group ARCHIVES
 

More from VIOPS Virtualized Infrastructure Operators group ARCHIVES (20)

VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~
VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~
VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~
 
VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところ
VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところVIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところ
VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところ
 
VIOPS09: AWSで実現する クラウドと物理製品の融合
VIOPS09: AWSで実現する クラウドと物理製品の融合VIOPS09: AWSで実現する クラウドと物理製品の融合
VIOPS09: AWSで実現する クラウドと物理製品の融合
 
VIOPS09: クラウド時代におけるFusion-ioのポジショニング
VIOPS09: クラウド時代におけるFusion-ioのポジショニングVIOPS09: クラウド時代におけるFusion-ioのポジショニング
VIOPS09: クラウド時代におけるFusion-ioのポジショニング
 
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
 
VIOPS09: その鐘を鳴らすのはあなた
VIOPS09: その鐘を鳴らすのはあなたVIOPS09: その鐘を鳴らすのはあなた
VIOPS09: その鐘を鳴らすのはあなた
 
VIOPS08: マイクロサーバー アーキテクチャトレンド
VIOPS08: マイクロサーバー アーキテクチャトレンドVIOPS08: マイクロサーバー アーキテクチャトレンド
VIOPS08: マイクロサーバー アーキテクチャトレンド
 
VIOPS08: Behavior Analysis Solution for Bigdata
VIOPS08: Behavior Analysis Solution for BigdataVIOPS08: Behavior Analysis Solution for Bigdata
VIOPS08: Behavior Analysis Solution for Bigdata
 
VIOPS08: ハードウェアオフロードの現在と今後
VIOPS08: ハードウェアオフロードの現在と今後VIOPS08: ハードウェアオフロードの現在と今後
VIOPS08: ハードウェアオフロードの現在と今後
 
VIOPS08: PaaSのメリットと課題
VIOPS08: PaaSのメリットと課題VIOPS08: PaaSのメリットと課題
VIOPS08: PaaSのメリットと課題
 
VIOPS07: “Practical” Guide to GlusterFS
VIOPS07: “Practical” Guide to GlusterFSVIOPS07: “Practical” Guide to GlusterFS
VIOPS07: “Practical” Guide to GlusterFS
 
VIOPS07: アプリケーションサービスの自動化
VIOPS07: アプリケーションサービスの自動化VIOPS07: アプリケーションサービスの自動化
VIOPS07: アプリケーションサービスの自動化
 
VIOPS07: OSMと地理空間情報
VIOPS07: OSMと地理空間情報VIOPS07: OSMと地理空間情報
VIOPS07: OSMと地理空間情報
 
VIOPS07: CDNの困ったネタ
VIOPS07: CDNの困ったネタVIOPS07: CDNの困ったネタ
VIOPS07: CDNの困ったネタ
 
VIOPS07: ETRI GLORY-FS
VIOPS07: ETRI GLORY-FSVIOPS07: ETRI GLORY-FS
VIOPS07: ETRI GLORY-FS
 
VIOPS06: マルチコア時代のコンピューティング活用術
VIOPS06: マルチコア時代のコンピューティング活用術VIOPS06: マルチコア時代のコンピューティング活用術
VIOPS06: マルチコア時代のコンピューティング活用術
 
VIOPS06: OpenFlowによるネットワーク構築と実証事件
VIOPS06: OpenFlowによるネットワーク構築と実証事件VIOPS06: OpenFlowによるネットワーク構築と実証事件
VIOPS06: OpenFlowによるネットワーク構築と実証事件
 
VIOPS06: Infiniband技術動向および導入事例
VIOPS06: Infiniband技術動向および導入事例VIOPS06: Infiniband技術動向および導入事例
VIOPS06: Infiniband技術動向および導入事例
 
VIOPS06: 災害発生!~通信キャリアの場合~
VIOPS06: 災害発生!~通信キャリアの場合~VIOPS06: 災害発生!~通信キャリアの場合~
VIOPS06: 災害発生!~通信キャリアの場合~
 
VIOPS06: 災害発生IX/データセンターの場合
VIOPS06: 災害発生IX/データセンターの場合VIOPS06: 災害発生IX/データセンターの場合
VIOPS06: 災害発生IX/データセンターの場合
 

Recently uploaded

【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也harmonylab
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 
Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...
Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...
Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...yoshidakids7
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦Sadao Tokuyama
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 

Recently uploaded (13)

【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 
2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 
Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...
Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...
Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 

VIOPS10: CPUとHypervisor 進化の視点からの考察

  • 1. © IBM Corporation 1 Presented by: クラウドの次に起こるコト CPUとHypervisor 進化の視点からの考察 2015年7月24日 高良 真穂 日本IBM株式会社 クラウド事業統括 テクニカルサービス本資料は、発表者によって準備された資料であり IBMの公式の見解を代表するものではありません。
  • 2. © IBM Corporation 2© IBM Corporation 2 自己紹介 高良 真穂 (たから まほ) 勤務先 日本アイ・ビー・エム クラウド事業統括 テクニカル・サービス ITアーキテクト 担当部長 ウェブ記事 ソフトレイヤー活用ガイド http://www.gg-web.jp/document/ ソフトレイヤー探検隊 https://goo.gl/N7LjGC
  • 3. © IBM Corporation 3 text IBMのクラウドの取り組みは? – パブリック・クラウド • SoftLayer (IaaS) – Bluemix (BluemixはSoftLayer上で稼動) – IBM Cloud OpenStack Service (ICOSと呼ばれ、SoftLayerベアメタルで提供) • Bluemix (PaaS) – アプリケーションのチーム開発と稼動環境 DevOps • Cloudant (CouchDBのマネージド・サービス / DBaaS) • COMPOSE (MongoDB, Redis, Elasticsearch, PostgreSQL, and other database as a service (DBaaS) • CMS (Cloud Managed Service) IBM Strategic Outsourcing のサービス – プライベート・クラウド/ハイブリッド・クラウド • IBM Cloud Orchestrator OpenStackの周辺を拡張するソフトウェア • Bluebox OpenStackのマネージド・サービス • IBM Puresystem 定型パターンのインストールを自動化 • Bluemix Local (近日リリース予定) 社内に設置できるBluemix
  • 4. © IBM Corporation 4 text IBMのクラウドの取り組みは? – マーケットプレイスの提供開始 • SaaS、PaaS、IaaS にまたがる多様な製品やサービスの探索、試用、購入を、Web 上でスムーズに行うことができ、クラウド利用の利便性を大幅に向上させる • クラウドを活用するには、SaaSで提供されるビジネス・コンポーネント、ミドル ウェアの構成パターン、仮想環境やセキュリティ・ソリューションなどを容易に発 見し、試用から導入までを効率よく進めることが求められていた – クラウドを推進する組織改革 – 支援するOSSプロジェクト • Docker 戦略的提携 – IBM container提供 • OpenStack Premiumスポンサー • MongoDB Goldスポンサー • Apache Spark – 研究者・開発者3500人投入 http://www.ibm.com/cloud-computing/jp/ja/marketplace.html
  • 5. © IBM Corporation 5© IBM Corporation 5 未来は過去の延長線にある!? 過去の技術を振り返りながら次を考える 1975年 IBM VM/370 計画とシステム・ジェネレーション・ガイドの抜粋 当時、MFの開発費は、日本の国家予算に匹敵すると言われていた 背景 アポロ打ち上げ、冷戦体制
  • 6. © IBM Corporation 6 クラウド関連技術の振り返り&未来 1987 IBM メインフレームLPAR (PR/SM) 1968 IBM メインフレームVM (CP/CMS) 1998 VMware開始 2001 IBM pServer LPAR p670 2003 Xen初版リリース 2008 Hyper-V 2006 AWS 設立 2005 SoftLayer設立 2006 Intel VT-x 仮想化 2005 Intel マルチコアCPU 1998 Rackspace 設立 2010 OpenStack Austin リリース 2013 Docker 初版リリース 2010 Azure開始 2007 IBM AIX WPAR 次に起こるコト? 2003 ブロードバンドの普及 p670 IBM/S370
  • 7. © IBM Corporation 7 クラウド関連技術の振り返り&未来 1987 IBM メインフレームLPAR (PR/SM) 1968 IBM メインフレームVM (CP/CMS) 1998 VMware開始 2001 IBM pServer LPAR p670 2003 Xen初版リリース 2008 Hyper-V 2006 AWS 開始 2005 SoftLayer設立 2006 Intel VT-x 仮想化 2005 Intel マルチコアCPU 1998 Rackspace 開始 2010 OpenStack Austin リリース 2013 Docker 初版リリース 2010 Azure開始 2007 IBM AIX WPAR 次に起こるコト? 2003 ブロードバンドの普及 p670 IBM/S370 CPUとHypervisorが クラウドの推進力 CPUとHypervisor 進化の視点からの考察
  • 8. © IBM Corporation 8 Xen の進化と今後? Hardware (Intel VT-x or AMD-V) PV on HVM (Xen 3.1〜), PVH (Xen 4.0 〜) User Process Device driver Domain0 Linux Kernel Back-end driver User Process Normal Linux Kernel Front-end driver Xen Hypervisor User Process User Process Normal Linux Kernel Front-end driver User Process User Process 準仮想化 Xen Para Virtualization 完全仮想化 Xen Full Virtualization いいとこ取り Xeon E5-2650v3 2.3GHz SoftLayerベアメタル上で比較 Xen バージョン 4.4.1 CPU コア x4 で比較、ベアメタルの場合は、コアのOnline数を制限 2015年 普及 この先は、何処へ? 2003年〜 2005年〜 Intel VT-x AMD-Vは不要 専用のカーネルが必要 少ないオーバーヘッド Intel VT-x AMD-Vは必須 一般のカーネルが動作 エミュレーションの オーバーヘッドが大きい
  • 9. © IBM Corporation 9 Xenの祖先 LPAR Hardware (POWER4以降) Hypervisor AIX AIX Linux (POWER用) Hypervisor HMCHardware CPU Memory I/O slot core core core core core core core core LAN SCSI LAN SCSI LAN SCSIHBALAN 5G 20G 10G 内臓HDD AIX Kernel User Process User Process AIX Kernel User Process User Process Linux Kernel User Process User Process LPAR #1 LPAR #2 LPAR #3 2001年〜 LPAR (Logical PARtitioning:論理分割 • 論理分割によるオーバーヘッドが無い • OS〜H/Wまで専用設計のため高価 • 1社で全てを開発、サポート 特徴 Xenもハードウェア化 20??年〜 p670
  • 10. © IBM Corporation 10 text クラウドの高性能化の課題 マルチCPUサーバーはNUMAベース • NUMA(Non-Uniform Memory Access、ヌマ)とは、共有メモリ型マルチプロセッサコンピュータシス テムのアーキテクチャのひとつで、複数プロセッサが共有するメインメモリへのアクセスコストが、 メモリ領域とプロセッサに依存して均一でないアーキテクチャ # numactl –H available: 2 nodes (0-1) node 0 cpus: 0 1 2 3 4 5 6 7 8 9 node 0 size: 32660 MB node 0 free: 26155 MB node 1 cpus: 10 11 12 13 14 15 16 17 18 19 node 1 size: 32768 MB node 1 free: 31936 MB node distances: node 0 1 0: 10 21 1: 21 10 インターコネクト メモリバスCPUメモリバス CPU I/Oバス I/Oバス メインメモリ メインメモリ I/OデバイスI/Oデバイス Node 0 Node 1 コア 0〜9 メモリ 32GB コア 10〜19 メモリ 32GB numa コマンドでの確認結果 ベアメタルのマザー ボード 2CPUタイプ Node1Node2
  • 11. © IBM Corporation 11 text クラウド高性能化の課題 – NUMA ノード を VMが跨ると性能が上がらない • UnixBenchのテストでも、メモリ間コピーが速度が劣化するためスコアが上がらない – ベアメタルでは、VMのオーバーヘッドが無いが影響はある – VMはNUMA構造の影響が大きい UnixBench 3712.3 100% UnixBench 2650.6 71.4% ベアメタル Xen HVM
  • 12. © IBM Corporation 12 text NUMA のBuilding Block Server – NUMAノードをインターコネクト・ケーブルで繋いで、4CPU〜 16CPUまでスケールアップできる (System p の ベストセラー機) 8core 12core 16core p570
  • 13. © IBM Corporation 13 Dockerの先祖 WPAR AIX Kernel Hypervisor HMCHardware CPU Memory I/O slot core core core core core core core core LAN SCSI LAN SCSI LAN SCSIHBALAN 5G 20G 10G 内臓HDD AIX Kernel User Process User Process Linux Kernel User Process User Process WPAR (system partitionの例) AIX Kernel / /usr/lib/var 専用の root ファイルシステム inetd cron syslog 専用プロセス User Process User Process / /usr/lib/var 専用の root ファイルシステム inetd cron syslog 専用プロセス User Process User Process User Process wpar1- AIX wpar2 - AIX User Process Global AIX / /wpar2/wpar1/usr Globalの ファイルシステム … Global AIX / wpar1 AIX / wpar2 AIX / LPARとWPARの関係 Workload Partition(ワークロードパーティション、WPAR)は、オペレー ティングシステムレベルの仮想化技術のソフトウェア実装の1つ WPAR 2007年〜 OSをコンテナ化、流動可能
  • 14. © IBM Corporation 14 text 演算パワーの飛躍的進化 – GPGPU/MICを利用することで飛躍的な演算能力 – 課題は、並列プログラミングと消費電力と廃熱 Xeon E5-2650 GPGPU Many Integrated many Core GPGPU K80 Parallel Computing Parallel Computing Messaging Layer8コア 128GFlops 4992コア 1870GFlops INTEL NVidia CUDA
  • 15. © IBM Corporation 15 text これからクラウドで起こるコト –Xen Hypervisor は、ハードウェア化 • NonHA PV → HVM → PVH → Hardware Xen • Direct IO を利用した安価なパーティショニング • Dom0 Linuxのデバドラを利用した安価な実装 –高価なCPUから普及型CPUへ広がる • POWER CPU → INTEL CPU → ARMコア (組込み機器クラウド) • 組込み機器の様々なデバドラは Dom0を使って継承 –Xen Hypervisor に最適化されたマザーボード • NUMAのXenへの最適化⇔XenのNUMA考慮 • Xeon版 Building Block サーバー –飛躍的演算パワーの向上 • 人工知能センター 学習時はサーバー増強など、モードに応じた増減 • 電力供給と冷却(廃熱)の課題