「Windows Azure でスーパーコンピューティング！」for Microsoft MVP camp 2014 大阪会場

Windows Azureで
スーパーコンピューティング︕
（公開⽤）
Japan Windows Azure User Group
⿊⽥幸智
2014年３⽉22⽇
MVP CommunityCamp 2014 ⼤阪会場

今⽇のお話は・・・
• Windows Azure とHPC
• 新しいインスタンスとその基本
• 実際にWindowsAzureで、
A8/A9インスタンスを使ってHPCする。
などなど。
2Kurochin's Mind Control

ちょっと⾃⼰紹介
⽇本で
「HPC 偽エヴァンジェリスト」といえば
JAZUG 宴会部⻑くろちんこと
⿊⽥幸智でお願いします。
現在、Microsoft MVP 「Windows Azure Administration」
として静かに活動中。
・FaceBook は本名の「⿊⽥幸智」です。
フォローオッケーです︕
WEBsite
http://kurodayk.wordpress.com/
3Kurochin's Mind Control 3

コミュニティのご紹介
4
• Japan Windows Azure User Groupの略
• Windows Azureを学び、楽しみ、活かす、
⽇本のユーザーグループ
• 2010/8/26に結成したコミュニティ3周年を迎えました︕
• ちょっと興味がある＝ゆるふわな⽅から実ビジネスで
使うんだよねな⽅まで歓迎
職種はなんでもござれ
※プログラマ~企画者、デザイナ歓迎
• ゆるふわなコミュニティ
Kurochin's Mind Control

Windows Azureに興味がわいた
ら︖
• Windows Azure に興味がわいたら︕
• JAZに参加してみよう︕
– 対象︓Azureに興味がある⼈
– http://www.facebook.com/jazug.jp
300⼈突破︕
• Twitterで #jazug タグであれこれ
つぶやくもよし
• MSDN Forumで技術的な質問するもよし
• 関⻄Azure研究会というのもあります
– https://www.facebook.com/groups/kansaia
zure/

さて、始めましょう。

Q&Aコーナー
皆さんは、
「Windows Azure」って
なんだかお分かりですよね︖
7
Windows Azureは、
2010年に正式サービスが開始された
Microsoft社のクラウドサービス

8
リージョン

Azureの主⼒はIaasとPaas

Q&Aコーナーその２
皆さんは、
「High Performance Computing」って
なんだかお分かりですよね︖
10
・クレイ、IBM・・・
・ブラッディーマンデイ（古）
・TSUBAME
・スパコン
・京（けい）コンピューター ︕

計算科学研究機構（理研）－
『京』 • 2011年度世界⼀位
• CPU 548,352コア
機構パンフレットより引⽤
11Kurochin's Mind Control 11

HPC（High Perfomance Computing）ってなにさ︖
• スーパーコンピュータ（英: supercomputer）は、内部の演
算処理速度が
その時代の⼀般的なコンピュータより
極めて⾼速なコンピュータのこと。
略称はスパコン。
• 膨⼤な計算処理が⽬的であり、それを実現するための⼤規模
なハードウェアやソフトウェアを備える。有限要素法や境界
要素法などに基づく構造解析、気象予測、分⼦動⼒学、シ
ミュレーション天⽂学、最適化問題、⾦融⼯学のような
⼤規模数値解析に基づくシミュレーション等
に利⽤される。
12
実は2006年から
Microsoft製品としてあったんです。
Microsoft HPC server製品群
（オンプレ）
Kurochin's Mind Control 12

スーパーコンピューティング環境の推移
13
2014年
2014年２月
2012R2版
リリース済み

Windowsでできるスパコンと
いうことは・・・
Windows Azure
でスパコンが構築
できる︕
14
Azure IaaS と HPC Pack の
組み合わせ

 スパコンイベント “SC12” で 2012 年 11 ⽉版発表 (年 2 回発表)
 Windows Azure は 151.3 TFLOPS (効率 90.2%) で 165
位
(全 500 システム中)
 2013 年 6 ⽉版では 241 位
15
【注意︕】
これは昨年のお話です︕
公式スコア︕

HPC利⽤の条件として
• 強⼒なハードウェアが多数必要。
• 複数のCPUを並列で利⽤するための
ミドルウェアが必要。
• 並列計算対応したアプリケーション。

強⼒なハードウェア
＜⾼性能インスタンス提供開始＞
• Windows Azure でHPCに使える
⾼性能仮想マシンがリリース
（2014年３⽉現在、北⽶と⻄ﾖｰﾛｯﾊﾟのみ）
A8
A9

DEMO︓並列と⾮並列
18
⾮並列（single プロセス）

DEMO︓並列と⾮並列
19
並列（Multiプロセス）

A8/A9のハードウェアのキモを
考えてみる。

A8/A9インスタンスのキモ
• 潤沢なメモリ
• ⾼性能なCPU
Intel Xeon E5-2670（2.6GHz)
• NICが2つになった
10G-イーサネット
40G-infiniband ネットワーク
注意︓10G＝10Gbit/sec＝1.25GB/sec
21
A8
A9

CPUについて
22
http://ark.intel.com/ja/products/64595/Intel-Xeon-Processor-E5-
2670-20M-Cache-2_60-GHz-8_00-GTs-Intel-QPI?q=E5-2670
2012年4⽉24⽇に第3世代Coreプロセッサーとして
製品化が正式発表された。

Intel CPUのジェネレーション
23
http://ja.wikipedia.org/wiki/Sandy_Bridge%E3%83%9E%E3%82%A4%E3%82%AF%E3%83%AD%E3%82%A2%E3%83%
BC%E3%82%AD%E3%83%86%E3%82%AF%E3%83%81%E3%83%A3#.E5.BE.8C.E7.B6.99

Intelアーキテクチャの推移

2014年３⽉現在
2014/03/08時点資料
Intel® Xeon® Processor E5-
2670 (20M Cache, 2.60 GHz)
2670 v2 (25M Cache, 2.50 GHz)
2697 v2 (30M Cache, 2.70 GHz)
開発コード名 Sandy Bridge-EP Ivy Bridge EP Ivy Bridge EP
Essentials
発売⽇ 2012第1四半期 2013第３四半期 2013第３四半期
プロセッサー・ナンバー E5-2670 E5-2670V2 E5-2697V2
コアの数 8 10 12
スレッド数 16 20 24
動作周波数 2.6 GHz 2.5 GHz 2.7 GHz
ターボ・ブースト利⽤時の最⼤周波数 3.3 GHz 3.3 GHz 3.5 GHz
キャッシュ 20 MB 25 MB 30 MB
バスの種類 QPI QPI QPI
システムバス 8 GT/s 8 GT/s 8 GT/s
QPI リンク数 2 2 2
命令セット 64-bit 64-bit 64-bit
命令セット拡張 AVX Intel® AVX Intel® AVX
リソグラフィー 32 nm 22 nm 22 nm
最⼤ TDP 115 W 115 W 130 W
Memory Specifications
最⼤メモリーサイズ (メモリーの種類に依
存)
384 GB 768 GB 768 GB
メモリーの種類 DDR3-800/1066/1333/1600 DDR3-800/1066/1333/1600/1866 DDR3-800/1066/1333/1600/1866
メモリーチャネル数 4 4 4
最⼤メモリー帯域幅 51.2 GB/s 59.7 GB/s 59.7 GB/s
Expansion Options
PCI Express リビジョン 3.0 3.0 3.0
PCI Express レーンの最⼤数 40 40 40

PCI Express性能について
リンク幅毎のデータリンク層転送帯域（双⽅向/⼀⽅向あたり）(GB/sec)
リンク幅 x1 x2 x4 x8 x12 x16 x32
PCI Express
1.1（Gen1)
0.5/0.25 1.0/0.5 2.0/1.0 4.0/2.0 6.0/3.0 8.0/4.0 16.0/8.0
PCI Express
2.0（Gen2)
1.0/0.5 2.0/1.0 4.0/2.0 8.0/4.0 12.0/6.0 16.0/8.0
32.0/16.
0
PCI Express
3.0（Gen3)
2.0/1.0 4.0/2.0 8.0/4.0 16.0/8.0
24.0/12.
0
32.0/16.
0
64.0/32.
0
26
http://ja.wikipedia.org/wiki/PCI_Express を引⽤・編集
転送速度
規格PCI Express 1.1（Gen1）では、伝送路1レーンあたりの物理レイヤの帯域は⽚⽅向2.5Gbpsで双⽅向では5.0Gbpsであるが、実効デー
タ8ビットを送るのに物理レイヤ上で2ビットの同期制御ビットを加える8b/10bエンコード⽅式を⽤いているため、実効データ転送速度は⽚
⽅向250Mbyte/secで双⽅向500Mbyte/secになる。ポートは1レーン、2レーン、4レーン、8レーン、12レーン、16レーン、32レーンなど
とあり、x1、x2、x4、x8、x12、x16、x32などと表す。伝送路であるレーンを束ねることでポートのデータ転送速度を向上させることがで
きる。16レーンを束ねたPCI-E 1.1 x16の通信ポートであれば、ポートの実効データ転送速度は⽚⽅向4Gbytes/sec、双⽅向では
8Gbyte/secになる。
規格PCI Express 2.0 (Gen2) では速度をPCI Express 1.1の2倍に引き上げたので、1レーンあたりの物理帯域は⽚⽅向5.0Gbpsで実効デー
タ転送速度は⽚⽅向500Mbyte/secで双⽅向1Gbyte/secとなった。
規格PCI Express 3.0 (Gen3) では1レーンあたりの物理帯域を8Gbps、エンコード⽅式を128b/130bとして転送効率を向上させ、
1レーンあたり⽚⽅向1.0Gbyte/secで双⽅向2.0Gbyte/secの実効データ転送速度を得た。PCI Express 3.0の場合にポートは規格上最⼤
32レーンまで束ねられるので、1ポートの最⼤の実効データ転送レートは⽚⽅向32Gbyte/sec、双⽅向64Gbyte/secである。エンコードの変
更による分かりにくさを回避するため、PCI Express 3.0以降では#物理レイヤの帯域をGbps（ギガビット毎秒）ではなくGT/s（ギガトラン
スファ毎秒）で表記することが多い。
（補⾜）IBMがパラレル・データにクロックを埋め込んでシリアル・データ化するという8b/10b技術を開発したことにより、シリアル転送
が急速に注⽬を集めはじめた。さらにイーサネットでこの⽅式が採⽤され、普及が広まると8b/10b機能を搭載したSERDESチップのコスト
も急激に低下し、さらにファイバーチャネルやギガビットイーサネット (GbE) の登場により転送速度も急激に⾼速化された。

Infinibandボード（例）
27
最⼤の帯域幅はPCI Express 3.0 x16とFDR InfiniBandの⼆つのポートを通して伝えられ、全CPUコアに渡
り⼀貫性のある低レイテンシーとともに100Gb/s以上のスループットに応じることができます。また、Connect-IBを使う
ことでPCI Express 2.0 x16システムがFDRを充分に活⽤できるようになり、現存のPCIe 2.0ソリューションの少なくとも2
倍の帯域幅を実現しています。（mellanox製品ページより）
Ordering Part Number InfiniBand Ports PCI Express
MCB191A-FCAT Single FDR 56Gb/s 3.0 x8
MCB192A-FCAT Dual FDR 56Gb/s 3.0 x8
MCB193A-FCAT Single FDR 56Gb/s 3.0 x16
MCB194A-FCAT Dual FDR 56Gb/s 3.0 x16

メモリ規格について
チップ規格
モジュール規
格
メモリクロッ
ク
バスクロック転送速度
データ転送速
度
データ転送速
度
モジュールのデータ転送速度
(MHz) (MHz) (GB/秒) （サイクル）（転送回数）
（64ビットデータ=8バイト（B）（1バ
イト＝8ビット））
(MHz) (MT/秒)
DDR3-800 PC3-6400 100 400 6.4 800 800
800MHz x 8B = 6,400MB/秒 =
6.4GB/秒
DDR3-1066 PC3-8500 133 533 8.533 1,066 1,066
1,066MHz x 8B ≒ 8,533MB/秒 =
8.533GB/秒
DDR3-1333 PC3-10600 166 667 10.667 1,333 1,333
1,333MHz x 8B ≒ 10,667MB/秒 =
10.667GB/秒
DDR3-1600 PC3-12800 200 800 12.8 1,600 1,600
1,600MHz x 8B = 12,800MB/秒 =
12.8GB/秒
DDR3-1866 PC3-14900 233 933 14.933 1,866 1,866
1,866MHz x 8B ≒ 14,933MB/秒 =
14.933GB/秒
DDR3-2133 PC3-17000 266 1066 17.067 2,133 2,133
2,133MHz x 8B ≒ 17,067MB/秒 =
17.067GB/秒
DDR3-2400 PC3-19200 300 1200 19.2 2,400 2,400
2,400MHz x 8B = 19,200MB/秒 =
19.2GB/秒
DDR3-2666 PC3-21333 333 1333 21.333 2,666 2,666
2,666MHz x 8B ≒ 21,333MB/秒 =
21.333GB/秒

40Gネットワークの実感（TEST中）
• 40G-infinibandの性能を体感するために、
40G-イーサネットでファイル転送実験
・Mellanox製 40GbE を使⽤
・DELL製 VRTX機を使⽤
29
※後⽇、わんくまおよびJAZUGなどで
報告します。

Azureインスタンスの例(1)
30
【関⻄限定情報】
⻄⽇本の単価は、
東⽇本よりお安いんですよ。

WINDOWS AZUREで
HPCつくってみる。

具体的な⼿順は
（１）HPCの要となる「Headノード」を
構築する。
34
（２）Windows Azure上に
クラウドサービスとして
「計算ノード」を構成する。
（３）できあがり︕

①仮想ネットワークの作成
Headノードが「仮想マシン」としてつながるために必要。

ここは省略可能です。

仮想ネットワークの設定

Headノード⽤仮想マシン
簡易作成の場合

ギャラリーから仮想マシン

ここは省略可能です。

Headノード仮想マシンにリモートデスクトップ接続

Tips:RDP設定

RDPで接続できた

当然英語表⽰です。

Tips:⽇本語にする

再ログイン後、⽇本語になる。
追加で、好みでタイムゾーンを
「東京・⼤阪」にする。

PowerShell を使って、
仮想マシンをドメインコントローラーにする

(1) PS-ActiveDirectoryDSコンポーネントをロードする。
Add-WindowsFeature -name ad-domain-services
–IncludeManagementTools
(2) Install-ADDSForestコマンドレットでドメインコントローラーに構成する。
Install-ADDSForest -CreateDnsDelegation:$false -DomainName
“hpc2012r2.local” -DomainNetbiosName “HPC2012R2” -DomainMode
“Win2012R2” -ForestMode “Win2012R2” -InstallDns:$true -
NoRebootOnCompletion:$false -Force:$true
＜構成条件＞
ドメイン名 : hpc2012.local
ドメインの機能レベル : Windows Server 2012 R2
フォレストの機能レベル : Windows Server 2012 R2
管理者モード PowerShell

AD管理者パスワード
の要求
⾃動的に進む。
再起動後完了。

無償のミドルウェア「HPC pack」を実⾏し、
Headノードを構築する。

Microsoft ダウンロードセンターから
「HPC Pack 2012 R2」を⼊⼿。
（できればHeadノード上で）

管理者モード PowerShell
Zipファイルを任意の
場所に解凍し、
管理者PowerShellで
このコマンドを実⾏
（DOSプロンプト可）

HeadノードがAzureのサービスを
制御できるよう、証明書の登録を⾏う。

＜重要＞証明書コントロール
HPC
HeadNode
Azure Portal
ｸﾗｳﾄﾞｻｰﾋﾞｽ
（計算Node）
Windows Azure計算ノードを構築するためには、
Windows Azure「サービス管理API」を呼び出す必要があります。
Windows Azure サービス管理 API では、サービスに対して⾏わ
れた要求が安全であることを保証するために、SSL を介した管理証明
書の相互認証が必要です。匿名の要求は許可されません。
http://msdn.microsoft.com/ja-
jp/library/windowsazure/ee460782.aspx

作業は
• HPC HeadNodeにPack導⼊後に⾃動⽣成
された公開鍵証明書と、それに対応する
秘密鍵を取得。
• Azure管理ポータルの管理証明書欄に公開
鍵証明書を登録。
（秘密鍵は絶対外に出しません。）

PS C:¥> dir Cert:¥LocalMachine¥My | ?{$_.Subject -match "HPC
Azure"} | ft Subject,Thumbprint,HasPrivateKey -AutoSize
PS C:¥> dir Cert:¥LocalMachine¥Root | ?{$_.Subject -match "HPC
Azure"} | ft Subject,Thumbprint,HasPrivateKey -AutoSize
公開鍵証明書を表⽰
鍵ペアを表⽰

CN=Default Microsoft HPC Azure Management の
公開鍵証明書をエクスポート
PS C:¥> Get-Item Cert:¥LocalMachine¥Root¥［Thumbprint］ | Export-
Certificate -Type CERT –FilePath ［ExportFileName.cer］
今回の場合 Thumbprint =820EF576E28702B460B3EDC8AF4A024846686060
ExportFileName.cer =d:¥AZHEAD.cer
“cer”はcertificateの意味で、
主に⾃⼰証明書（ルート証明書）に使⽤。
証明書の内容は直接視可。
“pfx”はマイクロソフトの電⼦証明書の規格。
cer形式の電⼦証明書とRC2⽅式で暗号化した秘密鍵が
パッケージされたもの。
パスワードで保護されている。Kurochin's Mind Control 60

クラウドサービスの作成
ストレージアカウントの
作成
HPCヘッドからAzureノードコ
ントロールの際に利⽤される

Headノードで、
初期構成をウィザードに沿って進める。

＜超重要︕＞
2014年３⽉現在、
Azure上のWin2012R2 OSは、
Infinibandの動作が確定していません。
とりあえずWin2012を選択。

＜超重要︕＞
2014年３⽉現在、
Azure上のA8/A9インスタンスは、
クラウドサービスとしてしか利⽤できない。

テンプレ名は簡単に。
必要なノードを⼊⼒。
（ここで⼊⼒した数単位で構成される）

後でもまとめて編集できます

DEMO
• Azure上に、
HPC⽤クラウドサービスとして、
A9インスタンスを30個作成します。

81
みなさんも
Azure A8/A9インスタンス
使ってくださいね。
（ご利⽤は計画的に）
最後に・・

参考資料
• ⽇本マイクロソフト佐々⽊邦暢⽒ブログ
「More Than One Way」
http://blogs.technet.com/b/ksasaki/
• Mellanox http://jp.mellanox.com/
• Windows Azure http://www.windowsazure.com/ja-jp/

「Windows Azure でスーパーコンピューティング！」for Microsoft MVP camp 2014 大阪会場

「Windows Azure でスーパーコンピューティング！」for Microsoft MVP camp 2014 大阪会場

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 「Windows Azure でスーパーコンピューティング！」for Microsoft MVP camp 2014 大阪会場

Similar to 「Windows Azure でスーパーコンピューティング！」for Microsoft MVP camp 2014 大阪会場 (20)

Recently uploaded

Recently uploaded (7)

「Windows Azure でスーパーコンピューティング！」for Microsoft MVP camp 2014 大阪会場