1. HPC Server 講習会
第３回 応用編
2013/11/06
デンソーアイティーラボラトリ 増谷

2. 1.前回までの復習

3. 前回の復習

第１回

HPC Serverとは



MicrosoftのHPC用プラットフォーム
Windows Server, Windows 7, Windows Azureを組み込め
る
基本概念


ジョブ、タスク、ノード
簡単な使い方

シリアルアプリケーション

パラメータスイープ

Matlabからの利用

4. 前回の復習

第２回

さまざまなプログラミングパラダイムへの対応

MPI


Visual StudioでのMPIプログラミング


MPIの概念
MPIとGPGPU
HPC SOA

.NETからやるにはこの方がわかりやすい

WCFのサービスとしてワーカーをデプロイ

5. 導入イメージ

ヘッドとワーカーに分かれる
Compute Node
Workstation Node
HPC Pack 2008 R2
HPC Pack 2008 R2
HPC Pack 2008 R2
Enterprise
Express
Workstation
Windows HPC Server
Windows 7
Head Node
Compute Node
Windows HPC Server 2008 R2
ヘッドノード
2003 / 2008 / 2008 R2
社内サーバ
クライアント

6. 2.HPC Serverの変遷

7. HPCPackエディションの変遷

ほぼ半年に１度リリース

機能拡張とパッケージのスリム化が行われている
リリース時期
2010年7月
2010年12月
2011年6月
2011年11月
2012年6月
2012年12月
2013年8月
[NEW]
HPC Pack の名 社内呼称 バージョン番号
称
2008 R2 SP0
v3 RTM
3.0.2369.0
(RTM)
2008 R2 SP1
v3 SP1
3.1.3267.0
2008 R2 SP2
v3 SP2
3.2.3716.0
2008 R2 SP3
v3 SP3
3.3.3950.0
2008 R2 S4
v3 SP4
3.4.4169.0
2012
v4 RTM
4.0.3906.0
2012 SP1
v4 SP1
4.1.4174.0
Dryad 統合
完全無償化
ワンパッケージ化

8. What’ new in HPC Pack
2012

エディション構成


2012からは無償：Windows機の数だけノード数を増やせる


昔はヘッドノードとワークステーションノードが有償だっ
た（それほど高くは無いが）
HPC Packが１種類に：インストーラでノード種を切り替え
る
サポートＯＳ



Server 2008,2008R2はサポートから外された
Windows 7はまだ対応
Azure 対応

Azureで提供されるVPN(WAVN)を活用可能に

VHDを自動マウント可能に：データの配布がシンプルに

Azure上にヘッドノードを設置可能に

9. さあどうぞ

Compute Intensiveなタスク(embarrassingly parallel)

簡単なバッチ処理を分散したいだけなら



小さめのデータ：転送が負担にならない
処理単位が大きい：分割をあまり工夫しなくてよい
HPC Serverと通常の共有ファイルシステムで十分


データの分配、最適化等を考えなくて良い
Data Intensiveなタスク

大量のデータを処理


データの配布を含めた配慮が必要な場合
MapReduce？？

Amazonに行く？
：
ちょっと待った！

10. HPC Serverでも
MapReduce
HPCSERVERでHADOOPを使いたい

11. Hadoopとは

12. Azure上のHadoopエコシス
テム

Azure上でHadoopを活用する方法
は複数ある

ストレージ


テーブル (NoSQL、Key-Value スト
ア)、SQL データベース、BLOB など
VMによるLinux環境



ほぼネイティブな環境
OSライセンスの心配なし
HDInsight

より大規模な運用

ほぼターンキーソリューション

ノードの管理などが容易

13. HDInsight

Microsoft の Hadoop環境


純粋なHadoop：Javaベース


MSが開発したHadoopのポーティング
Windows AzureとオンプレミスWindows Serverの
双方に対応
スケジュール

2013/10/28 から正式版リリース

14. HDinsightの構成

15. 特徴

使い慣れたツール



PowerPivotやPower ViewなどのBIツールに統合されている
SQL Serverとの連携
機敏性


大規模運用


セキュリティ確保
リッチな開発者エクスペリエンス


数分で展開可能
Java/.NET LINQ to HIVE
オンプレミス版の存在

ステージング環境として

廉価な常時運用環境として

Windows 7用 HDInsightのインストール：

http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/hdinsight_pre
view.html

16. HDInsightのフロントエンド

Azure

PowerPivot

Power View

PowerShell


シェルスクリプトから利用
開発環境

Java

.NET

17. HDInsight のコスト

ヘッドノード


計算ノード


1時間当たり36.54～42.36円、
18.27～21.60円
自前で IaaS 上に Hadoop クラスターをデプロイ
するには数日から数週間を要するが、Windows
Azure に Hadoop クラスターをデプロイするこ
とによって、所要時間を数分に短縮できる。また、
作業の終わったクラスターは、シャットダウンす
ることでコストセーブできるという。
http://japan.internet.com/busnews/20131029/6.html
2013年11月30日まではキャンペーン料金



ヘッドノードが1時間当たり18.27～21.60円、
計算ノードが同9.14～10.80円
半年または1年の契約を結ぶことで、20～32％の割引を受けられる。

18. MSのMapReduceタイプの
フレームワーク変遷
2008
HPC Pack
2009
2010
2011
2008R
2
2008
2008R
2 SP1
2008R
2 SP2
2012
2008R
2 SP4
2008R
2 SP3
C
R
B
2
LINQ to HPC
2012
SP1
P
Hive ODBC Driver
Dryad
B
1
A
Project
Daytona
統合
C
HDInsight
Azure
C
HDInsight
Server
C
MS Blog記事などより収集
Community Preview
2012
統合
Hadoop
Connector
C
2013
P
Public Preview
R
Release
A
Alpha
B
Beta
P
R
P

19. HDInsight

過去のMSの分散コンピューティングプラットフォー
ムとの関連

SQL Server Connector for Hadoop ; Scoop ベースの
コネクタ

HDInsightへ統合

Daytona : MSRのMapReduce環境：？

Dryad : パイプラインを指定しない自動的な構成？HPC
to Linq

20. HDInsight実践
使ってみよう

21. HDInsightクラスタの準備１

HDInsghtで”Create”

22. HDInsightクラスタの準備２

クラスタ名とノード数アカウントを指定する

23. HDInsightクラスタの準備３

クラスタができた

24. ダッシュボード

クラスタの管理

25. コンパネ

複数のアクセス方法がある

26. Hadoopノードに
RemoteDesktop

27. Jobの作成

28. Monitoring

29. HDInsightまとめ

完全なHadoop環境



Javaベース
MS独自の実装はない(.NET用のAPIで利用可能）
さまざまなアクセス

BIツール

シェル

プログラミング環境

30. Hadoopの開発
HDINSIGHTでの開発

31. Javaだけか？

32. .NET MapReduce

33. LINQ to HIVE

34. .NET MapReduce 準備

以下の３つをNuGetから取る


Microsoft Linq to Hive


Microsoft .NET Map Reduce API For Hadoop
Microsoft .NET API For Hadoop WebClient
Usingする

using Microsoft.Hadoop.WebHDFS.Adapters;

using Microsoft.Hadoop.WebHDFS;

using Microsoft.Hadoop.Hive;

35. .NETでHDFS

36. .NETでMapReduce
LogMapper
Job登録
実行
LogReducer

37. Linq to HIVEの詳細
Actorの受賞カウント
ActorIdでジョイン
Actorの受賞カウントを平均
集計するだ
けならこれ
で終わり

38. .NET Hadoopの利点

Visual Studioで開発可能

Linq to HIVEにて、MapperやReducerを書かなくて
も簡単な処理が可能