2018/6/30 に実施した Interact 2018 の HCI セッションの資料です。 https://interact.connpass.com/event/77420/ （session# T54） HCI や Azure Stack など、各社で実装が広がっている「ツール」に自動構築される製品との付き合い方について考えてみました。

1. 別視点からのハイパーコンバージドインフラ
～ ソフトウェアによる華麗な “ものづくり“ の世界
Daichi Ogawa
Microsoft MVP Cloud and Datacenter Management
June 30, 2018

2. 自己紹介
2
経歴
HPE で、サーバー・クラウド関連製品のソリューション開発をしています。
SAN ストレージの製品開発職を経て、現職。
小川 大地
Daichi Ogawa
専門分野
コンポーザブルインフラストラクチャ、コンバージドインフラストラクチャ、
仮想化、シンクライアント、Software-Defined、Windows テクノロジー
ブログ、記事連載、書籍
個人でのブログ 「仮想化でプリセールスしてるSEの一日」

3. 3
ハイパーコンバージドとは？

4. 4
ハイパーコンバージドインフラ （HCI） とは？
サーバーとストレージが
1 つに統合し、
さらに扱いやすく。
Storage
with
Server
※ 本スライドはアニメーションでご覧ください

5. ストレージ内蔵
共有ストレージ不要
Software-Defined Storage 技術で
内蔵ディスクなのにクラスタが組める
No SAN
SDS
本格的な仮想化環境を、少ない人数でも手間なく運用できるアプライアンス
5
ハイパーコンバージドインフラ・アプライアンス （HCI-A）
Web スケール
究極のスモールスタート
ラックマウント筐体を積み重ねることで
容量と性能を簡単に増強できる
×2 ×3
かんたんセットアップ
セットアップウィザード を搭載
必要事項を入力するだけで
初期構築や拡張作業を自動実行
～ 30 分

6. HCI のカテゴライズ （HPE の場合）
HCI アプライアンス
• HPE SimpliVity 380
for VMware vSphere
• HPE SimpliVity 380
for Microsoft Hyper-V
ハイブリッドクラウド
アプライアンス
• VMware
Cloud Foundation
with HPE Synergy
• Microsoft Azure Stack
with HPE ProLiant
HCI ソフトウェア
ソリューション
• VMware vSAN
Ready Node
with HPE Synergy / ProLiant
• Windows Server
Software-Defined Datacenter
with HPE ProLiant
6

7. Hyper Converged Infrastructure - Software
製品ラインナップ
• VMware vSAN
• Windows Server S2D
（Storage Spaces Direct）
• など
特長
• 認定サーバーに
HCI ソフトウェアをインストールして利用
• カスタマイズ可能で柔軟
7
HCI-S （ハイパーコンバージド・ソフトウェア）
認定済み x86 サーバー
HCI ソフトウェア
インストールして利用

8. Hyper Converged Infrastructure - Appliance
製品ラインナップ
• HPE SimpliVity
• Cisco HyperFlex
• Dell EMC VxRAIL
• Nutanix
特長
• アプライアンス提供
• 運用にあたって様々な部分がスマート
– HW/SW の連携技術
– HW/SW の包括的な管理ツール
– HW/SW の包括的でスピーディーな保守体制
8
HCI-A （ハイパーコンバージド・アプライアンス）

9. Hyper Converged Infrastructure - Appliance
製品ラインナップ
• HPE SimpliVity シリーズ、HC シリーズ
• Cisco HyperFlex
• Dell EMC VxRAIL
• Nutanix および OEM Nutanix
特長
• アプライアンス提供
• 運用にあたって様々な部分がスマート
– HW/SW の連携技術
– HW/SW の包括的な管理ツール
– HW/SW の包括的でスピーディーな保守体制
9
HCI-A （ハイパーコンバージド・アプライアンス） のメリット
オンプレミスながら 「迅速」 に開始できる
ベンダーの 「推奨設計」 で運用できる
構築費用が 「低価格」 になることが多い
誰が構築しても 「高品質」 が維持される
トラブル時の 「問題解決」 が早い

10. 10
ツールによるセットアップを
考えてみよう

11. 「ツールによるセットアップ」 とは？
一部のセットアップ工程を代行してくれる
本人は作業しない
• つまり “自動化”
11

12. ロボットが正確に作業するには？
依頼内容をまとめて、事前に 「指示」 する
• 応答ファイル
• ウィザード
12

13. 参考） 応答ファイル
13

14. 14
参考） ウィザード

15. ロボットにも限度がある
知らないことはできない
• 指示されていないこと
• 手順を知らない
• 必要な道具を持ち合わせていない
15

16. つまり、、、
使う側は “知らないパラメーター” まで
たくさん指示しなければならないし、、、
16
それ以前に、ツール制作者はたくさんの
スキルを覚えさせないとならない
• 必要な手順を登録
• あらゆる要求への対応と受け答え
• 英語だけでなく、日本語対応も・・・

17. つまり、、、
使う側は “知らないパラメーター” まで
たくさん指示しなければならないし、、、
17
それ以前に、ツール制作者は
たくさんの手順を覚えさせないとならない
• 必要な手順を登録
• あらゆる要求への対応と受け答え
• 英語だけでなく、日本語対応も・・・
どちらも不幸・・・

18. なので、HCI のツールは
“必要最低限” “シンプル” に作られます
キーワードは “推奨構成”
Reference Architecture
基本ルール
• メーカーおすすめ構成
• 利用者には、必要最低限の選択肢のみを提供
結果として、、
• HW： S / M / L の T シャツ（ポテト）サイズのみ
• SW： 管理者アカウント, ネットワーク設定程度の
簡易ウィザード
18
HCI の目指すのは 「PC」 のような気軽さ

19. 19
HCI セットアップツールの分類

20. どの作業を自動化するか？
タイプ A
プリインストール型
20
ツールによるアプライアンスのセットアップ
タイプ B
イメージインポート型
タイプ C
メディアインストール型
＋ ＋
• メーカー工場からインストール済みの
HCI システムが届く
• ツールで自動化するのは
OOBE レベルのパラメーター入力のみ
• Windows 系は少ない
• 空のサーバーに、
現地でイメージインポートを行う
• インポートとパラメータ適用作業を
ツールで自動化
• Sysprep を掛けないケースも多い
• 空のサーバーに、
通常の OS インストールを行う
• インストールとパラメータ適用・必要
なチューニングまでツールで自動化
• Windows 系に多い

21. どこまでセットアップするか？
タイプ A
スタンドアロンサーバー
21
ツールによるアプライアンスのセットアップ
タイプ B
クラスタ構成
タイプ C
ソリューション型
• スタンドアロンなサーバーを 1 台
セットアップする
• PC セットアップに類似
• サーバーセットアップにプラスして
コンピュートやストレージのクラスタ
リングを実施
• HCI などのクラスタソリューション向
け
• サーバーセットアップにプラスして
ソリューションに必要な管理コンポー
ネント群もセットアップ
• Azure Stack や
VMware Cloud Foundation

22. 22
VMware Cloud Foundation

23. 23
Microsoft Azure Stack
(Deployment Kit - beta)

24. 24
Microsoft Azure Stack
(Integrated System - beta)
https://www.slideshare.net/Microsoft_TechSummit_2017/japan-tech-summit-2017-cld-011

25. 25
実際にツールを見てみよう
Microsoft Hyper-V with HPE SimpliVity

26. ノードデプロイメント作業の流れ （イメージ）
26
Hyper-V Hyper-V Hyper-V Hyper-V
Hyper-V Host Clustering
ストレージ管理
（OVC）
ユーザー仮想マシン
Node #1 Node #2 Node #3 Node #4
内蔵 SSD
Storage
Cluster HW-RAID HW-RAID HW-RAID HW-RAID
製品出荷時 簡単セットアップツール お客様作業
IP IP IP IP
※ 本スライドはアニメーションでご覧ください
Deployment Manager

27. ノードデプロイメント作業の流れ
27
ブート用 HDDs
(RAID1)
データ用 SSDs
① 工場出荷状態
OS 用 HDD には RAID が構成され、Pre-boot OS
「SimpliVity Installer」 と複数バージョンの ESXi
ISO メディア格納されています。
ブート用 HDDs
(RAID1)
データ用 SSDs
② HDD から自動ブート
電源投入すると、自動的に HDD からブートします。
Pre-boot OS は ramboot 型になっており、ESXi
メディアも含めたすべての中身をメモリに展開します。
Copy
ブート用 HDDs
(RAID1)
データ用 SSDs
③ Pre-boot OS の自動起動
メモリへの転送が完了すると（数十秒程度）、
Pre-boot OS 「SimpliVity Installer」 が起動します。
SimpliVity
Installer

28. ノードデプロイメント作業の流れ
28
ブート用 HDDs
(RAID1)
データ用 SSDs
⑥ 簡単セットアップツールを実行
「Deployment Manager」 でデプロイメントに必要な
パラメータ情報 （ESXi ホストIP アドレス、管理者ア
カウントなど） を入力し、デプロイメントを開始します。
Start!
ブート用 HDDs
(RAID1)
データ用 SSDs
④ Pre-boot OS に IP を設定
Pre-boot OS 「SimpliVity Installer」 のバージョンを
確認してください。
問題なければ IP アドレスを設定して待機させます。
192.168.xx.xx SimpliVity
Installer
ブート用 HDDs
(RAID1)
データ用 SSDs
⑤ 簡単セットアップツールを起動
Pre-boot OS に対応するバージョンの
簡単セットアップツール 「Deployment Manager」 を
任意の端末にインストールし、起動します。
Deployment
Manager
Deployment
Manager

29. ノードデプロイメント作業の流れ
29
Deployment
Manager
ブート用 HDDs
(RAID1)
データ用 SSDs
⑦ Hyper-V と OVC のインストール
簡単セットアップツールからの指示を受け、Pre-boot
OS はセットアップ作業を開始します。最初は HDD
への Hyper-V と OVC 仮想マシンをインストールで
す。
指示
SimpliVity
Installer
ブート用 HDDs
(RAID1)
データ用 SSDs
⑧ Hyper-V と OVC のセットアップ
再起動が行われ、今度は HDD にインストールした
ESXi が起動し。OVC のセットアップなどを行います。
データ用 SSD のアレイや LUN はここで自動作成。
指示
OVC
Deployment
Manager
ブート用 HDDs
(RAID1)
データ用 SSDs
⑨ デプロイメント完了
デプロイメントが無事完了すると、OVC の管理画面
が SCVMM GUI に統合され、一元的な管理操作が
可能になります （ssh による CLI 管理も可能）。
SCVMM
OVC
管理
管理

30. Demonstration
30

31. 主要な流れ
1. サーバーに Hyper-V をインストール
2. ローカル管理者のパスワードを設定
3. ネットワーク情報 （IP アドレスやホスト名など） を指示されたパラメーターに設定
4. Active Directory に加入
5. SCVMM にこのサーバーを登録
6. ストレージコントローラー仮想マシンを作成
7. ネットワーク情報 （IP アドレスやホスト名など） を指示されたパラメーターに設定
8. ディスク群をアタッチ
9. ストレージコントローラー仮想マシンを起動
10. ホストクラスタリング （WSFC） を構成
11. ストレージクラスタリングを構成
12. 正常終了
31
インストールプロセス

32. （事実として） Windows 系は自動化処理に失敗しやすい
「Active Directory + DNS」 ありき
• SIer さんの自社倉庫で落ち着いてセットアップができず、客先現地での一発勝負
インフラ OS としてやりすぎな 日本語ローカライゼーション （L10N）
• 日本語専用バイナリが存在し、応答メッセージを “親切に” 日本語で返してくれる
– オリジナル版 （en-us） とビルド番号も異なる
– トラブルシュートしづらい 「例外エラー」
• MUI 版は利用者も少なく、オリジナルとも日本語版とも違って最も中途半端
– メーカー側も、ただでさえ日本語版の動作検証が必要なのに、MUI 版の検証はできない
32
2018-06-29 17:48:50,793Z ERROR OmniStack-192.168.1.164 [c.s.d.o.Orchestrator] error(DeployLogger.java:98) - step 19 of 31 (76.67%)
- An exception occurred configuring Virtual Controller
com.simplivity.hval.exceptions.HVALInvalidStateException: Virtual machine 'OmniStackVC-192-168-1-165' is powered on. Can not perform this operation.
at com.simplivity.hval.hms.hyperv.HyperVVirtualMachineImpl.setAndReserveMemory(HyperVVirtualMachineImpl.java:1311)
at com.simplivity.deploy.orchestrator.DeployActions.setSvaMemory(DeployActions.java:2286)
at com.simplivity.deploy.orchestrator.CustomerDeploy.runSteps(CustomerDeploy.java:125)
at com.simplivity.deploy.orchestrator.DeployExecutor.run(DeployExecutor.java:439)
at java.lang.Thread.run(Unknown Source)

33. （事実として） Windows 系は自動化処理に失敗しやすい
最近の流行りは、やはり 「CredSSP」 エラー
リモートデスクトップと同様に、リモートコマンド発行で CredSSP に抵触することがある
33

34. 性能もセキュリティもチューニング済みの “仕上がり”
“Server Core” は当たり前
34
メーカー推奨設定済み

35. ログインすらできないも多い
そもそもパスワードが分からない
• System VM 間で独自の AD ドメインが構築され、
外部とはフェデレーションでアクセスしている
• 障害時はサポートセンターに
リモートログインして対応してもらう
アクセスできるのは
「踏み台 VM」 のみ
Microsoft では伝統的に
この踏み台 VM のことを
“DVM” と呼ぶ
35
Azure Stack などの大型のアプライアンス製品だと・・・

36. 36
HCI-A と HCI-S の選び方

37. ハイパーコンバージド・アプライアンス ＝ 「規格住宅」
規格住宅とは？
• サイズや内装・建築設計が
あらかじめ 既成化 されている建屋
• グッドデザイン賞を受賞するなど
デザイン性 に優れている
• まるで プラモデル のように、
多くの建築材が既成化されている
• 短納期 で建てられる
• 職人の腕に左右されにくく、
高い建築品質 を保ちやすい
37
HCI-A と HCI-Software の違い、すみ分け
画像引用元： http://www.mj-house.cc/concept/sora.html

38. ハイパーコンバージド・アプライアンス ＝ 「規格住宅」
規格住宅の基本
• 建屋は 「キューブ型」
38
HCI-A と HCI-Software の違い、すみ分け
土地
建屋
画像引用元： http://www.bino.jp/lineup/vills/
http://zero-cube.jp/dh/zero-cube/

39. 土地土地
ハイパーコンバージド・アプライアンス ＝ 「規格住宅」
もし、土地が四角くなかったら？
39
HCI-A と HCI-Software の違い、すみ分け
規格住宅
A
規格住宅は
形状もサイズも変更できない。
規格住宅
B
土地のサイズにあった規格住宅
を選ぶしかない。

40. ハイパーコンバージド・アプライアンス ＝ 「規格住宅」
もし、土地が四角くなかったら？
40
HCI-A と HCI-Software の違い、すみ分け
画像引用元： http://www.casacube.com/works/
• セットアップツールの許容範囲
外の環境へは導入できない
• 土地形状＝“ネットワーク環境”
特にここで問題が生じやすい
↓
• HCI-A やセットアップツールに
手を入れることはできないため
必要に応じて
既存環境の改修が必要
『規格住宅』 型
デッドスペースが
生じてしまう

41. 手組みなハイパーコンバージド ＝ 「注文住宅」
注文住宅なら、オーダーメイドで
土地ギリギリの建屋も立てられる
41
HCI-A と HCI-Software の違い、すみ分け
画像引用元： http://www.ookawa-koumuten.co.jp/ask_01/
• 既存環境にマッチするように、
導入製品をカスタマイズできる
• どのような “土地形状” であっ
ても SI でカバーできる
↓
• 既存環境が少し特殊な設計や
運用スタイルを取っていても
既存環境を変えずに
HCI を導入できる
『注文住宅』 型

42. まとめ
42
HCI-A と HCI-Software の違い、すみ分け
HCI アプライアンス （HCI-A） HCI ソフトウェア + SI 構築
新築住宅に例えると…？ 規格住宅型 注文住宅型
セットアップ作業 ツールを利用 エンジニアによる手組み
カスタマイズ性 ツールのパラメータ + α 程度 フルカスタマイズ可能
構築時の注意点
導入製品はアプライアンスのため、カスタマイズ
性は高くない。 このため、「既存の」 ネットワーク
や運用スタイルに適合しないことがある。
あらかじめ導入前に現状確認し、既存環境側を
必要に応じて HCI-A 向けに手直しする （※）
導入製品はカスタマイズが効くため、既存環境や
運用スタイルに合うように SI で調整しながら
組み立てることができる。
原則として、既存環境に手を入れる必要は無い
もちろん、手を入れて新環境用に整備してもよい
一言でいうと・・ 便利 ・ 簡単 ・ スマート 既存流用に強い ・ 柔軟
※ ネットワーク設計、命名規則や連番などの明示的な指定、ハードウェア監視通報、バックアップ運用など

43. Thank you