de:code 2018 CI01

1. 帰ってきた インフラ野郎 Azure チーム
～ Azure データセンター テクノロジー解体新書 2018春 ～
CI01

2. 自己紹介
{
“名前” : “真壁 徹(まかべ とおる)”,
“所属” : “日本マイクロソフト株式会社”,
“役割” : “クラウド ソリューションアーキテクト”,
“経歴” : “大和総研 → HP Enterprise”,
“特技” : “クラウド & オープンソース”
}

3. 写真で一言

4. ｓ
@ishikawa84g

6. このセッションのゴール
Azureで使われている基盤技術を知る
技術選択の判断材料を増やす
先進技術を楽しむ

7. お断り

8. お品書き
Azureなう
Availability Zones
Inside Cloud Shell
Live Migration & Live Patching
Accelerated Networking
Resource Provisioning with Terraform @ashleymcnamara

9. Azureなう
@ashleymcnamara

10. United States
United States
Canada
Mexico
Venezuela
Colombia
Peru
Bolivia
Brazil
Argentina
Atlanta Ocean
Algeria
Mali
Niger
Nigeria
Chad
Libya Egypt
Sudan
Ethiopia
Dr Congo
Angola
Zambia
Nambia
South Africa
Greenland
Svalbard
Sweden
Norway
United Kingdom
France
Poland
Ukraine
Turkey
Saudi
Arabia
Iran
Kazakistan
India
Russia
Russia
China
Myanmar
(Burma)
Indian Ocean
Indonesia
Australia
Pacific Ocean
Pacific Ocean
Data centerOwned Capacity
Moving to Owned
Leased Capacity
Edge Site

12. サーバーは第6世代へ
Gen 2
12 Cores
32 GiB
Gen 3
16 Cores
128 GiB
HPC
24 Cores
128 GiB
Gen 4
24 Cores
192 GiB
Godzilla
32 Cores
512 GiB
Gen 5.1
40 Cores
256 GiB
GPU Gen 5
16 Cores +
GPU
256 GiB
Beast
72 Cores
4096 GiB
Gen 6
48 Cores
192GiB

13. Availability Zones
@ashleymcnamara

14. リスクとは

15. これまでの優先、これからの取り組み

16. 可用性に応じた選択肢
サーバーラックに
近い概念(電源とネットワークを
共有するサーバーのグループ)

17. Availability Zones (AZ)
Zonal VM
Zone 2Zone 1
Zonal VM
Zone x
Zonal VM
Load Balancer
Standard
Zone-redundant data path
(regional anycast, public & internal, inbound & out)
• AZ Ready Services

18. AZの実装 2つのタイプ
効率追求型
都市適応型

19. 効率追求型の例

20. 都市適応型の例 (France Central)
10s of Km
Zone 1
Zone 2
Zone 3
Rng 1
Rng 2

21. Demo

22. クロスゾーン VMSS
AZ 1 AZ 2 AZ X
VMSS
ゾーンまたぎの負荷分散を確認
ゾーン間遅延の測定
VNet

23. additional geographies
Microsoft Azure Blog

24. Inside Cloud Shell
@ashleymcnamara

25. Azure Cloud Shell (Bash)
フロントエンドはJavaScript
ブラウザにXterm.jsがロードされる
Ubuntuコンテナーを生成
ユーザーごとにひとつのコンテナー
コンテナーイメージはユーザー共通
20分間無操作だと破棄される
永続化領域はAzure Filesへ
$HOMEの下が永続化される
ブラウザ ブラウザ
ユーザーコンテナー
Azure Files
Xterm.js Xterm.js
コンテナーイメージ
(Ubuntu 16.04 &
Tools)

26. Azure Cloud Shell (Bash) Tools
Azure CLI 2.0 & 1.0
AzCopy
Batch Shipyard
Service Fabric CLI
Blobxfer
Docker CLI/Docker Machine
Kubectl
Helm
DC/OS CLI
MySQL クライアント
PostgreSql クライアント
sqlcmd ユーティリティ
mssql-scripter
iPython クライアント
Cloud Foundry CLI
Terraform
Ansible
.NET Core (2.0.0)
Go (1.9)
Java (1.8)
Node.js (8.9.4)
PowerShell Core (6.0.1)

27. 使わなければ もったいない
Cloud Shell自体は無料
Azure Files利用料のみ
ツールのインストールと維持が不要
山ほどあるツールを、いちいちインストール、アップデートしなくていいんだ… ( ;∀;)
Azure API認証の設定済みのツールがある
Azure CLI、Terraformなど

28. Demo

29. 味わい深い点

30. 味わい深い点

31. Announcing…
Microsoft Azure Blog

32. Live Migration &
Live Patching
@ashleymcnamara

33. 可用性を下げる2つのダウンタイム
2つのダウンタイム
メンテナンスはさらに2つに分けられる
形あるものは壊れる
ので、冗長化する
停止や再起動を、
テクノロジーで解決で
きないか？

34. Azure では、ライブ マイグレーション テ
クノロジを使用して、故障が起こるハードウェアから正常な物理マシンに仮想マシンを移行し
ます
docs.microsoft.com

35. Live Migration on Azure
事前に故障、不具合が予測できた場合
ユーザーからは不可視

36. Azure OS
いわゆるひとつのホストOS
Azure OSの再起動をいかに避けるか

37. これらの更新のほとんどは、仮想マシンやクラウド サービスに影響を及ぼすことなく実行さ
れます (VM 保持メンテナンスに関する記事を参照してください)
docs.microsoft.com

38. Live Patching on Azure
再起動を不要とするパッチ適用技術
VM-PHU
VM-PHU + Kernel Soft
Reboot
VM-PHU-Lite
VM-PHU-Ultra-Lite
Hotpatching
Handle Proxy

39. ユーザー視点での対策
冗長化 & 可用性セット(AVSets)構成
利害関係者間でのサービスレベル合意

40. 楽するなら PaaS
Azure App Service Team Blog

41. Accelerated
Networking
@ashleymcnamara

42. Azure リージョン間ネットワーク
Microsoft
Backbone
Region
RNG RNG
DC DC DC DC
DC DC
Regional Network Gateway (RNG)
リージョン内DCのトラフィックを束ねる
他リージョン、インターネットへの玄関
1.6 Petabits/秒
Microsoft Backbone
リージョン間をつなぐ
安定した帯域、低遅延
Azureサービス間の通信はインターネットに出ない
Internet Other
Regions

43. ネットワークは可用性に大きく影響する
安定した、品質の高いネットワーク
を目指し、改善の日々

44. Azure SmartNIC
Host
SmartNIC
FPGA
Top of Rack
Switch
NIC ASIC
SmartNIC
CPU
FPGAを活用したNIC
様々なネットワーク処理をFPGAへオフロード
(ACL、カプセル化、NAT、etc)
CPU負荷の軽減
性能と安定性の向上
2015年後半以降に導入されたサーバーに搭載
Accelerated Networking
SmartNIC + SR-IOV
4vCPU or 8vCPU(HT)以上のVMで有効化可能 (無償)
最大30Gbps

45. Accelerated Networking
使用前: 仮想スイッチによるソフトウェア処理 使用後: SmartNIC + SR-IOVによるハードウェア処理
Virtual switch
Physical switch
Virtual switch
Virtual
Network
Physical switch
VM1 VM2
Virtual
Network
VM1 VM2

46. DPDK Developer Preview
30Gbps30Gbps
Accelerated NetworkingAccelerated Networking
AzureDPDK@Microsoft.com

47. Benchmarking
• Azure: Fs72 v2
• AWS: c5.18xlarge
• GCP: n1-highcpu-64
• Date: November 2017
• OS: Unmodified Ubuntu 16.04
• Tools: sockperf, iperf

48. Demo

49. Japan WestJapan East
Accelerated Networking
VNet01 VNet02
リージョン内遅延と帯域の測定 リージョン間遅延と帯域の測定

50. Resource Provisioning
with Terraform
@ashleymcnamara

51. Terraform
マルチクラウド対応のプロビジョニングツール
クラウドプロバイダー個別機能をプラグイン化
AzureRM Terraform Provider

52. ARM Terraform Resource Provider
ARM Template Deploymentを補完

53. Kubernetes Podのプロビジョニング例

54. Demo

55. 組み合わせでも、主としても
Azure Resource Manager Template Deployment
with Terraform RP
Terraformを主にする
• 既存ARM Template資産の活用
• Terraform実行環境の構築、維持が不要
• ワンストップサポート
• Terraformの機能をフル活用できる
(HCL、ドライラン、状態管理、etc)
• 豊富なプロバイダー

56. 知っていると得をする
Azure Cloud Shell上での実行は認証作業不要
Azure VMでMSI認証可能
Visual Studio Codeプラグイン
vscode-terraform
Azure Terraform

57. Demo

58. デモインフラはすべてTerraformで作成
https://github.com/ToruMakabe/decode2018

59. まとめ
@ashleymcnamara

60. LOVE to CODE: Golangのすすめ
人気のインフラ系アプリの多くはGolangで書かれている
Docker、kubernetes、Terraform、etc
静的型付け、メモリ管理の安心感、シングルバイナリ生成、モダンなツールチェイン
Azure SDK for Goも拡充中
https://docs.microsoft.com/ja-jp/go/azure/azure-sdk-go-install
インフラ野郎/乙女におすすめ
いまから何か新しい言語に挑戦するなら
Special thanks to
@ashleymcnamara

61. お伝えしたかったこと
Azureで使われている基盤技術
技術選択の判断材料に
先進技術を楽しむ

62. © 2018 Microsoft Corporation. All rights reserved.
本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。

63. セッションアンケートにご協力ください。
Twitter のご案内

64. Ask the Speaker のご案内
ブレイクアウトセッション終了後の休憩時間に、
登壇したスピーカーに直接ご質問いただける
コーナーを 「Ask The Speakers」 Room に
用意しております。セッション内容のより深い
理解のため、ぜひお役立てください。
「Ask The Speakers」