サポートエンジニアが語る、Microsoft Azure を支えるインフラの秘密

日本マイクロソフト株式会社
カスタマーサービス＆サポート
サポートエンジニア
宇田周平
サポートエンジニアが語る、
Microsoft Azure を支える
インフラの秘密

© Microsoft Corporation
About me
© Microsoft Corporation Azure
PS C:> Get-Profile -Name “Shuhei Uda” | Format-List
名前 : 宇田周平
職種 : サポートエンジニア
2015/12 – 現在
Azure (IaaS / Networking)
2013/06 – 2015/11
Windows (Hyper-V / RDS / Performance)

© Microsoft Corporation Azure
https://thinkit.co.jp/article/13243

Azure 使ってますか？

Inside Azure Datacenters
Inside Azure Servers
Inside Azure Network
お品書き
※ 本セッションで言及する内容は、引用元の各種資料の
公開日時点のものであり、本日時点もしくは将来的に
予告なく変更される場合があります。

Azure global infrastructure
54 total Azure regions: 44 generally available + 10 coming soon

Geo / 地域
•
•
Region / リージョン
•
Availability Zones / 可用性ゾーン
•
•
•
•
•
Geography
Region 2Region 1
Availability
Zone 1
Availability
Zone 2
Availability
Zone 3
Data residency boundary
https://azure.microsoft.com/ja-jp/global-infrastructure/

Q. 可用性の担保や DR 対策はどうすべき？
A. システムの規模や、どの程度の障害・災害まで考慮するかによって異
なります
• データセンター単位の障害を想定した場合
AZ を活用し、東日本リージョン内の異なるゾーンに、複数の仮想マシン等を展
開
• 地震などの広域災害を想定した場合
東日本・西日本リージョンで冗長構成としたり、定期的にデータのバックアップ
を取るなど
(大規模な災害時にはペアリージョンの需要が急増し、リソースの逼迫が予想さ
れるため、
東アジアや東南アジアへのデプロイも視野に入れる)
• グローバルに展開される大規模システムの場合
サポートエンジニアの視点から…

DB3,4,5
DUB 07
DUB 06
DUB 08
Future Campus works
Dublin, Ireland

Azure を支える物理サーバー | 汎用
Gen 2
Processor 2 x 6 Core 2.1 GHz
Memory 32 GiB
Hard Drive 6 x 500 GB
SSD None
NIC 1 Gb/s
Gen 3
Memory 128 GiB
Hard Drive 1 x 4 TB
SSD 5 x 480 GB
NIC 10 Gb/s
Gen 4
Memory 192 GiB
Hard Drive 4 x 2 TB
SSD 4 x 480 GB
NIC 40 Gb/s
Godzilla
Memory 512 GiB
Hard Drive None
SSD 9 x 800 GB
NIC 40 Gb/s
Gen 5
Memory 256 GiB
Hard Drive None
SSD
6 x 960 GB PCIe Flash
and 1 x 960 GB SATA
NIC 40 Gb/s + FPGA
Beast
Memory 4096 GiB
Hard Drive None
SSD
4 x 2 TB NVMe, 1 x 960
GB SATA
NIC 40 Gb/s
Gen 6
Processor
2 x Skylake 24 Core
2.7GHz
Memory 768GiB DDR4
Hard Drive None
SSD
4 x 960 GB M.2 SSDs
and 1 x 960 GB SATA
NIC 40 Gb/s
FPGA Yes
Beast v2
Memory 12 TiB
Hard Drive None
SSD
4 x 2 TB NVMe, 1 x 960
GB SATA
NIC 50 Gb/s
3x
Beast

Azure を支える物理サーバー | 用途特化型
HPC
Memory 128 GiB
Hard Drive 5 x 1 TB
SSD None
NIC 10 Gb/s IP, 40 Gb/s IB
HB
Memory 240 GiB
Hard Drive None
SSD 2 x 960 GB NVMe
NIC
50 Gb/s Ethernet, 100
Gb EDR IB
HC
Memory 352 GiB
Hard Drive None
SSD 2 x 960 GB NVMe
NIC
50 Gb/s Ethernet, 100
Gb EDR IB
GPU Gen 5
Memory 256 GiB
Hard Drive 1 x 2 TB
SSD 1 x 960 GB SATA
NIC 40 Gb/s
GPU 2 x 2 Compute GPU
Lv2
Processor 2 x 32 core 2.0GHz
Memory 1 TiB
Hard Drive None
SSD 12 x 2 TB NVMe
NIC 40 Gb/s
NDv2
Processor
2 x Skylake 24 Core 2.7
GHz
Memory 768 GiB
Hard Drive None
SSD 6 x 960 GiB NVMe
NIC 40 Gb/s
GPU 8 GPU with NVLink

Q. 仮想マシンが突然クラッシュしたように見えるんだけど？
A. 残念ながら、物理サーバーは壊れることもあります
• 世界中のデータセンターで、常に膨大な数の物理サーバーが稼働して
いますので、日々どこかの物理サーバーが故障したり不調に陥る可能
性はあります
• ハードウェアの信頼性を上げる (99.xxxxx) というアプローチは現実的
ではなく、
物理サーバーは使い捨て (故障したらフラグを立て)、お客様の仮想マ
シンは
他の正常な物理サーバー上で自動的に起動 (Service Healing) されます
• 故障を未然に予知できた場合には、自動的にライブマイグレーショ
ンを行って
https://blogs.technet.microsoft.com/jpaztech/2018/05/29/aiming_no_downtime/

Boydton (2013) に設置されたサーバーたち
かなり古い写真ですが…

Boydton (2013) に設置されたサーバーたち
• 12U のシャーシに 24 台 (ラックあたり 96 台) を収容
• 52 Port (?) の ToR に LAN ケーブルが接続されている
→NIC や Switch が単一障害点になりうる
クラウドでも「ハードウェアは壊れる」ということを念頭において、
複数台で可用性を担保したり、自動復旧の再起動後に
サービスやアプリケーションが正常に復旧できるようにしましょう
かなり古い写真ですが…

Microsoft は Open Compute Project (OCP) にコントリビュートしてい
ます
実はハードウェアの仕様も公開されています
https://azure.microsoft.com/ja-jp/global-infrastructure/hardware-innovation/

オンプレミスに SQL Server / Windows Server 2008 (R2) 残っていませ
んか？
サポート終了が間近に迫っています
• SQL Server 2008 (R2) : 2019 年 7 月 9 日
• Windows Server 2008 (R2) : 2020 年 1 月 14 日
上記製品を Azure 上でご利用いただくことにより、サポート終了後も
3 年間にわたって延長セキュリティ更新プログラムを無償で入手いただけます
少し話題は変わりますが…
https://azure.microsoft.com/ja-jp/blog/announcing-new-options-
for-sql-server-2008-and-windows-server-2008-end-of-support/

United States
United States
Canada
Mexico
Venezuela
Colombia
Peru
Bolivia
Brazil
Argentina
Atlanta Ocean
Algeria
Mali
Niger
Nigeria
Chad
Libya Egypt
Sudan
Ethiopia
Dr Congo
Angola
Zambia
Nambia
South
Africa
Greenland
Svalbard
Sweden
Norway
United
Kingdom
France
Poland
Ukraine
Turkey
Saudi
Arabia
Iran
Kazakistan
India
Russia
China
Myanmar
(Burma)
Indian Ocean
Indonesia
Australia
Pacific Ocean
Pacific Ocean
Data centerOwned capacity
Future capacity
Leased capacity
Edge site

• Software WAN
• Subsea Cables
• Terrestrial Fiber
• National
Clouds
WAN backbone
• SmartNIC/FPGA
• SONiC
DC hardware
• Virtual Networks
• Load Balancing
• VPN Services
• Firewall
• DDoS Protection
• DNS and Traffic
Management
Services
Azure region ‘B’
Azure region ‘A’
• Internet Peering
• ExpressRoute
Edge and
ExpressRoute
• Acceleration
for applications
and content
CDN
CDN
Edge
ExpressRoute
Microsoft
WAN
• DC Networks
• Regional
Networks
• Optical
Modules
Intra-region
Regional
network
Regional
network
Regional
network
Regional
network
Internet
exchanges
Carrier
Cable
• E2E monitoring
(Network Watcher,
Network
Performance
Monitoring)
Last mile
Consumers
Enterprise,
SMB, mobile
Enterprise DC/
Corpnet

Microsoft
backbone
DC Region
RNG RNG
DC DC DC DC
DC DC
Region
直径 100km (2.0ms RTT) 圏内に複数の DC が存在
Regional network gateway
DC の増設を容易にする高い拡張性
異なるデータセンターによる冗長構成
Data centers
サーバーラックや DC ネットワークのみを配置
リージョンによって大小様々な規模の DC が存在

100G
Colored
QSFP28
Arista , Cisco, Juniper などと連携して
超低コスト, 低消費電力なモジュールを開発
QSFP28 form-factor
≤ 4.5 W/plug
Colored with 80km reach (40 channels)
100G PAM4 modulation
Direct-detect demodulation
Silicon photonics-based optics
FEC/DSP based in 28nm CMOS
https://azure.microsoft.com/en-us/blog/lighting-up-network-innovation/

Q. Azure の仮想マシンでネットワーク帯域は保証されますか？
A. SLA 等での保証はありませんが、十分な広帯域が確保されています
• 多くの場合、物理サーバー自体は 40G / 50G の NIC を有しています
• 物理サーバーを占有するようなコア数の多い仮想マシンサイズをご利
用いただけば、同一サーバー上の他の仮想マシンの影響を受けずに広
帯域を利用いただけます
• Accelerated Networking の機能をご利用いただける構成の場合には、
Smart NIC でハードウェアオフロード (SR-IOV) を有効化することも
可能です
https://blogs.technet.microsoft.com/jpaztech/2018/05/29/aiming_no_downtime/

Microsoft Azure を支えるインフラの秘密
楽しんでいただけましたか？

Microsoft Azure を支える物理的なインフラや、設計思想についてご紹
介しました
Azure ではお客様の多種多様なワークロードを安心して預けていただけ
るだけの
データセンター・サーバー・ネットワークといったインフラ基盤がすで
に整っています
(システム要件によっては、オンプレミスの方が適す場合もあるかとは思
いますが、)
今後システムの刷新や移行をご検討される際は、ぜひとも Microsoft
Azure を
ご検討いただけましたら幸いです。
まとめ

Microsoft Azure のアップデート情報
• https://azure.microsoft.com/en-us/blog/
米国で開催されている Build や Ignite のセッション動画
• https://www.microsoft.com/en-us/build
• https://www.microsoft.com/en-us/ignite
Microsoft Research の論文
• https://www.microsoft.com/en-us/research/search/
Azure のインフラに関する詳細を知りたい方は…

セミナー資料：
https://aka.ms/Interop2019
本日の内容や Azure に関するご質問・ご相談などございましたら、
宇田もしくは会場内の Microsoft 社員までお気軽にお声がけください。
本日のセミナー資料は、以下の URL もしくは QR
コードより
ダウンロードいただけます。

サポートエンジニアが語る、Microsoft Azure を支えるインフラの秘密

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to サポートエンジニアが語る、Microsoft Azure を支えるインフラの秘密

Similar to サポートエンジニアが語る、Microsoft Azure を支えるインフラの秘密 (20)

More from ShuheiUda

More from ShuheiUda (6)

Recently uploaded

Recently uploaded (10)