macOSの仮想化技術について ~Virtualization-rs Rust bindings for virtualization.framework ~

Copyright © NTT Communications Corporation. All rights reserved.
macOSの仮想化技術について
~ virtualization-rs Rust bindings for Virtualization.framework ~

■ macOS 11 Big Surから新しくLinux VM作成の⾼レベルAPI
Virtualization.frameworkが登場
• Objective-C、SwiftのAPIが提供されている
■ あれ︖ Rust APIがないなぁ︖（唐突）
👉 Rust bindingsの virtualization-rsを作ってみた
■ 本発表の内容
• まず仮想化技術についての基本的な背景、macOS の仮想化技術の
変遷や仮想化技術を⽀えるツールについて
• 次にvirtualization-rsのご紹介とLinux boot DEMO
• 最後に従来の仮想化技術との性能⽐較
概要
2

1. Who am I ?
2. 仮想化技術の背景
3. macOSの仮想化技術
4. Virtualization.framework
5. virtualization-rs
6. 各種仮想化技術のベンチマーク測定
7. まとめ
Agenda
3

■ ⽒名︓鈴ヶ嶺聡哲
■ 2020年4⽉ NTT Com⼊社
• イノベーションセンターテクノロジー部⾨
AIインフラチーム
■ 興味のある技術分野
• クラウドに関すること
• 機械学習基盤
• 仮想化技術
• Rust
■ NTT Comでの活動
• 業務
パブリック・ハイブリッドクラウドの技術検証
機械学習基盤の技術検証
• AWS GameDay Online APN Cup.vol1 結果発表︕ | Amazon Web Services
3位⼊賞
• NTT Com Qiita アドベントカレンダー 2020
Rustで実装するNetflow Collector
Who am I ?
4
@suzu_3_14159265

仮想化技術の背景
5

■ Formal requirements for virtualizable third generation
architectures.
• 1974年に提唱された仮想化を効率的に実現するための要件
VMM（仮想マシンモニタ）の3つの特性
1. 等価性(Equivalence)
a. 元のマシン上で直接実⾏された場合と同じ動作をする
2. 効率性(Efficiency)
a. 統計的に多くの処理をVMMソフトウェアの介⼊なしに実⾏可能であること
3. 資源管理(Resource control)
a. リソースを完全に制御可能であること
i. 明⽰的に割り当てられていないリソースにはアクセス不可能
ii. 既に割り当てられているリソースの制御を取り戻すことが可能であること
PopekとGoldbergの仮想化要件
6
Popek, Gerald J., and Robert P. Goldberg. "Formal requirements for virtualizable third generation
architectures." Communications of the ACM 17.7 (1974): 412-421.

命令の分類
1. 特権命令(privileged instruction)
a. プロセッサがユーザーモードの場合にトラップされる命令
2. センシティブ命令(sensitive instruction)
a. 制御センシティブ命令(control sensitive instruction)
i. システム資源に対する変更命令
b. 動作センシティブ命令(behavior sensitive instruction)
i. 資源の構成に依存する命令
■ この論⽂でもっとも重要な定理
• センシティブ命令が特権命令のサブセットであればVMMを構築可能
※論⽂では、計算モデルによって証明しているがここでは割愛
7
特権命令
センシティブ命令
全ての命令

■ しかし…当時のx86はその要件を満たしていない…
• Analysis of the Intel Pentium's ability to support a secure virtual machine
monitor.
全ての命令
8
Robin, John S., and Cynthia E. Irvine. Analysis of the Intel Pentium's ability to support a secure virtual
machine monitor. NAVAL POSTGRADUATE SCHOOL MONTEREY CA DEPT OF COMPUTER SCIENCE,
2000.
特権命令
VMMを構築可能にする仕組み
● Binary Translation
● 準仮想化
● Intel VT-x、AMD-V
トラップできない
センシティブ命令が存在する
x86
リングプロテクション
Ring0
Ring1
Ring2
Ring3

■ VMware、Virtualboxなどで⽤いられている技術
■ 問題ない命令はそのまま実⾏するが、センシティブ命令をト
ラップして動的に書き換えて実⾏する
• 動的な命令の置き換え
• OS側に特別変更は不要
Binary Translation
9
OS
VMM
hardware
そのまま
実⾏
動的
変換
問題ない命令

■ Xenで⽤いられている⼿法
■ ハイパーバイザ向けに書き換えた専⽤のゲストOSが必要
• OSの変更コストがある
■ ハードウェアを使うためには、ハイパーバイザコールを発⾏
し、処理を依頼する
• 静的な命令の置き換え
準仮想化
10
プロセス
ゲストOS（準仮想化）
システムコール
Xen
Ring3
Ring1
Ring0
Ring2
ハイパーバイザコール

■ x86を仮想化可能なアーキテクチャにするための拡張技術
• root、non-root の2つのモードがある
• 各モードでリングを割り当てることが可能なため、OSの変更が不要
• non-root modeでセンシティブな命令を実⾏するとroot modeにトラップさ
れる
• VM Exitする命令をVMCSというconfigによって制御可能
Intel VT-x
11
Ring0
Ring1
Ring2
Ring3
Ring0
Ring1
Ring2
Ring3
VMX
root mode
VMX
non-root mode
VM Entry
VM Exit

■ Intel VT-x、AMD-Vを使⽤したVMM
■ 2008年にQumranetが開発開始→後にRedHatに買収される
■ Linux Kernel 2.6.20に標準採⽤
• /dev/kvm のようにLinux kernel moduleとして存在している
■ KVM⾃体はエミュレーションは⾏わずQEMUと組み合わせる
■ Linux driverが資産として使⽤可能
■ AWSはKVMベースのNitro Hypervisorに移⾏する⾒込み
• “最終的にはすべての新しいインスタンスタイプが Nitro Hypervisor を使⽤するようになります”
https://aws.amazon.com/jp/ec2/faqs/
Linux KVM(Kernel-based Virtual Machine)
12
Linux KVM
VM QEMU

■ 平たく⾔えばFreeBSDにおけるLinux KVMのようなVMM
■ NetAppが2011年に開発
■ FreeBSD 8.4以降で使⽤可能
• FreeBSD 10.0でデフォルト
■ VT-x命令を発⾏するカーネルモジュールvmm.koとVM実⾏プ
ログラムの/usr/sbin/bhyveによって成り⽴つ
■ 余談︓元々BHyVeだったがシンプルなbhyveに名称が変更
• Q: Is it "bhyve", "Bhyve", "BHyVe" or BHyve?
A: The developers mercifully retired "BHyVe" and simply refer to it as "bhyve", after the
utility.
https://wiki.freebsd.org/bhyve
bhyve
13
FreeBSD kernel vmm.ko
VM bhyve

■ EL2というException Levelを追加
■ AppのEL0、OSのEL1のセンシティブ命令をトラップ可能
aarch64(ARM)の仮想化⽀援機構
14
https://developer.arm.com/documentation/102142/0100/Virtualization-Host-Extensions

macOSの仮想化技術
15

■ 3rd party kernel extensionsなしでユーザ空間でハイパーバ
イザを実現する
■ 当初は、Intel VT-xを制御するAPI
1. LifeCycle
1. hv_vm_createでVMの作成
2. hv_vm_mapでメモリマッピング
3. hv_vcpu_createで仮想CPUの作成
4. hv_vcpu_runでCPUの実⾏
5. VMEXITをトラップ
1. hv_vcpu_runで再度実⾏するか
hv_vcpu_destroyでCPUを消す
6. 全てのthreadが終了時
1. hv_vm_unmapでメモリのアンマップ
2. hv_vm_destroyでVMを消す
Hypervisor.framework
16
VM Life Cycle

■ IntelとApple SiliconでAPIは共通ではない
• 以下はVirtual Machine Management API
Hypervisor.framework
17
Intel
■ hv_vm_create
• Creates a VM instance for the current process.
■ hv_vm_destroy
• Destroys the VM instance associated with the
current process.
■ hv_capability
• Gets the value of capabilities of the system.
■ hv_vm_options_t
• Options you use when creating a virtual
machine.
■ hv_capability_t
• The type of system capabilities.
Apple Silicon
■ hv_vm_create
• Creates a VM instance for the current process.
■ hv_vm_destroy
• Destroys the VM instance associated with the
current process.
■ OS_hv_vm_config
• Creates a virtual machine configuration object.
■ hv_vm_config_t
• The type that defines a virtual-machine
configuration.
https://developer.apple.com/documentation/hypervisor/apple_silicon?language=objc
https://developer.apple.com/documentation/hypervisor/intel-based_mac?language=objc

■ 作者︓Michael Steil
• toy projectとしてHypervisor.framework上にDOS Emulatorであるhvdos
を作っていた
■ 本格的なハイパーバイザとしてmacOS向けにbhyveのポート
としてxhyveを実装
■ Big surでは現状動かない
■ 初期のDocker for Macはxhyve上のLinuxで実装されていた
• 後にhyperkitに移⾏
xhyve
18
“The Docker engine is running in an Alpine Linux distribution on top of an
xhyve Virtual Machine on Mac OS X”
https://www.docker.com/blog/docker-for-mac-windows-beta/

■ moby(Docker)がxhyveをforkして開発しているツール
• VPNKit、DataKitと連携するため
■ Big surのintel Macには対応、Apple siliconは未サポート
■ 現状、Intel Macでdockerをcom.docker.hyperkitが動作
• Apple Siliconでは別（後述）
■ minikubeはhyperkit driverをサポート
• Hypervisor.framework上でk8sを構築可能
hyperkit
19
Tiny Core Linuxを動かすコマンド例

Virtualization.framework
20

■ macOS 11 Big Surから追加されたVM作成の⾼レベルAPI
• Linux専⽤ API
vmlinuz, initrdを指定
• Intel、Apple SiliconベースMacの両対応の抽象化されたAPI
簡単にLinux VMを作成可能
• Objective-C、SwiftのAPIが提供されている
• NAT、Bridge Networkが設定可能
Virtualization.framework
21
VZVirtualMachineConfiguration
bootLoader
CPUCount
memorySize
networkDevices
socketDevices
serialPorts
storageDevices
entropyDevices
VMのConfiguration

■ 2020年12⽉16⽇に発表されたTech Preview of Docker
Desktop for M1ではhyperkitからVirtualization.framework
に移⾏している
• “Migrate from HyperKit to the Virtualization Framework.”
https://www.docker.com/blog/download-and-try-the-tech-preview-of-docker-desktop-for-m1
■ Intelでも移⾏を検討している発⾔が⾒られる
Docker Desktop for M1
22
https://github.com/docker/roadmap/issues/142#issuecomment-758508126
■ 今後Hyperkitのsupportどうなるんだろう🤔
• minikube…

virtualization-rs
23

■ Virtualization.frameworkのRust bindingを作成
• https://github.com/suzusuzu/virtualization-rs
• https://crates.io/crates/virtualization-rs
■ Rustの特徴
• modernな型システム、型推論、パターンマッチ
• ボローチェッカーによるメモリ安全性
• ゼロコスト抽象化による⾼速実⾏
• 並列実⾏時にデータ競合が発⽣しないことが保証されている
• Cargoなどの⾼機能なエコシステム
virtualization-rs
24
Linux VMを作成する今回のようなシステムソフトウェアを
書く⾔語として⾮常に適している︕

Objective-C
Rust call Objective-C
25
Rust
https://crates.io/crates/objc
■ objcを⽤いてObjective-Cのオブジェクトを操作可能
• Objective-C likeなAPI
• 有名どころでは、servoなどもこのpackageを使⽤している
• 内部的な実装
Objective-C Runtimeというdynamic libraryのC APIを使⽤している
typedef struct objc_class *Class;
void objc_msgSend(void);
Rust ⇔ Objective-C Runtime(C API) ⇔ Objective C
https://developer.apple.com/documentation/objectivec/objective-c_runtime?language=objc

■ インスタンス初期化の標準⼿法
• 元々はAWS EC2⽤に開発されたツール
• meta-data
hostname、instance-id
• user-data
user、password、ssh key
■ NoCloud
• ネットワークサービスを実⾏することなく初期
設定を可能とする仕様
• meta-dataやuser-dataをvfat、iso9660
filesystem（volume labelをcidataに設
定）を介して渡すことが可能
■ Ubuntu Cloud image
• 最新のアップデートが適⽤
• クラウドインスタンやdockerなどで使⽤
されているイメージ
• このイメージをcloud-initで初期化する
cloud-init
26
https://cloudinit.readthedocs.io/en/latest/topics/datasources/nocloud.html
NoCloudのisoの作成例
● ubuntu、rootのpasswordを設定
● hostnameをfoobarに設定
● label idにcidataを設定

DEMO
27
https://youtu.be/IRqYMykuRsQ

各種仮想化技術のベンチマーク測定
28

■ sysbenchによる性能評価
• 実⾏コマンド
sysbench cpu run --threads=4
• 30回測定
• 環境
Ubuntu 20.04
• 測定対象
virtualization-rs
docker(hyperkit)
virtualbox(binary translation)
■ 結果
• Virtualization.frameworkは従来の
hyperkitと同程度の性能であること
が⽰された
各種仮想化技術のベンチマーク測定
29
Good

■ macOS Big surからLinux VMが作成可能な⾼レベルAPIの
Virtualization.frameworkが登場
■ Virtualization.frameworkのRust bindingsを作成した
■ sysbenchによる性能評価の結果から従来のhyperkitと同程
度の性能であることが分かった
まとめ
30

macOSの仮想化技術について ~Virtualization-rs Rust bindings for virtualization.framework ~

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to macOSの仮想化技術について ~Virtualization-rs Rust bindings for virtualization.framework ~

Similar to macOSの仮想化技術について ~Virtualization-rs Rust bindings for virtualization.framework ~ (20)

More from NTT Communications Technology Development

More from NTT Communications Technology Development (20)

Recently uploaded

Recently uploaded (20)

macOSの仮想化技術について ~Virtualization-rs Rust bindings for virtualization.framework ~