Recommended
More Related Content
What's hot
What's hot (20)
Similar to 仮想化環境におけるパケットフォワーディング
Similar to 仮想化環境におけるパケットフォワーディング (20)
More from Takuya ASADA
More from Takuya ASADA (20)
Recently uploaded
Recently uploaded (11)
仮想化環境におけるパケットフォワーディング
- 1. 仮想化環境における パケットフォワーディング 浅田 拓也 ＠ 東京工科大学 Twitter: @syuu1228
- 2. おさらい
- 4. ハードウェア仮想化支援機能に よる仮想化 • CPUにハイパーバイザを実行するモードとゲス トOSを実行するモードを追加：IntelVT、AMD-V • ハードウェアレベルで仮想化に対応する事によ り仮想化オーバヘッドを低減し、ハイパーバイ ザの実装を単純に出来る • ハードウェア支援出来る範囲を広げつつある • メモリ管理の仮想化支援：EPT • デバイスIOの仮想化支援：IntelVT-d + SR-IOV カーネル モード ユーザ モード カーネル モード ユーザ モード ハイパーバイザ モード ゲストモード ring 0 ring 3
- 6. LINUX KVM 概要 • Linuxカーネルに組み込まれたシンプルなハイパーバイザ（仮想化支 援機能のあるCPUを前提） • CPU仮想化以外の機能はKVM対応のQEMUが担当（仮想デバイス、メ モリ確保、BIOS…） Linuxカーネル KVM QEMU カーネルユーザ ハイパーバイザモード ゲストモード KVM サポート 仮想デバイス ゲストOS
- 7. QEMU • プログラムでCPUをエミュレート、ゲスト環境のプログラムを実行 • 異なるアーキテクチャをエミュレート出来る（これが本来の目的） • 非常に遅い・エミュレーションは仮想化には無駄 QEMU mov dx,3FBh mov al,128 out dx,al CPU エミュ レータ 実行 仮想デ バイス OS 物理デ バイス 物理 CPU IO
- 9. ゲストモードへの切り替え • QEMUはCPUエミュレーションを行う代わりにゲストへのモード切り替えを依頼するioctlをカー ネルへ発行 • KVMはCPUのモードをゲストモードへ移行 • ゲストOSがハードウェアへのIOなどトラップされるような動作を行うか、物理ハードウェアか らの割込みがかかるまでゲストモードが実行される Linuxカーネル KVM QEMU カーネルユーザ ゲストOS KVM サポート 仮想デバイス ① ioctl(KVM_RUN) ② VMLAUNCH ハイパーバイザモード ゲストモード
- 10. 仮想デバイスへのIO • ゲストOSがデバイスへIO、ゲストモードが中断され制御がKVMへ戻る • QEMUへデバイスエミュレーションを依頼 • QEMUでデバイスエミュレーション、結果をKVMへ通知 Linuxカーネル KVM QEMU カーネルユーザ ゲストOS KVM サポート 仮想デバイス ①デバイスへのIO ハイパーバイザモード ゲストモード ②QEMUへ処理を依頼 ③デバイスエミュレーション
- 11. KVMの仮想NIC
- 12. NICエミュレーション • QEMUを使って実在のNICをエミュレート→ゲストOSで既存のドライバが使える • 仮想レジスタへのアクセスのたびにゲストモードの実行を中断し、カーネルから QEMUに切り替えてエミュレーションを行わなければならない カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 フォワード 割り込み 物理割り込み パケット バッファ レジスタ アクセス 割り込み レジスタ アクセス コピー コピー
- 13. NICエミュレーションの動作 • パケットがNICに着信、物理割り込みが発生 カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ
- 14. NICエミュレーションの動作 • NICドライバがパケットを受信 カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信
- 15. NICエミュレーションの動作 • ブリッジがパケットをtapデバイスへフォワード カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ
- 16. NICエミュレーションの動作 • tapからQEMUへコピー カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ ④コピー
- 17. NICエミュレーションの動作 • QEMUからゲストのパケットバッファへコピー カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ ④コピー ⑤コピー
- 18. NICエミュレーションの動作 • QEMUからKVMへ仮想割り込みを要求 カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ ④コピー ⑤コピー⑥仮想割り込み要求
- 19. NICエミュレーションの動作 • KVMはゲストに仮想割り込みをセットしてモード切替 カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ ④コピー ⑤コピー⑥仮想割り込み要求⑦仮想割り込み
- 20. NICエミュレーションの動作 • ゲストのNICドライバがレジスタアクセスを行い、ゲストモードが中断 カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ ④コピー ⑤コピー⑧仮想レジスタアクセス ⑥仮想割り込み要求
- 21. NICエミュレーションの動作 • KVMはQEMUにエミュレーションを要求 カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ ④コピー ⑤コピー⑧仮想レジスタアクセス ⑨エミュレーション要求
- 22. NICエミュレーションの動作 • QEMUはe1000エミュレーションを行い、結果をKVMへ通知 カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ ④コピー ⑤コピー⑧仮想レジスタアクセス ⑩エミュレーション結果通知
- 23. NICエミュレーションの動作 • KVMエミュレーション結果をセットしてゲストへ復帰 以降、レジスタアクセスのたびに⑧∼⑪の繰り返し カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ ④コピー ⑤コピー ⑪ゲストへ復帰 ⑩エミュレーション結果通知
- 24. NICエミュレーションの動作 • ゲストのNICドライバがパケットを受信 カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ ④コピー ⑤コピー ⑪ゲストへ復帰 ⑩エミュレーション結果通知 ⑫パケット受信
- 25. NICエミュレーションの動作 • TCP/IPスタックがパケットをフォワード カーネル カーネル ゲスト ハイパーバイザ ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント e1000 エミュレーションkvm e1000 ドライバ TCP/IP スタック NIC2 ①物理割り込み パケット バッファ ②パケット受信 ③tapへブリッジ ④コピー ⑤コピー ⑪ゲストへ復帰 ⑩エミュレーション結果通知 ⑫パケット受信 ⑬パケットフォワード
- 26. VIRTIO-NET • IO仮想化フレームワーク「virtio」を用いてパケットの入出力を行う →ゲストOSにvirtio用ドライバが必要 • 仮想レジスタは存在せず、virtio ring上の情報を見ながらパケットを取り出す →ハイパーバイザへの切り替え回数が少ない カーネル カーネル ゲスト ユーザ NIC NICドライバ tapドライバ bridge qemu tapクライアント virtio serverkvm virtio ドライバ TCP/IP スタック NIC2 フォワード 割り込み 物理割り込み コピー virtio ring コピー 割り込み ハイパーバイザ
- 27. VHOST-NET • QEMUを通さず、カーネル内のvhost-netモジュールがホスト ゲス トのパケットやり取りを制御 • QEMU KVMの切り替えコストを削減 カーネル カーネル ゲスト ユーザ NIC NICドライバ tapドライバ bridge qemu vhost-netkvm virtio ドライバ TCP/IP スタック NIC2 フォワード 割り込み 物理割り込み virtio ring 割り込み ハイパーバイザ コピー コピー
- 28. SR-IOV • 物理NICがVMに対して仮想NICを直接提供 IOはハイパーバイザーを介在せずに行われる • 割込みだけは仮想化出来ていないのでKVMを通じて転送される • 最も性能が高いがハード対応が必要／ゲストのパケットをフィルター・改変する事は難しい NIC カーネル カーネル ゲスト ユーザ PF PFドライバ qemu kvm VF ドライバ TCP/IP スタック NIC2 フォワード 割り込み 物理割り込み 割り込み 割込み ハンドラ VF DMAパススルー ハイパーバイザ
- 29. どれを使うべき？ • 幅広いOSで仮想NICが動作する必要がある →NICエミュレーション、e1000が最も高速 • 最近のLinuxを動かす予定、SR-IOV対応NICが無い →vhost-net • SR-IOV対応NICがある →SR-IOV
- 30. KVMの仮想ネットワーク
- 31. BRIDGE +TAP • STPを含む802.1d標準準拠のブリッジ実装 • netfilterによるフィルタリング • ブリッジ自体をインタフェースとしてコンフィグレーション可能 ブリッジ xx:xx:xx:xx:xx:01 物理NIC xx:xx:xx:xx:xx:00 tap0 xx:xx:xx:xx:xx:02 tap1 xx:xx:xx:xx:xx:03 QEMU QEMU
- 33. MACVTAP • 物理NICに対して追加のMACアドレスを付与、独立したインタフェースとして動作 • netfilterには非対応、bridgeより簡易的な実装で「速い」とされている • 構造上、NAT構成には使えない 物理NIC xx:xx:xx:xx:xx:00 macvtap0 xx:xx:xx:xx:xx:01 macvtap1 xx:xx:xx:xx:xx:02 QEMUQEMU
- 34. MACVTAPのモード • bridge tap tap間、tap NIC間通信を行えるモード • private tap tap間、tap NIC間通信を許可しないモード • vepa 全てのパケットを外部スイッチでスイッチングするモード • passthrough NICに入ってくる全てのパケットを特定のtapに流すモード
- 36. どれを使うべき？ • NAT環境を構成、パケットフィルタリングなどを行う →bridge + tap • 高速なブリッジ環境 →macvtap • OpenFlowを用いて柔軟なL2ネットワークを構築 →OpenvSwitch
- 37. 実験的な機能・実装中の機能
- 38. VHOST-NETのゼロコピー対応 • tap→vhost-net、vhost-net→ゲスト間のパケットコピーを抑制 • スループットの向上、レイテンシの削減が期待される カーネル カーネル ゲスト ユーザ NIC NICドライバ tapドライバ bridge qemu vhost-netkvm virtio ドライバ TCP/IP スタック NIC2 フォワード 割り込み 物理割り込み virtio ring 割り込み ハイパーバイザ コピーなし コピーなし
- 39. VHOST-NETの マルチキュー対応 • 現状のシングルキューな仮想 NICでは、ブリッジ以降のパ スが同時に１スレッドでしか 処理できない為、パフォーマ ンスネックになる • vCPUが複数ある環境での性能 向上が期待されている singlequeue vhost-net NIC NICドライバ bridge tap virtio push kvm virtioドライバ TCP/IP ロック競合 が発生！ multiqueue vhost-net NIC NICドライバ bridge tap virtio push kvm virtioドライバ TCP/IP
- 41. EVB: EDGEVIRTUAL BRIDGING • VEB：SR-IOV対応NIC上のスイッチでVM間通信を処理 • VEPA：物理スイッチでVM間通信を処理 VM VM VM tap tap tap switch virtio driver NIC switch VM VM VM VF VF VF LinuxKernel Linux Kernel SR-IOVNIC ソフトブリッジ switch switch VEB VM VM VM VF VF VF Linux Kernel SR-IOVNIC switch VEPA