OVS VXLAN Network Accelaration on OpenStack (VXLAN offload and DPDK) - OpenStack最新情報セミナー 2016年3月

Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
OVS VXLAN Network Accelaration
on OpenStack (VXLAN offload and DPDK)
Ikuo Kumagai – Bit-isie Equinix Inc.
Yuki Kitajima - Altima corp.
Masayoshi Oka - Netone systems
1

Tokyo Summitにて
Hyper-Converged OpenStack についての取り組みの中で
‣ DPDKの評価は終わっていないと話しました
→今回はその続編です
http://www.slideshare.net/ikuokumagai/approaching-hyperconvergedopenstack
2

振り返り
前回発表したセッションの趣旨は
‣ できるだけ汎用的なHWで
‣ できるだけ標準的なSW/デプロイ方法で
‣ 一部のHW/SWの置き換えだけで
(VXLAN offload/DPDK/Ceph RDMA)
ハイパーコンバージドインフラをOpenStackで構築すること
3

OVS/VXLANを選択する理由
[メリット]
 Neutronのネットワーク機能はOVS/VXLANならば
ほとんど使える。
 既存ネットワークのデメリットを避けながら、そして周
囲の環境との相互接続性が保てる(選択肢が多い)。
[デメリット]に対する考え方
 パフォーマンスネック/拡張性の問題？
‣ Linux kernelによるパフォーマンスネック
‣ フルメッシュトンネリング・VXLAN unicast/multicast 問題
4

Why OVS, Why VXLAN
OVS(Open vSwitch)
‣ OpenStack環境で最も標準的なネットワーク
▪ "Open vSwitch is the most common choice for Neutron drivers,
though the bulk of deployments selecting it are in proof of concept stage. ”
VXLAN(RFC7438)
‣ オーバーレイ方式で最も広く使われている
‣ 多くのOpenStackディストでデフォルト設定
‣ 既存ネットワーク内に組み込める
http://www.openstack.org/assets/survey/Public-User-Survey-Report.pdf
5

OVS VXLAN
Performance Test
with No Accelaration
6

Test Items (Network)
KVM
Compute Node-2
OVS
VXLAN
VM VM VM VM
KVM
Compute Node-1
OVS
VM VM VM VM
VM to VM between physical nodes
1 – 16 VM per physical node
Metering by iperf3 TCP & UDP
7

Basic Perfomance TCP Bandwidth
Total & Average Performance(※iperf3 default)
Bandwidth(GBits/sec)
1-1 2-2 4-4 8-8 16-16
Total 2.05 3.18 5.74 7.18 10.53
Average 2.05 1.59 1.43 0.90 0.66
0.00
2.00
4.00
6.00
8.00
10.00
12.00
1-1 2-2 4-4 8-8 16-16
Total
Average
8

Basic Perfomance (UDP Bandwidth by packet
size)
Total
Average
9

Basic Perfomance (UDP Laytency by packet size)
Laytency (Jitter)
Lost Packet
10

VXLAN オフロード
11

VXLAN offload
OVS + Normal NIC [General Understanding]
‣ VXLAN process handled by OVS.
‣ It means that CPU works for packet process of VXLAN
packets.
‣ Normal NIC can NOT take care about,
▪ Checksum, TSO, RSS, etc
12

VXLAN offload
What is the VXLAN offload
‣ Offload VXLAN protocol on edge-point (NIC)
‣ VXLAN offload engine enables TCP/IP offload
▪ Enable checksum, TSO, RSS, GRO
‣ Get more throughput, Less latency and less CPU resource
VM generate inner packetOVS generates outer packet
13

VXLAN offload
VXLAN offloadの特徴
‣ VTEP -> RSS/TSO/RSO
NIC Driver
Linux Kernel
OVS
Flow Table
User Space
Virtio
VM
Virtio
VM
OVSDB
(VTEP)
ポイント説明
①VXLANパケットのchecksum, RSO/TSO,
のCPUオフロード
②[OVS] VTEP(CPU)によるVXLANの
decap/encap
③VMとの受け渡しはVLAN
意外と多い勘違い
 VTEPはオフロードしません*
 ただし、VTEPオフロードをするNICも
あります！
使いどころ
 VM当たりのスループット性能の向上
 CPU負荷の低減
 OS inboxドライバ対応が進む
①
②
③
14

VXLAN offload
HW selection
型番
MCX311A-
XCCT
MCX312B-XCCT MCX313A-BCCT MCX314A-BCCT
Port Single
10GbE
Dual
10GbE
Single
/10/40/56GbE
Dual
/10/40/56GbE
Port Type SFP+ SFP+ QSFP QSFP
Cable Cupper, Optical
Host Bus PCIe 3.0 x 8
Features VXLAN/NVGRE offload, RDMA, SR-IOV, etc
OS RHEL, SLES, Microsoft Windows Sever, FreeBSD, Ubuntu, VMWare ESXi
15

VXLAN offload result(TCP Bandwidth)
Compair VXLAN offload and normal
Bandwidth(GBps) 　- VXLAN offload
1-1 2-2 4-4 8-8 16-16
Total 14.40 21.70 30.00 31.43 24.63
Average 14.40 10.85 7.50 3.93 1.54
0.00
5.00
10.00
15.00
20.00
25.00
30.00
35.00
1-1 2-2 4-4 8-8 16-16
Total
Average
Bandwidth(Gbps) normal
1-1 2-2 4-4 8-8 16-16
Total 2.05 3.18 5.74 7.18 10.53
Average 2.05 1.59 1.43 0.90 0.66
0.00
5.00
10.00
15.00
20.00
25.00
30.00
35.00
1-1 2-2 4-4 8-8 16-16
Total
Average
16

DPDK (6WIND)
17

まとめ
18

VXLANオフロード
メリット
‣ 帯域の有効活用という点では非常に有効。
※OVSでVXLANオフロードを使う場合にsegmentation
offload がない場合は本番運用は難しいのでは。
‣ 利用が簡単。対応NIC/ドライバがあれば特別な設定は不要
デメリット
‣ Linux側のボトルネックを全て解消するわけではない。
→ NW処理の負荷は多少なりともホスト全体に波及する。
想定する利用シーン
‣ 特殊な要件のない環境での帯域増速
19

DPDK
メリット
‣ OVSでNWの基本的な性能を求めるのであれば必須
(OVSオフロードは試していない)
デメリット
‣ まだまだ初期設定等には難しい部分がある。サポートがなけれ
ば運用は難しそう。(今後解消される可能性もある)
‣ インスタンス側のCPU pinning には注意する必要がある。
想定する利用シーン
‣ ショートパケットのリクエストが多い環境
‣ NW系の仮想アプライアンスを利用する場合
‣ その他NW系に高い要件をもつようなケース
20

tenantnetwork
NetworkノードにDPDKを設定
想定する利用方法(NWノードへ適用)
Compute
VXLAN
offload
Compute
VXLAN
offload
Compute
VXLAN
offload
Compute
VXLAN
offload
Backborn
Router
・
・
・
DPDK
DPDK
DPDK
DPDK
Network
DPDK
L3 agent
LBaas
agent
VPN
agent
21

tenantnetwork
sharednetwork
NW機能を集約したコンピュートノードを配置
想定する利用方法(NW機能を集約したコンピュートノード)
Compute
(NW Function)
DPDK
Compute
VXLAN
offload
Compute
VXLAN
offload
Compute
VXLAN
offload
Compute
VXLAN
offload
Backborn
Router
・
・
・
VLAN
VXLAN
DPDK
DPDK
DPDK
DPDK
LB
Router
VPN
例えば
Instance Resource Quotaを
適用するなども可能
22

広告
 ビットアイル・エクイニクスのOpenStackパッケージは
デフォルトでVXLANオフロードを使用しています。
(DPDK(6WIND)は価格未決定ですが相談可能です)
23

OVS VXLAN Network Accelaration on OpenStack (VXLAN offload and DPDK) - OpenStack最新情報セミナー 2016年3月

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to OVS VXLAN Network Accelaration on OpenStack (VXLAN offload and DPDK) - OpenStack最新情報セミナー 2016年3月

Similar to OVS VXLAN Network Accelaration on OpenStack (VXLAN offload and DPDK) - OpenStack最新情報セミナー 2016年3月 (20)

More from VirtualTech Japan Inc.

More from VirtualTech Japan Inc. (20)

Recently uploaded

Recently uploaded (11)

OVS VXLAN Network Accelaration on OpenStack (VXLAN offload and DPDK) - OpenStack最新情報セミナー 2016年3月