SlideShare a Scribd company logo
1 of 61
Download to read offline
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAILの進化
CONTRAIL ENTERPRISE MULTICLOUDとは
~CONTRAILを知っている人も知らない人もクラウド基盤に使えるSDN!~
ジュニパーネットワーク株式会社
技術統括本部 テクニカルビジネス開発本部
須賀 雅也
© 2019 Juniper Networks
Juniper Business Use Only
2
Contrailって知っている人いますか?
このロゴは知っていますか?
Contrailさわったことある人いますか?
こっちのロゴは知っている
© 2019 Juniper Networks
Juniper Business Use Only
3
2012 2018
LF Networking
2013
© 2019 Juniper Networks
Juniper Business Use Only
4
Contrail Enterprise Multicloud
CEM
© 2019 Juniper Networks
Juniper Business Use Only
5
・Contrail Enterprise Multicloud (CEM)
・Kubernetes x Contrail
© 2019 Juniper Networks
Juniper Business Use Only
7
Contrail Enterprise Multicloud (CEM)
© 2019 Juniper Networks
Juniper Business Use Only
ビジネスの変革による新たなインフラ要求
アジャイルな
開発変化
IT人材不足
IT範囲の拡大と
テクノロジーの対応
スケールアウト
シンプル化
迅速性
自動化
DXビジネス加速
不確実なビジネスモデル
とTRY&ERROR
誰もがスタートアップと
戦う時代
© 2019 Juniper Networks
Juniper Business Use Only
データセンタクラウドインフラの新たな潮流
Multicloud and Containers
マルチクラウドの利用率
86 %
global enterprise customers
2022年のコンテナ利用率
75 %
* Source: Gartner* Source: Forrester
インフラの多様な選択肢
✔ 機能で選ぶ
✔ アーキテクチャで選ぶ
✔ コストで選ぶ
etc.
containerized application
in production
コンテナベアメタル仮想マシン
パブリック
クラウド
© 2019 Juniper Networks
Juniper Business Use Only
様々なワークロードの接続
10
pod pod VM VM
BMS
?
コンテナのニーズは高まっているが、VM・コンテナ・ベアメタル
アプリケーションやサービス、ユーザーにより様々なワークロードが必要
© 2019 Juniper Networks
Juniper Business Use Only
様々なクラウドの接続
11
オンプレ・パブリック・エッジ、アプリケーションやサービスに応じて
様々な環境で動作し、それぞれが連携できるような環境が必要
© 2019 Juniper Networks
Juniper Business Use Only
肥大化していくネットワークの管理
12
source
IDC 国内事業者データセンター延床面積の実績と予測(2018年~2023年)Source 富士キメラ総研
L2 --> L3 4k VLAN
overlay
© 2019 Juniper Networks
Juniper Business Use Only
13
Contrail Enterprise Multicloudは
こういった課題に対してのソリューションとな
り得る
SDNコントローラーです。
© 2019 Juniper Networks
Juniper Business Use Only
Contrail Enterprise Multicloud
14
BMS VM
BMS VM
BMS VM
仮想ネットワーク B
仮想ネットワーク C
仮想ネットワーク A
BMS VM 開発/テスト環境
物理ネットワーク
サービスA
サービスB
サービスC
Multi Workload
⑥ Visibility & Analytics
① Overlay (Virtualization)
運用者
③ Fabric Automation
FW
FW
LB
FW
CEM
IP Clos/EVPN
⑤ Multi Cloud
④ Security
IDP
LB
② NFV (Service Chaining)
© 2019 Juniper Networks
Juniper Business Use Only
① OVERLAY
15
© 2019 Juniper Networks
Juniper Business Use Only
OVERLAY
16
オーバーレイ
ネットワーク
アンダーレイ
ネットワーク
VM
サーバの通信から物理的なインフラに依存しない論理的なネットワークを構築
Hypervisor
VM VM
Hypervisor
VM
仮想化インフラ
物理的なインフラ
サーバー間はL3で
つながっているだけでOK
172.16.4.1/24172.16.1.1/24
IP Fabric
SDN Controller
Contrail
論理スイッチ(LS)
論理スイッチ(LS)
© 2019 Juniper Networks
Juniper Business Use Only
Physical IP Fabric
(no changes)
CONTRAIL アーキテクチャー
CONTRAIL
CONTROLLER
ORCHESTRATOR
Host O/SvRouter
Network / Storage
Orchestration
Gateway
Internet / WAN
or Legacy Env.
(Config, Control, Analytics, TSN)
(Windows, Linux ….) on BMS
TOR
Compute
Orchestration
Virtual Network
Blue
Virtual Network
Red
FW
Logical View
…
BGP
BGP
NETCONF
XMPPBGP
NETCONF
Centralized
PolicyDefinition
Distributed
PolicyEnforcement
Host O/SvRouter
… ……
DC Computes CPE Devices Public Cloud VM
…
© 2019 Juniper Networks
Juniper Business Use Only
COMPUTE NODE – CONTRAIL VROUTER
18
© 2018 Juniper Networks
COMPUTE NODE – CONTRAIL VROUTER
Compute Node
Virtual
Machine
(Tenant B)
Virtual
Machine
(Tenant C)
Virtual
Machine
(Tenant C)
vRouter Forwarding Plane
Virtual
Machine
(Tenant A)
Routing
Instance
(Tenant A)
Routing
Instance
(Tenant B)
Routing
Instance
(Tenant C)
vRouter Agent
Flow Table
FIB
Flow Table
FIB
Flow Table
FIB
Overlay tunnels
MPLS over GRE or VXLAN
JUNOSV CONTRAIL CONTROLLER
CONTRAIL CONTROLLER
XMPP
Eth1Kernel
Tap Interfaces (vif)
pkt0
User
Eth0 EthN
Config
VRFs
Policy
Table
Top of Rack Switch
XMPP
• vRouterはハイパーバイザーカーネルの中の
Linux Bridge もしくは、OVSをリプレースする
役割を持つ
• vRouterはBridgingもしくはRouting(MPLS
base L3VPN)を提供する。
• vRouterはSecurity Policies, NAT, Multicast,
Mirroring, and Load Balancingのネットワーク
サービスを提供する
• Routing, Broadcast/Multicast, NATを提供する
為のService NodeやL2/L3GWがいらない
• ポリシーに基づいて、ルートは自動的にVRFに
リークされる
© 2019 Juniper Networks
Juniper Business Use Only
オーバーレイ(仮想ネットワーク)構成イメージ
19
VM1 VM1 VM2 VM2
Internet
Compute Node
IP Fabric
Contrail
MX
SDN GW
wan
VM1
VN2
VM2
VM1
VN1
VM2
Compute Node
ユーザA
ユーザB
VM3 VM3
Compute Node
VM3
VM3
external
external
© 2019 Juniper Networks
Juniper Business Use Only
② NFV (SERVICE CHAINING)
20
© 2019 Juniper Networks
Juniper Business Use Only
SERVICE CHAINING
21
VM VM VM
Green
Virtual Network
VM VM VM
Red
Virtual Network
Policy
Network Functionの接続
CNF VNF
FWサービス IDSサービス
仮想マシンコンテナ
VMを仮想ネットワークの間に挟み通信をリダイレクト
仮想ネットワーク機能を提供 (VNF/CNFに対応)
© 2019 Juniper Networks
Juniper Business Use Only
VIRTUAL
NETWORK
GREEN
Host + HypervisorHost + Hypervisor
SERVICE CHAINING
VIRTUAL
NETWORK
BLUE
VIRTUAL
NETWORK
YELLOW
Contrail Security ポリシ
(例:HTTPトラフィックのみ許
可など)
Contrail Policy
FWサービス
IP Fabric
(switch underlay)
G3
B3
B1 B2
G1
G3
G2
Y1 Y2 Y3B1 B2 B3
Y2Y3Y1
VM and virtualized Network
function pool
Intra-network traffic Inter-network traffic traversing a service
… …
Non-HTTP trafficG1 G2
Security
Groups
論理
(ポリシー定義)
物理
(ポリシー適用)
© 2019 Juniper Networks
Juniper Business Use Only
SVC 1 VM SVC 2 VM
R1 R2
Virtual Network
Red
Virtual Network
Green
G1 G2
Service Policy
(for all traffic between
VN-red and VN-Green
use the SFC
Multiple Services in a Service Chain Multiple Service Chains between 2 networks
SVC 1 VM SVC 2 VM
R1 R2
Virtual Network
Red
Virtual Network
Green
G1 G2
SVC 3 VMPolicy-based Service Chaining
(e.g. for a particular 5-tuple use SFC 1 else use SFC2)
SVC 1 VM SVC 2 VM
R1 R2
Virtual Network
Red
Virtual Network
Green
G1 G2
Scale out Services (Active-
Active HA)
Multiple Service Instances (Scale-out aka active-active HA)
SVC 1 VM SVC 2 VM
R1 R2
Virtual Network
Red
Virtual Network
Green
G1 G2
Service Instances Active-backup HA
Active-back-up
Services
SERVICE CHAINING
© 2019 Juniper Networks
Juniper Business Use Only
③ FABRIC AUTOMATION
24
…
⚫ ブロックポートがなく、アップリンクはデュア
ルアクティブとなる。ただしSTPの利用も併用
することも多い。
⚫ 論理構成を簡略化
⚫ 様々なベンダーが実装済み
⚫ STPに比べ、設計/運用は軽減
⚫ 一台一台の設定は必要
⚫ マルチパスによる帯域の有効活用
⚫ STPを排除し、かつ、ループを回避
⚫ ネットワーク全体をシンプルな運用管理
⚫ スケールアウトが容易でスモールスタート可能
⚫ ゼロタッチでの容易な追加
⚫ ベンダー同時実装
⚫ 密結合のため障害影響が広がる懸念あり
次世代DC ネットワークアーキテクチャ IP FABRIC
Multi Chassis LAG Ethernet Fabric
より柔軟により容易にオープンにネットワークを拡大・管理性を向上
マルチパス
STP排除
⚫ マルチパスによる帯域の有効活用
⚫ STPを排除し、かつ、ループを回避
⚫ スモールスタート・スケールアウト
⚫ 疎結合による高い冗長性
⚫ マルチテナント環境に最適
⚫ マルチベンダー標準実装
⚫ 一元管理や自動化は組み込まれていない
IP Fabric
標準化
マルチテナント
…
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAILによるシンプル化されたDC ファブリック
Day0: セットアップ - Underlay
• ZTP/ZTRによる容易なデバイス接続
• テンプレートによる初期設定
Day1: 運用 – Overlay
• 仮想ネットワーク(L2)・仮想ルーター(L3)
• タグベース セキュリティフィルター
• サービスチェイニング
Day2: メンテナンス/トラブルシュート
• ヒットレスアップグレード
• テレメトリ活用予兆検知
• オーバーレイパス可視化
Contrail Enterprise Multicloud
IP ファブリック一元管理による抽象化とDCライフサイクルの自動化と可視化
© 2019 Juniper Networks
Juniper Business Use Only
スケーラブルなデータセンタファブリックが容易に
仮想ネットワークにより物理を抽象化
VLAN
100
VLAN
200
RED Network
VXLAN
VNI 1000
NETWORK VIRTUALIZATION
EVPN/VXLAN ⚫ 容易な即時仮想ネットワーク追加
⚫ マルチテナント環境に最適
⚫ スモールスタート・スケールアウト
⚫ 疎結合による高い冗長性
⚫ マルチベンダー標準実装
⚫ マルチパスによる帯域の有効活用
⚫ STPを排除し、かつ、ループを回避
⚫ 一元管理 GUIとAPI利用
⚫ Ansibleの自動化によるブラックボックス排除
⚫ テレメトリによるリアルタイムの可視化
⚫ Underlay/Overlayの相関のパスの可視化
IP Fabric EVPN/VXLAN
Contrail Fabric with Appformix
© 2019 Juniper Networks
Juniper Business Use Only
スケーラブルなデータセンタファブリックが容易に
VLAN
100
VLAN
200
RED Network
VXLAN
VNI 1000
NETWORK VIRTUALIZATION
EVPN/VXLAN
API連携
オーケストレーション連携による
仮想環境に必要なネットワークを自動作成
vlan/LAG作成依頼
Filter適用依頼
ネットワーク管理者サーバー管理者
人を介さずAPI連携
※一部ロードマップ含む
仮想ネットワークにより物理を抽象化
© 2019 Juniper Networks
Juniper Business Use Only
メンテナンス: ヒットレスアップグレード & メンテナンスモード
日々の運用だけでなく、メンテンスも容易に
▪ Hitless DC software upgrade
▪ アップグレード前診断
▪ メンテナンスモードによるトラフィック迂回
▪ アップグレード後診断
ファブリック全体でパケットロスなくアップグレード
• Traffic Drain
▪ 特定DeviceをMaintenance mode指定
明示的なトラフィック迂回が可能
▪ SFP劣化の交換など
トラフィックの明示的な迂回
© 2019 Juniper Networks
Juniper Business Use Only
アンダーレイとオーバーレイの柔軟な選択と一元管理
30
HYBRID ベアメタルと
仮想化の柔軟な接続
DCファブリック
EVPN/VXLANベース
ベアメタルと
仮想環境を容易に
同一仮想ネットワーク接続
データセンタのハードウェア環境をシンプル化し更なら拡張も容易
スケーラブルな
ハードウェアベースの
DCファブリック
vRouterオーバーレイと
アンダーレイの一元管理
異なる管理が必要だった
オーバーレイとアンダーレイを
一元管理
© 2019 Juniper Networks
Juniper Business Use Only
オーバーレイ(仮想ネットワーク)構成イメージ
31
VM1 VM1 VM2 VM2
BMS1
Internet
QFX
Contrail
MX
SDN GW
VLAN
wan
VM1
VN2
BMS2
VM2
BMS1
VM1
VN1
VM1
BMS2
FW
FW
FWFW
Compute NodeCompute Node
external
© 2019 Juniper Networks
Juniper Business Use Only
④ SECURITY
32
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAIL SECURITY
Intent Based Firewall
Contrail Security
タグベースフィルターでアドレスフィルター管理不要
ウェブ
サーバ
アプリケー
ション
サーバ
データベース
通信トラフィックの可視化
applicagion:app-1
label:web
セキュリティポリシー テンプレートの事前定義
port 80 port 8080
applicagion:app-1
label:db
即座にどこでも起動するコンテナに
動的なセキュリテイポリシーの利用
流れているトラフィックを解析しポリシー作成も可能
port 3306
33
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAIL SECURITY 想定シナリオ
site = US site = EMEA
Web App
App = Finance, Deployment = Dev
Web App
App = Finance, Deployment = Prod
Web App
App = Finance, Deployment = Dev
Web App
App = Finance, Deployment = Staging
match deploymentAllow TCP 80 tier=web > tier=app1
Allow TCP 3036 tier=app > tier=db match site2
DevProductionStaging
Legacy Data
(tier = db)
&& site
EnforcementDefn.
Legacy Data (tier
= db)
© 2019 Juniper Networks
Juniper Business Use Only
⑤ MULTI CLOUD
35
© 2019 Juniper Networks
Juniper Business Use Only
SECURE AUTOMATED MULTICLOUD
Automate the Underlay
Automate the Overlay
Extend to Multicloud
Secure
Workloads
マルチクラウド環境を個別管理せず一元的に セキュアでシームレスな仮想ネットワーク
CONTRAIL
ENTERPRISE
MULTICLOUD
シームレスな
仮想ネットワーク
直感的な
共有セキュリティ
ポリシー
マルチクラウドの
状況把握
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAILマルチクラウドセキュアコネクション
Contrail Portal
Userna
me
▪ パブリッククラウドのリソース作成
(VPC, サブネット, インスタンス, セキュリティグループ etc.)
▪ MC-GWによるセキュアVPNと経路交換
▪ k8s ノードのインスタンス追加
▪ マルチクラウドモニタリング
IPsec
BGP
パブリッククラウドリソースもContrailから一元的に作成及び可視化
© 2019 Juniper Networks
Juniper Business Use Only
某金融DCユースケース : セキュアマルチクラウドアプリ
▪ スケールアウトが必要なフロントエンドはパブリッククラウド上の
コンテナでスケールアウト
▪ DBはオンプレの仮想マシンでよりセキュアに
▪ フロントとバックエンドの間にはvSRX-FWにチェーニング
▪ 動的なインテントベースセキュリティフィルター
vsrx
用途に合わせたワークロードをContrailでシームレスに一元管理
© 2019 Juniper Networks
Juniper Business Use Only
⑥ VISIBILITY & ANALYTICS
39
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAIL INSIGHT
OS/Hypervisor
Compute Node
VNF
VNF
VNF
NFV基盤
MIB/Telemetry情報
Controlle
r
Data
Manager
Message
Bus
DB
Machine
Learning
Dashboa
rd
Plug-in
Plug-in
Plug-in
Agent
アンダーレイネットワーク
VM, Project,
VNFのMetric情報
Kubernetes ContrailOpenStack VMWare
API - Adaptor形式による柔軟性
クラウドオーケストレータ・ネットワークコントローラーパブリッククラウド
✅ VNF(アプリケーション)の可視化
✅ マルチクラウド・マルチベンダ対応
✅ ネットワークの可視化
コンピューティング・ネットワークリソースを可視化
Ingenst API
3rd App
registration
✅ 3rdアプリイベントインジェスション
© 2019 Juniper Networks
Juniper Business Use Only
可視化と運用自動化 (Closed Loopコンセプト)
41
Containe
rs
OpenStack Kubernet
es
マルチレイヤ・マルチベンダ
統合可視化ツール
VMs (ESXi) VMs (KVM)
Hypervisor/OS
Hardware
VM
VM
VM
vRouter vRouter
Contrail
SNMP
JTI/gRPC
API
Notification
Service Call
パブリック・クラウド …
オーケストレータ、SDNコントローラ等 …
2
3
3
通知
モニタリング
オーケストレーション、
最適化
オーケストレーション、
最適化
Machine
Learning
(機械学習)
Instance情報
Host情報
MIB情報
Telemetry情報
Agent
1
Contrail insight
© 2019 Juniper Networks
Juniper Business Use Only
可視化/分析 : MONITORING WITH CONTRAIL INSIGHT
※一部ロードマップ含む
SNMP Telemetry flows
▪ トポロジービュー(物理,論理)
▪ ヒートマップ
▪ フローサーチ
▪ トラフィックパスの可視化
▪ キャパシティユーセージ
▪ ダイナミックアラーム(機械学習)
マルチクラウド環境のリアルタイムの可視化
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAIL ENTERPRISE MULTICLOUD
クラウド/DCの多様なエンドポイントをシームレスに単一コントローラーで
Telco POPs
Private Cloud DC
Public Cloud VPC
Users
Contrail
Is the
Control Point
① Overlay
② NFV (Service Chaining)
③ Fabric Automation
④ Security
⑤ Multi Cloud
⑥ Visibility & Analytics
© 2019 Juniper Networks
Juniper Business Use Only
44
Kubernetes x Contrail
© 2019 Juniper Networks
Juniper Business Use Only
KUBERNETES基盤の課題
45
メンテンス性向上、耐障害性向上、
スケール向上,、
アジャイル開発(Infrastructure as a Code)
セキュリティとネットワークの検討が重要
Kubernetesであげられる課題
・自社 開発/保守 アプリケーションのコンテナ化
(CI/CD運用と本番環境)
・クラウドアーキテクチャのリフレッシュ(VM->コンテナ)
・PaaSホスティングでのコンテナ利用
・IoTデバイスのコンテナ利用
・仮想マシンからコンテナへの移行(利用ソフトのコンテナ化)
・ネットワークファンクションのコンテナ化
・エッジコンピューティングのコンテナ化
・インフラソフトウェアとサービスのコンテナ化
サービスプロバイダ
エンタープライズ・共通
© 2019 Juniper Networks
Juniper Business Use Only
コンテナ/KUBERNETES ネットワーク
46
L2 bridge
docker0
eth0 eth0
POD1 POD2 POD3
eth0
vethxx vethyy vethzz
eth0
L2 bridge
docker0
eth0 eth0
POD1 POD2 POD3
eth0
vethxx vethyy vethzz
eth0
NAPT
bridge
Port forwarding
host1 host2
ホスト外部への通信はNAPTが行われ、外部からPODへの通信はPort Forwardingが必要
Kubernetesでは複雑さをなくしていくため以下のようなネットワークの基本的な実装要件がある
・全てのコンテナはNATなしで他の全てのコンテナと通信可能
・全てのノードはNATなしで全てのコンテナと通信可能 (逆も可)
・コンテナが使用するIPアドレス と 他のユーザから見えるコンテナのIPアドレス は同一
https://kubernetes.io/docs/concepts/cluster-administration/networking/#the-kubernetes-network-model
© 2019 Juniper Networks
Juniper Business Use Only
CNI (CONTAINER NETWORK INTERFACE) PLUGIN
47
Flannel
bond0root
Node-121
25.25.25.121
bond0root
Node-122
35.35.35.122
cni0
flannel.1
cni0
flannel.1
• Flannel.1 device does
VXLAN encap/decap
• Traffic from pod1 is going
through “flannel.1” device
before exiting
Packet Flow
eth0pod1
10.244.1.2
eth0pod2
10.244.2.2
veth-x veth-y
1
2
3
4
5
6 7
12
10
9
11
8
L2 flat PoD network
・クラスタで/16のネットワークが作られる
・各ホスト毎に/24が割り当てられ、その中から
PODのIPが割り当てられる
・Node内のPOD間通信はbridging
・Node間のPOD間通信はVXLANでOverlay
・Network Polocy (Firewall filter)対応していない
VXLAN
© 2019 Juniper Networks
Juniper Business Use Only
CNI (CONTAINER NETWORK INTERFACE) PLUGIN
48
eth0pod1
cali-x
bond0
tunl0
192.168.83.64
root
192.168.83.67
Node-121
25.25.25.121
iptables
route table
eth0pod2
cali-y
bond0
tunl0
192.168.243.0
root
192.168.243.2
Node-122
35.35.35.122
iptables
route table
• After ARP Resolution
packet gets forwarded
according to the routing
table entries
• Packets will get
encapsulated via IP-IP
Packet
Forwarding
1
2
3
Calico
8
9
10
4
5 6
7
L3 host routing
・各PODは/32のホストアドレスが割り当てられる
・BGPで各PODがどのホストにいるか通知
・Node内 POD間もルーティング
・Node間のPOD通信はIP-IP Overlayもしくはルー
ティング(UnderlayスイッチとBGP peer)
IP-IP
© 2019 Juniper Networks
Juniper Business Use Only
KUBERNETES ネットワーク
49
外部からの通信はロードバランサーをベースとした通信
IPとポートを紐づけて各PODへアクセス (Floating IPのような通信は行えない)
Service Ingress
© 2019 Juniper Networks
Juniper Business Use Only
ネットワークの分離
50
N a m e s p a c e - B
S7 S8
POD 25
…
POD 29
…
…
N a m e s p a c e - A
S5 S6
POD 17
…
POD 21
…
…
NAMESPACE ISOLATION
pod-network
(10.32.0.0/12)
pod pod pod
Namespace : A
pod pod pod
Namespace : B
仮想マシンネットワークのようなサブネット単位でのネットワーク分割・制御
は難しい
ネットワークの分離はNamespaceを分けて管理
より細かい単位での分離や管理が難しい
© 2019 Juniper Networks
Juniper Business Use Only
他のワークロードとの接続
51
クラウド基盤としては様々なアプリケーションやシステムに対応する必要がある
コンテナと仮想マシン / ベアメタルサーバをシームレスにつなげる基盤は簡単ではない
pod pod VM VM
BMS
?
© 2019 Juniper Networks
Juniper Business Use Only
コンテナ/KUBERNETES基盤で考慮すべきネットワークのポイント
52
ノード間の POD接続方式(L2/L3)
外部ネットワークとの接続
サービスや用途毎のネットワーク分離
マルチワークロード(仮想マシンやベアメタルサーバとの接続)
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAILが提供するネットワーク
53
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAILでのホスト間接続
54
vRouter
eth0 eth0
POD1 POD2 POD3
eth0
vethxx vethyy vethzz
eth0
vRouter
eth0 eth0
POD1 POD2 POD3
eth0
vethxx vethyy vethzz
eth0
L2/L3
host1 host2
ホスト間の接続はオーバーレイでL2/L3も柔軟に構成可能
VRF1 VRF2 VRF1 VRF2
VXLAN/MPLSoUDP/MPLSoGRE
NAPT
Overlay
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAILで実現する仮想ネットワーク(1)
55
vRouter (Data Plane)
Routing Instance
(Tenant Green)
Flow Table
FIB
Compute Node
Routing Instance
(Tenant Blue)
Flow Table
FIB
eth 1
veth
POD 2
…WWW
C1
POD 1
…WWW
C1
veth
POD 1
…WWW
C1
veth
pod-nw-green
(192.168.1.0/24)
pod pod pod
Namespace : A
pod pod pod
仮想マシンネットワークのようにネットワークを分離
pod-nw-blue
(192.168.2.0/24)
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAILで実現する仮想ネットワーク(2)
56
外部からの通信はOpenShit(Kubernetes)のようにロードバランシングの機能が提供される
Service Ingress
ECMP
Haproxy(L7)
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAILで実現する仮想ネットワーク(3)
57
ContrailではFloating IPをPODの仮想ポートに割り当てることが可能
外部ネットワークから特定のPODへの通信を実現 (1:1 NAT)
nginx nginx
pod-network
external-network
Web
LoadBalancer
service-network
D:203.0.113.1
->10.0.10.1
10.0.10.1
Floating IP
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAILによる通信制御 (1)
58
app nginx nginxapp
pod-vn2 : 192.168.20/24
Namespace: A
pod-vn1:192.168.10/24
app nginx nginxapp
192.168.20.0/24192.168.10.0/24
Namespace: A
Contrail Network Policyにより仮想ネットワークつなげる事が可能
また5 tuple のFWフィルターで仮想ネットワークに適用することで様々な通信制御を実現
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAILによる通信制御 (2)
Intent Based Firewall
Contrail Security
タグベースフィルターでアドレスフィルター管理不要
ウェブ
サーバ
アプリケー
ション
サーバ
データベース
通信トラフィックの可視化
applicagion:app-1
label:web
セキュリティポリシー テンプレートの事前定義
port 80 port 8080
applicagion:app-1
label:db
即座にどこでも起動するコンテナに
動的なセキュリテイポリシーの利用
流れているトラフィックを解析しポリシー作成も可能
port 3306
59
© 2019 Juniper Networks
Juniper Business Use Only
OPENSHIFT TO CONTRAIL オブジェクトマッピング
Namespace / Project Single project OR Shared project
Pod
Service
Ingress
Network Policy
Virtual Machine (instance)
ECMP Loadbalancer (Native)
Haproxy Loadbalancer for URL
Contrail Security
OpenShift Objects Contrail Objects
© 2019 Juniper Networks
Juniper Business Use Only
CONTRAIL OPENSHIFT/OPENSTACK (NESTED MODE)
61
Kubernetes Nested Mode
vRouter (Data Plane)
Routing Instance
(Tenant Green)
Flow Table
Tap Interface (vif)
FIB
VM 1
(Tenant Green)
Compute Node
Routing Instance
(Tenant Blue)
Flow Table
FIB
VM 2
(Tenant Blue)
eth 1
veth
POD 1
…WWW
C1
OpenStackベースの仮想マシンとKuberenetesベースのコンテナが同じvRouterに接続され異なるノード間のPOD間通信
でもダブルカプセルになる事がない
Openshift on Openstack
© 2019 Juniper Networks
Juniper Business Use Only
THANK YOU

More Related Content

What's hot

コンテナ基盤であるLXC/LXDを 本番環境で運用する話
コンテナ基盤であるLXC/LXDを 本番環境で運用する話コンテナ基盤であるLXC/LXDを 本番環境で運用する話
コンテナ基盤であるLXC/LXDを 本番環境で運用する話
Nobuhiro Fujita
 

What's hot (20)

EBPF and Linux Networking
EBPF and Linux NetworkingEBPF and Linux Networking
EBPF and Linux Networking
 
フロー技術によるネットワーク管理
フロー技術によるネットワーク管理フロー技術によるネットワーク管理
フロー技術によるネットワーク管理
 
今さら聞けない! Active Directoryドメインサービス入門
今さら聞けない! Active Directoryドメインサービス入門今さら聞けない! Active Directoryドメインサービス入門
今さら聞けない! Active Directoryドメインサービス入門
 
【SRX】JUNOS ハンズオントレーニング資料 SRXシリーズ サービス ゲートウェイ コース
【SRX】JUNOS ハンズオントレーニング資料 SRXシリーズ サービス ゲートウェイ コース【SRX】JUNOS ハンズオントレーニング資料 SRXシリーズ サービス ゲートウェイ コース
【SRX】JUNOS ハンズオントレーニング資料 SRXシリーズ サービス ゲートウェイ コース
 
VXLAN and FRRouting
VXLAN and FRRoutingVXLAN and FRRouting
VXLAN and FRRouting
 
20220224台中演講k8s
20220224台中演講k8s20220224台中演講k8s
20220224台中演講k8s
 
VLANs in the Linux Kernel
VLANs in the Linux KernelVLANs in the Linux Kernel
VLANs in the Linux Kernel
 
ML2/OVN アーキテクチャ概観
ML2/OVN アーキテクチャ概観ML2/OVN アーキテクチャ概観
ML2/OVN アーキテクチャ概観
 
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
 
IPv6マルチプレフィックスの話
IPv6マルチプレフィックスの話IPv6マルチプレフィックスの話
IPv6マルチプレフィックスの話
 
YJTC18 A-1 データセンタネットワークの取り組み
YJTC18 A-1 データセンタネットワークの取り組みYJTC18 A-1 データセンタネットワークの取り組み
YJTC18 A-1 データセンタネットワークの取り組み
 
日本OpenStackユーザ会 第37回勉強会
日本OpenStackユーザ会 第37回勉強会日本OpenStackユーザ会 第37回勉強会
日本OpenStackユーザ会 第37回勉強会
 
コンテナ基盤であるLXC/LXDを 本番環境で運用する話
コンテナ基盤であるLXC/LXDを 本番環境で運用する話コンテナ基盤であるLXC/LXDを 本番環境で運用する話
コンテナ基盤であるLXC/LXDを 本番環境で運用する話
 
OpenStackで始めるクラウド環境構築入門(Horizon 基礎編)
OpenStackで始めるクラウド環境構築入門(Horizon 基礎編)OpenStackで始めるクラウド環境構築入門(Horizon 基礎編)
OpenStackで始めるクラウド環境構築入門(Horizon 基礎編)
 
2011年度 新3年生向け
2011年度 新3年生向け2011年度 新3年生向け
2011年度 新3年生向け
 
OpenStack networking (Neutron)
OpenStack networking (Neutron) OpenStack networking (Neutron)
OpenStack networking (Neutron)
 
OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月
OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月
OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月
 
Cluster API によるKubernetes環境のライフサイクル管理とマルチクラウド環境での適用
Cluster API によるKubernetes環境のライフサイクル管理とマルチクラウド環境での適用Cluster API によるKubernetes環境のライフサイクル管理とマルチクラウド環境での適用
Cluster API によるKubernetes環境のライフサイクル管理とマルチクラウド環境での適用
 
OpenStack本番環境の作り方
OpenStack本番環境の作り方OpenStack本番環境の作り方
OpenStack本番環境の作り方
 
あなたのところに専用線が届くまで
あなたのところに専用線が届くまであなたのところに専用線が届くまで
あなたのところに専用線が届くまで
 

Similar to 【ジュニパーサロン】Contrailの進化 Contrail Enterprise Multicloudとは ~Contrailを知っている人も知らない人もクラウド基盤に使えるSDN!~

Jtf2014 sdi and_contrail_22th-apr-2014_s
Jtf2014 sdi and_contrail_22th-apr-2014_sJtf2014 sdi and_contrail_22th-apr-2014_s
Jtf2014 sdi and_contrail_22th-apr-2014_s
Junya Arimura
 
【Interop tokyo 2014】 Cisco ACIとOpenStackで実現するネットワークプロビジョニングとは?
【Interop tokyo 2014】  Cisco ACIとOpenStackで実現するネットワークプロビジョニングとは?【Interop tokyo 2014】  Cisco ACIとOpenStackで実現するネットワークプロビジョニングとは?
【Interop tokyo 2014】 Cisco ACIとOpenStackで実現するネットワークプロビジョニングとは?
シスコシステムズ合同会社
 

Similar to 【ジュニパーサロン】Contrailの進化 Contrail Enterprise Multicloudとは ~Contrailを知っている人も知らない人もクラウド基盤に使えるSDN!~ (20)

Jtf2014 sdi and_contrail_22th-apr-2014_s
Jtf2014 sdi and_contrail_22th-apr-2014_sJtf2014 sdi and_contrail_22th-apr-2014_s
Jtf2014 sdi and_contrail_22th-apr-2014_s
 
EVPN & VXLAN for Cloud Builders
EVPN & VXLAN for Cloud BuildersEVPN & VXLAN for Cloud Builders
EVPN & VXLAN for Cloud Builders
 
202007 contrail cloud-operator-contrail_v1.2
202007 contrail cloud-operator-contrail_v1.2202007 contrail cloud-operator-contrail_v1.2
202007 contrail cloud-operator-contrail_v1.2
 
データセンター進化論:SDNは今オープンに ~攻めるITインフラにの絶対条件とは?~
データセンター進化論:SDNは今オープンに ~攻めるITインフラにの絶対条件とは?~ データセンター進化論:SDNは今オープンに ~攻めるITインフラにの絶対条件とは?~
データセンター進化論:SDNは今オープンに ~攻めるITインフラにの絶対条件とは?~
 
【Interop Tokyo 2015】将来にわたる収益化を支えるデータセンターインフラとは。
【Interop Tokyo 2015】将来にわたる収益化を支えるデータセンターインフラとは。【Interop Tokyo 2015】将来にわたる収益化を支えるデータセンターインフラとは。
【Interop Tokyo 2015】将来にわたる収益化を支えるデータセンターインフラとは。
 
190913 Nutanix .Next Juniper Contrail vSRX
190913 Nutanix .Next Juniper Contrail vSRX190913 Nutanix .Next Juniper Contrail vSRX
190913 Nutanix .Next Juniper Contrail vSRX
 
【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策
【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策
【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策
 
Wireless Japan 2015 Juniper Mobile Vision 2020
Wireless Japan 2015 Juniper Mobile Vision 2020Wireless Japan 2015 Juniper Mobile Vision 2020
Wireless Japan 2015 Juniper Mobile Vision 2020
 
【Interop Tokyo 2015】 真のビジネスアジリティを実現するSDNソリューションとは? Contrail SDN controller 最新...
【Interop Tokyo 2015】 真のビジネスアジリティを実現するSDNソリューションとは? Contrail SDN controller 最新...【Interop Tokyo 2015】 真のビジネスアジリティを実現するSDNソリューションとは? Contrail SDN controller 最新...
【Interop Tokyo 2015】 真のビジネスアジリティを実現するSDNソリューションとは? Contrail SDN controller 最新...
 
QFabric for Cloud Builders
QFabric for Cloud BuildersQFabric for Cloud Builders
QFabric for Cloud Builders
 
Juniper NetworkGuru Plugin - Juniper EX/QFX Swtich CloudStack Integration -
Juniper NetworkGuru Plugin - Juniper EX/QFX Swtich CloudStack Integration -Juniper NetworkGuru Plugin - Juniper EX/QFX Swtich CloudStack Integration -
Juniper NetworkGuru Plugin - Juniper EX/QFX Swtich CloudStack Integration -
 
Big Cloud Fabric製品紹介とOpenStack Neutron Plugin 実装概要
Big Cloud Fabric製品紹介とOpenStack Neutron Plugin 実装概要Big Cloud Fabric製品紹介とOpenStack Neutron Plugin 実装概要
Big Cloud Fabric製品紹介とOpenStack Neutron Plugin 実装概要
 
データセンター進化論:これ以上オープンになれないSDNとは?
データセンター進化論:これ以上オープンになれないSDNとは?データセンター進化論:これ以上オープンになれないSDNとは?
データセンター進化論:これ以上オープンになれないSDNとは?
 
ネットワーク仮想化の導入指南
ネットワーク仮想化の導入指南ネットワーク仮想化の導入指南
ネットワーク仮想化の導入指南
 
OpenContrailとnfv
OpenContrailとnfvOpenContrailとnfv
OpenContrailとnfv
 
180529-仮想化環境のあらゆる脅威対策(VMware NSX+Juniper vSRX_QFX)(VMwareセミナ)
180529-仮想化環境のあらゆる脅威対策(VMware NSX+Juniper vSRX_QFX)(VMwareセミナ)180529-仮想化環境のあらゆる脅威対策(VMware NSX+Juniper vSRX_QFX)(VMwareセミナ)
180529-仮想化環境のあらゆる脅威対策(VMware NSX+Juniper vSRX_QFX)(VMwareセミナ)
 
【Interop tokyo 2014】 Cisco ACIとOpenStackで実現するネットワークプロビジョニングとは?
【Interop tokyo 2014】  Cisco ACIとOpenStackで実現するネットワークプロビジョニングとは?【Interop tokyo 2014】  Cisco ACIとOpenStackで実現するネットワークプロビジョニングとは?
【Interop tokyo 2014】 Cisco ACIとOpenStackで実現するネットワークプロビジョニングとは?
 
Virtual Chassis for Cloud Builders
Virtual Chassis for Cloud BuildersVirtual Chassis for Cloud Builders
Virtual Chassis for Cloud Builders
 
Cloud Operator Days Tokyo 2020
Cloud Operator Days Tokyo 2020Cloud Operator Days Tokyo 2020
Cloud Operator Days Tokyo 2020
 
Microsoft conference 2014_Cisco_session_非公式配布版
Microsoft conference 2014_Cisco_session_非公式配布版Microsoft conference 2014_Cisco_session_非公式配布版
Microsoft conference 2014_Cisco_session_非公式配布版
 

More from Juniper Networks (日本)

More from Juniper Networks (日本) (20)

【Interop Tokyo 2023】ShowNetにおけるジュニパーネットワークスの取り組み
【Interop Tokyo 2023】ShowNetにおけるジュニパーネットワークスの取り組み【Interop Tokyo 2023】ShowNetにおけるジュニパーネットワークスの取り組み
【Interop Tokyo 2023】ShowNetにおけるジュニパーネットワークスの取り組み
 
【Interop Tokyo 2022】ここが見どころ!ジュニパーのShowNetにおける取組みご紹介
【Interop Tokyo 2022】ここが見どころ!ジュニパーのShowNetにおける取組みご紹介【Interop Tokyo 2022】ここが見どころ!ジュニパーのShowNetにおける取組みご紹介
【Interop Tokyo 2022】ここが見どころ!ジュニパーのShowNetにおける取組みご紹介
 
Juniper Festa @ Interop Tokyo 2021
Juniper Festa @ Interop Tokyo 2021Juniper Festa @ Interop Tokyo 2021
Juniper Festa @ Interop Tokyo 2021
 
【ジュニパーサロン】データセンタに特化した新しい経路制御技術 RIFTの紹介
【ジュニパーサロン】データセンタに特化した新しい経路制御技術 RIFTの紹介【ジュニパーサロン】データセンタに特化した新しい経路制御技術 RIFTの紹介
【ジュニパーサロン】データセンタに特化した新しい経路制御技術 RIFTの紹介
 
Juniper Festa @ Interop Tokyo 2019
Juniper Festa @ Interop Tokyo 2019 Juniper Festa @ Interop Tokyo 2019
Juniper Festa @ Interop Tokyo 2019
 
【Interop Tokyo 2018】 Telemetryの匠が解説~オープン技術を用いたマイクロバースト検知の最前線~
【Interop Tokyo 2018】 Telemetryの匠が解説~オープン技術を用いたマイクロバースト検知の最前線~【Interop Tokyo 2018】 Telemetryの匠が解説~オープン技術を用いたマイクロバースト検知の最前線~
【Interop Tokyo 2018】 Telemetryの匠が解説~オープン技術を用いたマイクロバースト検知の最前線~
 
【Interop Tokyo 2018】 ジュニパーの簡易SD-WANソリューション
【Interop Tokyo 2018】 ジュニパーの簡易SD-WANソリューション【Interop Tokyo 2018】 ジュニパーの簡易SD-WANソリューション
【Interop Tokyo 2018】 ジュニパーの簡易SD-WANソリューション
 
【Interop Tokyo 2018】 SDSN - サードパーティ連携によるサイバー脅威の検知とポリシー施行の自動化
【Interop Tokyo 2018】 SDSN - サードパーティ連携によるサイバー脅威の検知とポリシー施行の自動化【Interop Tokyo 2018】 SDSN - サードパーティ連携によるサイバー脅威の検知とポリシー施行の自動化
【Interop Tokyo 2018】 SDSN - サードパーティ連携によるサイバー脅威の検知とポリシー施行の自動化
 
【Interop Tokyo 2018】 自動化の親和性が高く、ネットワーク運用者に優しいJunos OS
【Interop Tokyo 2018】 自動化の親和性が高く、ネットワーク運用者に優しいJunos OS【Interop Tokyo 2018】 自動化の親和性が高く、ネットワーク運用者に優しいJunos OS
【Interop Tokyo 2018】 自動化の親和性が高く、ネットワーク運用者に優しいJunos OS
 
【Interop Tokyo 2018】 マルチクラウド環境のすべてをセキュアに統合運用する切り札
【Interop Tokyo 2018】 マルチクラウド環境のすべてをセキュアに統合運用する切り札【Interop Tokyo 2018】 マルチクラウド環境のすべてをセキュアに統合運用する切り札
【Interop Tokyo 2018】 マルチクラウド環境のすべてをセキュアに統合運用する切り札
 
【Interop Tokyo 2018】マルチクラウド環境における仮想基盤とネットワークの「見える化」は出来ていますか?
【Interop Tokyo 2018】マルチクラウド環境における仮想基盤とネットワークの「見える化」は出来ていますか?【Interop Tokyo 2018】マルチクラウド環境における仮想基盤とネットワークの「見える化」は出来ていますか?
【Interop Tokyo 2018】マルチクラウド環境における仮想基盤とネットワークの「見える化」は出来ていますか?
 
Juniper Festa @ Interop Tokyo 2018
Juniper Festa @ Interop Tokyo 2018Juniper Festa @ Interop Tokyo 2018
Juniper Festa @ Interop Tokyo 2018
 
Virtual Chassis Fabric for Cloud Builder
Virtual Chassis Fabric for Cloud BuilderVirtual Chassis Fabric for Cloud Builder
Virtual Chassis Fabric for Cloud Builder
 
Juniper Festa @ Interop Tokyo 2017
Juniper Festa @ Interop Tokyo 2017Juniper Festa @ Interop Tokyo 2017
Juniper Festa @ Interop Tokyo 2017
 
AppFormix勉強会資料
AppFormix勉強会資料AppFormix勉強会資料
AppFormix勉強会資料
 
FlexEのご紹介 - JANOG 39.5 発表資料
FlexEのご紹介 - JANOG 39.5 発表資料FlexEのご紹介 - JANOG 39.5 発表資料
FlexEのご紹介 - JANOG 39.5 発表資料
 
Junos SpaceによるJunos機器の運用管理
Junos SpaceによるJunos機器の運用管理Junos SpaceによるJunos機器の運用管理
Junos SpaceによるJunos機器の運用管理
 
企業ネットワークの標的型攻撃とクラウド接続の課題に同時対応するソリューション
企業ネットワークの標的型攻撃とクラウド接続の課題に同時対応するソリューション企業ネットワークの標的型攻撃とクラウド接続の課題に同時対応するソリューション
企業ネットワークの標的型攻撃とクラウド接続の課題に同時対応するソリューション
 
はじめての vSRX on AWS
はじめての vSRX on AWSはじめての vSRX on AWS
はじめての vSRX on AWS
 
【ネットワーク仮想化 事例セミナー 2017/2/28】ネットワンシステムズが目指すネットワーク仮想化によるセルフサービスITの実現
【ネットワーク仮想化 事例セミナー 2017/2/28】ネットワンシステムズが目指すネットワーク仮想化によるセルフサービスITの実現【ネットワーク仮想化 事例セミナー 2017/2/28】ネットワンシステムズが目指すネットワーク仮想化によるセルフサービスITの実現
【ネットワーク仮想化 事例セミナー 2017/2/28】ネットワンシステムズが目指すネットワーク仮想化によるセルフサービスITの実現
 

【ジュニパーサロン】Contrailの進化 Contrail Enterprise Multicloudとは ~Contrailを知っている人も知らない人もクラウド基盤に使えるSDN!~

  • 1. © 2019 Juniper Networks Juniper Business Use Only CONTRAILの進化 CONTRAIL ENTERPRISE MULTICLOUDとは ~CONTRAILを知っている人も知らない人もクラウド基盤に使えるSDN!~ ジュニパーネットワーク株式会社 技術統括本部 テクニカルビジネス開発本部 須賀 雅也
  • 2. © 2019 Juniper Networks Juniper Business Use Only 2 Contrailって知っている人いますか? このロゴは知っていますか? Contrailさわったことある人いますか? こっちのロゴは知っている
  • 3. © 2019 Juniper Networks Juniper Business Use Only 3 2012 2018 LF Networking 2013
  • 4. © 2019 Juniper Networks Juniper Business Use Only 4 Contrail Enterprise Multicloud CEM
  • 5. © 2019 Juniper Networks Juniper Business Use Only 5 ・Contrail Enterprise Multicloud (CEM) ・Kubernetes x Contrail
  • 6. © 2019 Juniper Networks Juniper Business Use Only 7 Contrail Enterprise Multicloud (CEM)
  • 7. © 2019 Juniper Networks Juniper Business Use Only ビジネスの変革による新たなインフラ要求 アジャイルな 開発変化 IT人材不足 IT範囲の拡大と テクノロジーの対応 スケールアウト シンプル化 迅速性 自動化 DXビジネス加速 不確実なビジネスモデル とTRY&ERROR 誰もがスタートアップと 戦う時代
  • 8. © 2019 Juniper Networks Juniper Business Use Only データセンタクラウドインフラの新たな潮流 Multicloud and Containers マルチクラウドの利用率 86 % global enterprise customers 2022年のコンテナ利用率 75 % * Source: Gartner* Source: Forrester インフラの多様な選択肢 ✔ 機能で選ぶ ✔ アーキテクチャで選ぶ ✔ コストで選ぶ etc. containerized application in production コンテナベアメタル仮想マシン パブリック クラウド
  • 9. © 2019 Juniper Networks Juniper Business Use Only 様々なワークロードの接続 10 pod pod VM VM BMS ? コンテナのニーズは高まっているが、VM・コンテナ・ベアメタル アプリケーションやサービス、ユーザーにより様々なワークロードが必要
  • 10. © 2019 Juniper Networks Juniper Business Use Only 様々なクラウドの接続 11 オンプレ・パブリック・エッジ、アプリケーションやサービスに応じて 様々な環境で動作し、それぞれが連携できるような環境が必要
  • 11. © 2019 Juniper Networks Juniper Business Use Only 肥大化していくネットワークの管理 12 source IDC 国内事業者データセンター延床面積の実績と予測(2018年~2023年)Source 富士キメラ総研 L2 --> L3 4k VLAN overlay
  • 12. © 2019 Juniper Networks Juniper Business Use Only 13 Contrail Enterprise Multicloudは こういった課題に対してのソリューションとな り得る SDNコントローラーです。
  • 13. © 2019 Juniper Networks Juniper Business Use Only Contrail Enterprise Multicloud 14 BMS VM BMS VM BMS VM 仮想ネットワーク B 仮想ネットワーク C 仮想ネットワーク A BMS VM 開発/テスト環境 物理ネットワーク サービスA サービスB サービスC Multi Workload ⑥ Visibility & Analytics ① Overlay (Virtualization) 運用者 ③ Fabric Automation FW FW LB FW CEM IP Clos/EVPN ⑤ Multi Cloud ④ Security IDP LB ② NFV (Service Chaining)
  • 14. © 2019 Juniper Networks Juniper Business Use Only ① OVERLAY 15
  • 15. © 2019 Juniper Networks Juniper Business Use Only OVERLAY 16 オーバーレイ ネットワーク アンダーレイ ネットワーク VM サーバの通信から物理的なインフラに依存しない論理的なネットワークを構築 Hypervisor VM VM Hypervisor VM 仮想化インフラ 物理的なインフラ サーバー間はL3で つながっているだけでOK 172.16.4.1/24172.16.1.1/24 IP Fabric SDN Controller Contrail 論理スイッチ(LS) 論理スイッチ(LS)
  • 16. © 2019 Juniper Networks Juniper Business Use Only Physical IP Fabric (no changes) CONTRAIL アーキテクチャー CONTRAIL CONTROLLER ORCHESTRATOR Host O/SvRouter Network / Storage Orchestration Gateway Internet / WAN or Legacy Env. (Config, Control, Analytics, TSN) (Windows, Linux ….) on BMS TOR Compute Orchestration Virtual Network Blue Virtual Network Red FW Logical View … BGP BGP NETCONF XMPPBGP NETCONF Centralized PolicyDefinition Distributed PolicyEnforcement Host O/SvRouter … …… DC Computes CPE Devices Public Cloud VM …
  • 17. © 2019 Juniper Networks Juniper Business Use Only COMPUTE NODE – CONTRAIL VROUTER 18 © 2018 Juniper Networks COMPUTE NODE – CONTRAIL VROUTER Compute Node Virtual Machine (Tenant B) Virtual Machine (Tenant C) Virtual Machine (Tenant C) vRouter Forwarding Plane Virtual Machine (Tenant A) Routing Instance (Tenant A) Routing Instance (Tenant B) Routing Instance (Tenant C) vRouter Agent Flow Table FIB Flow Table FIB Flow Table FIB Overlay tunnels MPLS over GRE or VXLAN JUNOSV CONTRAIL CONTROLLER CONTRAIL CONTROLLER XMPP Eth1Kernel Tap Interfaces (vif) pkt0 User Eth0 EthN Config VRFs Policy Table Top of Rack Switch XMPP • vRouterはハイパーバイザーカーネルの中の Linux Bridge もしくは、OVSをリプレースする 役割を持つ • vRouterはBridgingもしくはRouting(MPLS base L3VPN)を提供する。 • vRouterはSecurity Policies, NAT, Multicast, Mirroring, and Load Balancingのネットワーク サービスを提供する • Routing, Broadcast/Multicast, NATを提供する 為のService NodeやL2/L3GWがいらない • ポリシーに基づいて、ルートは自動的にVRFに リークされる
  • 18. © 2019 Juniper Networks Juniper Business Use Only オーバーレイ(仮想ネットワーク)構成イメージ 19 VM1 VM1 VM2 VM2 Internet Compute Node IP Fabric Contrail MX SDN GW wan VM1 VN2 VM2 VM1 VN1 VM2 Compute Node ユーザA ユーザB VM3 VM3 Compute Node VM3 VM3 external external
  • 19. © 2019 Juniper Networks Juniper Business Use Only ② NFV (SERVICE CHAINING) 20
  • 20. © 2019 Juniper Networks Juniper Business Use Only SERVICE CHAINING 21 VM VM VM Green Virtual Network VM VM VM Red Virtual Network Policy Network Functionの接続 CNF VNF FWサービス IDSサービス 仮想マシンコンテナ VMを仮想ネットワークの間に挟み通信をリダイレクト 仮想ネットワーク機能を提供 (VNF/CNFに対応)
  • 21. © 2019 Juniper Networks Juniper Business Use Only VIRTUAL NETWORK GREEN Host + HypervisorHost + Hypervisor SERVICE CHAINING VIRTUAL NETWORK BLUE VIRTUAL NETWORK YELLOW Contrail Security ポリシ (例:HTTPトラフィックのみ許 可など) Contrail Policy FWサービス IP Fabric (switch underlay) G3 B3 B1 B2 G1 G3 G2 Y1 Y2 Y3B1 B2 B3 Y2Y3Y1 VM and virtualized Network function pool Intra-network traffic Inter-network traffic traversing a service … … Non-HTTP trafficG1 G2 Security Groups 論理 (ポリシー定義) 物理 (ポリシー適用)
  • 22. © 2019 Juniper Networks Juniper Business Use Only SVC 1 VM SVC 2 VM R1 R2 Virtual Network Red Virtual Network Green G1 G2 Service Policy (for all traffic between VN-red and VN-Green use the SFC Multiple Services in a Service Chain Multiple Service Chains between 2 networks SVC 1 VM SVC 2 VM R1 R2 Virtual Network Red Virtual Network Green G1 G2 SVC 3 VMPolicy-based Service Chaining (e.g. for a particular 5-tuple use SFC 1 else use SFC2) SVC 1 VM SVC 2 VM R1 R2 Virtual Network Red Virtual Network Green G1 G2 Scale out Services (Active- Active HA) Multiple Service Instances (Scale-out aka active-active HA) SVC 1 VM SVC 2 VM R1 R2 Virtual Network Red Virtual Network Green G1 G2 Service Instances Active-backup HA Active-back-up Services SERVICE CHAINING
  • 23. © 2019 Juniper Networks Juniper Business Use Only ③ FABRIC AUTOMATION 24
  • 24. … ⚫ ブロックポートがなく、アップリンクはデュア ルアクティブとなる。ただしSTPの利用も併用 することも多い。 ⚫ 論理構成を簡略化 ⚫ 様々なベンダーが実装済み ⚫ STPに比べ、設計/運用は軽減 ⚫ 一台一台の設定は必要 ⚫ マルチパスによる帯域の有効活用 ⚫ STPを排除し、かつ、ループを回避 ⚫ ネットワーク全体をシンプルな運用管理 ⚫ スケールアウトが容易でスモールスタート可能 ⚫ ゼロタッチでの容易な追加 ⚫ ベンダー同時実装 ⚫ 密結合のため障害影響が広がる懸念あり 次世代DC ネットワークアーキテクチャ IP FABRIC Multi Chassis LAG Ethernet Fabric より柔軟により容易にオープンにネットワークを拡大・管理性を向上 マルチパス STP排除 ⚫ マルチパスによる帯域の有効活用 ⚫ STPを排除し、かつ、ループを回避 ⚫ スモールスタート・スケールアウト ⚫ 疎結合による高い冗長性 ⚫ マルチテナント環境に最適 ⚫ マルチベンダー標準実装 ⚫ 一元管理や自動化は組み込まれていない IP Fabric 標準化 マルチテナント …
  • 25. © 2019 Juniper Networks Juniper Business Use Only CONTRAILによるシンプル化されたDC ファブリック Day0: セットアップ - Underlay • ZTP/ZTRによる容易なデバイス接続 • テンプレートによる初期設定 Day1: 運用 – Overlay • 仮想ネットワーク(L2)・仮想ルーター(L3) • タグベース セキュリティフィルター • サービスチェイニング Day2: メンテナンス/トラブルシュート • ヒットレスアップグレード • テレメトリ活用予兆検知 • オーバーレイパス可視化 Contrail Enterprise Multicloud IP ファブリック一元管理による抽象化とDCライフサイクルの自動化と可視化
  • 26. © 2019 Juniper Networks Juniper Business Use Only スケーラブルなデータセンタファブリックが容易に 仮想ネットワークにより物理を抽象化 VLAN 100 VLAN 200 RED Network VXLAN VNI 1000 NETWORK VIRTUALIZATION EVPN/VXLAN ⚫ 容易な即時仮想ネットワーク追加 ⚫ マルチテナント環境に最適 ⚫ スモールスタート・スケールアウト ⚫ 疎結合による高い冗長性 ⚫ マルチベンダー標準実装 ⚫ マルチパスによる帯域の有効活用 ⚫ STPを排除し、かつ、ループを回避 ⚫ 一元管理 GUIとAPI利用 ⚫ Ansibleの自動化によるブラックボックス排除 ⚫ テレメトリによるリアルタイムの可視化 ⚫ Underlay/Overlayの相関のパスの可視化 IP Fabric EVPN/VXLAN Contrail Fabric with Appformix
  • 27. © 2019 Juniper Networks Juniper Business Use Only スケーラブルなデータセンタファブリックが容易に VLAN 100 VLAN 200 RED Network VXLAN VNI 1000 NETWORK VIRTUALIZATION EVPN/VXLAN API連携 オーケストレーション連携による 仮想環境に必要なネットワークを自動作成 vlan/LAG作成依頼 Filter適用依頼 ネットワーク管理者サーバー管理者 人を介さずAPI連携 ※一部ロードマップ含む 仮想ネットワークにより物理を抽象化
  • 28. © 2019 Juniper Networks Juniper Business Use Only メンテナンス: ヒットレスアップグレード & メンテナンスモード 日々の運用だけでなく、メンテンスも容易に ▪ Hitless DC software upgrade ▪ アップグレード前診断 ▪ メンテナンスモードによるトラフィック迂回 ▪ アップグレード後診断 ファブリック全体でパケットロスなくアップグレード • Traffic Drain ▪ 特定DeviceをMaintenance mode指定 明示的なトラフィック迂回が可能 ▪ SFP劣化の交換など トラフィックの明示的な迂回
  • 29. © 2019 Juniper Networks Juniper Business Use Only アンダーレイとオーバーレイの柔軟な選択と一元管理 30 HYBRID ベアメタルと 仮想化の柔軟な接続 DCファブリック EVPN/VXLANベース ベアメタルと 仮想環境を容易に 同一仮想ネットワーク接続 データセンタのハードウェア環境をシンプル化し更なら拡張も容易 スケーラブルな ハードウェアベースの DCファブリック vRouterオーバーレイと アンダーレイの一元管理 異なる管理が必要だった オーバーレイとアンダーレイを 一元管理
  • 30. © 2019 Juniper Networks Juniper Business Use Only オーバーレイ(仮想ネットワーク)構成イメージ 31 VM1 VM1 VM2 VM2 BMS1 Internet QFX Contrail MX SDN GW VLAN wan VM1 VN2 BMS2 VM2 BMS1 VM1 VN1 VM1 BMS2 FW FW FWFW Compute NodeCompute Node external
  • 31. © 2019 Juniper Networks Juniper Business Use Only ④ SECURITY 32
  • 32. © 2019 Juniper Networks Juniper Business Use Only CONTRAIL SECURITY Intent Based Firewall Contrail Security タグベースフィルターでアドレスフィルター管理不要 ウェブ サーバ アプリケー ション サーバ データベース 通信トラフィックの可視化 applicagion:app-1 label:web セキュリティポリシー テンプレートの事前定義 port 80 port 8080 applicagion:app-1 label:db 即座にどこでも起動するコンテナに 動的なセキュリテイポリシーの利用 流れているトラフィックを解析しポリシー作成も可能 port 3306 33
  • 33. © 2019 Juniper Networks Juniper Business Use Only CONTRAIL SECURITY 想定シナリオ site = US site = EMEA Web App App = Finance, Deployment = Dev Web App App = Finance, Deployment = Prod Web App App = Finance, Deployment = Dev Web App App = Finance, Deployment = Staging match deploymentAllow TCP 80 tier=web > tier=app1 Allow TCP 3036 tier=app > tier=db match site2 DevProductionStaging Legacy Data (tier = db) && site EnforcementDefn. Legacy Data (tier = db)
  • 34. © 2019 Juniper Networks Juniper Business Use Only ⑤ MULTI CLOUD 35
  • 35. © 2019 Juniper Networks Juniper Business Use Only SECURE AUTOMATED MULTICLOUD Automate the Underlay Automate the Overlay Extend to Multicloud Secure Workloads マルチクラウド環境を個別管理せず一元的に セキュアでシームレスな仮想ネットワーク CONTRAIL ENTERPRISE MULTICLOUD シームレスな 仮想ネットワーク 直感的な 共有セキュリティ ポリシー マルチクラウドの 状況把握
  • 36. © 2019 Juniper Networks Juniper Business Use Only CONTRAILマルチクラウドセキュアコネクション Contrail Portal Userna me ▪ パブリッククラウドのリソース作成 (VPC, サブネット, インスタンス, セキュリティグループ etc.) ▪ MC-GWによるセキュアVPNと経路交換 ▪ k8s ノードのインスタンス追加 ▪ マルチクラウドモニタリング IPsec BGP パブリッククラウドリソースもContrailから一元的に作成及び可視化
  • 37. © 2019 Juniper Networks Juniper Business Use Only 某金融DCユースケース : セキュアマルチクラウドアプリ ▪ スケールアウトが必要なフロントエンドはパブリッククラウド上の コンテナでスケールアウト ▪ DBはオンプレの仮想マシンでよりセキュアに ▪ フロントとバックエンドの間にはvSRX-FWにチェーニング ▪ 動的なインテントベースセキュリティフィルター vsrx 用途に合わせたワークロードをContrailでシームレスに一元管理
  • 38. © 2019 Juniper Networks Juniper Business Use Only ⑥ VISIBILITY & ANALYTICS 39
  • 39. © 2019 Juniper Networks Juniper Business Use Only CONTRAIL INSIGHT OS/Hypervisor Compute Node VNF VNF VNF NFV基盤 MIB/Telemetry情報 Controlle r Data Manager Message Bus DB Machine Learning Dashboa rd Plug-in Plug-in Plug-in Agent アンダーレイネットワーク VM, Project, VNFのMetric情報 Kubernetes ContrailOpenStack VMWare API - Adaptor形式による柔軟性 クラウドオーケストレータ・ネットワークコントローラーパブリッククラウド ✅ VNF(アプリケーション)の可視化 ✅ マルチクラウド・マルチベンダ対応 ✅ ネットワークの可視化 コンピューティング・ネットワークリソースを可視化 Ingenst API 3rd App registration ✅ 3rdアプリイベントインジェスション
  • 40. © 2019 Juniper Networks Juniper Business Use Only 可視化と運用自動化 (Closed Loopコンセプト) 41 Containe rs OpenStack Kubernet es マルチレイヤ・マルチベンダ 統合可視化ツール VMs (ESXi) VMs (KVM) Hypervisor/OS Hardware VM VM VM vRouter vRouter Contrail SNMP JTI/gRPC API Notification Service Call パブリック・クラウド … オーケストレータ、SDNコントローラ等 … 2 3 3 通知 モニタリング オーケストレーション、 最適化 オーケストレーション、 最適化 Machine Learning (機械学習) Instance情報 Host情報 MIB情報 Telemetry情報 Agent 1 Contrail insight
  • 41. © 2019 Juniper Networks Juniper Business Use Only 可視化/分析 : MONITORING WITH CONTRAIL INSIGHT ※一部ロードマップ含む SNMP Telemetry flows ▪ トポロジービュー(物理,論理) ▪ ヒートマップ ▪ フローサーチ ▪ トラフィックパスの可視化 ▪ キャパシティユーセージ ▪ ダイナミックアラーム(機械学習) マルチクラウド環境のリアルタイムの可視化
  • 42. © 2019 Juniper Networks Juniper Business Use Only CONTRAIL ENTERPRISE MULTICLOUD クラウド/DCの多様なエンドポイントをシームレスに単一コントローラーで Telco POPs Private Cloud DC Public Cloud VPC Users Contrail Is the Control Point ① Overlay ② NFV (Service Chaining) ③ Fabric Automation ④ Security ⑤ Multi Cloud ⑥ Visibility & Analytics
  • 43. © 2019 Juniper Networks Juniper Business Use Only 44 Kubernetes x Contrail
  • 44. © 2019 Juniper Networks Juniper Business Use Only KUBERNETES基盤の課題 45 メンテンス性向上、耐障害性向上、 スケール向上,、 アジャイル開発(Infrastructure as a Code) セキュリティとネットワークの検討が重要 Kubernetesであげられる課題 ・自社 開発/保守 アプリケーションのコンテナ化 (CI/CD運用と本番環境) ・クラウドアーキテクチャのリフレッシュ(VM->コンテナ) ・PaaSホスティングでのコンテナ利用 ・IoTデバイスのコンテナ利用 ・仮想マシンからコンテナへの移行(利用ソフトのコンテナ化) ・ネットワークファンクションのコンテナ化 ・エッジコンピューティングのコンテナ化 ・インフラソフトウェアとサービスのコンテナ化 サービスプロバイダ エンタープライズ・共通
  • 45. © 2019 Juniper Networks Juniper Business Use Only コンテナ/KUBERNETES ネットワーク 46 L2 bridge docker0 eth0 eth0 POD1 POD2 POD3 eth0 vethxx vethyy vethzz eth0 L2 bridge docker0 eth0 eth0 POD1 POD2 POD3 eth0 vethxx vethyy vethzz eth0 NAPT bridge Port forwarding host1 host2 ホスト外部への通信はNAPTが行われ、外部からPODへの通信はPort Forwardingが必要 Kubernetesでは複雑さをなくしていくため以下のようなネットワークの基本的な実装要件がある ・全てのコンテナはNATなしで他の全てのコンテナと通信可能 ・全てのノードはNATなしで全てのコンテナと通信可能 (逆も可) ・コンテナが使用するIPアドレス と 他のユーザから見えるコンテナのIPアドレス は同一 https://kubernetes.io/docs/concepts/cluster-administration/networking/#the-kubernetes-network-model
  • 46. © 2019 Juniper Networks Juniper Business Use Only CNI (CONTAINER NETWORK INTERFACE) PLUGIN 47 Flannel bond0root Node-121 25.25.25.121 bond0root Node-122 35.35.35.122 cni0 flannel.1 cni0 flannel.1 • Flannel.1 device does VXLAN encap/decap • Traffic from pod1 is going through “flannel.1” device before exiting Packet Flow eth0pod1 10.244.1.2 eth0pod2 10.244.2.2 veth-x veth-y 1 2 3 4 5 6 7 12 10 9 11 8 L2 flat PoD network ・クラスタで/16のネットワークが作られる ・各ホスト毎に/24が割り当てられ、その中から PODのIPが割り当てられる ・Node内のPOD間通信はbridging ・Node間のPOD間通信はVXLANでOverlay ・Network Polocy (Firewall filter)対応していない VXLAN
  • 47. © 2019 Juniper Networks Juniper Business Use Only CNI (CONTAINER NETWORK INTERFACE) PLUGIN 48 eth0pod1 cali-x bond0 tunl0 192.168.83.64 root 192.168.83.67 Node-121 25.25.25.121 iptables route table eth0pod2 cali-y bond0 tunl0 192.168.243.0 root 192.168.243.2 Node-122 35.35.35.122 iptables route table • After ARP Resolution packet gets forwarded according to the routing table entries • Packets will get encapsulated via IP-IP Packet Forwarding 1 2 3 Calico 8 9 10 4 5 6 7 L3 host routing ・各PODは/32のホストアドレスが割り当てられる ・BGPで各PODがどのホストにいるか通知 ・Node内 POD間もルーティング ・Node間のPOD通信はIP-IP Overlayもしくはルー ティング(UnderlayスイッチとBGP peer) IP-IP
  • 48. © 2019 Juniper Networks Juniper Business Use Only KUBERNETES ネットワーク 49 外部からの通信はロードバランサーをベースとした通信 IPとポートを紐づけて各PODへアクセス (Floating IPのような通信は行えない) Service Ingress
  • 49. © 2019 Juniper Networks Juniper Business Use Only ネットワークの分離 50 N a m e s p a c e - B S7 S8 POD 25 … POD 29 … … N a m e s p a c e - A S5 S6 POD 17 … POD 21 … … NAMESPACE ISOLATION pod-network (10.32.0.0/12) pod pod pod Namespace : A pod pod pod Namespace : B 仮想マシンネットワークのようなサブネット単位でのネットワーク分割・制御 は難しい ネットワークの分離はNamespaceを分けて管理 より細かい単位での分離や管理が難しい
  • 50. © 2019 Juniper Networks Juniper Business Use Only 他のワークロードとの接続 51 クラウド基盤としては様々なアプリケーションやシステムに対応する必要がある コンテナと仮想マシン / ベアメタルサーバをシームレスにつなげる基盤は簡単ではない pod pod VM VM BMS ?
  • 51. © 2019 Juniper Networks Juniper Business Use Only コンテナ/KUBERNETES基盤で考慮すべきネットワークのポイント 52 ノード間の POD接続方式(L2/L3) 外部ネットワークとの接続 サービスや用途毎のネットワーク分離 マルチワークロード(仮想マシンやベアメタルサーバとの接続)
  • 52. © 2019 Juniper Networks Juniper Business Use Only CONTRAILが提供するネットワーク 53
  • 53. © 2019 Juniper Networks Juniper Business Use Only CONTRAILでのホスト間接続 54 vRouter eth0 eth0 POD1 POD2 POD3 eth0 vethxx vethyy vethzz eth0 vRouter eth0 eth0 POD1 POD2 POD3 eth0 vethxx vethyy vethzz eth0 L2/L3 host1 host2 ホスト間の接続はオーバーレイでL2/L3も柔軟に構成可能 VRF1 VRF2 VRF1 VRF2 VXLAN/MPLSoUDP/MPLSoGRE NAPT Overlay
  • 54. © 2019 Juniper Networks Juniper Business Use Only CONTRAILで実現する仮想ネットワーク(1) 55 vRouter (Data Plane) Routing Instance (Tenant Green) Flow Table FIB Compute Node Routing Instance (Tenant Blue) Flow Table FIB eth 1 veth POD 2 …WWW C1 POD 1 …WWW C1 veth POD 1 …WWW C1 veth pod-nw-green (192.168.1.0/24) pod pod pod Namespace : A pod pod pod 仮想マシンネットワークのようにネットワークを分離 pod-nw-blue (192.168.2.0/24)
  • 55. © 2019 Juniper Networks Juniper Business Use Only CONTRAILで実現する仮想ネットワーク(2) 56 外部からの通信はOpenShit(Kubernetes)のようにロードバランシングの機能が提供される Service Ingress ECMP Haproxy(L7)
  • 56. © 2019 Juniper Networks Juniper Business Use Only CONTRAILで実現する仮想ネットワーク(3) 57 ContrailではFloating IPをPODの仮想ポートに割り当てることが可能 外部ネットワークから特定のPODへの通信を実現 (1:1 NAT) nginx nginx pod-network external-network Web LoadBalancer service-network D:203.0.113.1 ->10.0.10.1 10.0.10.1 Floating IP
  • 57. © 2019 Juniper Networks Juniper Business Use Only CONTRAILによる通信制御 (1) 58 app nginx nginxapp pod-vn2 : 192.168.20/24 Namespace: A pod-vn1:192.168.10/24 app nginx nginxapp 192.168.20.0/24192.168.10.0/24 Namespace: A Contrail Network Policyにより仮想ネットワークつなげる事が可能 また5 tuple のFWフィルターで仮想ネットワークに適用することで様々な通信制御を実現
  • 58. © 2019 Juniper Networks Juniper Business Use Only CONTRAILによる通信制御 (2) Intent Based Firewall Contrail Security タグベースフィルターでアドレスフィルター管理不要 ウェブ サーバ アプリケー ション サーバ データベース 通信トラフィックの可視化 applicagion:app-1 label:web セキュリティポリシー テンプレートの事前定義 port 80 port 8080 applicagion:app-1 label:db 即座にどこでも起動するコンテナに 動的なセキュリテイポリシーの利用 流れているトラフィックを解析しポリシー作成も可能 port 3306 59
  • 59. © 2019 Juniper Networks Juniper Business Use Only OPENSHIFT TO CONTRAIL オブジェクトマッピング Namespace / Project Single project OR Shared project Pod Service Ingress Network Policy Virtual Machine (instance) ECMP Loadbalancer (Native) Haproxy Loadbalancer for URL Contrail Security OpenShift Objects Contrail Objects
  • 60. © 2019 Juniper Networks Juniper Business Use Only CONTRAIL OPENSHIFT/OPENSTACK (NESTED MODE) 61 Kubernetes Nested Mode vRouter (Data Plane) Routing Instance (Tenant Green) Flow Table Tap Interface (vif) FIB VM 1 (Tenant Green) Compute Node Routing Instance (Tenant Blue) Flow Table FIB VM 2 (Tenant Blue) eth 1 veth POD 1 …WWW C1 OpenStackベースの仮想マシンとKuberenetesベースのコンテナが同じvRouterに接続され異なるノード間のPOD間通信 でもダブルカプセルになる事がない Openshift on Openstack
  • 61. © 2019 Juniper Networks Juniper Business Use Only THANK YOU