2015.7.9 Juniper Cloud Builder Conference 2015

Copyright © INTEROP TOKYO 2015 ShowNet NOC Team
Interop Tokyo 2015
ShowNetにおける
マルチクラウド実証実験
ShowNet NOC チームメンバー
さくらインターネット株式会社
大久保修一
2015.7.9 Juniper Cloud Builder Conference 2015

Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 2
マルチクラウドの活用メリット
クラウドA クラウドB
オンプレミス
• 障害、災害対策(DR)
• ワークロード分散
• オンプレミスとの併用
• コスト削減
• ベンダーロックインの回避
• 異なる機能の組み合わせ
• ハイブリッド構成
CDN

インターネット
サーバ間連携トラフィックの問題
クラウドA クラウドB
オンプレミス CDN
インターネット経由だと・・
• 品質の保証ができない
• 障害時の切り分けが難しい
• セキュリティの不安
セキュアで堅牢なプライベート
接続のニーズが高まっている

East-Westトラフィックの増大

商用クラウドプライベート接続も一般化
AWS Direct Connect Equinix Cloud Exchange

昨年のInterop2014での取り組み
クラウド間の
インターコネクトに
フォーカス
クラウドユーザ
との接続は？

コンセプト：Multi Cloud Fabric
様々なネットワークが接続可能なオープンな
プライベートコネクトプラットフォームを目指して
Multi Cloud Fabric
オンプレミス
クラウド
モバイル
エンター
プライズ
コンテンツ
プロバイダ

ShowNet 2015マルチクラウド構成
さくらのクラウド IDCFクラウド
ビットアイル
クラウド
OpenStack
幕張ShowNet
パブリック
クラウド
BBIX
Private Connect
エンター
プライズ
コンテンツ
プロバイダ
ミクシィ
モンストスタジオ

ShowNet内の構成
BBIX
Private Connect
ボーダ(ASBR)
コア(P)
エッジ(PE)
Cisco Nexus7706
Juniper QFX10002
Huawei CE12800
Juniper MX240
古河電工
FITELnet FX1
サーバファーム
AS131154
Red Hat Enterprise Linux
OpenStack Platform

ボーダ(ASBR)
Cisco Nexus7706
Juniper QFX10002

コア(P)
Huawei CE12800
Juniper MX240

エッジ(PE)
古河電工
FITELnet FX1
2台で冗⻑構成

古河電工 FX1
Juniper QFX10002
Juniper MX240
Huawei CE12800
Cisco Nexus7706

内部ルーティング構成
BBIX
Private Connect
ボーダ(ASBR)
コア(P)
エッジ(PE)
AS131154
OSPF, LDPMPLS
VRF-A RD:1:131154 RT:131154:1
10.11.141.0/24
10.11.153.0/29
10.11.153.8/29
10.11.139.0/24
VRF-B RD:2:131154 RT:131154:2
10.11.142.0/24
インターネットの面に加え
IP-VPN網を構築

IPsec VPNでも乗り入れ可能
Multi Cloud Fabric
ビットアイル
クラウド
テナントA
テナントB
VyOS
古河電工
FX1
一般的なIPsec VPNにて
特定テナントのVRFを接続可能
IPsec VPN
10.11.139.0/24

外部ルーティング構成
Interprovider IP-VPN
RFC4364 Section 10. Multi-AS Backbones Option-B
ShowNet(AS131154)
クラウド事業者
コンテンツ事業者
ASBRPE BBIX ASBR
MP-eBGPMP-iBGP
・IDCフロンティア(AS7488)
・さくらインターネット(AS9370)
・ミクシィ(AS38651)
RT:131154:1
10.11.141.0/24 ・・
Label=16
RT:131154:2
10.11.142.0/24 ・・
Label=17

BBIXのマルチサービス構成
AS131154
qfx10k
n7706
BBIX Public Peers
Closed Peers
幕張 NTT DATA
大手町 SoftBank
IP Transit
v1151
v1025
v100
ip88s25
GRT
VRF
BBIX

構築中にはまったところ
• QFX10002にてMP-eBGPで受けた経路が
hiddenになる

> show route 10.11.140.0/24 table bgp.l3vpn.0 extensive hidden
bgp.l3vpn.0: 11 destinations, 14 routes (7 active, 0 holddown, 4 hidden)
9370:11:10.54.0.0/24 (1 entry, 0 announced)
BGP Preference: 170/-101
Route Distinguisher: 9370:11
Next hop type: Unusable, Next hop index: 0
Address: 0x95274a4
Next-hop reference count: 5
State: <Hidden Ext ProtectionPath ProtectionCand>
Peer AS: 9370
Age: 1:50:13
Validation State: unverified
Task: BGP_9370_131154.169.254.1.12
AS path: 9370 I
Communities: target:9370:11
Accepted
VPN Label: 16
Localpref: 100
Router ID: 169.254.1.12
set routing-options resolution rib bgp.l3vpn.0 resolution-ribs inet.3
set routing-options resolution rib bgp.l3vpn.0 resolution-ribs inet.0
下記設定を追加することで解決

参考：QFX10002の設定
interfaces {
xe-0/0/6:0 {
description xg-1-0-3.ip88s25.noc;
flexible-vlan-tagging;
mtu 9192;
unit 100 {
vlan-id 100;
family inet {
mtu 1500;
address 218.100.6.XXX/24;
}
family inet6 {
mtu 1500;
address 2001:de8:c::13:1154:2/64;
}
}
unit 1025 {
vlan-id 1025;
family inet {
address 169.254.XXX.XXX/24;
}
family mpls;
}
BBIX向け
10GbEインターフェイス
40GBASE-LR4 を 10GBASE-LR ×4に

interfaces {
et-0/0/1 {
description hg-4-0-1.ce12800.noc;
vlan-tagging;
mtu 9192;
unit 302 {
vlan-id 302;
family inet {
mtu 1500;
address 45.1.3.9/30;
}
family inet6 {
mtu 1500;
address 2001:3e8:1:302::22/64;
address fe80::302:22/64;
}
family mpls;
}
Huawei CE12800向け
100GbEインターフェイス
100GBase-LR4
QSFP28モジュール

protocols {
mpls {
interface et-0/0/11.303;
interface xe-0/0/6:0.1025;
}
ldp {
track-igp-metric;
interface lo0.0;
}
bgp {
local-as 131154;
group 131154-inet-vpn {
type internal;
family inet-vpn {
unicast;
}
neighbor 45.1.0.25 {
description fx1-1;
}
neighbor 45.1.0.26 {
description fx1-2;
group BBIX-inet-vpn {
type external;
import rcvfrom-BBIX-inet-vpn;
family inet-vpn {
unicast;
}
export advto-BBIX-inet-vpn;
vpn-apply-export;
graceful-restart {
disable;
}
neighbor 169.254.XXX.XXX {
description sakura;
passive;
peer-as 9370;
bfd-liveness-detection {
minimum-interval 1000;
}
}
MP-iBGP MP-eBGP
Option-B方式で、
routing-instanceを
作らないので
本来不要

4Byte-ASでのMP-BGP
• BGPでのCapability(VPNv4 Unicast)交換は問題なし
• RDのフォーマットに注意が必要
• 4Byte-ASを埋め込むには、Type 2フォーマットの対応が必
要。今回は、Type 0フォーマットを利用。
• RD:1:131154, RD:2:131154
• Target Communityは特に問題なかった
• JUNOSの場合Lが必要
• set policy-options community shownet-vrf1 members
target:131154L:1;

マルチクラウドの機能要件
• クラウド間のプライベートコネクト
• データのレプリケーション、バックアップ機構
• 死活監視、リソース監視、品質監視
• 負荷分散制御機構
• フェイルオーバ機構
• クラウドの自動制御に必要な機構
• マルチクラウドコントローラ

Interop Tokyo Webサイトの
マルチクラウドロードバランシング
IDCFクラウド
さくらのクラウド
Multi Cloud Fabric
ロードバランサロードバランサ
www.interop.jp
スケーリング
A10 Networks Thunder
F5 Networks BIG-IP
Citrix NetScaler MPX
GSLBGSLB AS290
NTT
SmartConnect

まとめ
• エンドユーザがマルチクラウド環境を手軽に利用可
能とするためのネットワークモデルを提唱
• オープンな閉域網接続 “Multi Cloud Fabric”
• 商用のInternet eXchange(BBIX)の上に、
Privateな面を切って実装
• MP-BGPによるクラウド間/ユーザとの接続
• 一般的なIPsec VPNでの乗り入れにも対応
• 閉域網のインターフェイスは複数の選択肢が必要

2015.7.9 Juniper Cloud Builder Conference 2015

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 2015.7.9 Juniper Cloud Builder Conference 2015

Similar to 2015.7.9 Juniper Cloud Builder Conference 2015 (20)

More from Shuichi Ohkubo

More from Shuichi Ohkubo (6)

2015.7.9 Juniper Cloud Builder Conference 2015