Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team
Interop Tokyo 2015
ShowNetにおける
マルチクラウド実証実験
ShowNet NOC チームメンバー
さくらインターネット株...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 2
マルチクラウドの活用メリット
クラウドA クラウドB
オンプレミス
• 障害、災害対策(DR)
• ワークロード分散
• オンプレミスとの併用
...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 3
インターネット
サーバ間連携トラフィックの問題
クラウドA クラウドB
オンプレミス CDN
インターネット経由だと・・
• 品質の保証ができな...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 4
East-Westトラフィックの増大
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 5
商用クラウドプライベート接続も一般化
AWS Direct Connect Equinix Cloud Exchange
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 6
昨年のInterop2014での取り組み
クラウド間の
インターコネクトに
フォーカス
クラウドユーザ
との接続は?
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 7
コンセプト:Multi Cloud Fabric
様々なネットワークが接続可能なオープンな
プライベートコネクトプラットフォームを目指して
Mu...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 8
ShowNet 2015マルチクラウド構成
さくらのクラウド IDCFクラウド
ビットアイル
クラウド
OpenStack
幕張ShowNet
...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 9
ShowNet内の構成
BBIX
Private Connect
ボーダ(ASBR)
コア(P)
エッジ(PE)
Cisco Nexus7706...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 10
ボーダ(ASBR)
Cisco Nexus7706
Juniper QFX10002
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 11
コア(P)
Huawei CE12800
Juniper MX240
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 12
エッジ(PE)
古河電工
FITELnet FX1
2台で冗⻑構成
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 13
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 14
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 15
古河電工 FX1
Juniper QFX10002
Juniper MX240
Huawei CE12800
Cisco Nexus7706
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 16
内部ルーティング構成
BBIX
Private Connect
ボーダ(ASBR)
コア(P)
エッジ(PE)
サーバファーム
AS13115...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 17
IPsec VPNでも乗り入れ可能
インターネット
Multi Cloud Fabric
ビットアイル
クラウド
テナントA
テナントB
Vy...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 18
外部ルーティング構成
Interprovider IP-VPN
RFC4364 Section 10. Multi-AS Backbones ...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 19
BBIXのマルチサービス構成
AS131154
qfx10k
n7706
BBIX Public Peers
Closed Peers
幕張 ...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 20
構築中にはまったところ
• QFX10002にてMP-eBGPで受けた経路が
hiddenになる
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 21
> show route 10.11.140.0/24 table bgp.l3vpn.0 extensive hidden
bgp.l3vp...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 22
参考:QFX10002の設定
interfaces {
xe-0/0/6:0 {
description xg-1-0-3.ip88s25.n...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 23
参考:QFX10002の設定
interfaces {
et-0/0/1 {
description hg-4-0-1.ce12800.noc...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 24
参考:QFX10002の設定
protocols {
mpls {
interface et-0/0/11.303;
interface et...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 25
4Byte-ASでのMP-BGP
• BGPでのCapability(VPNv4 Unicast)交換は問題なし
• RDのフォーマットに注意...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 26
マルチクラウドの機能要件
• クラウド間のプライベートコネクト
• データのレプリケーション、バックアップ機構
• 死活監視、リソース監視、品...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 27
Interop Tokyo Webサイトの
マルチクラウドロードバランシング
IDCFクラウド
さくらのクラウド
Multi Cloud Fa...
Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 28
まとめ
• エンドユーザがマルチクラウド環境を手軽に利用可
能とするためのネットワークモデルを提唱
• オープンな閉域網接続 “Multi C...
Upcoming SlideShare
Loading in …5
×

2015.7.9 Juniper Cloud Builder Conference 2015

http://www.juniper.net/jp/jp/dm/cbconf2015/

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to comment

2015.7.9 Juniper Cloud Builder Conference 2015

  1. 1. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team Interop Tokyo 2015 ShowNetにおける マルチクラウド実証実験 ShowNet NOC チームメンバー さくらインターネット株式会社 大久保 修一 2015.7.9 Juniper Cloud Builder Conference 2015
  2. 2. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 2 マルチクラウドの活用メリット クラウドA クラウドB オンプレミス • 障害、災害対策(DR) • ワークロード分散 • オンプレミスとの併用 • コスト削減 • ベンダーロックインの回避 • 異なる機能の組み合わせ • ハイブリッド構成 CDN
  3. 3. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 3 インターネット サーバ間連携トラフィックの問題 クラウドA クラウドB オンプレミス CDN インターネット経由だと・・ • 品質の保証ができない • 障害時の切り分けが難しい • セキュリティの不安 セキュアで堅牢なプライベート 接続のニーズが高まっている
  4. 4. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 4 East-Westトラフィックの増大
  5. 5. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 5 商用クラウドプライベート接続も一般化 AWS Direct Connect Equinix Cloud Exchange
  6. 6. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 6 昨年のInterop2014での取り組み クラウド間の インターコネクトに フォーカス クラウドユーザ との接続は?
  7. 7. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 7 コンセプト:Multi Cloud Fabric 様々なネットワークが接続可能なオープンな プライベートコネクトプラットフォームを目指して Multi Cloud Fabric オンプレミス クラウド モバイル エンター プライズ コンテンツ プロバイダ
  8. 8. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 8 ShowNet 2015マルチクラウド構成 さくらのクラウド IDCFクラウド ビットアイル クラウド OpenStack 幕張ShowNet パブリック クラウド BBIX Private Connect エンター プライズ コンテンツ プロバイダ インターネット ミクシィ モンストスタジオ
  9. 9. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 9 ShowNet内の構成 BBIX Private Connect ボーダ(ASBR) コア(P) エッジ(PE) Cisco Nexus7706 Juniper QFX10002 Huawei CE12800 Juniper MX240 古河電工 FITELnet FX1 サーバファーム AS131154 Red Hat Enterprise Linux OpenStack Platform
  10. 10. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 10 ボーダ(ASBR) Cisco Nexus7706 Juniper QFX10002
  11. 11. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 11 コア(P) Huawei CE12800 Juniper MX240
  12. 12. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 12 エッジ(PE) 古河電工 FITELnet FX1 2台で冗⻑構成
  13. 13. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 13
  14. 14. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 14
  15. 15. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 15 古河電工 FX1 Juniper QFX10002 Juniper MX240 Huawei CE12800 Cisco Nexus7706
  16. 16. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 16 内部ルーティング構成 BBIX Private Connect ボーダ(ASBR) コア(P) エッジ(PE) サーバファーム AS131154 OSPF, LDPMPLS VRF-A RD:1:131154 RT:131154:1 10.11.141.0/24 10.11.153.0/29 10.11.153.8/29 10.11.139.0/24 VRF-B RD:2:131154 RT:131154:2 10.11.142.0/24 インターネットの面に加え IP-VPN網を構築
  17. 17. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 17 IPsec VPNでも乗り入れ可能 インターネット Multi Cloud Fabric ビットアイル クラウド テナントA テナントB VyOS 古河電工 FX1 一般的なIPsec VPNにて 特定テナントのVRFを接続可能 IPsec VPN 10.11.139.0/24
  18. 18. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 18 外部ルーティング構成 Interprovider IP-VPN RFC4364 Section 10. Multi-AS Backbones Option-B ShowNet(AS131154) クラウド事業者 コンテンツ事業者 ASBRPE BBIX ASBR MP-eBGPMP-iBGP ・IDCフロンティア(AS7488) ・さくらインターネット(AS9370) ・ミクシィ(AS38651) サーバファーム RT:131154:1 10.11.141.0/24 ・・ Label=16 RT:131154:2 10.11.142.0/24 ・・ Label=17
  19. 19. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 19 BBIXのマルチサービス構成 AS131154 qfx10k n7706 BBIX Public Peers Closed Peers 幕張 NTT DATA 大手町 SoftBank IP Transit v1151 v1025 v100 ip88s25 GRT VRF BBIX
  20. 20. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 20 構築中にはまったところ • QFX10002にてMP-eBGPで受けた経路が hiddenになる
  21. 21. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 21 > show route 10.11.140.0/24 table bgp.l3vpn.0 extensive hidden bgp.l3vpn.0: 11 destinations, 14 routes (7 active, 0 holddown, 4 hidden) 9370:11:10.54.0.0/24 (1 entry, 0 announced) BGP Preference: 170/-101 Route Distinguisher: 9370:11 Next hop type: Unusable, Next hop index: 0 Address: 0x95274a4 Next-hop reference count: 5 State: <Hidden Ext ProtectionPath ProtectionCand> Peer AS: 9370 Age: 1:50:13 Validation State: unverified Task: BGP_9370_131154.169.254.1.12 AS path: 9370 I Communities: target:9370:11 Accepted VPN Label: 16 Localpref: 100 Router ID: 169.254.1.12 set routing-options resolution rib bgp.l3vpn.0 resolution-ribs inet.3 set routing-options resolution rib bgp.l3vpn.0 resolution-ribs inet.0 下記設定を追加することで解決
  22. 22. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 22 参考:QFX10002の設定 interfaces { xe-0/0/6:0 { description xg-1-0-3.ip88s25.noc; flexible-vlan-tagging; mtu 9192; unit 100 { vlan-id 100; family inet { mtu 1500; address 218.100.6.XXX/24; } family inet6 { mtu 1500; address 2001:de8:c::13:1154:2/64; } } unit 1025 { vlan-id 1025; family inet { address 169.254.XXX.XXX/24; } family mpls; } BBIX向け 10GbEインターフェイス 40GBASE-LR4 を 10GBASE-LR ×4に
  23. 23. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 23 参考:QFX10002の設定 interfaces { et-0/0/1 { description hg-4-0-1.ce12800.noc; vlan-tagging; mtu 9192; unit 302 { vlan-id 302; family inet { mtu 1500; address 45.1.3.9/30; } family inet6 { mtu 1500; address 2001:3e8:1:302::22/64; address fe80::302:22/64; } family mpls; } Huawei CE12800向け 100GbEインターフェイス 100GBase-LR4 QSFP28モジュール
  24. 24. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 24 参考:QFX10002の設定 protocols { mpls { interface et-0/0/11.303; interface et-0/0/1.302; interface xe-0/0/6:0.1025; } ldp { track-igp-metric; interface et-0/0/1.302; interface et-0/0/11.303; interface lo0.0; } bgp { local-as 131154; group 131154-inet-vpn { type internal; family inet-vpn { unicast; } neighbor 45.1.0.25 { description fx1-1; } neighbor 45.1.0.26 { description fx1-2; group BBIX-inet-vpn { type external; import rcvfrom-BBIX-inet-vpn; family inet-vpn { unicast; } export advto-BBIX-inet-vpn; vpn-apply-export; graceful-restart { disable; } neighbor 169.254.XXX.XXX { description sakura; passive; peer-as 9370; bfd-liveness-detection { minimum-interval 1000; } } MP-iBGP MP-eBGP Option-B方式で、 routing-instanceを 作らないので 本来不要
  25. 25. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 25 4Byte-ASでのMP-BGP • BGPでのCapability(VPNv4 Unicast)交換は問題なし • RDのフォーマットに注意が必要 • 4Byte-ASを埋め込むには、Type 2フォーマットの対応が必 要。今回は、Type 0フォーマットを利用。 • RD:1:131154, RD:2:131154 • Target Communityは特に問題なかった • JUNOSの場合Lが必要 • set policy-options community shownet-vrf1 members target:131154L:1;
  26. 26. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 26 マルチクラウドの機能要件 • クラウド間のプライベートコネクト • データのレプリケーション、バックアップ機構 • 死活監視、リソース監視、品質監視 • 負荷分散制御機構 • フェイルオーバ機構 • クラウドの自動制御に必要な機構 • マルチクラウドコントローラ
  27. 27. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 27 Interop Tokyo Webサイトの マルチクラウドロードバランシング IDCFクラウド さくらのクラウド Multi Cloud Fabric ロードバランサロードバランサ インターネット www.interop.jp スケーリング A10 Networks Thunder F5 Networks BIG-IP Citrix NetScaler MPX GSLBGSLB AS290 NTT SmartConnect
  28. 28. Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 28 まとめ • エンドユーザがマルチクラウド環境を手軽に利用可 能とするためのネットワークモデルを提唱 • オープンな閉域網接続 “Multi Cloud Fabric” • 商用のInternet eXchange(BBIX)の上に、 Privateな面を切って実装 • MP-BGPによるクラウド間/ユーザとの接続 • 一般的なIPsec VPNでの乗り入れにも対応 • 閉域網のインターフェイスは複数の選択肢が必要

    Be the first to comment

    Login to see the comments

  • kentaroebisawa

    Mar. 2, 2016
  • itinoe

    Mar. 2, 2016
  • tomoharusato54

    Mar. 2, 2016
  • tmsugar

    Mar. 2, 2016

http://www.juniper.net/jp/jp/dm/cbconf2015/

Views

Total views

657

On Slideshare

0

From embeds

0

Number of embeds

6

Actions

Downloads

8

Shares

0

Comments

0

Likes

4

×