Cloud, sdn and nfv 기술동향 atto-research-박문기-20171016

We lead Open Networking Innovations
ATTO-RESEARCH
ATTO-RESEARCH
SDN/NFV솔루션

▪ 아토리서치는 국내 SDN/NFV 시장의 선두주자로 앞선 기술력과 열정으로 시장을 선도해 나가고 있습니다.
▪ 소프트웨어를 통하여 세상을 스마트하게 연결하는 것을 목표로 최고의 제품과 기술을 개발합니다.
TIMELINE OF ATTO-RESEARCH
3

VISION OF ATTO-RESEARCH
VISION
네트워크 소프트웨어로 세상을 스마트하게 연결한다.
사업의 본질
세분화(Segmentation), 속도(Speed)
고객 전달 핵심 가치
CAPEX, OPEX, Service Agility, Intelligence
4

동적 네트워킹을 위한 SDN Controller
서비스 가상화를 위한 NFV Platform
복잡계 가시성 해결을 위한 3D 통합관제
SOLUTION OF ATTO RESEARCH
5

SDN/NFV 기술동향
Bahk, Moon-Kee
mkbahk@atto-research.com

목차
 Cloud Computing 소개
 SDC, SDS, SDN
 SDN & OpenFlow 소개
 NFV 소개
 SDN-x 소개
 SDN-DC, SDN-CORE, SDN-Transport, SDN-LAN(Campus), SDN-Ring
 SDN 표준화 단체 및 관련 프로젝트들 소개
 ONF, SDx Central, ETSI, Opendaylight, Foodlight, ONOS, Open vSwitch
 SDNaaS 소개
 ATTO-Research 제품 소개

Cloud Computing 소개
 모든 IT자원(Computer, Network, Storage)을 빌려서 사용하는 컴퓨팅 기술
 종류
 Public Cloud-KT uCloudBiz, Amazon AWS, Microsoft Azure, Google Cloud Platform,
IBM Bluemix, Oracle Cloud…
 Private Cloud-Public Cloud기술 기업내에 적용
 솔루션: Linux Openstack, Microsoft Hyper-V, VMware vSphere
 핵심구현기술==SDDC(Software Defined DataCenter)
 SDC(Software Defined Computing)
 Virtual Computing or Server Virtualization
 SDN(Software Defined Networking)
 Virtual Networking or Network Virtualization
 SDS(Software Defined Storage)
 Virtual Storage or Storage Virtualization

왜 Cloud가 필요한가?
 Role/Function-base의 점유방식 시스템 사용
 사용효율성 저하(ex. 어느 시스템은 100%, 어느 시스템은 5% 미만 사용률)
 Peak Workload를 대비한 자원 구매
 평소 시스템 사용률 저하
 각종 H/W, S/W의 Oversubscription  구매 비용 증가
 Provisioning Agility 부족
 특정 비즈니스나 서비스를 런칭하기 위해 지원 IT시스템 준비(구매)에 진행되는 시간이 너무 오래 걸림
 서버, 네트워크, 스토리지 기능조직이 지나치게 분화되어 빠른 협조와 자동화의 어려움
 결국 IT가 비즈니스의 혁신을 가로 막는 장애요소로 떠오름
 벤더 종속성이 증가
 서버분야 보다는 Network과 Storage분야가 특히 심함
 결론적으로
 IT자원들을 통합해 Pool형태로 중앙집중적으로 관리하면서
 공동/공유로 사용해 필요시 즉시 자원할당, 필요한 만큼만, Worldload에 따라 Auto-Scaling, 있는 자원을 100% 사
용을 목표로
 서버, 네트워크, 스토리지들이 자동화, 오케스트레이션이 되도록
 IT시스템을 혁신하는 것

Cloud Service 개요
PaaS
(Platform as a Service)
SaaS
(Software as a Service)
FaaS
(Function as a Service)
Microservice Arch. & Serverless Computing
SDDC SDComputing SDStorage SDNetwork O/S+DB+Web/WAS Saleforce API Gateway+Function()
Server VirtualizationStorage Virtualization Network Virtualization
CI/CD DevOps Tools
(CloudFoundry, OpenShift,…)
Microsoft Office 365
Virtual Server Virtual Storage Virtual Network Mobile Google G.Suite
Hypervisor
Intel-VT, AMD-VT
vStorage vSwitch & Controller
Management
& Ochestration
IoT AWS WorkDoc, WorkMail, Chime,..
Linux Openstack KVM/Nova Ceph(Swift, Cinder, Glance,…)Open vSwitch/Neutron Horizon Game SAP
VMWare vSphere ESXi vSAN vNet D. vSwitch/NSX vCenter/vRealizeSuite AI …
Microsoft Hyper-V Hyper-V Storage Space Direct MSHV D. vSwitch/N.C. SCVMM/AzureStack CDN
NoSQL/RDB/DW/BI
Bigdata/Analytic
…
Open Compute Project(H/W)
Amazon AWS, Microsoft Azure, Google Cloud Platform, KT uCloud, IBM Bluemix,…Private Cloud
Public Cloud
IaaS
(Infrastructure as a Service)

Private Cloud 구축 솔루션
인프라 솔루션 Linux VMWare Microsoft Hyper-V H/W
Public Cloud 연동 Openstack Driver for AWS VMWare Cloud on AWS Azure by Azure Stack
FaaS
Serverless Computing
/Microservice
Apache Whisk,
Spring Cloud Function
Pivotal Container Service Azure Function Runtime
내·외부용
서비스 관리포탈
Horizon+Customization
PaaS
PaaS+CI/CD
DevOps Tools
CloudFoundry(K-Pasta),
Openshift
기업용 다중서버관리 Horizon vCenter System Center VMM
단일서버관리 Virt.Manager vSphere Web Client Hyper-V Manager
SDN Neutron NSX
Hyper-V
Network Controller
SDN/NFV,
Open pSwitch
SDS CEPH(Swift, Glance,..) vSAN Storage Spaces Direct
x86 DAS
(Directed Attached Storage)
SDC KVM, XEN, LXD vSphere EXSi Hyper-V x86 Intel/AMD
IaaS
(SDDC)
Azure Stack
vRealize Suite
(Pivotal CloudFoundry)

Open Compute Project
 Open Server Design
 Open Networking
 Open Storage
 Open Rack
 Open Data Center
 Open H/W Management
www.opencompute.org

Open Networking
Open H/W Switch
ONL(Open Networking Linux)
Open vSwitch
(SDN Controller/Openflow)

Open Storage
Open Vault Storage Hardware V0.8 by Facebook

Open Rack, Power Supply, Cloud Server

Open H/W의 미래
[Hyper-Converged Integrated H/W]
Switch Server
Storage
[Decoupled H/W]
CPU Pool GPU Pool Memory Pool
Storage PoolNIC Pool
PCIe Switch
w/ Hypervisor

Open Software Project는?
OpenStack and Open vSwitch

 Neutron: OpenStack의 Network 프로젝트
 SDN 개념을 반영하면서 시작
 기본의 pNF(Physical Network Function)을 vNF화하여 서비스: L3-Router, F/W, LB, DHCP Agent, VPN, NAT,…
Controller for Open vSwitch
 Edge Network Node로 외부Internet과 Cloud 내부 네트워크 연동해 주는 가교 역할
OpenStack Neutron

Open vSwitch
pNIC vNIC pNICvNIC pNIC vNIC
 모든 SDN Controller와 OpenFlow Agent의 Prototype

Open Compute Project-Open Networking
Open H/W Switch
Open vSwitch
(SDN Controller/Openflow)

Cloud Computing 요소기술
SDDC(SDC, SDS, SDN)

“Software Defined”의 의미
 OPEN and Programable
 OPEN: H/W x86, OpenFlow, Open vSwitch / Programable: REST API
 H/W는 한계를 S/W는 무한의 자유(경쟁)를 통한 지속적인 혁신이 가능하다.
 H/W이 종속으로 독립시켜 S/W의 독자적인 혁신을 추구한다.
 End-User들이 기능을 추가하거나 자동화를 할 수 있도록 REST API를 반드시 제공해야 한다.
 Automation과 Orchestration이 가능하게 된다.
 Amazon AWS는 10년 동안 한일은 바로 Automation과 Orchestration이었다.
 벤더 종속이 없는 표준적인 x86 H/W를 사용한다.
 서버도 x86, 네트워크장비도 x86, 스토리지도 x86
 S/W는 SaaS(Software as a Service)화 될 수 있다.
 S/W는 타 기술과의 쉬운 융합이 가능하다.
 예) SD-WAN vCPE에 필요하면 IoT G/W 기능을 VNF로 넣을 수 있다.
 O/S + Network O/S + Storage O/S == Integrated O/S

“Software Defined”이 아닌 것
 서버를 x86가상화 하지 않고 아직도 Unix도 가상화를 하려고 하는 것
 서버, 네트워크, 스토리지에서 REST API를 제공하지 않는 것
 네트워크를 SDN/NFV를 사용하지 않고 Legacy Network구조와 Device를 사용하
는 것
 Openflow를 사용하지 않는 SDN/NFV네트워크 장비
 스토리지를 x86으로 가상화하지 않고 EMC, HP, IBM, Hitachi 등 기존 SAN/NAS
솔루션을 사용하는 것

SDC(Software Defined Computing)
Virtual Computing or Server Virtualization

Server Virtualization 기술
 Hypervisors
 Linux KVM/XEN/…
 Microsoft Hyper-V
 VMware ESXi
pCPU pMEMORY pDISK pNIC
Intel-VT or AMD-v Architecture
Hypervisor(KVM/XEN, Hyper-V, ESXi)
vCPU vMEMORY vDISK vNIC
Operating System
Application
VM
Operating System
Application
VM
Operating System
Application
VM

진화1: Compact O/S for running on VM

진화2: Nested VM(VM in VM)
Intel-VT or AMD-v Architecture
Hypervisor(KVM/Xen, Hyper-V, ESXi)
Operating System
Application
VM
Hypervisor
(KVM, Hyper-V,
ESXi)
Nested VM
Hypervisor
(KVM, Hyper-V,
ESXi)
Nested VM

진화3: VM over Failover Clustering Service

Host O/S
Container Engine
Framework
.NET .Java .DLL .Bin. .Lib
Application
Container
Isolated Env.
Framework
Application
Container
Isolated Env.
Framework
Application
Container
Isolated Env.
진화4: Container

Docker Hub
www.docker.com / www.dockerhub.com
We need the
“Windows Container Hub”

What is Next?
Serverless Computing Monolithic /
Layered
Microservice
Architecture
Serverless Computing/Function as a Service

SDS(Software Defined Storage)
Virtual Storage or Storage Virtualization

HDD 진화
 IDE(PATA)  SATA
 IDE(Integrated Device Electronics)
 Controller가 HDD에 내장(통합), 주로 PC에 이용
 PATA(Parallel Advanced Technology Attachment)
 E-IDE: 최대 4개 HDD연결
 SATA(Serial Advanced Technology Attachment)
 IDE 디스크방식의 속도와 연결방식 등을 개선하기 위해 개발
 SATA-1: 150Mbps/s, SATA-2: 300Mbps/s
 SATA-2규격에서 Hub이용 다수개 HDD연결 및 Hot Plugin 지원
 SCSI  SAS
 SCSI(Small Computer Serial Interface)
 서버나 워크스테이션용 고속 인터페이스, Controller 외장
 SCSIWide SCSIUltra-Wide SCSI  SAS
 SAS (Serial Attached SCSI)
 SCSI 규격을 한단계 발전, 인터페이스의 모양은 SATA와 동일
 SATA 규격 하드디스크를 SAS장치에 꽂아서 쓸수는 있지만, 반대로는 불가
 SSD(Solid State Drive): Flash Memory를 이용한 HDD/인터페이스는 SATA or SAS
 NVMe SSD
 NVM Express or Non-Volatile Memory Host Controller Interface Specification (NVMHCI)
 HDD Interface/Controller를 사용하지 않고 Main Bus에 직접 연동
 기존 HDD인터페이스보다 3~7배 이상 속도향상
SSD

Server와 Disk Sub System의 진화
DAS(Directed Attached Storage)  NAS(Network Attached Storage)  SAN(Storage Area Network)
SATA/SAS
With RAID Controller
SATA/SAS
TCP/IP
Network
Microsoft SMB(Server Message
Block): Virtual Drive
UNIX/Linux NFS(Network File
System): Virtual Folder Mounting
iSCSI(Internet SCSI): Disk
Mounting/Bootable
HBA HBA HBA
Storage System Enclosure
FC(Fiber Channel) FCoE, FCoIP
JBOD
RAID
JBOD
RAID
SATA/SAS
SAN Switch

RAID(Redundant Array of Inexpensive Disks)
Disk1 Disk2 Disk3 Disk4 Disk5
RAID 0
RAID 0 RAID 0
RAID 1 RAID 1 RAID 1 RAID 1
Disk 0
120GB
Disk 1
120GB
Disk 2
120GB
Disk 3
120GB
Disk 4
120GB
Disk 5
120GB
Disk 6
120GB
Disk 7
120GB
Disk 0
120GB
Disk 1
120GB
Disk 2
120GB
Disk 3
120GB
Disk 4
120GB
Disk 5
120GB
Disk 6
120GB
Disk 7
120GB
Disk 8
120GB
RAID 0
RAID 0 RAID 5 RAID 5

NVMe(Non-Volatile Memory Express):진화3

Storage Virtualization
TCP/IP
Network
SMB(Server Message Block): Network Drive Mount
NFS(Network File System): Virtual Folder Mount
iSCSI(Internet SCSI): Physical Disk Mount/Bootable
Failover
Clustered
Storage
JBOD
RAID
JBOD
RAID
JBOD
RAID
JBOD
RAID
S/W RAID
S/W RAID
S/W RAID
S/W RAID
Failover
Clustered
VM
진화:
. Storage System  JBOD
. H/W RAIDS/W RAID
. Failover Clustered Storage
Microsoft Storage Spaces Direct
16EA Storage Cluster, 1,000,000 IOPS

SDN(Software Defined Networking)
Virtual Networking or Network Virtualization

48
What is SDN?
1. To support Cloud System & Networking
2. Software-Defined Networking (SDN) is an emerging architecture that is
dynamic, manageable, cost-effective, and adaptable, making it ideal for
the high-bandwidth, dynamic nature of today's applications. This
architecture decouples the network control and forwarding functions
enabling the network control to become directly programmable and the
underlying infrastructure to be abstracted for applications and network
services.
3. The OpenFlow™ protocol is a foundational element for building SDN
solution

History of computing: Host basedClient/ServerCloud
IBM Mainframe
CPU: IBM, O/S: IBM
H/W: IBM, APP.: IBM
SUN Spark Station
CPU: Sun, O/S: Unix, H/W: Sun
HP UNIX System V
CPU: HP, O/S: Unix, H/W: HP
IBM PC AT/286
CPU: Intel, O/S: Microsoft
H/W: IBM Compatible
WinTel
VMware
Facebook
Server
Linux

Specialized Packet
Forwarding Hardware
App App App
Specialized Packet
Forwarding Hardware
App App App
Specialized Packet
Forwarding Hardware
App App App
Specialized Packet
Forwarding Hardware
App App App
Specialized Packet
Forwarding Hardware
Operating
System
Operating
System
Operating
System
Operating
System
Operating
System
App App App
Closed
기존 네트워크 구조…
 블랙박스를 사서 설치하는 ‘가전 제품 형’ 산업
 독과점 형태 고착화
 S/W기능추가 불가, 발전 속도 더딤

Problem of Traditional Network
 Vendor Locking/CLOSED Architecture
H/W Arch.: Closed
NPU & Switching Fabric:
inHouse
CPU: Intel x86 or
PowerPC
O/S: IOS, IOS-XE, IOS-
XR(Qnix),
NX-OS(Linux)
H/W Arch.: Closed
NPU & Switching
Fabric: inHouse
CPU: Intel x86
O/S: JunOS(Unix)
H/W Arch.: Closed
NPU & Switching
Fabric: inHouse
CPU: Intel x86
O/S: SROS(VxWorks)

솔루션: Commercial CHIP for Net.
NPU & switching silicon  WhiteBox Device
NPU & Switching Fabric: Commercial Chip
CPU: Intel x86 or PowerPC
O/S: SDN Controller
Communication: OpenFlow

Problems of traditional Net. Devices
Host Routing Table
Host ARP Table
L-2
Switching
Table
L-4 L.B. Session Table
Firewall
NAT Table
Firewall Policy(ACL)Table
Router
Routing Table
RIB, FIB, Adjacency Table
VNF
Over NFV
Flowtable
Over Openflow
Internet

솔루션: OpenFlow based Whitebox+NFV
Openflow Flow Table == L-2 Switching Table
+L.B. Sesstion Table
+Firewall Policy and NAT Table
+Router Routing Table
+VPN Policy Table
Openflow Switch == Technically L-4 Switch. But, can be
L-2 Switch, Router, Firewall, Load Balancer, VPN, ….
Internet

SDN/Openflow Platform
vDNS, vDHCP, vNAC, vQoS, vRouter, vLB,
vIDS/IPS, vDDoS, vAntiVirus, vFW, vHTTP Proxy …
vSGW, vPGW, vMME, vCG-NAT, vDPI, vCPE, vBNG
Southbound API:
OSS/BSS
Northbound API: REST API
NFv Platform
DATA PLANE
CONTROL PLANE
SERVICE PLANE
IPC(Inter-Process Communication)
SDN Controller
+ + +
Interne
t
Routing
flowtable
Firewall
flowtable
L.B.
flowtable
Switching
flowtable

vSwitch & pSwitch
vSwitch
Operating
System
Application
VM
Operating
System
Application
VM
Operating
System
Application
VM
pSwitch
vSwitch
Operating
System
Application
VM
Operating
System
Application
VM
Operating
System
Application
VM
SDN
Controller

Overlay+Underlay:
NEC, BigSwitch,…
Overlay vs. Underlay 업체들
Overlay:
Alcatel-Lucent, VMware,
Microsoft,….

Openstack & Virtual Networking
Openstack Horizon/Neutron

Openstack Neutron C. with Network Node(Gateway)

Mgmt Switch
Spine#1 Switch
Spine#2 Switch
SDN Controller
Leaf#3 Switch
Leaf#4 Switch
Openstack
Compute Node#1
Openstack
Controller Node
Openstack
Neutron Node
Openstack
Compute Node#2
Border
Leaf#1 Switch
Border
Leaf#2 Switch
Openstack
Compute Node#3
Openstack
Compute Node#4
Openstack
Compute Node#5
Leaf#5 Switch
Leaf#6 Switch
Openstack
Compute Node#6
Openstack
Compute Node#7
Openstack
Compute Node#8
Openstack
Compute Node#9
Openstack
Compute Node#10
Leaf#7 Switch
Leaf#8 Switch
Openstack
Compute Node#11
Openstack
Block Node#12
Openstack
Object Node#13
Openstack
Object Node#14
Openstack
Object Node#15

Microsoft Hyper-V N.C. with N.V. Gateway
Microsoft SC-VMM

VMware NSX C. with NSX Gateway

OpenFlow 소개
 OpenFlow 역사?
65
1.0 1.1 1.2 1.3 1.4 1.5
약14개월 약8개월 약4개월 약14개월
2009-12-31 2011-02-28 2011-12-05 2012-04-13 2013-08-05 2014-12-19
약17개월

Switch Main Components
 OpenFlow-only
 OpenFlow-hybrid

 Switch 와 Controller 사이의 Interface over TCP using TLS.
 3 message type 지원
 Controller-to-Switch
 Asynchronous: Controller 요청 없이 전송
 Symmetric
OpenFlow Channel & Protocol
controller
switch
Controller-to-Switch
Asynchronous
Symmetric
• Hello
• Echo
• Feature
• Configuration
• Packet-out
• Modify-state
• Barrier
• Packet-in
• Flow-removed
• Port-status

Flow Tables
 Pipeline processing
 table-miss flow entry(v1.3)
 wildcard
 priority 0
68
Priority Couters Timeouts Cookie FlagsMatch Field Instructions
… Meter meter-id (v1.3~1.4)
Apply-Actions action(s)
Clear-Actions
Write-Actions actions(s)
Write-Metadata metadata/mask
Goto-Table next-table-id
Output
Drop
Group
Meter(v1.5~)
Set-Queue
Push-Tag/Pop-Tag
Set-Field
Copy-Field(v1.5~)
Change-TTL(v1.3~)
Actions
v1.1
Metadata
IngressPort
Ethersrc
Etherdst
Ethertype
VLANid
VLANpriority
MPLSlabel
MPLStraffic
class
IPv4src
IPv4dst
IPv4proto/
ARP
IPv4Tosbits
TCP/UDP/SCTP
srcport
ICMPType
TCP/UDP/SCTP
dstport
ICMPCode

OpenFlow – Flow Table
Switch
Port
MAC
src
MAC
dst
Eth
type
VLAN
ID
IP
Src
IP
Dst
IP
Prot
L4
sport
L4
dport
Rule Action Stats
1. Forward packet to zero or more ports
2. Encapsulate and forward to controller
3. Send to normal processing pipeline
4. Modify Fields
5. Any extensions you add!
Packet + byte counters
VLAN
pcp
IP
ToS

OpenFlow – 활용 예 (1/2)
Switching
*
Switch
Port
MAC
src
MAC
dst
Eth
type
VLAN
ID
IP
Src
IP
Dst
IP
Prot
TCP
sport
TCP
dport
Action
* 00:1f:.. * * * * * * * port6
Flow Switching
port3
Switch
Port
MAC
src
MAC
dst
Eth
type
VLAN
ID
IP
Src
IP
Dst
IP
Prot
TCP
sport
TCP
dport
Action
00:20.. 00:1f.. 0800 vlan1 1.2.3.4 5.6.7.8 4 17264 80 port6
Firewall
*
Switch
Port
MAC
src
MAC
dst
Eth
type
VLAN
ID
IP
Src
IP
Dst
IP
Prot
TCP
sport
TCP
dport
Action
* * * * * * * * 22 drop

OpenFlow – 활용 예 (2/2)
Routing
*
Switch
Port
MAC
src
MAC
dst
Eth
type
VLAN
ID
IP
Src
IP
Dst
IP
Prot
TCP
sport
TCP
dport
Action
* * * * * 5.6.7.8 * * * port6
VLAN Switching
*
Switch
Port
MAC
src
MAC
dst
Eth
type
VLAN
ID
IP
Src
IP
Dst
IP
Prot
TCP
sport
TCP
dport
Action
* * vlan1 * * * * *
port6,
port7,
port9
00:1f..

Instruction vs. Action
3
*
* * Write-Actions output 1
Goto-Table 1
Mac sr
c
IP dst
Ingress P
ort
Instruction
Mac sr
c
IP dst
Ingress P
ort
Instruction
3 * *
Clear-Actions
Mac d
st
IP src
Ingress P
ort
Instruction
Mac d
st
IP src
Ingress P
ort
Instruction
output 1
Action Set
Write-Actions output 1
Goto-Table 1
1 *
Flow table #0 Flow table #1
*
Write-Actions output 2
1 *
Action Set
output 1
Action Set
output 2
Action Set
8

Group Table
Group Type CoutersGroup ID Action Buckets
…
• All: Execute each bucket.
Used for multicast , broadcast
• Indirect: Execute one predefined bucket
• Select: Execute one switch selected bucket.
Used for multipath
• Fast Failover: Execute first live bucket(live port)
Action Set { …. }
Action Bucket
Action Set
Action Bucket
Action Set { output
group
…. }
Action Bucket
 Group entry들로 구성
 Action Bucket
 multiple action bucket 선택 가능
 multicasting, flooding, multipathing, load balancing

Meter Table
 Meter entry로 구성
 packet rate이 pre-defined threshold를 넘으면 meter band를 trigger.
 Meter Band
 band type(optional)
 drop
 dscp remark(drop precedence)
 rate
 kbps
Band Type Rate Counters Type specific argumentsBurst
Meter Identifier Meter Bands Counters
…

SDN에서 Router는 어디에?

Openflow 구현방식
Openflow
GW
SDN Controller
Native OS
pSwitch & vSwitch
OpenFlow
CORBA
XMLWebService
Netconf…
SDN ControllerNative OS
pSwitch & vSwitch
OpenFlow
SDNController
Service
Tiny OS
(Openflow Agent)
Native OS
pSwitch & vSwitch
OpenFlow
SDN Controller
pSwitch & vSwitch
OpenFlow
Tiny OS
(Openflow Agent)
Tiny OS
(Openflow Agent)

ONIE(Open Network Installation Environment) & ONL(Open Network Linux)

What Is ONIE?
Network OS Install Environment
Provides an environment for network OS installer discovery and execution
 Like a pre-installed kickstarter
 Defined by its behaviors
 Implemented using a modern Linux kernel and BusyBox
An Open Source Project within OCP
http://www.onie.org/
Evolving …

ONIE: 기본구조
Boot Loader
(HW Vendor Supplied)
ONIE
(HW Vendor Supplied)
Boot Loader
 Low Level boot loader, conﬁgures CPU complex
 Loads and boots OS vendor’s installed OS
 NOS exists, is not used
 Available for install, uninstall and re-install
Network OS
 Conﬁgures Switching ASIC
 Runs Network Protocols
 Provides CLI
Network OS
(OS Vendor Supplied)
ONIE

ONIE: Other Behaviors
82
Provides a mechanism for a network OS to invoke the above behaviors.
Reinstall
Remove currently installed OS and return to the “out of box” p
rovisioning state
Uninstall Completely wipe out everything, except ONIE
Rescue Reboot box into ONIE for repair, debug and forensics
Update Install a new ONIE version
Diag Run HW Vendor’s diag (optional)

GRUB Menu
cumulusnetworks.com 83

SDN 물리 네트워크 토폴로지
전통적인 네트워크 Topology Spine-Leaf Topology
North
South
EastWest

RDMA(Remote Direct Memory Management)
Problem of Virtual Networking

Intel Data Plane Development Kit (Intel DPDK)
Packet Processing on Intel Architecture
OVS-DPDK

 HSM(Hardware Security Module) 또는 TPM(Trusted Platform Module)
Hardware Encryption Engine

Alcatel-Lucent NFV/SDN Platform
NFV: vsr(VIRTUALIZED SERVICE ROUTER)

HDDC(Hardware Defined Data Center) + Server Virtualization
Storage System Enclosure
FC(Fiber Channel)
SATA/SAS
SAN Switch
SMS
NMS
Storage
MGMT

클라우드 시스템의 Pain point
•서버, 스토리지는 x86시스템으로 가상화, 통합, 자동화 되었는데
•가상스위치와 물리스위치의 통합 및 자동화 필요성 대두
•East-West Traffic 증가 Legacy Tree에서 Leaf/Spine구조로 변경요청
•네트워크 기능(Network Function)의 폐쇄성으로 인해 자동화 및 확장성
부족
•Blackbox형태 네트워크 장비가 클라우드의 혁신을 가로막는 주요 Pain
Point로 대두
네트워크는
97

SDDC(Server+Network+Storage Virtualization)
SDN
Controller

Openstack Neutron Legacy Deployment

OpenStack의 문제점 요약 without SDN Controller
외부 네트워크
관리 네트워크
데이터 네트워크
VM VM VM VM VM VM
East-West 트래픽에 따른 네트워크 노드 부하
외부 네트워크
관리 네트워크
VM VM VM VM VM VM
High Availability의 한계
Router
Router
Router
Router
외부 네트워크
관리 네트워크
VM VM VM VM VM VM
Troubleshooting의 어려움

101
▪ SDN Controller가 없어
서 OVS Flow를 최적화
하지 못함
▪ OpenFlow의 Normal
액션을 이용하여
dummy hub 처럼 OVS
사용
▪ Overlay 네트워크 상
에서 패킷을 타켓 노드
로 바로 전달하도록
Flow를 최적화 할 수
있지만 Neutron에서는
그림와 같이 물리 네트
워크처럼 Network
Node의 라우터를 통해
서 전달됨
▪ 서브넷 간 통신/외부
통신의 경우, 패킷이
OpenStack Network
노드의 가상 L3 agent
를 거쳐서감 (게이트
웨이가 VM이 됨으로써
발생하는 문제) -> 관
리 오버헤스, 성능 이
슈
vRouter
vFirewall
Leaf
pSwitch
Spine
pSwitch
pRouter
Tenant#1 Tenant#2Tenant#1Tenant#2
vSwitch vSwitch vSwitch
Leaf
pSwitch
Leaf
pSwitch
Compute Node Compute Node Network Node
OpenStack without SDN Controller

Endpoint List on SDN Controller

OpenStack with SDN Controller
103
▪ SDN Controller에는 모
든 스위치에 올라오는
모든 VM들의 모든 L-
2, L3정보가 모아짐
▪ 이 정보들을 이용해 종
합적인 Flow를 판단해
적절한 각각의 스위치
에 내려줄 수 있음
vRouter
vFirewall
Leaf
pSwitch
Spine
pSwitch
pRouter
Tenant#1 Tenant#2Tenant#1Tenant#2
vSwitch vSwitch vSwitch
Leaf
pSwitch
Leaf
pSwitch
Compute Node Compute Node Network Node
SDN
Controller
OpenStack with SDN Controller

SDN의 필요성
 기존 네트워크 장비 시장
 블랙박스형태의 “가정제품형” 산업, 독과점 형태 고착화
 H/W, S/W Oversubscription, 발전속도 느림
 인터페이스 호환성 문제, 장비업체(벤더)들간의 협업불가
 Linux와 같은 Open 생태계가 필요하다.
 S.D.의 의미1: Customer가 필요한 기능 개발 및 포팅가능
 S.D.의 의미2: Software는 얼마든지 서비스화 할 수 있음
 H/W벤더와 S/W개발사가 각자 혁신가능
 인터페이스만 호환, 벤더 내부기술 Open할 필요 없음(REST API)
 기존장비에 S/W업그레이드만으로 구현가능
 S/W를 탑재한 VM들은 Autoscaling으로 확장가능
 vSwitch와 pSwitch 동시 관리 및 자동화
 SDN-DC(Datacenter)외 일반 Network영역들 위한 특화된 기술지원 확장 중
 SDN-LAN, SDN-CORE, SDN-Ring, SDN-WAN, SDN-Transport, SDN as a Service,…

SDN 응용영역들
 SDN-DC: Openstack, VMware, Hyper-V통합, pSwitch+vSwitch통합관리, Automation &
Orchestration
 SDN-Transport: VPN별 Fiber lambda 지원
 SDN-CORE: SP-MPLS망 대체, MPLS L-2, L-3VPN지원, IGP & EGP Routing, Multicast지원 필
요
 SDN-RING: SP-Access Ring, Metro, SCADA망 대체, G.8032 지원 필요
 SDN-LAN(SDN-Campus, SDN-Access…): 기존 Enterprise LAN시장 대체, IGP & EGP Routing,
Multicasting, POE 및 각종 VNF(vNAC, vF/W, vDNS, vDHCP, vIPS, vVirusWall, …)
 SDN-WAN: Hub & Spoke방식 VPN과 NFV기능 통합, vCPE-기본VPN, WAN-Accellation 기능
필요
 SDN-vEPC: 5G의 핵심기술로 EPC(Evolved Packet Core)가상화를 통해 Auto-scaling 구현
 SDN-RAN: Mobile기지국의 RU와 DU중 DU를 DU H/W와 DU VNF로 분리하여 DU VNF를 범용
서버로 대체하는 기술

SDN-Transport(T-SDN)
Northbound Application
Orchestration APIs
Core
router
s
ROADM
Router
A B
Router
ROADM
Provisioning
Unified CONTROL
SLA Report Performance
L3 ControllerL0 Controller

SDN-LAN(SDN-Campus, SDN-Access,..)

SDN-LAN(계속)
Southbound API:
Northbound API: REST API
DATA PLANE
CONTROL PLANE
SERVICE PLANE
SDN Controller
vDNS, vDHCP, vNAC, vQoS, vRouter, vLB,
vIDS/IPS, vDDoS, vAntiVirus, vFW, vHTTP Proxy,
IP-PBX, FAX, E-Mail, Radius/Tacacs, Directory,…
NFv Platform
Total Management
Internet

SDN-WAN
VPN
Tunneling
vCPE w/ Openflow Agent
IPSec VPN, WAN Accelerator
SP Regional DC(CO)
NFV Platform
VNF
Internet
①
②
③
④ 인터넷통신
① VPN접속
② VNF 서비스 Ruleset 다운로드
③ Openflow Table적재
④
서비스 배포, 모니터링 및 관제

SDN-WAN 응용: TON(Trust Office Network)

SDN-RAN
eNodeB(일체형)
↓
eNodeB(RU+DU분리)
↓
eNodeB(RU+(R.DU+NR.DU))

NFV
(Network Function Virtualization)

 미들박스(Middle Box)와 네트워크 서비스 장비 내의 네트워크기능들을 소프트웨어적으로 유
연하게 제어와 관리가 가능한 형태로 가상화하는 기술
 네트워크 기능 전용 장비에서 범용 서버로 표준화된 형태로 가상화하는 것이 중요
NFV 개념
Vision for Network Functions Virtualization (ETSI NFV white paper)
• 트래픽량 증가 -> 네트워크 인프라 확장 필요
• 높은 초기 & 추가 투자 비용
• 복잡한 네트워크의 관리 어려움 -> 운영 비용 증가
기존 네트워크
미들박스
NFV 플랫폼
20

NFV 표준화: ETSI
NFv architecture and key elements

OPNFV Project-개요
 https://www.opnfv.org
 2014년 9월 Linux Foundation 시작, NFV 활성화를 위한 레퍼런스 플랫폼
 Carrier-grade
 Integrated
 Open-Source
 목표
 NFV 기능 제공, 새로운 서비스 도입 시간 단축
 통합되고 테스트된 오픈소스 플랫폼 제공
 사용자의 직접 참여
 관련 오픈소스 프로젝트와 동반 성장
 NFV 솔루션 ecosystem 구축

OPNFV Project-아키텍쳐
 ETSI 구조 프레임워크의 NFVI + VIM
 VIM - OpenStack, CloudStack
 Network Infra - OpenDaylight
 Virtual Computing – KVM, Xen, libvirt
 Virtual Forwarder – Open vSwitch, Linux Bridge
 OS - Linux

OPNFV Project-Arno
 OPNFV의 첫번째 배포판 (이탈리아 중부 강 이름)
 2015년 6월 4일
 NFVI + VIM = OpenStack JUNO
 CentOS 7, Ubuntu 14.04
 KVM
 Ceph
 OpenDaylight Helium + OVS
 통합 및 검증 프로젝트
 문서화 프로젝트
 64명
 5 프로젝트
 1 테스트 프로젝트
 210 commit

OPNFV Project-Brahmaputra
 OPNFV의 두번째 배포판
 2016년 3월 1일
 NFVI + VIM = OpenStack Liberty
 추가: OpenContrail, ONOS
 Data Plane 가속: DPDK, ODP (OpenDataPlane)
 170명
 30+ 프로젝트
 5 테스트 프로젝트
 1527 commit

Open Source MANO Project-개요
 https://osm.etsi.org
 2016년 2월 22일 MWC 2016에서 발표
 목표: 공통 Information Model을 사용한 NFV 활성
화
 ETSI NFV Information Model 사용
 예상 가능한 Virtual Network Function 및 Network
Service
 공통 IM을 활용하는 VNF vendor ecosystem 구축
 장점
 IETF의 SDN Controller표준과 통합 시작
 망사업자 요구사항으로 시작됨: Sprint / BT / SKT /
KT / Telefonica / …
 실제 deploy 시의 복잡성 대비
 기존 오픈소스 적극적 활용

ETSI OSG OSM(ETSI Open Source Group Open Source MANO)
 오픈소스기반 NFV MANO를 구현하기 위해 ETSI 자체적으로 지원하는 프로젝트
 GUI / Orchestrator – RIFT.IO
 VNF Manager – Juju-generic VNF manager by CANONICAL
 OpenMANO by Telefonica

NFV 응용
 SDN-WAN  SDN-LAN  SDN-vEPC(5G)

NFV와 Neutron, NSX들과의 차이점
[Networking Node의 핵심기능]
1. Network Contoller로서 vSwitch들 통합관리
2. VxLAN, NvGRE, STT등을 통한 Overlay Tunnel생성
3. Neutron/Edge Node들의 L-3/L-4 서비스
1. FW, LB, Routing(BGP) & Forwarding, DHCP, DNS, VPN
4. External(Internet) 연동(BGP)

VNF Auto-scaling
 VNF는 VM이다. VM은 Auto-Scaling이 가능하다.

129
동적 가상네트워크 및 서비스체이닝
물리네트워크
전송망, MPLS망, SDN망
행정가상망
방범CCTV가상망
재난가상망
교통가상망
IoT 스마트파킹
가상망
IoT스마트
소셜케어가상망
NFV Platform
SDN망
서
비
스
분
류
기
서
비
스
분
류
기
인터넷
파이어월
VNF
바이러스
VNF
비디오
최적화
VNF
IPS/IDS
VNF
DDoS
VNF
WAF
VNF
LB
VNF
…
다수의 동적가상네트워크와 각각 필요한 네트워크 기능 제공필요!!!

• 아테네는 아주 쉽고 자유롭게 네트워크 기능을 구성 연결하여 원하는 네트워크 서비스를 가능하게 하는 솔루션입니다.
Service Chaining

SDN/NFV 벤더별 솔루션 소개

Alcatel-lucent(NOKIA) - overlay model

Cisco Systems
Cisco Open SDN Controller
Cisco APIC-EM
Cisco APIC(Application Centric Infrastructure Controller)

Top 26 Companies in the Global NFV Market

관련/표준화 단체들 소개

SDN/NFV 표준화 단체들
 ONF(Open Network Foundation)
 https://www.opennetworking.org/
 Openflow 표준화 주도, ON.Lab과 통합
 ETSI NFV
 http://www.etsi.org/technologies-clusters/technologies/nfv
 NFV 표준화 주도
 IETF
 https://tools.ietf.org/html/rfc7149
 Category: informational
 Software-Defined Networking: A Perspective from within a Service Provider Environment
 https://tools.ietf.org/html/rfc7426
 Category: Informational
 Software-Defined Networking (SDN): Layers and Architecture Terminology

 Foodlight Project
 http://www.projectfloodlight.org/floodlight/
 Apache-licensed 수준의 Southbound API로 순수 Openflow를 사용하는 SDN
Controller 원형개발, Bigswitch가 프로젝트 스폰서
 Bigswitch BCF, HP VAN SDN Controller,…
 Opendaylight Project
 https://www.opendaylight.org/
 다양한 Southbound API를 지원하는 SDN Controller개발을 목표로 함
 Cisco Open SDN Controller,…
 ONOS Project
 http://onosproject.org/
 carrier-grade SDN network operating system design
 MPLS 대체, Transport-SDN등 원형개발

 Open Compute Project(OCP)
 http://www.opencompute.org/
 Open Computing Hardware Design
 SDx Central
 https://www.sdxcentral.com/
 SDN, NFV등과 관련된 정보교환, 분배사이트
 SDN Controller List: https://www.sdxcentral.com/sdn/definitions/sdn-controllers/sdn-controllers-comprehensive-list/
 Open Source SDN Controller List: https://www.sdxcentral.com/sdn/definitions/sdn-controllers/open-source-sdn-controllers/
 SDN/NFV Forum
 http://www.sdnnfv.org/
 한국기업 중 중심 SDN/NFV 산업 활성화
 Open Source MANO
 https://osm.etsi.org/
 망사업자(Sprint, BT, SKT, KT, Telefonica,..) 요구사항 방영하는 NFV Information Model
 OPENFV
 https://www.opnfv.org/
 NFV 구현을 위한 Linux Foundation Project

What is Cloud Service?
PaaS
(Platform as a Service)
SaaS
(Software as a Service)
FaaS
(Function as a Service)
Microservice Arch. & Serverless Computing
SDDC SDComputing SDStorage SDNetwork O/S+DB+Web/WAS Saleforce API Gateway+Function()
Server VirtualizationStorage Virtualization Network Virtualization
CI/CD DevOps Tools
(CloudFoundry, OpenShift,…)
Microsoft Office 365
Virtual Server Virtual Storage Virtual Network Mobile Google G.Suite
Hypervisor
Intel-VT, AMD-VT
vStorage vSwitch & Controller
Management
& Ochestration
IoT AWS WorkDoc, WorkMail, Chime,..
Linux Openstack KVM/Nova Ceph(Swift, Cinder, Glance,…)Open vSwitch/Neutron Horizon Game SAP
VMWare vSphere ESXi vSAN vNet D. vSwitch/NSX vCenter/vRealizeSuite AI …
Microsoft Hyper-V Hyper-V Storage Space Direct MSHV D. vSwitch/N.C. SCVMM/AzureStack CDN
NoSQL/RDB/DW/BI
Bigdata/Analytic
…
Open Compute Project(H/W)
Amazon AWS, Microsoft Azure, Google Cloud Platform, KT uCloud, IBM Bluemix,…Private Cloud
Public Cloud
IaaS
(Infrastructure as a Service)

Growth of Public Cloud
2014: new-normal  2015: pioneering destiny 2016: Super Power

Magic Quadrant for Cloud
Infrastructure as a Service, Worldwide
https://www.gartner.com/doc/reprints?id=1-2G2O5FC&ct=150519
https://www.forbes.com/sites/louiscolumbus/2017/04/29/roundup-of-cloud-computing-forecasts-2017/#11eea44431e8

Security is the #1 Priority on AWS
 보안 요구 사항에 적합한 아키텍쳐
 주요 업무에 대한 보안 감사 및 인증 획득
 SEOUL Region, G.Cloud,…

Driving Point of Public Cloud
Serverless Computing
Monolithic /
Layered
Microservice
Architecture
Serverless Computing based Microservice Architecture

OBelle(SDN Controller) as a Service
Openflow GW Openflow GW Openflow GW

SDN-WAN as a Service
VPN
Tunneling
Internet
VNF

고객 설득 논리
 Software Defined이 우리에게 주는 것
 반드시 Open H/W(Whitebox)를 사용해 Blackbox/Vender-Locking에서 벗어나야 한다.
 VNF들에 Auto-scaling이 적용이 가능하므로 성능문제가 해소되 더 이상 H/W Oversubscription은 하지
않아도 된다.
 VNF들은 본연의 기능에만 충실하도록 축소지향적으로 최적화해 S/W Oversubscription은 하지 않아도
된다.
 Customer들이 소프트웨어를 추가하여 독자적으로 제품기능 Add-in이 가능하다.
 Openflow를 사용하지 않으면 SDN이 아니다.
 Linux for Computing+Storage+Network OS
 Network Engineer도 Automation & Orchestration을 위한 Programming을 해야 한다.
 Python, Ansible,…

6
동적 네트워킹을 위한 SDN 가상화
솔루션
서비스 가상화를 위한 NFV 플랫폼 복잡계 가시성 해결을 위한 3D
Visualization
SOLUTION OF ATTO RESEARCH

SDN Controller - OBELLE Fabric
 OBelle Fabric은 확장성이 높은 Spine-Leaf
네트워크 구조와 네트워크 장비 제조사에
비의존적인 SDN 기반으로 편리하고 효율적인
중앙 집중 네트워크 관리를 제공합니다.
 또한 오픈스택과의 연동을 통하여 Horizon을
그대로 사용하여 테넌트 환경을 설정하고, HW
스위치와 SW 스위치 통합 관리함으로
언더레이(Underlay) 네트워크 레벨에서 고성능
가상화를 지원합니다.

OBELLE Fabric 레퍼런스
 국가보안기술연구소 SDN Testbed
 성대-소프트포럼 OpenFlow Testbed
 KAIST SDN Testbed
 KOREN 연구망 고도화
 NIPA M2M지원센터 Wireless OpenFlow
 NIA 인터넷 품질측정 시스템
 한미 공동 SDN/NFV 보안성 연구 테스트베드
 파이오링크, LG CNS, SPTek
 코스콤(KOSCOM)
NIA 인터넷 품질 측정
▪ 통신사의 인터넷 서버측정을 속도 측정을 위해서 트래픽을 로드 발랜싱
▪ 통신사의 측정서버 Real IP로 접근하지 못하게 제어
레퍼런스 현황

Network Function Virtualization Platform -
ATHENE
 아테네는 다양한 산업 분야, 다양한 크기의 네트워크에 적용할 수 있는 NFV 플랫폼입니다.
 네트워크 설계자, 운영자가 원하는 대로 필요한 네트워크 기능을 설정할 수 있으며, 네트워크 트래픽이 급격히 증가하거나, 공격이
감지되는 등 위협 상황에도 순간적으로 대응이 가능합니다.
 NFV 플랫폼 아테네는 자유로운 서비스 체이닝으로 가장 이상적인 네트워크를 구축할 수 있게 도와줍니다
▪ S-VNF & VNF
▪ VNF와 SDN의 융합
▪ Web Based GUI
▪ 웹 기반 GUI로 네트워크 서비스 체인
구축
▪ ACA Auto Scaling & Infinity
Extension
▪ 무한확장 가능한 아키텍처
▪ Elastic Network Function Wizard
▪ 이상적인 NFV 플랫폼

ATHENE - 대전 정부통합전산센터
 신속한 서비스 제공 및 유연한 네트워크 자원 관리를 위해 ATHENE 적용
 서비스 신속화
 오픈스택 적용 자체 아키텍처
 서비스 구성 신속
 자원공유
 가상화된 정보 자원 중앙 관리
 SDN기술로 자원 운영 조정
 관리체계 자동화
 SDN controller 적용 VNF 중앙 집중 관리 체계
구축

 물리 및 가상 인프라 환경에서 발생하는 대형 데이터의 실시간 수집 및 분석이 가능하며, 네트워크 제어 기능
동시 제공
 3D 기술을 통한 편리한 UI/UX 및 가시성 제공, 필요한 정보만 선별하여 제공함으로 빠른 장애 대응 가능
3D 통합관제 - HERMES
네트워크/장비 실시간
데이터 수집
소프트웨어 기반의
유연한 네트워크 제어
3D 기술을 적용한 손쉬
운 사용 및 현황 파악
실시간 현황 파악
즉각적인 장애 대응
모니터링 가시성 확
보

HERMES - SK Telecom
 SKT 전국 국사 및 데이터 센터의 시스템 모니터링, 플로우 분석 및 관제
 대상 트레픽의 end-to-end 분석
 Big Data 시스템 기반의 장애 분석

Model Atto-S40G-20Q4Z Atto-S10G-48T6Q Atto-S10G-48X6Q Atto-S1G-48T4X
Image
Switching
Capacity
2.4Tbps 1.44Tbps 1.44Tbps 176Gbps
1G-T - - - 48
10G-T - 48 - -
1/10G
SFP+
- - 48 4
40G
QSFP+
20 6 6 -
ATTO Open pSwitch

제조사 HPE HPE HPE HPE HPE Dell Dell EdgeCore EdgeCore EdgeCore EdgeCore
Model
Altoline
6960
Altoline
6941
Altoline
6921 10GT
Altoline
6921 SFP+
Altoline
6900
Z9100-ON S4048-ON AS6712-32X AS5812-54T AS5712-54X AS4610-54T
Product
Image
Switching
Capacity
6.4Tbps 1.28Tbps 720Gbps 720Gbps 128 Gbps 6.4Tbps 1.44Tbps 1.28Tbps 720Gbps 720Gbps 128 Gbps
Forwarding
Rate
7,680Mpps 1,440Mpps 1,000Mpps 1,000Mpps 191Mpps 4,400Mpps 1,080Mpps 1,440Mpps 1,000Mpps 1,000Mpps 191Mpps
Packet
Buffer
16M 12MB 16MB 12MB 4MB 16MB 12MB 12MB 16MB 12MB 4MB
TCAM - 16K 16K 16K 12K - - 16K 16K 16K 12K
1G-T - - - - 48 - - - - - 48
10G-T - - 48 - - - - - 48 - -
1/10G
SFP+
- - - 48 4 - 48 - - 48 4
40G
QSFP+
- 32 6 6 - - 6 32 6 6 -
100G
QSFP28
32 - - - - 32 - - - - -
OBelle 연동 스위치

US 9,521,134 B2
특허
전략
 SDN 핵심 기술인 Controller 기술 미국 특허 출원
 국내 유일의 SDN 핵심 기술 미국 특허 보유
 자타공인 SDN 최고 기술력 보유 기업 인정
0
10
20
30
40
50
60
70
80
90
2015 2016 2017
24
39
587
17
25
출원 등록
31
56
83
핵심 특허 확보를 통한 기술 장벽 구축
ACM CCS 등재

Why ATTO-RESEARCH?
▪ SDN(소프트웨어 정의 네트워킹), NFV(네트워크 기능 가상화), 3D 관제 기술의 원천 기술 보유
▪ 핵심 기술에 대한 국내외 특허 보유(80건 이상) 및 SDN 최고 기술력 보유 기업 인정
▪ 공공, 금융 및 대기업 레퍼런스를 통한 솔루션의 안정성 및 성능 검증
▪ Automation과 Orchestration을 위한 통합된 개발능력 보유
4차 산업혁명
네트워크 혁신

오픈
하드웨어
Private
Cloud
컨설팅
Public
Cloud
컨설팅
SDN/NFV
3D
통합관제
OPEN
pSwitch

Cloud, sdn and nfv 기술동향 atto-research-박문기-20171016

Cloud, sdn and nfv 기술동향 atto-research-박문기-20171016

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Cloud, sdn and nfv 기술동향 atto-research-박문기-20171016

Similar to Cloud, sdn and nfv 기술동향 atto-research-박문기-20171016 (20)

Cloud, sdn and nfv 기술동향 atto-research-박문기-20171016