SlideShare a Scribd company logo
1 of 34
Download to read offline
Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 1
On-premise DB와 Cloud Database 통합
신용환
Cloud Excellence, Cloud Platform SE Group
Oracle Korea
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.
2
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Program Agenda
1
2
3
Concept & Trend
ETL & CDC
Data Management using Oracle Cloud
3
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Concept & Trend
4
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Integration의 배경
5
APPLICATION
Integration
DATA
Integration
MES SCMERP/CRM
DW
APPLICATION
Integration
DATA
Integration
Big Data BI / Dashboard
DATA
Integration
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Hype Cycle for Data Management, 2018, Gartner
6
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Data Management – Topics (Wikipedia)
7
Data Store Movement Data Governance Metadata Mgmt.Data Quality
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Modern Data Management Trend
8
Data
Management
DevOps MSA
IoT DBMS
Data Lake
Edge-Fog
Data Flow
Speed
DataOps
Containerized
Database
Data Catalog
Data
Preparation
Transaction
Management
(Data)Service
Granularity
Polyglot
Autonomous
Data
Service
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
ETL & CDC
9
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Extract Transform Load (Wikipedia)
10
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
ETL 아키텍처
11
Extract Transform Load
ETL ServerDate Source Target System
Function
Scheduling
Monitoring
Repository
DBMS
File Apps
Cloud
DBMS
File Apps
Cloud
ODBC
JDBC
HTTP(s)
FTP(s)
Socket
ODBC
JDBC
HTTP(s)
FTP(s)
Socket
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Extract Transform Load 변천사
12
SQL 기반 In-House
- File
- Timestamp
ETL Tools
- Lots of Tools
ETL
ETL Enhancement
- Parallel
- Pushdown (ELT)
- RealTime (CDC)
ETL
SQL
Multi-Platform
- Bigdata
- Cloud
ETL
SQL
Streaming
- Pipeline
ETL/CDC
자동화, 관리 – 성능 – IT 환경 변화 – 실시간 분석
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
ETL 관점의 아키텍처 패턴
13
전통적 ETL (ETL Only) Application 연동
Real-Time Micro Batch (with CDC) Streaming (with Bigdata)
Filter
Transform
Extract
Load
Extract
ETL Flow
SOA
SOA
WebService
REST
CDC
CDCCDCPK
ETL FlowLoad
ODS
CDC
Streaming
Stream
Process
Speed Layer
Batch Layer
Serving
Layer
Flume
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Change Data Capture
14
2012.09 - https://cafe.naver.com/sdk800402/160548
2009.08 – 기술사 카페 https://cafe.naver.com/81th/2875
2009.12 - https://cafe.naver.com/iloveuljin/346
In databases, change data capture (CDC) is a set of software design patterns used
to determine (and track) the data that has changed so that action can be taken
using the changed data. CDC is also an approach to data integration that is based
on the identification, capture and delivery of the changes made to enterprise
data sources.
CDC solutions occur most often in data-warehouse environments since capturing
and preserving the state of data across time is one of the core functions of a data
warehouse, but CDC can be utilized in any database or data repository system.
- Wikipedia
데이터베이스에서 변경 데이터 캡처 (CDC)는 변경된 데이터를 사용하여
작업을 수행 할 수 있도록 변경된 데이터를 결정 (및 추적)하는 데 사용되는
일련의 소프트웨어 디자인 패턴입니다. CDC는 또한 엔터프라이즈 데이터
소스에 대한 변경 사항의 식별, 캡처 및 전달을 기반으로하는 데이터 통합
방식입니다.
CDC 솔루션은 데이터웨어 하우스 환경에서 가장 자주 발생합니다. 시간
경과에 따른 데이터 상태를 캡처 및 보존하는 것이 데이터웨어 하우스의
핵심 기능 중 하나이기 때문에 모든 데이터베이스 또는 데이터 저장소
시스템에서 CDC를 활용할 수 있습니다. (by google 번역) - Wikipedia
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
CDC 아키텍처
15
Instance
Database
(Source) DBMS
Extract
Send
TCP/IP
Receive Instance
DatabaseApply
SQL
Parsing
1990’s – Database HA/DR
2000’s – OLTP Replication
2010 – Data Warehouse Appliances
2015 – Data Lake
(Target) DBMS
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Change Data Capture 변천사
16
Message Queue
- EAI
Apps
Database
- Trigger
- Log Minor
Apps
T1
T2
Log
Minor
Log Parsing
Apps
CDC
Parser
Multi Source/Target
- Bigdata
- Cloud
Apps
CDC
Parser
데이터연동 – DB 기능 활용 – 솔루션 활용 – IT환경변화 – 실시간 분석
Apps
CDC
Parser
Streaming
- Pipeline
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
CDC 적용 패턴
17
Uni-Directional Bi-Directional Peer-to-Peer
Broadcast Consolidation Data Distribution
OEP
BAM
BPM
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Data Management using Oracle Cloud
18
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Oracle Cloud DIS Solutions
19
GoldenGate
Data Integrator
Data Quality
Metadata
Management
On-Premise
Solutions
OGG-CS
ODI-CS
1세대
DIS Cloud
Data Quality
Metadata
Management
Metadata
Management
2세대
DIS Cloud
Data
Integration
Platform
Cloud
3세대
DIS Cloud
CDC (?)
ETL (?)
DQ (?)
MM (?)
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 20
Oracle Data Integration Platform
Common Framework for Data Integration Use Cases
Database
Migrations
Database
Replication
Data Warehouse
Automation
Data Lake
Automation
Data Governance
Oracle Cloud
Non-Oracle Data Centers
Application Data
Polyglot Data
SQL & NoSQL Data
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 21
Oracle Data Integration Platform Cloud
Oracle Data Integration
Platform Cloud Standard
(ETL)
Core Use Cases:
• 손쉬운 DW/DM 구축
• 자동화된 운영
• 손쉬운 데이터 마이그레이션
Core Capabilities:
• 단순한 사용 환경
• 대용량 데이터 처리
• 변환
• Push-down 데이터 처리
• 기본 데이터 프로파일링
Oracle Data
Integration Platform
Cloud Enterprise
(ETL+CDC)
Core Use Cases:
Standard Edition plus:
• Big Data 연계
• 데이터 동기화
• 무중단 마이그레이션
• Active DR 구축
• 실시간 DW
Core Capabilities:
Standard Edition plus:
• Streaming, Big Data ETL
• 실시간 데이터 연계
Oracle Data
Integration Platform
Cloud Governance
(ETL+CDC+DQ)
Core Use Cases:
Enterprise Edition plus:
• 데이터 품질 관리
• 데이터 정제
• 데이터 계보
Core Capabilities:
Enterprise Edition plus:
• 데이터 프로파일링 & 검증
• Match & Merge
• 용어사전 & 계보
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 22
DIPC Architecture
Oracle Cloud Infrastructure (OCI)
DIPC Host
ODI EDQ
DIPC Console
DIPC Cloud
Agent
Oracle DB
DIPC Remote Agent
OGG ODI
• DIPC Components
• DIPC Console (web app)
• DIPC Agent (local Agent running
in DIPC instance)
• DIPC Remote Agent for remote
data access
• DIPC metadata stored in DB
included on DIPC host along with
Oracle Data Integrator (ODI) and
Enterprise Data Quality (EDQ)
repositoriesOn-Premise
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 23
DIPC Architecture – Standard (ODI)
Customer Site or IaaS
Oracle Cloud Infrastructure
• 클라우드 상의 웹로직에 ODI EE Agent
제공
• 사용자를 위해 프로비저닝 단계에서
구성하여 제공
• 사용되는 레파지토리는 DIPC 호스트에
포함된 Oracle DB 사용
• DIPC 호스트에는 ODI Studio는 제공하지
않음
• ODI 업무는 고객사 환경에서 개발
• 개발된 업무를 DIPC 호스트에 배포후
운영
• Cloud Agent나 Remote Agent 에서 실행
DIPC Host
WLS ODI Agent
Browser
Access
Master Repo
Work Repo
DIPC Console
Customer Site or IaaS
ODI Studio
Master Repo
Work Repo
DIPC Remote Agent
ODI
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 24
DIPC Architecture – Enterprise (+OGG)
• DIPC 호스트는 OGG가 설치되어 있지 않음
• DIPC Remote Agent에서 모든 실시간 복제
환경 구성
• On-Premise 연동시 데이터는 클라우드를
거치지 않음
• DIPC Remote Agent 는 다음을 포함 (선택)
• OGG for Oracle 11g
• OGG for Oracle 12c
• OGG for Big Data
Oracle Cloud Infrastructure
DIPC Host
Customer Site or IaaS
Browser
Access
DIPC Console
DIPC Remote Agent
OGG
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 25
DIPC Architecture – Governance (+OEDQ)
Oracle Cloud Infrastructure
• EDQ 전체 설치
• 사용자를 위해 프로비저닝 단계에서
구성하여 제공
• 웹로직 서버에 EDQ 구성됨
• 사용되는 레파지토리는 DIPC 호스트에
포함된 Oracle DB 사용
• EDQ 디렉터(개발툴) 은 browser를 통해
원격 접근
EDQ
Director
WLS
EDQ
Customer Site
Browser
Access
Config Repo
Results Repo
DIPC Host
Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 26
Solution Use case 1:
Database Migrations (Cloud & On Premise)
Key Benefits – Online/Offline Migrations
3rd Party Cloud Support
Database Migrations
• 이전 데이터베이스 또는 불완전하게 최적화 된 클라우드
서비스에서 원활하게 데이터를 마이그레이션 할 수
있습니다.
• Cloud에서 최신 Oracle DB 버전을 활용하십시오.
• 단계적 / 온라인 마이그레이션 데이터 손실없음
• 프로비저닝에 대한 강력한 자동화 적용
• 신뢰할 수 있고 검증 된 핵심 GoldenGate 기술.
• Amazon RDS 인스턴스를 Oracle로 마이그레이션
• 온 프레미스에서 타사 클라우드로의 데이터 전달
※ OP-OP 데이터 복제시 데이터는 외부(Cloud)로
전송안됨 (소스 → 타켓)
DB를 더 새롭고 저렴한
시스템으로 마이그레이션
해야합니다
On Premise
RDS Oracle DBaaS
On Premise
11g
12c
Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 27
Solution Use case 2:
Database Warehouse Integration (OAC, ADWC)
Key Capabilities: Comprehensive Solution
3rd Party Cloud Support
Data Warehouse Integration
• 클라우드의 운영 또는 고급 분석에는 데이터의 신뢰가 보장
되어야 합니다.
• 온 프레미스 데이터 원본 또는 다른 클라우드 원본에서 오는
데이터로 작업하십시오.
• 실시간으로 데이터 복제: DW / Marts에 대한 복제 및
스트리밍 처리 지원 기능이 내장 됩니다.
• 데이터 변환 및 정리: 혁신적인 접근 방식으로 워크로드를
다른 PaaS 리소스에서 실행할 수 있습니다.
• Amazon RDS 데이터베이스 및 Redshift 지원
• Kinesis 및 EMR을 통한 대용량 데이터 지원
DW on Exadata
Cloud Service
UNSTRUCTUREDSTRUCTURED
BI & Data
Visualization
RDS & REDSHIFT
분석환경
구축을
도와주세요
Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 28
Solution Use case 3:
Dev & Test Systems
Key Benefits: Automate Data Movement
Oracle Database as a Service
Database Dev-Test Environments
• 최소한의 인프라 또는 프로세스 오버 헤드로 지속적으로
개발 및 테스트 환경을 동기화 해야 합니다.
• 수동 동기화가 아닌 자동화 활용.
• 낮은 오버 헤드로 인해 수동 및 복합 스크립팅 감소
• 반복 가능한 접근 방식으로 DBA 프로세스 표준화
• 간단한 프레임 워크는 다양한 DB에서 사용할 수 있습니다.
• 온 프레미스에서 실행중인 항목과 상관없이 지원되는 모든
Oracle 버전
• 믹스 앤 매치 버전 또는 패치 레벨
On Premise
Oracle DBaaS
12.1 & 12.2
10g & 11g
내 DBA 작업을보다
쉽고 생산적으로
만들고 싶어요.
Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 29
Solution Use case 4:
High Availability for DBaaS in the Cloud
Key Benefits for DBaaS
Powerful Cloud Solution
Regional High Availability
• 중요한 업무용 데이터베이스를 사용할 여유가 없을 때 다운
타임이 발생합니다.
• 지역 데이터 센터에서 재난 복구가 필요한 경우 특히
필요합니다.
• 클라우드의 Active Data Guard를 사용하여 대기
데이터베이스를 항상 가동 할 수 있습니다.
• Active-Active를 사용하면 모든 데이터베이스에서 읽기 /
쓰기 트랜잭션을 수행 할 수 있습니다.
• 강력한 서비스 프로비저닝 및 청구 자동화.
• Oracle 또는 Amazon Cloud는 지역 데이터 센터의 모든
클라우드에서 활성 - 활성 Oracle Database를 운영합니다.
Oracle DBaaS
Datacenter Region 1
Active / Active
Oracle DBaaS
or Amazon RDS
Datacenter Region 2
On Premise
우리 기업
어플리케이션은
중단이 없어야
합니다!
Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 30
Solution Use case 5:
Make Amazon AWS Enterprise Grade
Heterogeneous and Complete Solution
Bring Enterprise-strength to AWS
• Kinesis, EMR, Redshift 및 RDS를위한 고급 데이터 통합 및
가용성 기능
• 초당 수천 건의 DB 트랜잭션의 입증 된 데이터 전송률
• 보안 컨트롤은 Amazon의 보안 데이터 센터에서 올바르게
작동
• 유연한 솔루션은 AWS 서비스 내에서 DB 또는 빅 데이터를
활용
• 가장 신뢰할 수있는 데이터 복제 엔진
• 전세계 시장에서 가장 인기있는 ETL / ELT 툴
• 대용량 데이터에 대해 가장 빠르게 증가하는 데이터 통합
• Oracle Data Integration은 서로 다른 데이터 플랫폼 및 서로
다른 클라우드 플랫폼에서 작동하는 이기종 기능입니다.
Oracle Database
Active-Active
Realtime Big Data
GoldenGate
Datacenter A Datacenter B
GoldenGate
Data Integrator
Copyright © 2018,Oracle and/orits affiliates. All rights reserved.
아키텍처 예시 #1 - DIPC with ADW
31
Secure
Storag
e Extract
Capture
Delivery
DIPC Remote
Agent
Remote
capture
PUMP
Socks 5
Proxy
Tunnel/VPN
ODS DBCS
Oracle Public Cloud
Intranet
zone DB
DMZ
On-Premise
DIPC
Agent
Autonomous DW
DIPC ODI ELT
Transform OLTP
to Dimensional Star
OCI
HTTPS DIPC Host
ODI EDQ
DIPC Console DIPC Cloud
Agent
Oracle DB
Business
Intelligence
OAC
Real time data sync
ODI Studio
VNC
Copyright © 2018,Oracle and/orits affiliates. All rights reserved.
아키텍처 예시 #2 - DIPC for On-Premise File
32
Secure
Storage
OCI Compute
Oracle Public Cloud
On-Premise
DB
File Server
On-Premise
DIPC
ODI
Agent
Autonomous DW
(s)FTP
DIPC Host
DIPC
Console
DIPC Cloud
Agent
ODI Studio
VNC
ODI ELT
ODI
Repository
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 33
On premise db & cloud database

More Related Content

What's hot

Spark와 Hadoop, 완벽한 조합 (한국어)
Spark와 Hadoop, 완벽한 조합 (한국어)Spark와 Hadoop, 완벽한 조합 (한국어)
Spark와 Hadoop, 완벽한 조합 (한국어)Teddy Choi
 
Oracle Blockchain_JaeHo Park_CTO
Oracle Blockchain_JaeHo Park_CTOOracle Blockchain_JaeHo Park_CTO
Oracle Blockchain_JaeHo Park_CTOOracle Korea
 
NetApp AI Control Plane
NetApp AI Control PlaneNetApp AI Control Plane
NetApp AI Control PlaneSeungYong Baek
 
Azure Database for MySQL
Azure Database for MySQLAzure Database for MySQL
Azure Database for MySQLrockplace
 
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)SANG WON PARK
 
DB Migration to Azure Database for MySQL
DB Migration to Azure Database for MySQLDB Migration to Azure Database for MySQL
DB Migration to Azure Database for MySQLrockplace
 
DB Migration to Azure Database for PostgreSQL
DB Migration to Azure Database for PostgreSQLDB Migration to Azure Database for PostgreSQL
DB Migration to Azure Database for PostgreSQLrockplace
 
Hadoop security DeView 2014
Hadoop security DeView 2014Hadoop security DeView 2014
Hadoop security DeView 2014Gruter
 
Azure Red Hat OpenShift 를 통한 더 빠르고 쉬운 애플리케이션 구축
Azure Red Hat OpenShift 를 통한 더 빠르고 쉬운 애플리케이션 구축Azure Red Hat OpenShift 를 통한 더 빠르고 쉬운 애플리케이션 구축
Azure Red Hat OpenShift 를 통한 더 빠르고 쉬운 애플리케이션 구축rockplace
 
공개소프트웨어 DBMS에 대한 주요 도입 및 마이그레이션 사례
공개소프트웨어 DBMS에 대한 주요 도입 및 마이그레이션 사례공개소프트웨어 DBMS에 대한 주요 도입 및 마이그레이션 사례
공개소프트웨어 DBMS에 대한 주요 도입 및 마이그레이션 사례rockplace
 
Cloudera & Zookeeper
Cloudera & ZookeeperCloudera & Zookeeper
Cloudera & ZookeeperJunyoung Park
 
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )SANG WON PARK
 
Infra as Code with Packer, Ansible and Terraform
Infra as Code with Packer, Ansible and TerraformInfra as Code with Packer, Ansible and Terraform
Infra as Code with Packer, Ansible and TerraformInho Kang
 
Gruter TECHDAY 2014 MelOn BigData
Gruter TECHDAY 2014 MelOn BigDataGruter TECHDAY 2014 MelOn BigData
Gruter TECHDAY 2014 MelOn BigDataGruter
 
Migration to Azure Database for MySQL
Migration to Azure Database for MySQLMigration to Azure Database for MySQL
Migration to Azure Database for MySQLrockplace
 
Apache Htrace overview (20160520)
Apache Htrace overview (20160520)Apache Htrace overview (20160520)
Apache Htrace overview (20160520)Steve Min
 
SQL Server 2019 on RHEL Overview & Case Study
SQL Server 2019 on RHEL Overview & Case StudySQL Server 2019 on RHEL Overview & Case Study
SQL Server 2019 on RHEL Overview & Case Studyrockplace
 
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)Sang Don Kim
 

What's hot (19)

Spark와 Hadoop, 완벽한 조합 (한국어)
Spark와 Hadoop, 완벽한 조합 (한국어)Spark와 Hadoop, 완벽한 조합 (한국어)
Spark와 Hadoop, 완벽한 조합 (한국어)
 
Oracle Blockchain_JaeHo Park_CTO
Oracle Blockchain_JaeHo Park_CTOOracle Blockchain_JaeHo Park_CTO
Oracle Blockchain_JaeHo Park_CTO
 
NetApp AI Control Plane
NetApp AI Control PlaneNetApp AI Control Plane
NetApp AI Control Plane
 
Azure Database for MySQL
Azure Database for MySQLAzure Database for MySQL
Azure Database for MySQL
 
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
 
DB Migration to Azure Database for MySQL
DB Migration to Azure Database for MySQLDB Migration to Azure Database for MySQL
DB Migration to Azure Database for MySQL
 
DB Migration to Azure Database for PostgreSQL
DB Migration to Azure Database for PostgreSQLDB Migration to Azure Database for PostgreSQL
DB Migration to Azure Database for PostgreSQL
 
Hadoop security DeView 2014
Hadoop security DeView 2014Hadoop security DeView 2014
Hadoop security DeView 2014
 
NoSQL
NoSQLNoSQL
NoSQL
 
Azure Red Hat OpenShift 를 통한 더 빠르고 쉬운 애플리케이션 구축
Azure Red Hat OpenShift 를 통한 더 빠르고 쉬운 애플리케이션 구축Azure Red Hat OpenShift 를 통한 더 빠르고 쉬운 애플리케이션 구축
Azure Red Hat OpenShift 를 통한 더 빠르고 쉬운 애플리케이션 구축
 
공개소프트웨어 DBMS에 대한 주요 도입 및 마이그레이션 사례
공개소프트웨어 DBMS에 대한 주요 도입 및 마이그레이션 사례공개소프트웨어 DBMS에 대한 주요 도입 및 마이그레이션 사례
공개소프트웨어 DBMS에 대한 주요 도입 및 마이그레이션 사례
 
Cloudera & Zookeeper
Cloudera & ZookeeperCloudera & Zookeeper
Cloudera & Zookeeper
 
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
 
Infra as Code with Packer, Ansible and Terraform
Infra as Code with Packer, Ansible and TerraformInfra as Code with Packer, Ansible and Terraform
Infra as Code with Packer, Ansible and Terraform
 
Gruter TECHDAY 2014 MelOn BigData
Gruter TECHDAY 2014 MelOn BigDataGruter TECHDAY 2014 MelOn BigData
Gruter TECHDAY 2014 MelOn BigData
 
Migration to Azure Database for MySQL
Migration to Azure Database for MySQLMigration to Azure Database for MySQL
Migration to Azure Database for MySQL
 
Apache Htrace overview (20160520)
Apache Htrace overview (20160520)Apache Htrace overview (20160520)
Apache Htrace overview (20160520)
 
SQL Server 2019 on RHEL Overview & Case Study
SQL Server 2019 on RHEL Overview & Case StudySQL Server 2019 on RHEL Overview & Case Study
SQL Server 2019 on RHEL Overview & Case Study
 
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
 

Similar to On premise db & cloud database

polyglot application development in the cloud
polyglot application development in the cloudpolyglot application development in the cloud
polyglot application development in the cloudMee Nam Lee
 
Oracle Application Performance Monitoring Cloud Service 소개
Oracle Application Performance Monitoring Cloud Service 소개Oracle Application Performance Monitoring Cloud Service 소개
Oracle Application Performance Monitoring Cloud Service 소개Mee Nam Lee
 
[2015 Oracle Cloud Summit] 3. Database as a Service_Private Cloud상의 DB as a S...
[2015 Oracle Cloud Summit] 3. Database as a Service_Private Cloud상의 DB as a S...[2015 Oracle Cloud Summit] 3. Database as a Service_Private Cloud상의 DB as a S...
[2015 Oracle Cloud Summit] 3. Database as a Service_Private Cloud상의 DB as a S...Oracle Korea
 
Cloudera session seoul - Spark bootcamp
Cloudera session seoul - Spark bootcampCloudera session seoul - Spark bootcamp
Cloudera session seoul - Spark bootcampSang-bae Lim
 
[2015 Oracle Cloud Summit] 7. ERP Cloud 보다 빠르고 편리하고 스마트한 비즈니스를 위한 ERP Cloud
[2015 Oracle Cloud Summit] 7. ERP Cloud 보다 빠르고 편리하고 스마트한 비즈니스를 위한 ERP Cloud[2015 Oracle Cloud Summit] 7. ERP Cloud 보다 빠르고 편리하고 스마트한 비즈니스를 위한 ERP Cloud
[2015 Oracle Cloud Summit] 7. ERP Cloud 보다 빠르고 편리하고 스마트한 비즈니스를 위한 ERP CloudOracle Korea
 
[Pgday.Seoul 2018] replacing oracle with edb postgres
[Pgday.Seoul 2018] replacing oracle with edb postgres[Pgday.Seoul 2018] replacing oracle with edb postgres
[Pgday.Seoul 2018] replacing oracle with edb postgresPgDay.Seoul
 
Cloud for Kubernetes : Session2
Cloud for Kubernetes : Session2Cloud for Kubernetes : Session2
Cloud for Kubernetes : Session2WhaTap Labs
 
data direct소개__DB 미들웨어
data direct소개__DB 미들웨어data direct소개__DB 미들웨어
data direct소개__DB 미들웨어시온시큐리티
 
(Enterprise,RedHat) - SDC(IaaS) with SDS, Cloud References 2020-07 Samuel.pdf
(Enterprise,RedHat) - SDC(IaaS) with SDS, Cloud References 2020-07 Samuel.pdf(Enterprise,RedHat) - SDC(IaaS) with SDS, Cloud References 2020-07 Samuel.pdf
(Enterprise,RedHat) - SDC(IaaS) with SDS, Cloud References 2020-07 Samuel.pdfSAMUEL SJ Cheon
 
OCE - Cno 2014 private sector oriented open paas oce
OCE - Cno 2014 private sector oriented open paas   oceOCE - Cno 2014 private sector oriented open paas   oce
OCE - Cno 2014 private sector oriented open paas oceuEngine Solutions
 
DMS와 SCT를 활용한 Oracle에서 Open Source DB로의 전환
DMS와 SCT를 활용한 Oracle에서 Open Source DB로의 전환DMS와 SCT를 활용한 Oracle에서 Open Source DB로의 전환
DMS와 SCT를 활용한 Oracle에서 Open Source DB로의 전환Amazon Web Services Korea
 
오라클 클라우드와 함께 떠나는 마이크로서비스 아키텍처로의 여행 V3
오라클 클라우드와 함께 떠나는 마이크로서비스 아키텍처로의 여행 V3오라클 클라우드와 함께 떠나는 마이크로서비스 아키텍처로의 여행 V3
오라클 클라우드와 함께 떠나는 마이크로서비스 아키텍처로의 여행 V3Heejong Lee
 
Application Performance Cloud Service
Application Performance Cloud ServiceApplication Performance Cloud Service
Application Performance Cloud ServiceMee Nam Lee
 
Cloud 기반의 Healthcare 혁신
Cloud 기반의 Healthcare 혁신Cloud 기반의 Healthcare 혁신
Cloud 기반의 Healthcare 혁신철민 권
 
sparklyr을 활용한 R 분산 처리
sparklyr을 활용한 R 분산 처리sparklyr을 활용한 R 분산 처리
sparklyr을 활용한 R 분산 처리Sang-bae Lim
 
네이버클라우드플랫폼이 제안하는 멀티클라우드(박기은 CTO) - IBM 스토리지 세미나
네이버클라우드플랫폼이 제안하는 멀티클라우드(박기은 CTO) - IBM 스토리지 세미나네이버클라우드플랫폼이 제안하는 멀티클라우드(박기은 CTO) - IBM 스토리지 세미나
네이버클라우드플랫폼이 제안하는 멀티클라우드(박기은 CTO) - IBM 스토리지 세미나NAVER CLOUD PLATFORMㅣ네이버 클라우드 플랫폼
 
데이터 레이크 알아보기(Learn about Data Lake)
데이터 레이크 알아보기(Learn about Data Lake)데이터 레이크 알아보기(Learn about Data Lake)
데이터 레이크 알아보기(Learn about Data Lake)SeungYong Baek
 
Mastering devops with oracle 강인호
Mastering devops with oracle 강인호Mastering devops with oracle 강인호
Mastering devops with oracle 강인호Inho Kang
 
MSA(Service Mesh), MDA(Data Mesh), MIA(Inference Mesh) 기술동향 소개-박문기@메ᄀ...
MSA(Service Mesh), MDA(Data Mesh), MIA(Inference Mesh) 기술동향 소개-박문기@메ᄀ...MSA(Service Mesh), MDA(Data Mesh), MIA(Inference Mesh) 기술동향 소개-박문기@메ᄀ...
MSA(Service Mesh), MDA(Data Mesh), MIA(Inference Mesh) 기술동향 소개-박문기@메ᄀ...문기 박
 
OPEN_POWER8_SESSION_20150316
OPEN_POWER8_SESSION_20150316OPEN_POWER8_SESSION_20150316
OPEN_POWER8_SESSION_20150316기한 김
 

Similar to On premise db & cloud database (20)

polyglot application development in the cloud
polyglot application development in the cloudpolyglot application development in the cloud
polyglot application development in the cloud
 
Oracle Application Performance Monitoring Cloud Service 소개
Oracle Application Performance Monitoring Cloud Service 소개Oracle Application Performance Monitoring Cloud Service 소개
Oracle Application Performance Monitoring Cloud Service 소개
 
[2015 Oracle Cloud Summit] 3. Database as a Service_Private Cloud상의 DB as a S...
[2015 Oracle Cloud Summit] 3. Database as a Service_Private Cloud상의 DB as a S...[2015 Oracle Cloud Summit] 3. Database as a Service_Private Cloud상의 DB as a S...
[2015 Oracle Cloud Summit] 3. Database as a Service_Private Cloud상의 DB as a S...
 
Cloudera session seoul - Spark bootcamp
Cloudera session seoul - Spark bootcampCloudera session seoul - Spark bootcamp
Cloudera session seoul - Spark bootcamp
 
[2015 Oracle Cloud Summit] 7. ERP Cloud 보다 빠르고 편리하고 스마트한 비즈니스를 위한 ERP Cloud
[2015 Oracle Cloud Summit] 7. ERP Cloud 보다 빠르고 편리하고 스마트한 비즈니스를 위한 ERP Cloud[2015 Oracle Cloud Summit] 7. ERP Cloud 보다 빠르고 편리하고 스마트한 비즈니스를 위한 ERP Cloud
[2015 Oracle Cloud Summit] 7. ERP Cloud 보다 빠르고 편리하고 스마트한 비즈니스를 위한 ERP Cloud
 
[Pgday.Seoul 2018] replacing oracle with edb postgres
[Pgday.Seoul 2018] replacing oracle with edb postgres[Pgday.Seoul 2018] replacing oracle with edb postgres
[Pgday.Seoul 2018] replacing oracle with edb postgres
 
Cloud for Kubernetes : Session2
Cloud for Kubernetes : Session2Cloud for Kubernetes : Session2
Cloud for Kubernetes : Session2
 
data direct소개__DB 미들웨어
data direct소개__DB 미들웨어data direct소개__DB 미들웨어
data direct소개__DB 미들웨어
 
(Enterprise,RedHat) - SDC(IaaS) with SDS, Cloud References 2020-07 Samuel.pdf
(Enterprise,RedHat) - SDC(IaaS) with SDS, Cloud References 2020-07 Samuel.pdf(Enterprise,RedHat) - SDC(IaaS) with SDS, Cloud References 2020-07 Samuel.pdf
(Enterprise,RedHat) - SDC(IaaS) with SDS, Cloud References 2020-07 Samuel.pdf
 
OCE - Cno 2014 private sector oriented open paas oce
OCE - Cno 2014 private sector oriented open paas   oceOCE - Cno 2014 private sector oriented open paas   oce
OCE - Cno 2014 private sector oriented open paas oce
 
DMS와 SCT를 활용한 Oracle에서 Open Source DB로의 전환
DMS와 SCT를 활용한 Oracle에서 Open Source DB로의 전환DMS와 SCT를 활용한 Oracle에서 Open Source DB로의 전환
DMS와 SCT를 활용한 Oracle에서 Open Source DB로의 전환
 
오라클 클라우드와 함께 떠나는 마이크로서비스 아키텍처로의 여행 V3
오라클 클라우드와 함께 떠나는 마이크로서비스 아키텍처로의 여행 V3오라클 클라우드와 함께 떠나는 마이크로서비스 아키텍처로의 여행 V3
오라클 클라우드와 함께 떠나는 마이크로서비스 아키텍처로의 여행 V3
 
Application Performance Cloud Service
Application Performance Cloud ServiceApplication Performance Cloud Service
Application Performance Cloud Service
 
Cloud 기반의 Healthcare 혁신
Cloud 기반의 Healthcare 혁신Cloud 기반의 Healthcare 혁신
Cloud 기반의 Healthcare 혁신
 
sparklyr을 활용한 R 분산 처리
sparklyr을 활용한 R 분산 처리sparklyr을 활용한 R 분산 처리
sparklyr을 활용한 R 분산 처리
 
네이버클라우드플랫폼이 제안하는 멀티클라우드(박기은 CTO) - IBM 스토리지 세미나
네이버클라우드플랫폼이 제안하는 멀티클라우드(박기은 CTO) - IBM 스토리지 세미나네이버클라우드플랫폼이 제안하는 멀티클라우드(박기은 CTO) - IBM 스토리지 세미나
네이버클라우드플랫폼이 제안하는 멀티클라우드(박기은 CTO) - IBM 스토리지 세미나
 
데이터 레이크 알아보기(Learn about Data Lake)
데이터 레이크 알아보기(Learn about Data Lake)데이터 레이크 알아보기(Learn about Data Lake)
데이터 레이크 알아보기(Learn about Data Lake)
 
Mastering devops with oracle 강인호
Mastering devops with oracle 강인호Mastering devops with oracle 강인호
Mastering devops with oracle 강인호
 
MSA(Service Mesh), MDA(Data Mesh), MIA(Inference Mesh) 기술동향 소개-박문기@메ᄀ...
MSA(Service Mesh), MDA(Data Mesh), MIA(Inference Mesh) 기술동향 소개-박문기@메ᄀ...MSA(Service Mesh), MDA(Data Mesh), MIA(Inference Mesh) 기술동향 소개-박문기@메ᄀ...
MSA(Service Mesh), MDA(Data Mesh), MIA(Inference Mesh) 기술동향 소개-박문기@메ᄀ...
 
OPEN_POWER8_SESSION_20150316
OPEN_POWER8_SESSION_20150316OPEN_POWER8_SESSION_20150316
OPEN_POWER8_SESSION_20150316
 

More from Oracle Korea

Oracle Blockchain Platform_Wonjo Yoo
Oracle Blockchain Platform_Wonjo YooOracle Blockchain Platform_Wonjo Yoo
Oracle Blockchain Platform_Wonjo YooOracle Korea
 
Oracle cloud data interface
Oracle cloud data interfaceOracle cloud data interface
Oracle cloud data interfaceOracle Korea
 
Spring boot microservice metrics monitoring
Spring boot   microservice metrics monitoringSpring boot   microservice metrics monitoring
Spring boot microservice metrics monitoringOracle Korea
 
Opentracing jaeger
Opentracing jaegerOpentracing jaeger
Opentracing jaegerOracle Korea
 
Which Questions We Should Have
Which Questions We Should HaveWhich Questions We Should Have
Which Questions We Should HaveOracle Korea
 
Enterprise Postgres
Enterprise PostgresEnterprise Postgres
Enterprise PostgresOracle Korea
 
API Design Principles Essential 
API Design Principles Essential API Design Principles Essential 
API Design Principles Essential Oracle Korea
 
SpringBoot and Spring Cloud Service for MSA
SpringBoot and Spring Cloud Service for MSASpringBoot and Spring Cloud Service for MSA
SpringBoot and Spring Cloud Service for MSAOracle Korea
 
CI/CD 기반의 Microservice 개발
 CI/CD 기반의 Microservice 개발 CI/CD 기반의 Microservice 개발
CI/CD 기반의 Microservice 개발Oracle Korea
 
kubernetes from beginner to advanced
kubernetes  from beginner to advancedkubernetes  from beginner to advanced
kubernetes from beginner to advancedOracle Korea
 
Cloud Native 자바 플랫폼: Graalvm Overview
Cloud Native 자바 플랫폼: Graalvm OverviewCloud Native 자바 플랫폼: Graalvm Overview
Cloud Native 자바 플랫폼: Graalvm OverviewOracle Korea
 
Eclipse MicroProfile 과 Microservice Java framework – Helidon
Eclipse MicroProfile 과 Microservice Java framework – HelidonEclipse MicroProfile 과 Microservice Java framework – Helidon
Eclipse MicroProfile 과 Microservice Java framework – HelidonOracle Korea
 
times ten in-memory database for extreme performance
times ten in-memory database for extreme performancetimes ten in-memory database for extreme performance
times ten in-memory database for extreme performanceOracle Korea
 
[Main Session] 카프카, 데이터 플랫폼의 최강자
[Main Session] 카프카, 데이터 플랫폼의 최강자[Main Session] 카프카, 데이터 플랫폼의 최강자
[Main Session] 카프카, 데이터 플랫폼의 최강자Oracle Korea
 
[Demo session] 관리형 Kafka 서비스 - Oracle Event Hub Service
[Demo session] 관리형 Kafka 서비스 - Oracle Event Hub Service[Demo session] 관리형 Kafka 서비스 - Oracle Event Hub Service
[Demo session] 관리형 Kafka 서비스 - Oracle Event Hub ServiceOracle Korea
 
[Hands-on] CQRS(Command Query Responsibility Segregation) 와 Event Sourcing 패턴 실습
[Hands-on] CQRS(Command Query Responsibility Segregation) 와 Event Sourcing 패턴 실습[Hands-on] CQRS(Command Query Responsibility Segregation) 와 Event Sourcing 패턴 실습
[Hands-on] CQRS(Command Query Responsibility Segregation) 와 Event Sourcing 패턴 실습Oracle Korea
 
[Main Session] 보안을 고려한 애플리케이션 개발 공정 및 실무적 수행 방법 소개
[Main Session] 보안을 고려한 애플리케이션 개발 공정 및 실무적 수행 방법 소개 [Main Session] 보안을 고려한 애플리케이션 개발 공정 및 실무적 수행 방법 소개
[Main Session] 보안을 고려한 애플리케이션 개발 공정 및 실무적 수행 방법 소개 Oracle Korea
 
[Main Session] 미래의 Java 미리보기 - 앰버와 발할라 프로젝트를 중심으로
[Main Session] 미래의 Java 미리보기 - 앰버와 발할라 프로젝트를 중심으로[Main Session] 미래의 Java 미리보기 - 앰버와 발할라 프로젝트를 중심으로
[Main Session] 미래의 Java 미리보기 - 앰버와 발할라 프로젝트를 중심으로Oracle Korea
 

More from Oracle Korea (20)

Oracle Blockchain Platform_Wonjo Yoo
Oracle Blockchain Platform_Wonjo YooOracle Blockchain Platform_Wonjo Yoo
Oracle Blockchain Platform_Wonjo Yoo
 
Oracle cloud data interface
Oracle cloud data interfaceOracle cloud data interface
Oracle cloud data interface
 
Spring boot microservice metrics monitoring
Spring boot   microservice metrics monitoringSpring boot   microservice metrics monitoring
Spring boot microservice metrics monitoring
 
Opentracing jaeger
Opentracing jaegerOpentracing jaeger
Opentracing jaeger
 
Which Questions We Should Have
Which Questions We Should HaveWhich Questions We Should Have
Which Questions We Should Have
 
Oracle NoSQL
Oracle NoSQLOracle NoSQL
Oracle NoSQL
 
Enterprise Postgres
Enterprise PostgresEnterprise Postgres
Enterprise Postgres
 
API Design Principles Essential 
API Design Principles Essential API Design Principles Essential 
API Design Principles Essential 
 
SpringBoot and Spring Cloud Service for MSA
SpringBoot and Spring Cloud Service for MSASpringBoot and Spring Cloud Service for MSA
SpringBoot and Spring Cloud Service for MSA
 
CI/CD 기반의 Microservice 개발
 CI/CD 기반의 Microservice 개발 CI/CD 기반의 Microservice 개발
CI/CD 기반의 Microservice 개발
 
kubernetes from beginner to advanced
kubernetes  from beginner to advancedkubernetes  from beginner to advanced
kubernetes from beginner to advanced
 
OpenJDK & Graalvm
OpenJDK & GraalvmOpenJDK & Graalvm
OpenJDK & Graalvm
 
Cloud Native 자바 플랫폼: Graalvm Overview
Cloud Native 자바 플랫폼: Graalvm OverviewCloud Native 자바 플랫폼: Graalvm Overview
Cloud Native 자바 플랫폼: Graalvm Overview
 
Eclipse MicroProfile 과 Microservice Java framework – Helidon
Eclipse MicroProfile 과 Microservice Java framework – HelidonEclipse MicroProfile 과 Microservice Java framework – Helidon
Eclipse MicroProfile 과 Microservice Java framework – Helidon
 
times ten in-memory database for extreme performance
times ten in-memory database for extreme performancetimes ten in-memory database for extreme performance
times ten in-memory database for extreme performance
 
[Main Session] 카프카, 데이터 플랫폼의 최강자
[Main Session] 카프카, 데이터 플랫폼의 최강자[Main Session] 카프카, 데이터 플랫폼의 최강자
[Main Session] 카프카, 데이터 플랫폼의 최강자
 
[Demo session] 관리형 Kafka 서비스 - Oracle Event Hub Service
[Demo session] 관리형 Kafka 서비스 - Oracle Event Hub Service[Demo session] 관리형 Kafka 서비스 - Oracle Event Hub Service
[Demo session] 관리형 Kafka 서비스 - Oracle Event Hub Service
 
[Hands-on] CQRS(Command Query Responsibility Segregation) 와 Event Sourcing 패턴 실습
[Hands-on] CQRS(Command Query Responsibility Segregation) 와 Event Sourcing 패턴 실습[Hands-on] CQRS(Command Query Responsibility Segregation) 와 Event Sourcing 패턴 실습
[Hands-on] CQRS(Command Query Responsibility Segregation) 와 Event Sourcing 패턴 실습
 
[Main Session] 보안을 고려한 애플리케이션 개발 공정 및 실무적 수행 방법 소개
[Main Session] 보안을 고려한 애플리케이션 개발 공정 및 실무적 수행 방법 소개 [Main Session] 보안을 고려한 애플리케이션 개발 공정 및 실무적 수행 방법 소개
[Main Session] 보안을 고려한 애플리케이션 개발 공정 및 실무적 수행 방법 소개
 
[Main Session] 미래의 Java 미리보기 - 앰버와 발할라 프로젝트를 중심으로
[Main Session] 미래의 Java 미리보기 - 앰버와 발할라 프로젝트를 중심으로[Main Session] 미래의 Java 미리보기 - 앰버와 발할라 프로젝트를 중심으로
[Main Session] 미래의 Java 미리보기 - 앰버와 발할라 프로젝트를 중심으로
 

On premise db & cloud database

  • 1. Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 1 On-premise DB와 Cloud Database 통합 신용환 Cloud Excellence, Cloud Platform SE Group Oracle Korea
  • 2. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. 2
  • 3. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Program Agenda 1 2 3 Concept & Trend ETL & CDC Data Management using Oracle Cloud 3
  • 4. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Concept & Trend 4
  • 5. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Integration의 배경 5 APPLICATION Integration DATA Integration MES SCMERP/CRM DW APPLICATION Integration DATA Integration Big Data BI / Dashboard DATA Integration
  • 6. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Hype Cycle for Data Management, 2018, Gartner 6
  • 7. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Data Management – Topics (Wikipedia) 7 Data Store Movement Data Governance Metadata Mgmt.Data Quality
  • 8. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Modern Data Management Trend 8 Data Management DevOps MSA IoT DBMS Data Lake Edge-Fog Data Flow Speed DataOps Containerized Database Data Catalog Data Preparation Transaction Management (Data)Service Granularity Polyglot Autonomous Data Service
  • 9. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. ETL & CDC 9
  • 10. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Extract Transform Load (Wikipedia) 10
  • 11. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. ETL 아키텍처 11 Extract Transform Load ETL ServerDate Source Target System Function Scheduling Monitoring Repository DBMS File Apps Cloud DBMS File Apps Cloud ODBC JDBC HTTP(s) FTP(s) Socket ODBC JDBC HTTP(s) FTP(s) Socket
  • 12. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Extract Transform Load 변천사 12 SQL 기반 In-House - File - Timestamp ETL Tools - Lots of Tools ETL ETL Enhancement - Parallel - Pushdown (ELT) - RealTime (CDC) ETL SQL Multi-Platform - Bigdata - Cloud ETL SQL Streaming - Pipeline ETL/CDC 자동화, 관리 – 성능 – IT 환경 변화 – 실시간 분석
  • 13. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. ETL 관점의 아키텍처 패턴 13 전통적 ETL (ETL Only) Application 연동 Real-Time Micro Batch (with CDC) Streaming (with Bigdata) Filter Transform Extract Load Extract ETL Flow SOA SOA WebService REST CDC CDCCDCPK ETL FlowLoad ODS CDC Streaming Stream Process Speed Layer Batch Layer Serving Layer Flume
  • 14. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Change Data Capture 14 2012.09 - https://cafe.naver.com/sdk800402/160548 2009.08 – 기술사 카페 https://cafe.naver.com/81th/2875 2009.12 - https://cafe.naver.com/iloveuljin/346 In databases, change data capture (CDC) is a set of software design patterns used to determine (and track) the data that has changed so that action can be taken using the changed data. CDC is also an approach to data integration that is based on the identification, capture and delivery of the changes made to enterprise data sources. CDC solutions occur most often in data-warehouse environments since capturing and preserving the state of data across time is one of the core functions of a data warehouse, but CDC can be utilized in any database or data repository system. - Wikipedia 데이터베이스에서 변경 데이터 캡처 (CDC)는 변경된 데이터를 사용하여 작업을 수행 할 수 있도록 변경된 데이터를 결정 (및 추적)하는 데 사용되는 일련의 소프트웨어 디자인 패턴입니다. CDC는 또한 엔터프라이즈 데이터 소스에 대한 변경 사항의 식별, 캡처 및 전달을 기반으로하는 데이터 통합 방식입니다. CDC 솔루션은 데이터웨어 하우스 환경에서 가장 자주 발생합니다. 시간 경과에 따른 데이터 상태를 캡처 및 보존하는 것이 데이터웨어 하우스의 핵심 기능 중 하나이기 때문에 모든 데이터베이스 또는 데이터 저장소 시스템에서 CDC를 활용할 수 있습니다. (by google 번역) - Wikipedia
  • 15. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. CDC 아키텍처 15 Instance Database (Source) DBMS Extract Send TCP/IP Receive Instance DatabaseApply SQL Parsing 1990’s – Database HA/DR 2000’s – OLTP Replication 2010 – Data Warehouse Appliances 2015 – Data Lake (Target) DBMS
  • 16. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Change Data Capture 변천사 16 Message Queue - EAI Apps Database - Trigger - Log Minor Apps T1 T2 Log Minor Log Parsing Apps CDC Parser Multi Source/Target - Bigdata - Cloud Apps CDC Parser 데이터연동 – DB 기능 활용 – 솔루션 활용 – IT환경변화 – 실시간 분석 Apps CDC Parser Streaming - Pipeline
  • 17. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. CDC 적용 패턴 17 Uni-Directional Bi-Directional Peer-to-Peer Broadcast Consolidation Data Distribution OEP BAM BPM
  • 18. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Data Management using Oracle Cloud 18
  • 19. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Oracle Cloud DIS Solutions 19 GoldenGate Data Integrator Data Quality Metadata Management On-Premise Solutions OGG-CS ODI-CS 1세대 DIS Cloud Data Quality Metadata Management Metadata Management 2세대 DIS Cloud Data Integration Platform Cloud 3세대 DIS Cloud CDC (?) ETL (?) DQ (?) MM (?)
  • 20. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 20 Oracle Data Integration Platform Common Framework for Data Integration Use Cases Database Migrations Database Replication Data Warehouse Automation Data Lake Automation Data Governance Oracle Cloud Non-Oracle Data Centers Application Data Polyglot Data SQL & NoSQL Data
  • 21. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 21 Oracle Data Integration Platform Cloud Oracle Data Integration Platform Cloud Standard (ETL) Core Use Cases: • 손쉬운 DW/DM 구축 • 자동화된 운영 • 손쉬운 데이터 마이그레이션 Core Capabilities: • 단순한 사용 환경 • 대용량 데이터 처리 • 변환 • Push-down 데이터 처리 • 기본 데이터 프로파일링 Oracle Data Integration Platform Cloud Enterprise (ETL+CDC) Core Use Cases: Standard Edition plus: • Big Data 연계 • 데이터 동기화 • 무중단 마이그레이션 • Active DR 구축 • 실시간 DW Core Capabilities: Standard Edition plus: • Streaming, Big Data ETL • 실시간 데이터 연계 Oracle Data Integration Platform Cloud Governance (ETL+CDC+DQ) Core Use Cases: Enterprise Edition plus: • 데이터 품질 관리 • 데이터 정제 • 데이터 계보 Core Capabilities: Enterprise Edition plus: • 데이터 프로파일링 & 검증 • Match & Merge • 용어사전 & 계보
  • 22. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 22 DIPC Architecture Oracle Cloud Infrastructure (OCI) DIPC Host ODI EDQ DIPC Console DIPC Cloud Agent Oracle DB DIPC Remote Agent OGG ODI • DIPC Components • DIPC Console (web app) • DIPC Agent (local Agent running in DIPC instance) • DIPC Remote Agent for remote data access • DIPC metadata stored in DB included on DIPC host along with Oracle Data Integrator (ODI) and Enterprise Data Quality (EDQ) repositoriesOn-Premise
  • 23. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 23 DIPC Architecture – Standard (ODI) Customer Site or IaaS Oracle Cloud Infrastructure • 클라우드 상의 웹로직에 ODI EE Agent 제공 • 사용자를 위해 프로비저닝 단계에서 구성하여 제공 • 사용되는 레파지토리는 DIPC 호스트에 포함된 Oracle DB 사용 • DIPC 호스트에는 ODI Studio는 제공하지 않음 • ODI 업무는 고객사 환경에서 개발 • 개발된 업무를 DIPC 호스트에 배포후 운영 • Cloud Agent나 Remote Agent 에서 실행 DIPC Host WLS ODI Agent Browser Access Master Repo Work Repo DIPC Console Customer Site or IaaS ODI Studio Master Repo Work Repo DIPC Remote Agent ODI
  • 24. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 24 DIPC Architecture – Enterprise (+OGG) • DIPC 호스트는 OGG가 설치되어 있지 않음 • DIPC Remote Agent에서 모든 실시간 복제 환경 구성 • On-Premise 연동시 데이터는 클라우드를 거치지 않음 • DIPC Remote Agent 는 다음을 포함 (선택) • OGG for Oracle 11g • OGG for Oracle 12c • OGG for Big Data Oracle Cloud Infrastructure DIPC Host Customer Site or IaaS Browser Access DIPC Console DIPC Remote Agent OGG
  • 25. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 25 DIPC Architecture – Governance (+OEDQ) Oracle Cloud Infrastructure • EDQ 전체 설치 • 사용자를 위해 프로비저닝 단계에서 구성하여 제공 • 웹로직 서버에 EDQ 구성됨 • 사용되는 레파지토리는 DIPC 호스트에 포함된 Oracle DB 사용 • EDQ 디렉터(개발툴) 은 browser를 통해 원격 접근 EDQ Director WLS EDQ Customer Site Browser Access Config Repo Results Repo DIPC Host
  • 26. Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 26 Solution Use case 1: Database Migrations (Cloud & On Premise) Key Benefits – Online/Offline Migrations 3rd Party Cloud Support Database Migrations • 이전 데이터베이스 또는 불완전하게 최적화 된 클라우드 서비스에서 원활하게 데이터를 마이그레이션 할 수 있습니다. • Cloud에서 최신 Oracle DB 버전을 활용하십시오. • 단계적 / 온라인 마이그레이션 데이터 손실없음 • 프로비저닝에 대한 강력한 자동화 적용 • 신뢰할 수 있고 검증 된 핵심 GoldenGate 기술. • Amazon RDS 인스턴스를 Oracle로 마이그레이션 • 온 프레미스에서 타사 클라우드로의 데이터 전달 ※ OP-OP 데이터 복제시 데이터는 외부(Cloud)로 전송안됨 (소스 → 타켓) DB를 더 새롭고 저렴한 시스템으로 마이그레이션 해야합니다 On Premise RDS Oracle DBaaS On Premise 11g 12c
  • 27. Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 27 Solution Use case 2: Database Warehouse Integration (OAC, ADWC) Key Capabilities: Comprehensive Solution 3rd Party Cloud Support Data Warehouse Integration • 클라우드의 운영 또는 고급 분석에는 데이터의 신뢰가 보장 되어야 합니다. • 온 프레미스 데이터 원본 또는 다른 클라우드 원본에서 오는 데이터로 작업하십시오. • 실시간으로 데이터 복제: DW / Marts에 대한 복제 및 스트리밍 처리 지원 기능이 내장 됩니다. • 데이터 변환 및 정리: 혁신적인 접근 방식으로 워크로드를 다른 PaaS 리소스에서 실행할 수 있습니다. • Amazon RDS 데이터베이스 및 Redshift 지원 • Kinesis 및 EMR을 통한 대용량 데이터 지원 DW on Exadata Cloud Service UNSTRUCTUREDSTRUCTURED BI & Data Visualization RDS & REDSHIFT 분석환경 구축을 도와주세요
  • 28. Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 28 Solution Use case 3: Dev & Test Systems Key Benefits: Automate Data Movement Oracle Database as a Service Database Dev-Test Environments • 최소한의 인프라 또는 프로세스 오버 헤드로 지속적으로 개발 및 테스트 환경을 동기화 해야 합니다. • 수동 동기화가 아닌 자동화 활용. • 낮은 오버 헤드로 인해 수동 및 복합 스크립팅 감소 • 반복 가능한 접근 방식으로 DBA 프로세스 표준화 • 간단한 프레임 워크는 다양한 DB에서 사용할 수 있습니다. • 온 프레미스에서 실행중인 항목과 상관없이 지원되는 모든 Oracle 버전 • 믹스 앤 매치 버전 또는 패치 레벨 On Premise Oracle DBaaS 12.1 & 12.2 10g & 11g 내 DBA 작업을보다 쉽고 생산적으로 만들고 싶어요.
  • 29. Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 29 Solution Use case 4: High Availability for DBaaS in the Cloud Key Benefits for DBaaS Powerful Cloud Solution Regional High Availability • 중요한 업무용 데이터베이스를 사용할 여유가 없을 때 다운 타임이 발생합니다. • 지역 데이터 센터에서 재난 복구가 필요한 경우 특히 필요합니다. • 클라우드의 Active Data Guard를 사용하여 대기 데이터베이스를 항상 가동 할 수 있습니다. • Active-Active를 사용하면 모든 데이터베이스에서 읽기 / 쓰기 트랜잭션을 수행 할 수 있습니다. • 강력한 서비스 프로비저닝 및 청구 자동화. • Oracle 또는 Amazon Cloud는 지역 데이터 센터의 모든 클라우드에서 활성 - 활성 Oracle Database를 운영합니다. Oracle DBaaS Datacenter Region 1 Active / Active Oracle DBaaS or Amazon RDS Datacenter Region 2 On Premise 우리 기업 어플리케이션은 중단이 없어야 합니다!
  • 30. Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 30 Solution Use case 5: Make Amazon AWS Enterprise Grade Heterogeneous and Complete Solution Bring Enterprise-strength to AWS • Kinesis, EMR, Redshift 및 RDS를위한 고급 데이터 통합 및 가용성 기능 • 초당 수천 건의 DB 트랜잭션의 입증 된 데이터 전송률 • 보안 컨트롤은 Amazon의 보안 데이터 센터에서 올바르게 작동 • 유연한 솔루션은 AWS 서비스 내에서 DB 또는 빅 데이터를 활용 • 가장 신뢰할 수있는 데이터 복제 엔진 • 전세계 시장에서 가장 인기있는 ETL / ELT 툴 • 대용량 데이터에 대해 가장 빠르게 증가하는 데이터 통합 • Oracle Data Integration은 서로 다른 데이터 플랫폼 및 서로 다른 클라우드 플랫폼에서 작동하는 이기종 기능입니다. Oracle Database Active-Active Realtime Big Data GoldenGate Datacenter A Datacenter B GoldenGate Data Integrator
  • 31. Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 아키텍처 예시 #1 - DIPC with ADW 31 Secure Storag e Extract Capture Delivery DIPC Remote Agent Remote capture PUMP Socks 5 Proxy Tunnel/VPN ODS DBCS Oracle Public Cloud Intranet zone DB DMZ On-Premise DIPC Agent Autonomous DW DIPC ODI ELT Transform OLTP to Dimensional Star OCI HTTPS DIPC Host ODI EDQ DIPC Console DIPC Cloud Agent Oracle DB Business Intelligence OAC Real time data sync ODI Studio VNC
  • 32. Copyright © 2018,Oracle and/orits affiliates. All rights reserved. 아키텍처 예시 #2 - DIPC for On-Premise File 32 Secure Storage OCI Compute Oracle Public Cloud On-Premise DB File Server On-Premise DIPC ODI Agent Autonomous DW (s)FTP DIPC Host DIPC Console DIPC Cloud Agent ODI Studio VNC ODI ELT ODI Repository
  • 33. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 33