스타트업에서 데이터 분석 시작하기 – 박진우, AWS 솔루션즈 아키텍트:: AWS Builders Online Series

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Builders Online Series
스타트업에서 데이터 분석 시작하기
박진우
AWS 솔루션즈 아키텍트

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
개요
• 스타트업에서 데이터분석의 필요성
• 실제로 데이터분석 시작 시 부딪히는 어려움
• 어떻게 관리를 줄일 수 있을까? (제약 사항과 해결 방안)
• 서버리스 분석 서비스들
• 분석용 데이터를 어떻게 저장하면 좋을까?
• 초기에는 어떻게 분석을 하면 좋을까? (아키텍처)

스타트업은 빠른 혁신이 필요합니다.

데이터로 판단 가능한 것?
비즈니스 의사 결정

신규 사업 분석

보안 분석 – Elasticsearch Kibana로 WAF로그 분석 사례

서비스 분석 - Pageview, Visit, 전환율, 광고 효과

서비스 품질 개선

시작하면 생기는 마음의 벽
스타트업에서 분석이 어려운 이유
제약사항

시작하면 생기는 마음의 벽
스타트업에서 분석이 어려운 구체적인 이유 (고객의 피드백)

이런 제약사항을 극복해야함.
빠르고 민첩하게 혁신을 해야한다면 불필요한 비용,운영을 최소화 해야함.
1. 비용 효율적
AWS의 온 디맨드 인프라를 통해
Startup은 서버에 사전 투자하는 대신
사용하는 리소스에 대해서만 비용을
지불 할 수 있습니다
3. 핵심 비즈니스 가치에 집중
스타트 업은 인프라보다는 비즈니스
성장에 집중할 수 있습니다
2. 더 빠르게 시작
Startup은 단 몇 번의 클릭만으로
새로운 IT 리소스를 사용할 수있어
민첩성이 향상됩니다
4. 낮은 위험에서 더 자주 실험
필요에 따라 서버를 프로비저닝 해제 할 수
있으므로 스타트 업이 자주 실험하고 빠르게
실패 하여 아이디어가 제대로 동작하는지
확인할 수 있습니다.

완전 관리형 분석 서비스를 활용
대부분의 설치, 운영, 성능에 대해 알아서 관리해 주면 좋겠다.
• 데이터 엔지니어, 데이터 사이언티스트가 없다.
• 비용 - 학습, 설치, PoC, 운영 모두가 비용
• 대규모 적용 시 성능 문제
AWS Managed
Services

완전 관리형 서비스 분석 서비스들
직접 서버에 설치해서 운영하지 않아도 되는 완전 관리형 분석 서비스들
Amazon Managed
Streaming for Kafka
AWS Managed
Services
 변경 요청
 모니터링
 패치 관리
 보안
 백업 서비스
Amazon Elasticsearch
Service
Amazon Redshift Amazon EMR

서버리스 분석 서비스를 활용
관리 자동화를 넘어서 SQL이나 분석 스크립트만 돌렸으면 좋겠다.
• 대규모 적용 시 성능 문제
Serverless
Analytics Services

서버리스 서비스 분석 서비스들
분석에만 집중할 수 있는 서버리스 분석 서비스들을 활용
 운영이 없음
 분석에 집중
 자동 확장
 사용한만큼 지불
Serverless
Analytics Services
Amazon Athena AWS Glue
Amazon QuickSight

© 2020, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
빠르게 가성비 최고의 분석 솔루션 구축 가능, 작게 시작
S3
Data lake
AWS Glue
(ETL & Data
Catalog)
Athena
Amazon
QuickSight
서버리스
인프라 구축 X
인프라 운영 X
작업이 없는
시간에는
비용이 0
$
시스템 장애에
대한 걱정 X
사용 워크로드에
맞춰 자동적으로
리소스 확장
Kinesis
Devices Web Sensors Social
WHY Serverless

Amazon Athena
Amazon
Athena

DDL을 사용한 Create External Table

새로운 Flights Parquet Table을 생성하고 바로 Query

Athena Federated query

Athena UDF 기능
• Simple to write, deploy,
and invoke
• Scalar functions
• Powered by AWS Lambda
Athena Query
UDF Lambda Code

Amazon Athena - 비용 최적화
비용 절감을 위해 Compress/Parquet 등 Columnar format 으로 변경/파티셔닝 고려
Dataset Size on Amazon S3 Query Run time Data Scanned Cost
Logs stored as
Text files
1 TB 237 seconds 1.15TB $5.75
Logs stored in
Apache Parquet
format*
130 GB 5.13 seconds 2.69 GB $0.013
Savings
87% less with
Parquet
34x faster
99% less data
scanned
99.7% cheaper
Amazon Athena – 10가지 성능 향상 팁
https://aws.amazon.com/ko/blogs/korea/top-10-performance-tuning-tips-for-amazon-athena/

AWS Glue
AWS Glue

서버리스로 데이터 View관리 및 ETL Job 실행
데이터에 대한 하나의 단일 뷰 – 데이터 카탈로그
데이터의 이동과 변환 작업(ETL), Job 스케줄링
AWS Glue

Glue Workflow Overview
1. 크롤러를 사용하여 데이터 스키마를
분석
2. 식별자를 통하여 테이블 정의를 Glue
데이터 카탈로그에 작성
3. 크롤러가 실제 데이터 저장소에 연결
4. 스키마 추론
5. 소스-대상 간 데이터 변환 및 로딩
작업 생성
6. 작업을 실행하여 데이터 변환/전송
처리
7. 모니터링

AWS Glue 활용 패턴 - 다양한 방식으로 동일 데이터 분석
AMAZON
QUICKSIGHT

AWS Glue ETL - Job 스크립트 작성과 실행
서버리스 데이터 변환작업
Apache Spark 기반
클릭 몇 번으로 생성되는 ETL code
수정 / 추가가 가능한 PySpark과 Scala 코드
반복 일정과 이벤트에 따른 Job 스케줄링
Zeppelin, PyCharm 등 익숙한 환경에서 수정,
디버그, 테스트가 가능하도록 Dev Endpoint 제공
Sample ETL Codes : https://github.com/awslabs/aws-glue-samples

Glue Studio

AWS Glue DataBrew

데이터의 통합적인 관리
데이터가 쉽게 저장되고 안전하며 통합되어 관리되었으면 좋겠다.
• 적절한 서비스 선택과 아키텍처
• 대규모 적용시 성능 문제
• 데이터를 하나로 모으는게 어렵다 Amazon Simple Storage
Service

고객 사례
Amazon RDS
Amazon DynamoDB
Amazon EC2 Amazon Simple Storage
Service
AWS Lambda
Amazon Athena
Amazon QuickSight

이렇게 바꾸시면 좋습니다.
Amazon RDS
Amazon DynamoDB
Amazon EC2
Amazon Simple Storage
Service
Amazon Athena Amazon QuickSight

S3... S3… S3
Service
오브젝트 기반 스토리지
오브젝트 당 5TB 까지 지원
무한 확장 가능
높은 내구성 (99.999999999%)
정적 자산에 최적화
전송 중 / 저장 시 암호화 지원

AWS의 모든 서비스가 S3를 중심으로 결합

S3를 기반으로한 데이터레이크 분석
Extends or evolves DW architectures
Store any data in any format
Durable, available, and exabyte scale
Secure, compliant, auditable
Run any type of analytics from DW to Predictive
Data
Warehousing
Analytics Machine
Learning
Data lake

작은 데이터 부터 시작
프로토 타입용 데이터로 분석을 시작해 봅니다.
Service
Amazon Athena Amazon Simple Storage
Service
Amazon QuickSight

기본적인 아키텍처
Service

변환 – 필터링, 조인 및 집계
Service
Service

변환 – 필터링, 조인 및 집계
Service
AWS Glue Amazon Simple Storage
Service

이후 더 다양한 아키텍처로 발전
S3Amazon Kinesis
Data Firehose
Amazon Elasticsearch
Service
Amazon Redshift
Amazon Athena
Amazon QuickSight
실시간
배치
Amazon ElastiCache
Cache
Mobile
client
Traditional
server
loT sensor

마무리
• 완전 관리형 혹은 서버리스 분석서비스를 적극 활용.
• 서버리스 분석 서비스들 소개 (Athena, Glue, Quicksight)
• S3에 저장해서 데이터를 통합관리
• 작게 시작해서 진화하는 분석 아키텍처

AWS 디지털 교육
aws.amazon.com/training
주요 교육
• AWS Cloud Practitioner Essentials (Second Edition)
AWS 클라우드 기초에 대해 학습하고, 기초 자격증인 AWS Certified Cloud
Practitioner 시험을 준비할 수 있습니다.
• AWS Security Fundamentals
AWS 액세스 제어 및 관리, 거버넌스, 로깅, 그리고 암호화 방법을 포함한
기본적인 클라우드 컴퓨팅 및 AWS 보안 개념에 대해 알아봅니다.
• AWS Database Offerings
데이터베이스 기술 및 아키텍처에 대한 기본 개요를 제공하며,
다양한 AWS 데이터베이스 서비스를 소개합니다.
• Data Analytics Fundamentals
다양한 데이터 분석 프로세스에 대해 학습하며, 데이터 분석 솔루션을
구축하고 개선하는 데 도움이 되는 AWS 서비스 및 솔루션을 소개합니다.
550개 이상의
무료 디지털 교육 및
심층적 강의실 교육을 통해
클라우드 기술 역량을
업그레이드 하세요!

AWS Builders Online Series에
참석해주셔서 대단히 감사합니다.
aws-korea-marketing@amazon.com
twitter.com/AWSKorea
facebook.com/amazonwebservices.ko
youtube.com/user/AWSKorea
slideshare.net/awskorea
twitch.tv/aws
저희가 준비한 내용, 어떻게 보셨나요?
더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다.

Thank you
Builders Online Series

스타트업에서 데이터 분석 시작하기 – 박진우, AWS 솔루션즈 아키텍트:: AWS Builders Online Series

Recommended

Recommended

More Related Content

What's hot

What's hot (7)

Similar to 스타트업에서 데이터 분석 시작하기 – 박진우, AWS 솔루션즈 아키텍트:: AWS Builders Online Series

Similar to 스타트업에서 데이터 분석 시작하기 – 박진우, AWS 솔루션즈 아키텍트:: AWS Builders Online Series (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

Recently uploaded

Recently uploaded (20)

스타트업에서 데이터 분석 시작하기 – 박진우, AWS 솔루션즈 아키텍트:: AWS Builders Online Series