Elasticsearch 를 통한 Full-text 및 로그 분석으로 데이터에 대한 인사이트 키우기 - 안효빈 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Elasticsearch 를 활용한 Full-Text 및 로그 분석으로
데이터에 대한 인사이트 키우기
Hyobin An
Solutions Architect, AWS

다양한 Machine-Generated 데이터의 폭증
IT시스템과 DevOps :
데이터 베이스, 서버,
스토리지, 네트워크
IoT와 모바일 디바이스 :
게임, 센서, 웹 컨텐츠
클라우드 기반의 기술의
운용
비지니스 데이터와 비교해 Machine-Generated 데이터가 10배 빠르게 증가하고 있음…
로그, 로그, 끊임 없이 쏟아지는 로그

요구사항의 끊임 없는 변화
데이터의 종류와 용량이 급속도로 증가 추세
다양한 데이터를 여러 사용자가 안전한 방법으로 접근 하기를
원함
데이터에 대한 보안과 처리 비용이 중요한 의사결정 요인이 됨
분석에 대한 요구사항이 배치 처리 뿐만 아니라 실시간 처리와
예측 분석으로 바뀌고 있음
기존의 데이터 뿐만 새로운 유형의 데이터를 통해 더 나은
인사이트를 얻고 싶음

AWS 의 데이터 관련 서비스
AWS Marketplace
Redshift
Data warehousing
EMR
Hadoop + Spark
Athena
Interactive analytics
Kinesis Analytics
Real-time
Elasticsearch service
Operational Analytics
RDS
MySQL, PostgreSQL, MariaDB,
Oracle, SQL Server
Aurora
MySQL, PostgreSQL
QuickSight SageMaker
DynamoDB
Key value, Document
ElastiCache
Redis, Memcached
Neptune
Graph
Timestream
Time Series
QLDB
Ledger Database
S3/Glacier
Glue
ETL & Data Catalog
Lake Formation
Data Lakes
Database Migration Service | Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams | Data Pipeline | Direct Connect
Data Movement
AnalyticsDatabases
Business Intelligence & Machine Learning
Data Lake
Managed
Blockchain
Blockchain
Templates
Blockchain
Comprehend Rekognition Lex Transcribe DeepLens 250+ solutions
730+ Database
solutions
600+ Analytics
solutions
25+ Blockchain
solutions
20+ Data lake
solutions
30+ solutions
RDS on VMWare

운영 데이터 분석
애플리케이션의 성능을 향상 시키고 인프라 성능과 운영 이슈의 빠른 해결을 위한
데이터의 수집, 식별, 분석
보안 로그 및 이벤트 수집 관리
(SIEM)
보안 전문가가 조직 전체의 이벤트를
중앙에서 분석 가능
애플리케이션 모니터링
개발자가 다수의 애플리케이션 환경의
모든 데이터에 대한 가시성을 가질 수
있도록, 모든 유형의 활동을
실시간으로 모니터링
Root-cause
분석
신속하게 문제를 확인하고
해결함으로써 MTTI/MTTR을 줄여줌
Internet of Things (IoT)
개발자 및 실무자가 작업을 모니터링 하고
다양한 디바이스에서 실시간으로
인사이트를 얻을 수 있음
클릭스트림 분석
사용자에게 웹 컨텐츠 및 e-commerce
플랫폼의 성능에 대한 실시간 뷰 제공

운영 데이터 분석을 위한 요구사항

로그 데이터 활용의 어려움
• 수 테라 바이트에 이르는 대용량의 데이터
• 숫자와 문자가 포함된 반정규화 포맷
• 지속적으로 바뀌는 다이나믹한 스키마

실제 로그 분석을 하려면
전통적인 접근 = 많은 시간, 부정확성, 관리 자체의 어려움

애플리케이션 모니터링 사례
Problem
너무나 많은 로그들을 어떻게 비용 효율적으로 모니터링 할
것인가?
• 대규모 인프라를 운영할 인력과 기술이 부족
• 데이터 증가를 감안한 시스템 확장
Solution
Amazon Elasticsearch로 애플리케이션, CloudTrail 등의 로그를
스트리밍
Kibana 대시 보드와 Elasticsearch query를 활용한 로그 관리
시스템 구축
Benefits
Quick insights: 실시간으로 식별 가능한 트러블슈팅 이슈
Secure: AWS IAM 과 통합 환경
Scalable: 증가하는 로그 데이터에 맞게 쉽게 확장 가능한
클러스터 사이즈
Key AWS services:

비즈니스와 클릭스트림 분석 사례
Problem
우리의 독자들이 관심 갖는 스토리는? 가장 Hot 한 스토리는?
• 고객의 클릭스트림을 분석할 솔루션이 필요
• 실시간 분석 결과를 알려줄 솔루션이 필요
• 분석 인프라 플랫폼을 운영할 인력이 부족
Solution
Elasticsearch Service를 활용한 스트리밍 데이터 분석
에디터와 저널리스트를 위한 자체 구축 대시보드 - Lantern
Lantern - 에디터와 저널리스트를 위한 독자 행동 분석 시스템
매일 편집 회의의 시작을 Lantern을 보며 주요 편집 관련
의사결정을 진행
Benefits
Stable : Lantern 시스템은 에디터와 저널리스트가 하루 종일
사용하므로 안정적으로 AWS에서 운영합니다.
Cost Optimize : 최소한의 노력으로 필요에 맞게 클러스터의
규모를 쉽게 조정할 수 있습니다.
Key AWS services:

Amazon Elasticsearch Service
완전 관리형, 확장 가능하고 안전한 Elasticsearch Service
• 완전 관리형 서비스
• 쉽게 설치, 운영, 관리, 확장이 가능
• Elasticsearch와 Kibana 가 함께 사용
가능

로그 분석을 위한 최상의 솔루션

Elasticsearch - 인기 있는 오픈 소스 DB 엔진
오픈 소스
빠른 가치 창출
손쉬운 데이터 수집
손쉬운 시각화
높은 성능과 분산 처리
분석과 검색에 최적화
장점

어떻게 동작하는가?
Application DataServer, application,
network, AWS, and
other logs
Amazon Elasticsearch Service Domain
with index(es)
1. 데이터를 REST API를 통해 JSON 형태로
Elasticsearch로 보냄
2. 모든 필드를 검색 가능하도록 인덱싱
3. 매칭되는 필드와 부울(Boolean) 수식을
쿼리, 정렬, 분석
Application users, analysts, DevOps,
security

Amazon Elasticsearch Service 의 장점
Open-Source API와 툴 지원
새로운 API 나 기술 등의
습득이 필요 없음
사용하기 쉬운
수분 내에 실제 Production
레벨로 사용 가능한
Elasticsearch 클러스터 배포
확장 가능한
몇번의 클릭이나 한번의 API
호출로 쉽게 클러스터
사이즈를 조정
안전한
VPC 내에 배포 가능하고,
IAM과 보안 그룹을 통한
세세한 접근 제어 가능
높은 가용성
다수의 AZ 간 복제 구성을
통해 가용성 보장, 모니터링과
자동 복구
AWS Services와 긴밀한 통합
다른 데이터 소스에서 데이터
수집, 보안, 감사 등의 손쉬운
오케스트레이션

Amazon Elasticsearch Service 의 주요 고객
Software & Internet Financial ServicesEducation Technology BioTech and Pharma
Media and Entertainment Social Media Telecommunications Travel & Transportation
Real Estate Logistics & Operations Publishing Other

주요 데이터 수집 방법
Amazon Kinesis
Firehose
Amazon
CloudWatch Logs
Logstash
AWS IoT
Elasticsearch
data nodes
Kibana
Data Producers Buffer Transform Deliver Amazon Elasticsearch Service
Elasticsearch
master nodes
Analytics UI

Amazon Kinesis Data Firehose 를 통한 데이터 수집
Source records
Data source with
Kinesis agent
Source records
Transformed
records
Delivery failure
Data transformation using
AWS Lambda
Transformation failure
• 퍼블릭 도메인 접근
• 손쉬운 데이터 변환
• Serverless 환경에 내장된 배치,
index rollover, 에러 관리

S3 기반의 Data Lake 에서의 Elasticsearch
• S3에 파일이 저장되는 이벤트를 통한 Lambda 함수 트리거
• Lambda 를 통한 데이터 변환과 전달
• 단 하나의 저장소로서 S3에 원본을 저장
• 쉽게 설치 및 확장 가능한 Elasticsearch 활용
Files
S3 events

도큐먼트 별로 다수의
필드 형태를 포함
Key Idea

Elasticsearch 는
이름과 값이 포함된
JSON 을 사용
{
"id" : "tt0371746",
"title" : "Iron Man",
"release_date" : "2008-04-14T00:00:00Z",
"actors" : [
"Robert Downey Jr.",
"Gwyneth Paltrow",
"Terrence Howard"
],
"directors" : [
"Jon Favreau"
],
"rating" : 7.9,
"rank" : 171,
"running_time_secs" : 7560,
"genres" : [
"Action",
"Adventure",
"Sci-Fi"
],
"plot" : "When wealthy industrialist Tony Stark
is forced to build an armored suit after a life-
threatening incident, he ultimately decides to
use its technology to fight against evil.",
}

각각의 필드에 대한 인덱스 생성
Doc
Fields Analysis
Field indices
Term 1
Term 2
Term 3
Term 4
Term 5
Term 6
Term 7
Name Value
Name Value
Name Value
Name Value
Name Value
Name Value
1,
4,
8,
12,
30,
42,
58,
100
...
Posting lists

Search API 를 통한 검색
• 애플리케이션 등에서 검색을 원하는 목표 지정 – e.g., 보고 싶은 영화 찾기
• 목표를 Elasticsearch query 로 변환
• Elasticsearch 는 관련 결과 반환
ID
Field: value
Field: value
Field: value
Field: value
ID
Field: value
Field: value
Field: value
Field: value
ID
Field: value
Field: value
Field: value
Field: value

쿼리를 통한 정보 검색
Search engine
Documents
Analysis
Index
Indexing
Query
Proc.
Queries

데이터를 검색(쿼리)하는 다른 방법
Query string queries
(URI/Kibana)
Query DSL
• 도큐먼트의 단어와 문자열
사이의 매칭 지원
• Lucene query 구문: AND, OR,
NOT, +/-/*, etc.
• Kibana 에서의 검색에 가장
유용함
• Query 는 JSON 내에 존재
• GET 요청의 본문으로 사용
• multi-clause 매칭,
aggregation, pagination,
return value 등을 지원

Query DSL 의 구조
{
"query": { ... },
"aggs" : { ... },
"size": 10,
"from": 0,
"sort": { ... },
"_source": [...],
"highlight": { ... },
"explain": true,
...
}
• query – all of the query clauses
• aggs – Aggregations
• size and from – pagination
• sort – field-based sorting
• _source – control return fields
• highlight – fields to highlight
• explain – show scoring info

Query DSL 대상 데이터
GET endpoint/index/_search
{
"query": {
"simple_query_string": {
"query": "Iron Man",
"fields": ["title"]
}
}
}

검색 결과
• JSON 형태의 결과 - 일부
혹은 전체 필드
• 개요
• 조회 수

Text 분석
Input Text Analyzers
Searchable
Index
Built-in Custom

한국어 분석을 위한 ‘은전한닢’ 플러그인
https://aws.amazon.com/ko/blogs/database/amazon-elasticsearch-service-now-supports-the-seunjeon-plugin-for-improved-korean-language-analysis/

Text 분석 - Tokenization
GET _analyze
{
"tokenizer" : "whitespace",
"text" : "When wealthy
industrialist Tony Stark is
forced to build an armored
suit after a life-
threatening incident, he
ultimately decides to use
its technology to fight
against evil."
}
"tokens": [
{
"token": "When",
"start_offset": 0,
"end_offset": 4,
"type": "word",
"position": 0
},
{
"token": "wealthy",
"start_offset": 5,
"end_offset": 12,
"type": "word",
"position": 1
}

Text 분석 - Downcasing
GET _analyze
{
"filter" : ["lowercase"],
"text" : "When wealthy
industrialist Tony Stark is
forced to build an armored
suit after a life-
ultimately decides to use
its technology to fight
against evil."
}
when wealthy industrialist tony
stark is forced to build an
armored suit after a life-
ultimately decides to use its
technology to fight against
evil.

Text 분석 - Stop word removal
GET _analyze
{
"filter" : ["lowercase",
{ "type": "stop",
"stopwords": ["a", "an", "is", "to"]}],
"text" : "When wealthy industrialist Tony
Stark is forced to build an armored suit
after a life-threatening incident, he
ultimately decides to use its technology to
fight against evil."
}
when wealthy
industrialist tony stark
is forced to build an
armored suit after a
life-threatening
incident, he ultimately
decides to use its
technology to fight
against evil.

Text 분석 - Stemming
GET _analyze
{
"filter" : ["lowercase",
{ "type": "stop",
"stopwords": ["a", "an", "is", "to"]},
{"type": "stemmer", "name": "lovins"}],
"text" : "When wealthy industrialist Tony
Stark is forced to build an armored suit
after a life-threatening incident, he
ultimately decides to use its technology
to fight against evil."
}
when wealth industr ton
stark forc build armor
suit after lif threat
incid, he ultim dec us it
technolog fight against
evil

Text 쿼리
Plot
Big budget remake of the classic cartoon about a
creature intent on stealing Christmas
A scientist in a surrealist society kidnaps children
to steal their dreams, hoping that they slow his
aging process
The Hughes cottage vacation is violently
interrupted by a family on a murderous and
identity stealing journey, in search of the
"perfect" life
Comic caper movie about a plan to steal a gold
shipment from the streets of Turin by creating a
traffic jam

쿼리 결과 스코어링: Okapi BM25
• “tf-idf” 바탕
• Term Frequency – 특정 단어의 도큐먼트 내의 등장 빈도
• Inverse Document Frequency – (1 / 단어 자체의 도큐먼트군
내의 등장 빈도)
• 추가적으로 가능한 옵션:
• 필드 값 기반 순위
• 도큐먼트 정보가 포함된 rank 함수
𝑆𝑐𝑜𝑟𝑒&'( = *(𝑡𝑒𝑟𝑚 𝑠𝑐𝑜𝑟𝑒 ∗ 𝑡𝑒𝑟𝑚 𝑐𝑜𝑢𝑛𝑡)

‘love’ 에 대한 쿼리 결과
“title” _score
Love 5.718655
Love Sick Love 4.5949717
Punch-Drunk Love 4.5949717
Stuck in Love 4.5949717
The Lovely Bones 4.5949717
Shakespeare in Love 4.5949717
To Rome with Love 4.5949717
The Look of Love 4.5949717
Love and Honor 4.5949717
The Loved Ones 4.5949717

결과 스코어링

조정된 스코어
Title _score Date Rating Orig _score
Punch-Drunk Love 47.676254 20030907 7.7 4.5949717
Shakespeare in Love 44.878765 19981203 7.2 4.5949717
Stuck in Love 44.278923 20120909 7 4.5949717
Love 42.763493 20110202 5.5 5.718655
Love & Basketball 42.64078 20000126 6.8 4.5949717
Love Story 42.08128 19701216 6.7 4.5949717
The Lovely Bones 41.54153 20091124 6.6 4.5949717
The Loved Ones 41.536766 20090913 6.6 4.5949717

Demo Architecture
A
Backup
sentiment
entities
raw

Amazon Elasticsearch Service 를 활용하면
• 인프라를 모니터링, 애플리케이션 로그 등에서 필요한 정보를 쉽
게 검색
• 사용 편의성, 확장성, 보안, 고가용성을 제공하고, 또한 기존
Open-Source 와도 호환
• 다른 AWS 서비스와의 긴밀한 통합을 통해 데이터를 수집하고
분석

감사합니다!

Elasticsearch 를 통한 Full-text 및 로그 분석으로 데이터에 대한 인사이트 키우기 - 안효빈 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

Recommended

Recommended

More Related Content

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

Recently uploaded

Recently uploaded (6)

Elasticsearch 를 통한 Full-text 및 로그 분석으로 데이터에 대한 인사이트 키우기 - 안효빈 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019