데이터 분석 1 - 소개

DataAnalysis
(Lecture 1 - Introduction)
1
Jaewook Byun
Ph.D. Assistant Professor, Department of Software, Sejong University
Associate Director, Auto-ID Labs, Korea
jwbyun@sejong.ac.kr , bjw0829@gmail.com
https://sites.google.com/view/jack-dfpl/home

목차
• 데이터 엔지니어링 소개
• 데이터 처리 과정 소개
• 실 세계 데이터 셋 소개
• 실습 환경 소개 및 구축
• 실 세계 데이터 셋 워밍업
2

데이터 엔지니어링 소개
• 기술의 시대
• 방대한 양의 데이터와 인공지능 기술을 활용한 서비스의 폭발적인 등장
3
Netflix icon: https://en.wikipedia.org/wiki/Netflix
Netflix screen recording: www.netflix.com
DeepMind icon: https://en.wikipedia.org/wiki/DeepMind
Deepmind Image: https://www.exoplatform.com/blog/2016/03/18/machine-crushes-go-world-champion/
DeepDream icon: https://southsouthwest.com.au/news/google-deepdream/
DeepDream image: https://deepdreamgenerator.com/

• 빅데이터란?
• 가트너 리포트: ＂2021년에는 620억개의 사물이 존재”
• 620억개의 사물과 79억명의 사람이 빠르게 만들어내는 이질적인 큰 규모의 데이터
4
Big Data
Variety Velocity
Volume
Data in 30 sec.
가트너 인용: https://www.gartner.com/en/newsroom/press-releases/2021-04-01-gartner-forecasts-
global-devices-installed-base-to-reach-6-2-billion-units-in-2021
빅데이터 icon: https://www.pngkit.com/bigpic/u2w7r5e6t4r5r5e6/
오른쪽 그림: https://pbs.twimg.com/media/CJpQUc2WUAQHztb.png
Internet in 30 sec.: https://www.digitalinformationworld.com/2014/05/Twitter-Facebook-GooglePlus-Instagram-Pinterest-Real-Time-Internet-infographic.html

• 기술 범람의 시대
5
이미지: https://mattturck.com/data2019/

• 데이터엔지니어링이란?
• 특정 목적의 서비스를 만들기 위해 빅데이터의 파이프라인을 설계 구축하는 것
• 데이터 수집, 데이터 가공, 데이터 저장 등
6
데이터 저장
데이터 가공
데이터 수집
Data processing, data collection and data storage icons: www.flaticon.com
빅데이터 icon: https://www.pngkit.com/bigpic/u2w7r5e6t4r5r5e6/
Netflix screen recording: www.netflix.com
Deepmind Image: https://www.exoplatform.com/blog/2016/03/18/machine-crushes-go-world-champion/
DeepDream 이미지: https://deepdreamgenerator.com/

• 본 강의의 소개
• 개념적
• 실 세계 오픈 데이터를 처리
• 특정 문제에 대한 적절한 자료구조 선택의 중요성 학습
• 데이터 파이프라인 설계 구축 과정의 숙달
• 실무적
• Java Collection Framework 학습
• Java Parallel Stream 학습
• 사전지식
• 자료구조
• 객체지향 프로그래밍
• Java 언어
• 실습환경
• Open JDK 15
• Eclipse IDE for Enterprise Java and Web Developers
7

데이터 처리 과정
• 데이터 수집
• 데이터 소스와 수집 방법이 다양함
• 데이터 소스
• 웹 데이터, 센서 데이터, 파일, 데이터베이스 등
• 데이터 수집 방법
• API 호출, 센서 신호, 파일 읽기, 데이터베이스 접근 등
8
Facebook은 개발자들에게 데이터를 API를 통해 제공함
/me?fields=email,id,name + 억세스 토큰
 본인의 email,id,name 획득
예)
페이스북 ICON: https://en.wikipedia.org/wiki/Facebook

• 데이터 수집
• 본 과정에서 사용되는 오픈 데이터셋
• Stanford Network Analysis Project (SNAP)
• 50개 이상의 네트워크 데이터셋 제공
• https://snap.Stanford.edu/data/
• 이메일 데이터
• http://snap.stanford.edu/data/email-EuAll.html
• 2003년 2005 사이에 이메일을 보낸 사실에 대한 기록
• 계정은 익명화 되어 숫자로 제공
9
# 데이터 명세
# 데이터 명세
# …
0 1
1 2
1 3
…
0
1
2
3
“계정 1이 계정 2에게 이메일을 보냄”

• 데이터 가공
• 데이터 저장을 위한 형태로 데이터를 가공
• 데이터 추상화, 데이터 파싱, 데이터 검증, 데이터 정제 등
10
# 데이터 명세
# 데이터 명세
# …
0 1
0 1
0
*1912ㄴ 5
0 8
0 11
0 20
0 48
0 430
…
데이터 명세 제거
중복 데이터 제거
누락 데이터 제거
결함 데이터 제거
“0 20”
처리할 데이터 “0”
“20”
토큰화 정수변환 0
20

• 데이터 저장
• 데이터를 특정 목적의 서비스를 만들기 적절한 형태로 유지함
• 메모리, 데이터베이스 등
11
# 데이터 명세
# 데이터 명세
# …
0 1
0 4
0 5
0 8
0 11
0 20
0 48
0 130
0 160
…
메모리
데이터베이스
리스트
스택
큐
해시
트리
관계형DB
문서형DB
그래프DB
0 130
이메일 설계도
데이터 추상화:
보낸 사람(정수)
받는 사람(정수)
프로시저 추상화:
…
이메일 객체
보낸 사람: 0
받는 사람: 8
변환기

실습 환경 준비
• Open JDK 15
• Microsoft Windows 10 기준
• 다운로드: https://jdk.java.net/archive/
12
압축을 푼 후 아래 폴더의 모습
C:Program Filesjavajdk-15.0.2

• Open JDK 15
• 환경 준비 영상
• 유튜브: https://youtu.be/Zqi4ayfhEQc
13

• Microsoft Windows 10 기준
• 다운로드: https://www.eclipse.org/downloads/packages/
14

• 유튜브: https://youtu.be/ivjPjcJpNes
15

실 세계 데이터 셋 추출 및 모델링 실습
• 실습을 위한 개념 소개
• 객체지향 프로그래밍: 개념을 추상화 해 놓은 클래스들의 객체들을 조합하여 목적을 이루어가는 것
• 파일 읽기
• 특정 위치의 파일을 한 줄 읽을 수 있는 BufferedReader 클래스를 객체화 하여 파일 읽기를 수행
• 한 줄 읽기를 반복하여 전체 파일 읽기를 수행
• Email 데이터 위치: http://snap.stanford.edu/data/email-EuAll.html
• 실 세계 데이터셋 위치: C:UsersSejongDAemail.txt 로 가정
16
BufferedReader r =
new BufferedReader(new FileReader(
“C:UsersSejongDAemail.txt"));
String line = r.readLine();

• 파일 읽기
• BufferedReader 활용
17
생성자
Class FileReader() : 문자로 이루어진 파일을 읽을 수 있는 클래스
예외처리:
FileNotFoundException : 파일을 찾지 못하였을때 발생
FileReader f =
new FileReader(“C:UsersSejongDAemail.txt");
email.txt
파일시스템

• 파일 읽기
18
생성자
Class BufferedReader(Reader in) : 버퍼를 이용하여 효율적으로 문자열을
읽는 클래스
BufferedReader r = new BufferedReader(
new FileReader(“C:UsersSejongDAemail.txt"));
email.txt
Buffer
파일시스템

• 파일 읽기
19
# Directed graph (each unordered…
# Email network of a large Europe…
# Nodes: 265214 Edges: 420045
연산자(BufferedReader)
String ReadLine(): 텍스트의 한 줄을 읽어옵니다.만약 텍스트의 끝에 도달
하면 null 을 반환한다
예외처리:
IOException : I/O 에러 발생시 발생한다
String line;
line = r.readLine()

• 파일 읽기
20
예외처리:
String line;
# Nodes: 265214 Edges: 420045
line = r.readLine();

• 파일 읽기
21
예외처리:
String line;
# Nodes: 265214 Edges: 420045

• 파일 읽기
22
예외처리:
String line;
# Nodes: 265214 Edges: 42004

• 데이터 파싱
• BufferedReader의 readLine 연산을 통해 얻어진 문자열을 프로그래밍 언어가 이해할 수 있는 형
태로 처리
23
# Nodes: 265214 Edges: 420045
# FromNodeId ToNodeId
0 1
0 4
0 5
0 8
0 11
0 20
0 48
…
#으로 시작하는 데이터 설명 무시
boolean startsWith(“#”)
TAB(t)으로 문자열을 분리
String[] split(“t”)
0이 1에게 메일을 보낸 이벤트
배열의 요소를 정수형(Integer)로 변환
static int parseInt(“1”)
email.txt

태로 처리
24
연산자(String)
boolean startsWith(String prefix) : 문자열이 특정 prefix 로 시작하면
true 를 반환한다
String line = r.readLine();
# Directed graph (each unordered pair of nodes is …
if(line.startsWith("#"))
continue;
true

태로 처리
25
연산자(String)
String[] split(String regex) : 문자열을 주어진 정규표현식에 맞춰 분리
한다
String line = "0 1";
String[] splited =line.split("t");
splited[0]
splited[1]
‘0’
‘1’
‘0’ ‘t’ ‘1’

태로 처리
26
연산자(Integer)
static int parseInt(String s) : 숫자형의 문자열 ‘s’ 를 10진수의 정수형
으로 반환한다
예외사항:
NumberFormatException : 숫자형의 문자열이 아닐때 발생한다
int num1 = Integer.parseInt("3");
int num2 = Integer.parseInt("5");
num1 + num2 8
int num = Integer.parseInt("a");

• 데이터 추상화
• Java 클래스
• 데이터 추상화
• 프로시저 추상화
27
# Nodes: 265214 Edges: 420045
# FromNodeId ToNodeId
0 1
0 4
0 5
0 8
0 11
0 20
0 48
…
email.txt
0이 1에게 메일을 보낸 이벤트
public class Email {
//데이터 추상화
int from; // 보낸 사람
int to; // 받는 사람
//프로시저 추상화
public Email(int from, int to){
this.from = from; this.to = to;
}
public String toString(){
return from + “->” + to;
}
}
Email e1 = new Email(0,1);
System.out.println(e1);
인스턴스화
콘솔 결과
0->1
콘솔 추상화 매개변수를 콘솔에 출력

• 실 세계 데이터 셋 추출 및 모델링 실습 수행
• 유튜브: https://youtu.be/mjDkkk2T74U
28

데이터 분석 1 - 소개

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 데이터 분석 1 - 소개

Similar to 데이터 분석 1 - 소개 (20)

데이터 분석 1 - 소개