SlideShare a Scribd company logo
1 of 61
Download to read offline
데이터 시각화를 통핚
파이썬 입문기
2017. 10. 21
2017 10월 파이썬 격월 세미나
University of seoil
Computer electronic
Wangwon Lee
College
Major
Name
Contents
데이터 시각화를 통한 파이썬 입문기
 발표자 소개
 개요
 웹 크롤링과의 만남
 Konlpy로 형태소 분석하기
 워드 클라우드 만들기
 마치며……
데이터 시각화를 통한 파이썬 입문기
발표자 소개 - 이왕원
 서일대학교 재학 중
 컴퓨터 전자 전공
 꿈이 크고, 하고 싶은 것이 많은 대학생
 현재는 마음 잡고 기본기 쌓는 중
 이것저것 경험해봄 (파이썬으로)
데이터 시각화를 통한 파이썬 입문기
개요
올해 초, 학교 다니면서 문득 듞 생각
데이터 시각화를 통한 파이썬 입문기
개요
우리 학교 학생들이 가장 많이 쓰는 말이 뭘까……?
데이터 시각화를 통한 파이썬 입문기
개요
그렇게 알아 본 데이터 붂석 과정
데이터 시각화를 통한 파이썬 입문기
개요
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
우연히 놀러 갔던 R 세미나에서
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
처음 접핚 웹 크롤링
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
신세계……
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
학교마다 하나씩은 있는 학교 페이스북 페이지
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
여기서 가장 많이 쓰이는 말을 뽑으면 되지 않을까?
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
구글에서 웹 크롤러 검색하면 가장 많이 보이는 언어
‘Python’
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
그렇게 시작하게 된
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
흔핚 웹 크롤러 흐름.jpg
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
모르겠으면 구글링이 답
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
HTTP에는, GET과 POST라는 메소드가 있는데
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
쉽게 말해서 GET은 가져오는 동작,
POST는 수행하는 동작이라고 보면 됩니다.
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
그리고 우리가 쓰는 웹 브라우저라는 친구들은
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
단순히 HTML 소스를 해석해서 웹 페이지를 그려줄 뿐입니다
표시된 화면 HTML 소스
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
그러므로 브라우저 주소 창에 주소를 입력하고 엔터를 치는 것은
+
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
주소에 핛당된 웹 서버로 GET 요청을 보내는 것과 같습니다
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
음… Request 모듈로
대상 사이트에 get 요청을 해서
HTML 소스를 받아오고,
BeautifulSoup로 원하는 부붂만
파싱해서 쓰면 되겠지…?
통상적인 웹 크롤러 또핚 같은 원리로,
GET 메소드를 통해 웹 페이지를 가져와서,
원하는 부붂만 뽑아 쓰는 개념입니다.
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
하지만 음… Request 모듈로
대상 사이트에 get 요청을 해서
HTML 소스를 받아오고,
BeautifulSoup로 원하는 부붂만
파싱해서 쓰면 되겠지…?
그럴 거 없이 우린 자체 API로
데이터 수집 되는데……?
BeautifulSoup
그게 다 삽질이었다는
것을 깨닫고……
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
물론, 삽질했던게 도움이 되었던 건 함정 ^^
이 삽질 앆 했으면 REST API 이해 못 함;;
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
https://developers.facebook.com/apps/
에서 앱 ID 만들고
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
레퍼런스 문서대로 쿼리도 붙이고
소스 출처 : dizwe님의 깃허브
https://github.com/dizwe/facebook-scraper-for-non-english-user
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
데이터 수집 완료
데이터 시각화를 통한 파이썬 입문기
Konlpy로 형태소 분석하기
이제 여기서 알맹이만 뽑아야 하는데……
데이터 시각화를 통한 파이썬 입문기
Konlpy로 형태소 분석하기
그걸 ‘형태소 붂석’이라고 했던가……
데이터 시각화를 통한 파이썬 입문기
Konlpy로 형태소 분석하기
형태소 붂석이란
데이터 시각화를 통한 파이썬 입문기
Konlpy로 형태소 분석하기
쉽게 말해서, 문장을 품사별로 구붂해주는 작업
데이터 시각화를 통한 파이썬 입문기
Konlpy로 형태소 분석하기
구글링 결과, KoNLPy가 여러모로 좋은지라
데이터 시각화를 통한 파이썬 입문기
Konlpy로 형태소 분석하기
반갑다 친구야
데이터 시각화를 통한 파이썬 입문기
Konlpy로 형태소 분석하기
품사 태깅 클래스로는 ‘Twitter’를 선택
데이터 시각화를 통한 파이썬 입문기
Konlpy로 형태소 분석하기
명, 동사 둘 다 파악을 위해, pos 메소드 사용
데이터 시각화를 통한 파이썬 입문기
Konlpy로 형태소 분석하기
실제 코드
데이터 시각화를 통한 파이썬 입문기
Konlpy로 형태소 분석하기
붂석 결과
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
이대로는 뭔가 아쉬운데……
이대로는 뭔가 아쉬운데……
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
이걸 보기 쉽게 워드 클라우드로 만들면 어떨까?
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
KoNLPy 튜토리얼대로 핚 워드 클라우드
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
KoNLPy 튜토리얼대로 핚 워드 클라우드
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
따로 찾아본 워드 클라우드
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
따로 찾아본 워드 클라우드
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
wordcloud 모듈이 마음에 들었던지라
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
친젃핚 예제코드를 따라, 내 코드도 만들고
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
마스크 이미지도 직접 만들면
① ②
③ ④
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
워드 클라우드 완성
데이터 시각화를 통한 파이썬 입문기
워드 클라우드 만들기
젂체 흐름
https://github.com/BbChip0103/word_cloud.git
데이터 시각화를 통한 파이썬 입문기
마치며……
원하는 결과도 얻었고!
데이터 시각화를 통한 파이썬 입문기
마치며……
학교 페이지에 제보도 했으니, 이제!
데이터 시각화를 통한 파이썬 입문기
마치며……
데이터 시각화를 통한 파이썬 입문기
마치며……
그래서 결론적으로 말하고자 하는 것이 뭘까요?
데이터 시각화를 통한 파이썬 입문기
마치며……
공부핛 건 끝도 없는데
http://www.nextree.co.kr/roadmap/
주의! 14년 01월 자료
데이터 시각화를 통한 파이썬 입문기
마치며……
시갂은 핚정되어 있고
데이터 시각화를 통한 파이썬 입문기
마치며……
정작 뭘 해야핛 지 모르겠을 때
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
파이썬을 추천해요 ^^
데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
Life is too short, You need Python.
인생은 짧고, 우리는 파이썬이 필요합니다
Thank you
For your Attention

More Related Content

Similar to 데이터 시각화를 통한 파이썬 입문기

피플펀드 웹서비스 성능개선기(+초기 스타트업의 개발방법론) 20171220
피플펀드 웹서비스 성능개선기(+초기 스타트업의 개발방법론) 20171220피플펀드 웹서비스 성능개선기(+초기 스타트업의 개발방법론) 20171220
피플펀드 웹서비스 성능개선기(+초기 스타트업의 개발방법론) 20171220Seomgi Han
 
The platform 2011
The platform 2011The platform 2011
The platform 2011NAVER D2
 
파이썬으로 할 수 있는 일 - 파이썬 기초 교육
파이썬으로 할 수 있는 일 - 파이썬 기초 교육파이썬으로 할 수 있는 일 - 파이썬 기초 교육
파이썬으로 할 수 있는 일 - 파이썬 기초 교육테리엇
 
그래프에서 대시보드까지, 서비스를 위한 데이터 시각화
그래프에서 대시보드까지, 서비스를 위한 데이터 시각화그래프에서 대시보드까지, 서비스를 위한 데이터 시각화
그래프에서 대시보드까지, 서비스를 위한 데이터 시각화Minho Lee
 
Meteor를 통해서 개발하는 웹어플리케이션 서비스
Meteor를 통해서 개발하는 웹어플리케이션 서비스Meteor를 통해서 개발하는 웹어플리케이션 서비스
Meteor를 통해서 개발하는 웹어플리케이션 서비스WebFrameworks
 
공예 온라인 클래스 트렌드 분석
공예 온라인 클래스 트렌드 분석공예 온라인 클래스 트렌드 분석
공예 온라인 클래스 트렌드 분석정재 전
 
파이콘 2017 그만퇴근합시다_이지호
파이콘 2017 그만퇴근합시다_이지호파이콘 2017 그만퇴근합시다_이지호
파이콘 2017 그만퇴근합시다_이지호Jiho Lee
 
AI 유저리서치를 할 수 있을까?
AI 유저리서치를 할 수 있을까?AI 유저리서치를 할 수 있을까?
AI 유저리서치를 할 수 있을까?Myuserable
 
Spring integration을 통해_살펴본_메시징_세계
Spring integration을 통해_살펴본_메시징_세계Spring integration을 통해_살펴본_메시징_세계
Spring integration을 통해_살펴본_메시징_세계Wangeun Lee
 
파이콘 한국 2015 디자인 후기
파이콘 한국 2015 디자인 후기파이콘 한국 2015 디자인 후기
파이콘 한국 2015 디자인 후기Hyun-woo Park
 
REST API Development with Spring
REST API Development with SpringREST API Development with Spring
REST API Development with SpringKeesun Baik
 
좋은 디자이너, 나쁜 프로젝트매니저, 이상한 개발자
좋은 디자이너, 나쁜 프로젝트매니저, 이상한 개발자좋은 디자이너, 나쁜 프로젝트매니저, 이상한 개발자
좋은 디자이너, 나쁜 프로젝트매니저, 이상한 개발자Suyeol Jeon
 
CoreDot TechSeminar 2018 - Session1 Park Jihun
CoreDot TechSeminar 2018 - Session1 Park JihunCoreDot TechSeminar 2018 - Session1 Park Jihun
CoreDot TechSeminar 2018 - Session1 Park JihunCore.Today
 
데이터야놀자발표_데이터로토이서비스만들기_조동민 (2).pdf
데이터야놀자발표_데이터로토이서비스만들기_조동민 (2).pdf데이터야놀자발표_데이터로토이서비스만들기_조동민 (2).pdf
데이터야놀자발표_데이터로토이서비스만들기_조동민 (2).pdfDONGMIN CHO
 
알고리즘 시각화 라이브러리 ipytracer 개발기
알고리즘 시각화 라이브러리 ipytracer 개발기알고리즘 시각화 라이브러리 ipytracer 개발기
알고리즘 시각화 라이브러리 ipytracer 개발기Han Lee
 
[MASOCON 2019] Serverless - Kimminjun
[MASOCON 2019] Serverless - Kimminjun [MASOCON 2019] Serverless - Kimminjun
[MASOCON 2019] Serverless - Kimminjun Kim Minjun
 
Softcon_하재권_Only javascript의 하이브리드 앱서버 도전기
Softcon_하재권_Only javascript의 하이브리드 앱서버 도전기Softcon_하재권_Only javascript의 하이브리드 앱서버 도전기
Softcon_하재권_Only javascript의 하이브리드 앱서버 도전기hajaekwon
 
PHP로 웹개발을 해보자
PHP로 웹개발을 해보자PHP로 웹개발을 해보자
PHP로 웹개발을 해보자Young Min Shin
 
유니티 REST API를 사용한 파이어 베이스의 데이터 베이스 사용.
유니티 REST API를 사용한 파이어 베이스의 데이터 베이스 사용.유니티 REST API를 사용한 파이어 베이스의 데이터 베이스 사용.
유니티 REST API를 사용한 파이어 베이스의 데이터 베이스 사용.ssuser6dd171
 

Similar to 데이터 시각화를 통한 파이썬 입문기 (20)

피플펀드 웹서비스 성능개선기(+초기 스타트업의 개발방법론) 20171220
피플펀드 웹서비스 성능개선기(+초기 스타트업의 개발방법론) 20171220피플펀드 웹서비스 성능개선기(+초기 스타트업의 개발방법론) 20171220
피플펀드 웹서비스 성능개선기(+초기 스타트업의 개발방법론) 20171220
 
The platform 2011
The platform 2011The platform 2011
The platform 2011
 
파이썬으로 할 수 있는 일 - 파이썬 기초 교육
파이썬으로 할 수 있는 일 - 파이썬 기초 교육파이썬으로 할 수 있는 일 - 파이썬 기초 교육
파이썬으로 할 수 있는 일 - 파이썬 기초 교육
 
그래프에서 대시보드까지, 서비스를 위한 데이터 시각화
그래프에서 대시보드까지, 서비스를 위한 데이터 시각화그래프에서 대시보드까지, 서비스를 위한 데이터 시각화
그래프에서 대시보드까지, 서비스를 위한 데이터 시각화
 
Meteor를 통해서 개발하는 웹어플리케이션 서비스
Meteor를 통해서 개발하는 웹어플리케이션 서비스Meteor를 통해서 개발하는 웹어플리케이션 서비스
Meteor를 통해서 개발하는 웹어플리케이션 서비스
 
공예 온라인 클래스 트렌드 분석
공예 온라인 클래스 트렌드 분석공예 온라인 클래스 트렌드 분석
공예 온라인 클래스 트렌드 분석
 
파이콘 2017 그만퇴근합시다_이지호
파이콘 2017 그만퇴근합시다_이지호파이콘 2017 그만퇴근합시다_이지호
파이콘 2017 그만퇴근합시다_이지호
 
AI 유저리서치를 할 수 있을까?
AI 유저리서치를 할 수 있을까?AI 유저리서치를 할 수 있을까?
AI 유저리서치를 할 수 있을까?
 
Spring integration을 통해_살펴본_메시징_세계
Spring integration을 통해_살펴본_메시징_세계Spring integration을 통해_살펴본_메시징_세계
Spring integration을 통해_살펴본_메시징_세계
 
파이콘 한국 2015 디자인 후기
파이콘 한국 2015 디자인 후기파이콘 한국 2015 디자인 후기
파이콘 한국 2015 디자인 후기
 
Slackbot with Python
Slackbot with PythonSlackbot with Python
Slackbot with Python
 
REST API Development with Spring
REST API Development with SpringREST API Development with Spring
REST API Development with Spring
 
좋은 디자이너, 나쁜 프로젝트매니저, 이상한 개발자
좋은 디자이너, 나쁜 프로젝트매니저, 이상한 개발자좋은 디자이너, 나쁜 프로젝트매니저, 이상한 개발자
좋은 디자이너, 나쁜 프로젝트매니저, 이상한 개발자
 
CoreDot TechSeminar 2018 - Session1 Park Jihun
CoreDot TechSeminar 2018 - Session1 Park JihunCoreDot TechSeminar 2018 - Session1 Park Jihun
CoreDot TechSeminar 2018 - Session1 Park Jihun
 
데이터야놀자발표_데이터로토이서비스만들기_조동민 (2).pdf
데이터야놀자발표_데이터로토이서비스만들기_조동민 (2).pdf데이터야놀자발표_데이터로토이서비스만들기_조동민 (2).pdf
데이터야놀자발표_데이터로토이서비스만들기_조동민 (2).pdf
 
알고리즘 시각화 라이브러리 ipytracer 개발기
알고리즘 시각화 라이브러리 ipytracer 개발기알고리즘 시각화 라이브러리 ipytracer 개발기
알고리즘 시각화 라이브러리 ipytracer 개발기
 
[MASOCON 2019] Serverless - Kimminjun
[MASOCON 2019] Serverless - Kimminjun [MASOCON 2019] Serverless - Kimminjun
[MASOCON 2019] Serverless - Kimminjun
 
Softcon_하재권_Only javascript의 하이브리드 앱서버 도전기
Softcon_하재권_Only javascript의 하이브리드 앱서버 도전기Softcon_하재권_Only javascript의 하이브리드 앱서버 도전기
Softcon_하재권_Only javascript의 하이브리드 앱서버 도전기
 
PHP로 웹개발을 해보자
PHP로 웹개발을 해보자PHP로 웹개발을 해보자
PHP로 웹개발을 해보자
 
유니티 REST API를 사용한 파이어 베이스의 데이터 베이스 사용.
유니티 REST API를 사용한 파이어 베이스의 데이터 베이스 사용.유니티 REST API를 사용한 파이어 베이스의 데이터 베이스 사용.
유니티 REST API를 사용한 파이어 베이스의 데이터 베이스 사용.
 

데이터 시각화를 통한 파이썬 입문기