18. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
HTTP에는, GET과 POST라는 메소드가 있는데
19. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
쉽게 말해서 GET은 가져오는 동작,
POST는 수행하는 동작이라고 보면 됩니다.
20. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
그리고 우리가 쓰는 웹 브라우저라는 친구들은
21. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
단순히 HTML 소스를 해석해서 웹 페이지를 그려줄 뿐입니다
표시된 화면 HTML 소스
22. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
그러므로 브라우저 주소 창에 주소를 입력하고 엔터를 치는 것은
+
23. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
주소에 핛당된 웹 서버로 GET 요청을 보내는 것과 같습니다
24. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
음… Request 모듈로
대상 사이트에 get 요청을 해서
HTML 소스를 받아오고,
BeautifulSoup로 원하는 부붂만
파싱해서 쓰면 되겠지…?
통상적인 웹 크롤러 또핚 같은 원리로,
GET 메소드를 통해 웹 페이지를 가져와서,
원하는 부붂만 뽑아 쓰는 개념입니다.
25. 데이터 시각화를 통한 파이썬 입문기
웹 크롤링과의 만남
하지만 음… Request 모듈로
대상 사이트에 get 요청을 해서
HTML 소스를 받아오고,
BeautifulSoup로 원하는 부붂만
파싱해서 쓰면 되겠지…?
그럴 거 없이 우린 자체 API로
데이터 수집 되는데……?
BeautifulSoup
그게 다 삽질이었다는
것을 깨닫고……