T 아카데미 개발 발표. 어떻게 Node.js를 활용하여 크롤링을 하는가?

2. 1. 대출상담가와 대출고객이라는 두 개의 Router를 나눠어 개발 진행
2. Model 폴더 안에 작성한 데이터 구조와 동일한 클래스 작성
Promise-mysql?Node-schedule?
Winston?
Cheerio?
Cheeerio-tableparser?
Request-promise?

3. 무엇을? 어떻게? 왜?

6. 하드 코딩 크롤링을
해야만 하는 걸까요?

7. 분석해봅시다!
POSTMAN MAN, CHROME 개발자 도구

11. 그러나...!!
전체 데이터 크롤링하는데 걸린 시간
8시간

12. 효과적인 크롤러를 만들어 보자!
Node.js 는 싱글 스레드 기반이니까…
여러 프로세스를 생성해서 Clustering하면 어떻까?
RDS 접근을 최소화 할 수 있는 방법을 모색해보자
이왕이면 AWS Lambda를 활용해
서버리스하게 만들어 보면 어떻까?

13. 1. Node.js의 클러스터링 활용 2. 하나의 Promise를 병렬로 실행

14. 2시간!!!

15. 1. 이벤트 처리 방식의 컴퓨팅 서비스 AWS Lambda 구축
2. 조금 더 좋은 하드웨어 구축