JCO 2011 발표

1. 오픈 소스를 활용한 Batch처리 플랫폼 공유 사람과 사람, 오늘과 내일, 네트워크와 네트워크가 연결되는 세상, NHN이 만들어 갑니다 NHN 김용환 knight1128@gmail.com

2. OVERVIEW 배경 Batch 처리 플랫폼 선택 Spring Batch 소개 Hudson 소개 적용사례

3. 발표자 소개

4. 배경 Batch 처리 플랫폼 선택 Spring Batch 소개 Hudson 소개 적용사례

5. 배경 사용자의 추가적인 개입 없이 서비스를 지원하는 프로그램 또는 서비스 Front-End Back-End

6. 배경 Batch 처리 플랫폼은 Back-end 서비스 중 중요한 솔루션 중 하나

7. 배경 용어 정리 JOB JOB JOB JOB JOB JOB JOB JOB Batch Job Batch 처리 플랫폼 Failover Log UI(Dashboard) Monitoring& Alert Scheduler LoadBalancing Batch Job : 시스템 사용자가 주기적으로 또는특정시간에 자동으로 실행되도록 하는 프로그램 Batch 처리 플랫폼 : Batch Job을 실행하는 기반 프로그램

9. 대부분 DB나 파일처리이다.

10. 성능을 위해서 java 이외의 언어로 해결할 수 있다.

11. 특정 시간 안으로 끝내야 하는 것은 거의 없다.

12. 초기 개발 외에는 유지보수는 거의 하지 않는다.

13. 잘해도 티 안 나고, 장애 발생하면 욕먹는다.

14. 개발자의 성격이 드러나는 경우가 많다.

16. Web framework위에 Web Call 호출 방식

17. Web framework위에 Quartz 이용

20. 테스트 못함(syntax 문제나 예측 불가능)

21. 중복 실행

22. 잘못 만든 쿼리 문제

23. 코드 오류

24. 서비스 DB연결에 대한 Timeout

25. 서버 장애

26. API 연동 장애

27. Memory Leak

29. Batch Job 실행 후, 문제 발생시 SMS/메일 알림

31. 배경 Load Balancing Failover 확장성/ 안정성/ 생산성 / 유지보수성 확보

33. 쓸만한 UI

35. Web에서의 Log 정보 확인

36. API 존재

38. Fail over / Fail back 기능

39. 확장 가능한 플러그인 지원

40. 믿을만한 오픈 소스 기반

41. 이해하기 쉽고 양질의문서

42. Retry 가능

47. Batch처리 플랫폼 선택 서비스 부서에서 사용하는 Batch 처리 사례 및쓸만한 오픈 소스 확인 Linux/crontab Python/ Perl/PHP/C/C++ Shell Script Hadoop Spring Batch GridGain Hudson SSH/RSH Rsync Common java Custom Admin Quartz MQ 내부 솔루션 Spring Batch Admin Control-Tier

48. Batch처리 플랫폼 선택 Batch Job이 성격이 너무 다양하기 때문에다양한 해결 방법은 당연 다만, java 개발자가 처음쓰기에 괜찮은.. Batch Job을 쉽게 개발할 수 있는.. 유지보수가 편한.. 서로 공유할 수 있는..괜찮은 Batch Job Framework와 Batch 처리 플랫폼이 있으면 좋겠다

50. Launch Job

51. Inspect Executions

52. Stop an Execution▶ 기능이 많지 않음

53. Batch처리 플랫폼 선택 Hudson ▶쓸만한 기능이 많음

54. Batch처리 플랫폼 선택

55. 배경 Batch 처리 플랫폼 선택 Spring Batch 소개 Hudson 소개 적용사례

56. Spring Batch 소개 History SpringSource와 컨설팅 회사 Accenture가 협업해서 개발한 Framework 실제 개발 사례를 바탕으로 표준화된 API를 개발 1.0 Release (2008.2) 2.1.8.Release (2011.6.1)

57. Spring Batch 소개 Concept “bash$ java CommandLineJobRunner endOfDayJob.xml endOfDayschedule.date(date)=2011/06/19” Shell Script JMS File DB CommandLineJobRunner BO JMS File DB 문서 참조 http://static.springsource.org/spring-batch/reference/html/domain.html

58. Spring Batch 소개 Concept

59. Spring Batch 소개 Concept

60. Spring Batch 소개 Job example <job id="ioSampleJob"> <step name="step1"> <tasklet> <chunk reader="fooReader" processor=“fooProcessor" writer="foobarWriter“ commit-interval="10“/> </tasklet> </step> </job>

61. Spring Batch 소개 Job example <job> <step name="gamesLoad" next="playerLoad"/> <step name="playerLoad"> <next on="*" to="summarize"/> <next on="FAILED" to=“error"/> </step> <step name=“error"/> <step name="summarize"/> </job>

62. Spring Batch 소개 내부 구조 Job, JobParamter, Step, StepExecution, JobRepository ItemWriter, IteamReader, ItemProcessor JdbcTemplate

64. Skip, Retry, Restart 가능

65. Commit Interval 지정

66. Scalability 제공 (remote chunking, partitioning)

67. 순차및 병렬실행 가능

68. Spring Framework를 같이 연동해서 사용 편리

69. AOP (보안, 로깅,트랜잭션)처리

70. 좋은 Utility Class가 많음

71. Document와 Forum 게시판에서 좋은 정보http://static.springsource.org/spring-batch/reference/html/index.html

74. 배경 Batch 처리 플랫폼 선택 Spring Batch 소개 Hudson 소개 적용사례

76. 주기또는코드 커밋마다 개발한 소스을 한번에 통합 빌드 하여 코드 오류를 발견시켜줌

78. Fail over / Fail back 기능

79. 확장 가능한 플러그인 지원

80. 믿을만한 오픈 소스 기반

81. 이해하기 쉽고 양질의문서

82. Retry 가능

84. 노드확장성

85. Scheduler

86. 쓸만한 UI

88. Web에서의 Log 정보 확인

89. API 존재

91. Hudson 소개 구성 Job 실행 Job 실행 Job 실행 Rsync Batch Platform (master) Standby Batch Platform (master) Batch Platform (master) Job 실행 SSH SSH Rsync Job 실행 Job 실행 Batch Platform (standalone) Job 실행 Job 실행 slave (backup) Slave Slave Slave Slave 단독 설정 백업 확장 구조 확장-백업 구조

92. Hudson 소개 Batch 운영 플랫폼 Spring Batch Job C/C++, …. JOB JOB JOB JOB Hudson Job Repository DB Tomcat Java VM plugin Spring Batch Dashboard Plugin

93. Hudson 소개 BatchJob 운영을 위한 플러그인 개발

94. Hudson 소개 Hudson UI – Slave지정 최대 동작 가능한 ▶ Job 개수 지정

95. Hudson 소개 Hudson UI 로그 확인 실행 여부

96. Hudson 소개 Hudson UI – Job 기본 설정 실행 스크립트 Scheduler (cron)

97. Hudson 소개 Hudson API ▼ job 상세 정보 ▼ 제어 http://1.1.1.1/hudson/restart http://1.1.1.1/hudson/job/myjob/config.xml ▼ job 리스트 ▼ 마지막으로 job이실행했던 정보 http://1.1.1.1/hudson/job/myjob/lastBuild/api/xml http://1.1.1.1/hudson/api/xml

98. Hudson 소개 Hudson UI – Dashborad(자체 개발) 1 2 Spring Batch Job 실행통계 - Job RepositoryDB로부터 정보 얻어옴 - 특정 기간 동안의 전체 실행 개수 대비실패율을 확인 - Refresh 기능 Cron정보을바탕으로 다음 실행시간을 예측 1 2

99. Hudson 소개 Hudson UI – Spring Job Dashborad(자체 개발) ▼ Job Repository 정보 확인

100. Hudson 소개 Hudson UI – Spring Job Time Table (자체 개발) ▲ 실행 주기, 얼마나 소요되는지 확인

101. Hudson 소개 Hudson UI – Job 실행 시간 지연 & Job 실패 시 SMS/Mail 알림 (자체 개발)

102. Hudson 소개 Hudson UI – Job Repository 등록 및 로그 삭제 (자체 개발) Job Repository DB 정보Job Repository DB 로그 삭제 (table constraint 염두)

104. Plug in 개발 및 활용 Dashboard UI, 모니터링 …

105. 확장 가능한 Plugin을 이용하여 Customization

106. 노드확장 가능 (Scalability)

107. 배포서버와의 API 연동

108. 문서 참조 내용이 많음

109. Load balancing 기능

111. 빌드파일 개수는 최소화

114. 배경 Batch 처리 플랫폼 선택 Spring Batch 소개 Hudson 소개 적용사례

115. 적용사례 A 서비스 Batch Master Slave Slave Slave Slave

116. 적용사례 A-1 서비스 Batch Master Slave Slave Slave Slave NAS

117. 적용사례 B서비스 Standby Batch Master Slave Slave Slave Slave

118. 적용사례 B서비스 Standby Batch Master Standby Batch Master Standby Batch Master

119. 적용사례 C 서비스 WebServer를 먼저 배포하고, Hudson에서 WebServer를 실행하는 방법 Standby Batch Master Slave Slave Slave Slave Hudson Hudson Hudson Hudson WebServer WebServer WebServer WebServer

120. QnA

121. Thank You End of Document