스파크와 이클립스를 연동하는 방법입니다.

1. Spark on eclipse IDE
Eclipse Spark와 연동하기
박도형
[부록]

2. Scala IDE 종류들
• Intellij IDEA
• Eclipse
• Visual Studio
• Etc …

3. 우리가 해볼 것은…
Eclipse와 Scala, Spark연동하기
원래는 SBT도 설치해야 하고,
Maven도 설치해야 하지만,
Simple하게 mapreduce했던 것만큼만 할 예정.

4. 1. eclipse Neon 설치
물론 하위버전들도 가능하겠지만, 제가 테스트해본 환경이므로!
1. www.eclipse.org 에 접속.
2. IDE&Tools를 클릭.
3. Java IDE 클릭.
4. Linux-64-bit 클릭.
5. Download 클릭.
6. Donate로 결제하기.
7. 다운로드 폴더에서, tar zvxf로 eclipse-java-neon-3-linux-gtk-
x86_64.tar.gz 압축 풀기
8. 설치완료.

5. 2. 이클립스에 scala plugin 설치
1. [Help] -> [Eclipse Marketplace]

6. 2. Find에 scala검색
3. Scala IDE 4.2.x install 클릭

7. 3. 첫 Spark 프로젝트 만들기
1. [other] -> [Scala project] 생성

9. 2. Package 만들기

10. 4. Scala Object 만들기
Question. Object가 무엇일까요?
1. 마우스 오른쪽버튼으로 scala Object 클릭

11. 2. Wordcount로 이름지어주기

12. 5. Spark jars 넣어주기
1. mr 오른쪽 클릭 -> [Build Path] -> [Configure
Build Path]

13. 2. [Add External JARs …] 클릭

14. 3. /usr/local/spark/spark-2.1.0/jars의 모든 jar
파일 선택 -> [ok]클릭

15. 6. 스크립트 작성

16. 7. Jar file export
1. Project 오른쪽마우스 클릭 후 export 클릭

17. Mapreduce 프로그래밍했던 것처럼 진행하고
Finish눌러주기

18. 8. Shell에서 실행하기
$ spark-submit --class
com.ncia.spark.Wordcount --master
local ./mr.jar ./Martin.txt ./wc-output

20. • 최종결과