기존 파일이 수정이 안되서 멀티노드 설치 부분이 추가된 자룔를 업로드한다.

1. •

2. BigData의

3. 개요

4.
•

5. Hadoop

6. 이용

7.
•

8. Streaming

9. with

10. Node.js

11.
•

12. VERSION

13. 1.2

14.
•

15. Release

16. Date

17. :

18. 2013.6

19.
오픈소스

20. 실습

29. BigData

30. 소개

31.
고

32. 강

33. 태

34.
010-8269-3535

36. gangtai.goh@gmail.com
@gtko
http://goo.gl/9V3H6
http://www.facebook.com/gangtai.goh

37. 오픈소스

38. 실습

39. 강의

40.
• 자료의

41. 출처는

42. 슬라이드

43. 하단에

44. 표기했습니다.

45.
• 2013년

46. 숭실대학교

47. 글로벌미디어

48. 학부의

49. 오픈소
스

50. 소프트웨어

51. 실습과정의

52. 일환으로

53. 제작되었습니
다.

55. • 3
목차

56.
1.

57. Big

58. Data

59. 개요

60.
2.

61. BigData

62. 분석

63.
3.

64. Big

65. Data

66. 활용사례

67.
4.

68. Hadoop

70. • 4
1.

71. Big

72. Data의

73. 개요

74.
01.

75. BigData?

76.
02.

77. BigData

78. 기술요소

79.
03.

80. BigData

81. 처리

82. 기법

85. 1.

86. Big

87. Data의

88. 개요

90.
01.

91. Big

92. Data란?

94. • 6
Big

95. Data란?

96.
기존

97. 데이터에

98. 비해

99. 너무

100. 커서

101. 기존

102. 방법,

103. 도구로

104.
수집/저장/검색/분석/시각화

105. 등이

106. 어려운

107. 정
형,

108. 반정형

109. 및

110. 비정형

111. 데이터의

112. 집합

115. -

116. 하드웨어,

117. 소프트웨어적

118. 저장,

119. 분석의

120. 어려움을

121. Grid

122.
computing,

123. Cloud

124. computing

125. 등

126. 기술로

127. 극복

129. -

130. 전통적

131. 데이터

132. 분석

133. 기법을

134. 개선

136.
Big

137. Data의

138. 개요

140. • 7
왜?

141.
2011년에

142. 새롭게

143. 생성,

144. 복제되는

145. 정보의

146. 양은

147. 1.8ZB(1조8000
억

148. GigaByte)를

149. 넘어선다.

150. 향후

151. 5년간

152. 9배

153. 증가

154. 예상

157. -

158. 1.8ZB는

159. 약

160. 4900만

161. 국민이

162. 18만년

163. 동안

164. 쉬지

165. 않고

166. 1분에

167. 트
위터에

168. 3개의

169. 글을

170. 게시하는

171. 양과

172. 같다

175. -

176. 2시간짜리

177. HD영화

178. 2000억개와

179. 맞먹는다.

182. -

183. 2011,

184. IDC

187.
이렇듯

188. 전세계

189. 디지털

190. 정보량은

191. 매

192. 2년마다

193. 2배씩

194. 증가

195.
Big

196. Data의

197. 개요

198.
KT종합기술원:

199. http://goo.gl/nVyre

201. • 8
언제?

202.
• 매일

203.
• 트위터는

204. 340M

205. 메시지를

206. 처리

207.
• 페이스북은

208. 2.7B

209. 댓글과

210. “Likes”를

211. 저장

212.
• 매분

213.
• 200M

214. 이메일이

215. 전송중

216.
• 포스퀘어

217. 2000개

218. 이상의

219. 체크인

220. 처리

221.
Big

222. Data의

223. 개요

224.
http://www.slideshare.net/kmstechnology/an-introduction-of-apache-hadoop

226. • 9
어디에?

227.
SKT

228. LTE

229. 가입자

230. 하루

231. 데이터

232. 1PB

233. 시대

236. -

237. 5메가바이트(MB)

238. 분량의

239. 노래

240. 2억

241. 1474만8364곡을

242. 내려받
거나

243. 영화

244. 153만3916편을

245. 내려받은

246. 셈.

250. -

251. http://goo.gl/v5bHN

254. -

255. 3000만

256. 가입자의

257. 분석

260.
미국,

261. 싱가포르

262. 등

263. 정부

264. 차원에서

265. 테러,

266. 범죄

267. 방지를

268. 위한

269. 빅데이
터

270. 수집/분석

271. 및

272. 예측

273. 체계를

274. 도입

275. 사례

277.
EU는

278. 금융위기

279. 극복,

280. 사회

281. 복잡성

282. 이해를

283. 위해

284. Future

285. ICT

286. 프로
젝트

287.
…⋯

288.
Big

289. Data의

290. 개요

292. • 10
어떻게?

293.
빅

294. 데이터의

295. 데이터는

296. 다양한

297. 분석

298. 기술,

299. 인프라를

300. 기반으로

301. 데이
터

302. 안에서

303. 데이터를

304. 발견하는데

305. 중점.

306.
Big

307. Data의

308. 개요

309.
http://goo.gl/97PRT

311. • 11
어떤

312. 데이터??

313.
의학

314. 영상,

315. 이미지,

316. 센서

317. 데이터,

318. 게놈

319. 데이터,

320. 날씨

321. 데이터,

322. 인공
위성

323. 등.

325.
영업데이터,

326. 고객분석,

327. 제품

328. 데이터베이스,

329. 회계

330. 데이터

331. 등

333.
로그

334. 파일,

335. 네트워크

336. 메시지,

337. 웹

338. 분석,

339. 침투

340. 로그,

341. 스팸…⋯

342.
…⋯

343.
Big

344. Data의

345. 개요

347. • 12
데이터베이스의

348. 진화

349.
데이터들이

350. 빠르게

351. 증가하는

352. 만큼

353. 노이즈

354. 데이터라고

355. 불리우는

356.
쓸모

357. 없는

358. 데이터들도

359. 많이

360. 생성

361.
이런

362. 비정형화된

363. 노이즈

364. 데이터의

365. 중요성이

366. 증대,

367. 분석

368. 요구

369.
Big

370. Data의

371. 개요

372.
http://goo.gl/97PRT

374. • 13
데이터

375. 종류

376.
빅

377. 데이터의

378. 데이터는

379. 정형화

380. 정도에

381. 따라,

382.
Big

383. Data의

384. 개요

385.
KT종합기술원:

386. http://goo.gl/nVyre

388. • 14
Data

389. storage

390.
데이터

391. 저장

392. 비용의

393. 감소

394.
Big

395. Data의

396. 개요

397.
http://www.deepspar.com/wp-data-loss.html

399. • 15
분산컴퓨팅

400. 진화

401. Big

402. Data의

403. 개요

405. • 16
요소기술

406. 진화

407.
다중

408. 분산

409. 시스템

410. 변화

411. à

412. 가상화

413. à

414. 서비스화

415.
On Demand
Computing
사용자가

416. 필요로

417. 할

418. 때

419. 언제

420. 어디서지

421. 컴퓨팅

422. 및

423.
서비스를

424. 이용할

425. 수

426. 있는

427. 주문형

428. 기반

429. 컴퓨팅

430.
Grid Computing
주어진

431. 문제를

432. 풀기

433. 위해서

434. 네트워크

435. 상의

436. 수

437. 많
은

438. 컴퓨터의

439. 자원을

440. 이용하는

441. 컴퓨팅.

442. 서로

443. 상이
한

444. 컴퓨터들이

445. 가상의

446. 대형

447. 컴퓨터를

448. 구헝à

449. 고도
의

450. 연산,

451. 대용량

452. 연산

453. 처리

454. (

455. SETI)

458.
Virtualization
물리적

459. 시스템

460. 개체들을

461. 논리적

462. 하드웨어

463. 단위로

464.
분리.

465. 컴퓨팅

466. 자원의

467. 물리적

468. 특징을

469. 숨기고

470. 이들

471.
자원을

472. 사용하는

473. 다른

474. 시스템,

475. 애플리케이션

476. 및

477.
사용자에게

478. 단일한

479. 시스템

480. 이미지를

481. 제공하는

482. 개
념.

483. 또한

484. 단일

485. 자원이

486. 여러개의

487. 논리

488. 단위로

489. 혹은

490.
반대를

491. 포함한다.

492.
à

493. LVM,

494. VMWare

495.
Utility Computing
사용자가

496. 필요한

497. 만큼

498. 시스템

499. 자원을

500. 사용하고

501. 그

502.
사용량에

503. 따라

504. 비용을

505. 지불하는

506. 개념의

507. 컴퓨팅

509. à

510. SaaS;

511. Salesforce.com

512.
Cloud Computing
가상화되고

513. Privisioning을

514. 포함해

515. 상업적으로

516.
Utility-computing

517. 서비스를

518. 시행

520. à

521. E2C,

522. AppEngine,

523. Cloud

524. hosting

525.
Big

526. Data의

527. 개요

529. • 17
Don’t

530. buy,

531. be

532. use!

533.
HW,

534. SW의

535. 물리적

536. 제약을

537. 가상화로

538. 해결

539.
http://www.slideshare.net/CiscoSP360/vmworld-2009-vmworld-data-center
Big

540. Data의

541. 개요

543. • 18
BigData

544. story

545.
Database,

546. Dataware

547. House,

548. Data

549. mart

550. 등의

551. 정적

552. 데이터

553. 기
반은

554. 대규모

555. 메모리,

556. SAN

557. Storage

558. 등을

559. 대용량

560. 파일시스템

561. 마운
트를

562. 기반으로

563. 고가용성을

564. 유지

566. -

567. 단,

568. scale-up

569. 기반의

570. 성능

571. 향상

573.
구글은

574. 검색기반

575. 광고에

576. Tera

577. -

578. Peta

579. 규모의

580. 데이터

581. 분석등을

582.
위핸

583. MapRedue

584. 라는

585. 모델을

586. 구글파일시스템(GFS)에서

587. 활용

588.
이런

589. MapReduce

590. 솔루션

591. 중에서

592. 오픈소스로

593. 주목

594. 받는

595. 기술이

596. J
ava기반의

597. Apache

598. Hadoop

599. 이다.

600. Hadoop은

601. 야후

602. 더그커킹이

603.
개발/배포하다

604. 오픈소스화.

606.
페이스북,트위터,링크드인,

607. 이베이,

608. 아마존

609. 등

610. 이용

611.
국내

612. NexR이

613. hadoop

614. 및

615. 클라우드

616. 기반

617. 솔루션,

618. 이후

619. KT크라우
드웨어에서

620. R+Hive

621. 솔루션

622. RHive

623. 제공.

624.
Big

625. Data의

626. 개요

627.
미래사회와 빅 데이터(Big Data)기술

628. • 19
BigData와

629. Cloud

635.
http://www.citsoft.net/?page_id=336

640.
Big

641. Data의

642. 개요

644. 1.

645. Big

646. Data의

647. 개요

649.
02.

650. Big

651. Data

652. 요소

653. 기술

655. • 21
V

656. V

657. V

658.
3대

659. 요소

660.
Big

661. Data의

662. 개요

664. • 22
Volume

665.
웹

666. 로그,

667. 지메일

668. 서버

669. 등의

670. 데이터는

671. 수

672. PB

673. 이상

674.
트위터의

675. 메시징

676. 정보량

677. GB

678. 미만

679. 등…⋯

680.
안정적

681. 데이터와

682. 분석,

683. 처리에

684. 중점을

685. 두는

686. 데이터의

687.
차별이

688. 필요하다.

689.
물리적

690. 크기보다

691. 데이터의

692. 속성에

693. 따라

694. 중요성을

695. 판단하고

696.
처리하는데

697. 중점

699.
Big

700. Data의

701. 개요

702.
http://goo.gl/aXm24

704. • 23
Velocity

705.
데이터를

706. 처리하는

707. 속도

708.
배치

709. 분석

710.
실시간

711. 분석

712.
결과에

713. 대한

714. 가시화

715. 기능도

716. 중요

718. -

719. 단,

720. 가시화가

721. 처리를

722. 능가하면

723. 안됨

724.
Big

725. Data의

726. 개요

728. • 24
Variety

729.
전통적

730. 데이터는

731. 기업내부의

732. ERP,

733. SCM,

734. MES,

735. CRM

736. 등은

737.
RDBMS

738. 기반의

739. 정형화된

740. 데이터를

741. 구축해서

742. 운영하고

743. 있다.

744.
기업

745. 외부의

746. 데이터인

747. 마케팅,

748. 평판,

749. 기사

750. 등의

751. 데이터는

752. 데이터
웨어하우스를

753. 통해

754. 유지,

755. 분석했다.

756.
그러나

757. 인터넷

758. 시대에

759. 모든

760. 데이터를

761. 정형/반정형화

762. 해서

763. 이용하
는데

764. 한계에

765. 직면

766.
Big

767. Data의

768. 개요

769.
http://goo.gl/MTKST

771. • 25
http://goo.gl/80Hb4

772.
d

773.
Big

774. Data의

775. 개요

777. • 26
주요

778. 업체

779.
Hortonworks

780. ­–

781. 야후분사,

782. Hadoop

783. 코어

784. 지원,

785. 아치텍쳐

786.
Cloudera

787. ­–

788. 야후분사,

789. 기술지원,

790. 교육

791. 및

792. 배포판

793. 제공

794.
IBM

795. ­–

796. Apache

797. hadoop

798. 기반

799. basic,

800. enterprise

801. 배포판

802.
EMC

803. ­–

804. DW

805. Greenplum에

806. MapR

807. 통합해

808. 제공,

809. Apache

810.
Hadoop

811. 기반

812. community

813. edition

814.
Oracle

815. ­–

816. HW

817. +

818. Cloudera

819.
DataStax

820. ­–

821. Hadoop

822. +

823. Hive

824. +

825. Cassandra

826.
Datameer

827. ­–

828. Analytic

829. solution

830.
Hadapt

831. ­–

832. Analytic

833. platform

834.
HStreaming

835. ­–

836. Real

837. tie

838. processing

840.
Big

841. Data의

842. 개요

843.
미래사회와 빅 데이터(Big Data)기술

844. • 27
솔루션간

845. 관계

846. Big

847. Data의

848. 개요

849.
미래사회와 빅 데이터(Big Data)기술

850. • 28
2.

851. BigData의

852. 분석기법

853.
01.

854. BigData

855. 처리

856.
02.

857. BigData

858. 분석기법

859.
03.

860. BigData

863. 1.

864. Big

865. Data의

866. 개요

868.
01.

869. Big

870. Data

871. 처리

873. • 30
빅데이터

874. 처리는

875.
빠른

876. 의사결정이

877. 상대적으로

878. 덜

879. 요구된다

880.
처리

881. 복잡도가

882. 높다

883.
처리할

884. 데이터

885. 양이

886. 방대하다

887.
비정형

888. 데이터

889. 비중이

890. 높다

891.
처리/분석

892. 유연성이

893. 높다

894.
동시처리량이

895. 낮다

896.
BigData

897. 처리

898.
가트너

899. 11년

900. 보고서

902. • 31
처리

903. 방식

904.
다양한

905. 스토리지,

906. 컴퓨팅

907. 기술

908. 과

909. 분석

910. 기술을

911. 이용한다.

912.
그래서

913. 빅

914. 데이터

915. 기술은

916. 크게

917. 분석

918. 기법과

919. 분석

920. 인프라로

921. 구성

922.
Big

923. Data의

924. 개요

925.
KT경제연구소,

926. Big

927. Data,

928. 미래를

929. 여는

930. 비밀의

931. 열쇠

933. BigData의

934. 분석기법

936.
02.

937. 주요

938. 분석

939. 기법

941. • 33
TextMining

942.
텍스트마이닝은

943. 비/반정형

944. 텍스트

945. 데이터에서

946. 자연어처리
Natural

947. Language

948. Processing

949. 기반

950. 추출/가공을

951. 목적

953. -

954. 방대한

955. 텍스트

956. 내용

957. 안에서

958. 의미

959. 있는

960. 정보를

961. 추출해

962. 다른

963. 정보
와의

964. 연계성을

965. 파악해

966. 텍스트의

967. 분류화

969. -

970. 단순

971. 키워드

972. 검색

973. 이상의

974. 결과를

975. 얻는다.

977.
다양한

978. 텍스트마이닝

979. 기술

980. 요소

981. 참조

984. -

985. http://goo.gl/VeBGL

987.
예)

988. Hadoop의

989. Mahout

990. 서브

991. 시스템

993.
BigData

994. 분석기법

996. • 34
Opinion

997. Mining

998.
텍스트마이닝

999. 분야로

1000. 일명

1001. 평판분석

1002. Sentiment

1003. Analysis

1004.
소셜미디어

1005. 등의

1006. 정형/비정형

1007. 텍스트의

1008. 긍정Positive,

1009. 부정
Negative,

1010. 중립Neutral

1011. 의

1012. 선호도를

1013. 판별

1015.
예)

1016. 소셜네트워크에서

1017. 서비스/상품의

1019.
시장규모

1020. 예측,

1021. 소비자의

1022. 반응,

1024.
입소문

1025. 분석

1026. 등을

1027. 위해

1028. 활용.

1031.
SNS에서

1032. 오피니언마이닝

1034. -

1035. http://www.slideshare.net/hyummoki/sns-12894995

1037.
BigData

1038. 분석기법

1039.
연구데이터

1040. 지원

1041. /

1042. 오피니언마이닝을

1043. 위해

1044. 데이터

1045. 제공

1046.
http://lab.naver.com/research/

1048. • 35
SNS

1049. Analytics

1050.
소셜네트워크의

1051. 연결구조,

1052. 강도

1053. 등의

1054. 분석은

1055. 그래프

1056. 이론을

1057. 기반
으로

1058. 한다.

1060.
소셜네트워크

1061. 사용자의

1062. 명성,

1063. 영향력

1064. 등을

1065. 측정

1066. 가능하다.

1068.
소셜네트워크

1069. 내에서

1070. 입소문의

1072.
중심,

1073. 허브

1074. 역할

1075. 사용자

1076. 검색

1077.
이런

1078. 영향력있는

1079. Influencer의

1081.
모니터링,

1082. 관리를

1083. 목적

1086.
소셜

1087. 네트워크

1088. 분석

1089. 사례

1091. -

1092. http://www.slideshare.net/webscikorea/ss-2659452

1093.
BigData

1094. 분석기법

1095.
http://cyram.tistory.com/35

1097. • 36
Cluster

1098. Analysis

1099.
군집분석

1100. Cluster

1101. Analysis는

1102. 비슷한

1103. 개체를

1104. 합쳐가며

1105. 최종적으
로

1106. 유사

1107. 특성의

1108. 군Group을

1109. 발굴하는데

1110. 사용

1111.
예로

1112. 소셜네트워크에서

1113. 영화,

1114. 정치

1115. 등을

1116. 주로

1117. 이야기

1118. 하는

1119. 사용자
군,

1120. 자동차에

1121. 관심있는

1122. 군을

1123. 추출

1125.
BigData

1126. 분석기법

1127.
http://cyram.tistory.com/72

1129. BigData의

1130. 분석기법

1132.
03.

1133. 주요

1134. 분석

1135. Infra

1136. 기술

1138. BigData의

1139. 분석기법

1141.
03.

1142. 주요

1143. 분석

1144. Infra

1145. 기술

1147. • 39
Infra

1148. structure

1149.
테라,

1150. 페타,

1151. 제타

1152. 바이트

1153. 이상의

1154. 데이터를

1155. 저장,

1156. 분석을

1157. 위한

1158. 인프
라

1159. 기술

1160. 개발이

1161. 중요.

1162.
BigData

1163. 분석기법

1164.
http://goo.gl/VT5Z4

1166. • 40
Hadoop

1167.
테라,

1168. 페타,

1169. 제타

1170. 바이트

1171. 이상의

1172. 데이터를

1173. 저장,

1174. 분석을

1175. 위한

1176. 인프
라

1177. 기술

1178. 개발이

1179. 중요.

1180.
Hadoop

1182. -

1183. 오픈소스

1184. 분산데이터

1185. 처리

1186. 기술

1188. -

1189. HDFS과

1190. Hbase,

1191. MapReduce

1192. 등

1194.
서브

1195. 시스템의

1196. 집합

1198. -

1199. HDFS,

1200. Hbase는

1201. 각각

1202. 구글

1203. GFS,

1205.
Big

1206. Table

1207. 영향받아

1208. 비용효율적인

1210. x86

1211. 서버로

1212. 가상화된

1214.
대형스토리지

1215. 구성,

1216. 저장된

1218.
데이터셋을

1219. 간편하게

1220. 분산처리할

1222.
수

1223. 있는

1224. Java기반의

1225. MapReduce

1226. 프레임워크

1227. 제공

1228.
BigData

1229. 분석기법

1231. • 41
R

1232.
오픈소스

1233. 프로젝트로

1234. 통계계산

1235. 및

1236. 시각화를

1237. 위한

1238. 언어

1239. 및

1240. 개발환
경

1242. -

1243. 통계기법,

1244. 모델링,

1245. 데이터마이닝

1246. 기법의

1247. 구현

1248. /

1249. 계산

1251. -

1252. 결과는

1253. 그래프

1254. 등의

1255. 시각화

1256. 기능

1258. -

1259. Java,

1260. C,

1261. Python과

1262. 연계

1264. -

1265. Windows,

1266. Mac,

1267. Linux,

1268. Unix

1269. 등

1270. 지원

1272. -

1273. 하둡

1274. 상에서

1275. 분산처리

1276. 지원

1277. 라이브러리를

1278. 통해서

1279. 구글,

1280. 페이스
북,

1281. 아마존

1282. 등

1283. 빅데이터

1284. 분석이

1285. 필요한

1286. 기업에서

1287. 사용

1290. -

1291. http://www.r-project.org/

1292.
BigData

1293. 분석기법

1295. • 42
NoSQL

1296.
Not-Only

1297. SQL,

1298. No

1299. SQL!

1300.
테이블

1301. 스키마가

1302. 고정되지

1303. 않고,

1304. 테이블

1305. 조인

1306. 없어

1307. 수평적

1308. 확장이

1309.
용이하다.

1311.
RDB가

1312. 관계에

1313. 중점되어

1314.
일관성이

1315. 중요시

1316. 된다면,

1317.
NoSQL은

1318. 분산

1319. 가능성에

1320.
중점을

1321. 두어

1322. 일관성과

1323.
유효성은