AWS 기반 학술 연구 및 교육 활용 사례 - 윤석찬 (AWS 테크에반젤리스트) :: 한국 정보처리학회 2015

1. 클라우드 컴퓨팅의 혁신을 통한 AWS 기반 학술 연구 및 교육 활용 사례 윤석찬 아마존웹서비스 코리아 테크에반젤리스트 한국 정보처리학회

2. Agenda • 클라우드 컴퓨팅과 아마존 웹 서비스 • 공공 영역에서 AWS 활용 § 과학 연구 컴퓨팅 (Scientific Computing) § 온라인 교육 및 대학 교육 과정 § 오픈 데이터와 AWS • 사례: NASA JPL • Q&A

3. 클라우드 컴퓨팅과 Amazon Web Services

4. 유틸리티 컴퓨팅(Utility Computing) If computers of the kind I have advocated become the computers of the future, then computing may someday be organized as a public utility just as the telephone system is a public utility... The computer utility could become the basis of a new and important industry. —John McCarthy, speaking at the MIT Centennial in 1961

5. 클라우드 컴퓨팅이란? On-Demand Uniform Pay as you go Availablehttp://aws.amazon.com/ko/what-is-cloud-computing/ '클라우드 컴퓨팅'이란 인터넷을 통해 IT 리소스와 애플리케이션을 온 디맨드로 전송하는 서비스를 말하며 사용 요금은 종량 과금제로 청구됩니다.

6. 필요할때 요청 가상화 사용한 만큼 만 지불 높은 가용성 클라우드 컴퓨팅의 특징

7. 공공영역에서 AWS 활용

8. 공공 기관 영역에 확대 중 900+ government agencies 3,400+ educational institutions 11,200+ nonprofit organizations 900+ 정부 기관 3,400+ 교육 기관 11,200+ 비영리 기관

9. 공공 및 교육 분야 고객사

10. 연구/교육을 위한 민첩성: Research Agility 새로운 개발 환경 추가 새로운 서비스 인프라 추가 유럽과 남미에 새로운 인프라 구성 1,000대의 서버 구성 1,000대의 서버 제거 1 PB Data Warehouse 구축 1 PB Data Warehouse 폐기 AWS: 인프라 준비를 위해 수 분 소요 기존 방식: 인프라 준비를 위해 수 주일 소요 필요한 서비스는 몇 분만에 준비

11. 성공을 위한 더 많은 실험 필요 기존 IT 환경 혁신을 위한 시도가 자주 일어나지 않고 실패의 비용이 높음 혁신 속도가 느려짐 혁신을 위한 실험을 많이 할수 있고 실패의 비용이 낮음 많은 혁신이 가능 수십억 소요 거의 0

12. 대학/연구 기관 개발 테스트 학과 및 연구소 웹사이트 교과 과정 수강 신청 관리 학생 실습 환경 운영 원격 교육 온라인 교과 과정 사이트(MOOCs) 고성능 컴퓨팅 (HPC) 스토리지및 백업 재해 복구 학교 경영 관리 시스템 가상 데스크톱 서비스 데이터 센터 이동 주요 활용 사례

13. Scientific Computing

14. Scientific Computing 의미 Scientific Computing이란 과학적 문제 를 해결 및 분석 하기 위한 시뮬레이션, 수학적 모델링 및 정량 분석 등을 수행하는 소프트웨어 및 애플리케이션 개발 및 운용

15. Scientific Computing에서 AWS 활용 • High Performance Computing (HPC) for Engineering and Simulation • High Throughput Computing (HTC) for Data-Intensive Analytics • Hybrid Supercomputing centers • Collaborative Research Environments • Science-as-a-Service

16. AWS- 글로벌 연구망과 연계 Image courtesy John Hover - Brookhaven National Lab

17. AWS에서 게놈 데이터 접속 허용 http://aws.amazon.com/genomics

18. High Performance Computing Simulations in the Automotive Sector • Crash and materials simulations • Fluid and thermal dynamics simulations • Car body aerodynamics • Electronics and electromagnetic simulations Honda materials science simulations on AWS: • Deploying scalable HPC clusters on AWS Spot – up to 1000 C3 instances • Running more simulations than before, for more accurate results “Cloud offers us an opportunity, as we can innovate faster than before.” - Ayumi Tada, IT System Administrator, Honda R&D

19. High Throughput Computing at Scale The Large Hadron Collider @ CERN includes 6,000+ researchers from over 40 countries and produces approximately 25PB of data each year. The ATLAS and CMS experiments are using AWS for Monte Carlo simulations and analysis of LHC data.

20. Data-Intensive Computing The Square Kilometer Array will link 250,000 radio telescopes together, creating the world’s most sensitive telescope. The SKA will generate zettabytes of raw data, publishing exabytes annually over 30-40 years. Using AWS to develop and test: • Data processing pipelines • Image visualization tools • Exabyte-scale research data management • Collaborative research environments http://aws.amazon.com/solutions/case-studies/icrar/

21. Science-as-a-Service Globus Genomics, DNAnexus, and SevenBridges Genomics offer inexpensive, easy-to-use, and secure platforms for processing and analyzing genomic data on AWS

22. 서울대학교 유전체 의학 연구소(GMI) GMI는 슈퍼컴퓨터 수준의 값비싼 장비가 필요한 개인 유전체 염기서열 분석 시간을 AWS를 사용하여 절반 이상 줄임 • DNA sequencing을 통해 얻어진 유전정보를 분석하고 질병관련 유전자파악 및 관련 정보 조사 • 짧은 시간 내에 분석하는 소프트웨어 개발 및 이의 활용 필요성 대두

23. AWS Research Grants Program AWS는 연구자를 위해 연구 프로젝트에서 활용할 수 있는 무료 크레딧을 제공합니다! • 대학원 수준 고급 연구 실습 진행 • 신규 연구 과제 진행 • 과학 연구 커뮤니티의 필요 자원 http://aws.amazon.com/ko/grants

24. 온라인 교육 및 대학 교육 과정

25. 전 세계 다양한 교육 기관에서 활용

26. 카메기멜론대 컴퓨터공학과 “3년 전부터 AWS 서비스를 클라우드 컴퓨팅 강의에 접목시키기 시작했다. AWS가 제공한 클라우드 자원으로 학생들이 취업 후 업무를 수행할 때 부딪칠 수 있는 문제들에 대한 실제적인 솔루션을 개발하는 도전 과제를 줄 수 있었다. 그 중에는 학생들에게 1.2 테라바이트의 트위터 데이터를 제공한 후 정확도, 예산, 스루풋 요구조건에 부합하는 트윗 쿼리(query) 웹서비스를 만들어 서로 겨루어 보도록 하는 프로젝트가 있다. 지금까지 770명 이상의 학생이 이 과정을 이수했다.” Majd Sakr 교수

27. 펜실베이니아 주립대 컴퓨터 과학과 Zack Ives 교수 “학생들이 교실에서 배운 것을 충분히 연습할 수 있도록 하고, 동시에 매일 사용하는 인기 있는 서비스를 쉽게 풀이해 주고 있다. 우리는 친구 추천 기능까지 있는 소셜 네트워크, 웹 크롤러(Web crawler), 혹은 검색엔진을 만드는 것과 같은 현실적인 프로젝트를 학생들에게 부여한다. 인원이 많은 강의일지라도 학생들은 하둡, 클라우드 키-밸류 스토어, 버추얼 머신 클러스터를 실제로 이용하기 위해서는 무엇이 필요한지 배울 수 있다. 학생들이 향후 전문가로서 성공할 수 있는 역량과 자신감을 키우려면 이런 경험이 반드시 필요하다.”

28. 서강대학교 컴퓨터공학과 “이번 학기에 100명의 학생들을 대상으로 아마존 EC2, S3, EMR, 그리고 다이나모DB 등의 서비스를 활용하는 시스템 프로그래밍 강의를 진행했다. 학생들이 실제 업계에서 사용되고 있는 클라우트 컴퓨팅 기술을 직접 경험해 보고 전문 역량을 개발할 수 있는 좋은 기회가 됐다. AWS는 클라우드 관련 콘텐트, 자원, 및 실제적인 경험을 제공함으로써 교육자에게는 다양한 교육과정을 개발할 수 있는 기회를, 학생들에게는 졸업 후 진로를 결정하고 치열한 경쟁을 이겨낼 수 있는 기술을 연마할 수 있는 기회를 준다” 김지환 교수

29. 프로그램 AWS 서비스 무료 활용 실습 자료 및 교육 프로그램 학교별 커리큘럼 및 자료 공유 교육 경험 공유 커뮤니티 무료 크레딧 무료 온라인 실습 Educate 포털 접속 AWS 기초 교육 수강 오프라인 교육 50% AWS인증시 험 50% 교수 $200 Yes Yes Yes Yes Yes 학생 $100 Yes Yes Yes No No www.awseducate.com

30. 2010 2015 Toda y 2010 2011 2012 2013 2014 2015 Faculty & staff email 6/15/2011 Cloud-focused role created 4/15/2014 Cloud training with pilot projects 6/1/2014 Cloud training for directors 9/15/2014 Student email migrated to gmail 1/1/2010 Private cloud POC 4/1/2012 RFP for IaaS 1/1/2014 1-day primer training 2/15/2015 Cloud first strategy 5/6/2015 1/1/2010 - 10/31/2013 Focus on technology 11/1/2013 - 4/9/2015 Shifting focus to people 애리조나 주립대 학사 시스템 - 2015년 부터 대학 전체적으로 AWS 활용 시작

31. UA 주요 활용 사례 • Student Class ü ArcGIS instruction § Pre-built § For distance learners § Scalable ü Amazon RDS in the Business College § Top-ranked program § Capstone project in analytics • Campus Infrastructure ü Workspaces in ResLife ü Websites ü ERP grants ü Disaster recovery ü IT Help desk ü Student Information System ü Photographic archive ü DNS ü High performance computing

32. 오픈 데이터와 AWS

33. 오픈 데이터란? Open data 이란 누구나 무료로 이용할 수 있도록 공유된 공개 데이터 ESRI, the Weather Company, the Climate Corporation 등의 고객은 신뢰성 있는 인프라 만큼이나 품질 높은 데이터를 필요로 합니다.

34. AWS를 통한 오픈 데이터의 장점 AWS에서 제공하는 대용량 저장소를 통해 오픈 데이터를 제공하면, 다양한 클라우드 서비스를 통해 더 유연하고 저렴하게 데이터를 통한 혁신이 가능합니다. Amazon EC2 Amazon EMR Amazon Redshift Amazon DynamoDB AWS Lambda Amazon Simple Storage Service(S3)

35. Data Enrichment Sensemaking Data at Rest (Object storage) Basic APIs Complex APIs Consumer applications Algorithmic policy Data-driven journalism Data Catalogs Focused data dashboards Predictive modeling Visualizations Lower cost of knowledge (Efficiency) 플랫폼으로 오픈 데이터

36. Data Enrichment Sensemaking Amazon Kinesis Amazon EC2 Amazon EC2 AWS Data Pipeline Amazon S3 Amazon RDS Amazon EMR Amazon Redshift Amazon DynamoDB AWS Lambda 플랫폼으로 오픈 데이터

37. AWS 공개 데이터셋 AWS는 외부 공개 데이터셋을 직접 호스팅하여, 이를 통해 다양한 연구 및 산업적 활용할 수 있도록 무료로 서비스를 하고 있습니다. Earth Science NASA Earth Exchange (NASA NEX) Life Sciences 1000 Genomes Project Internet Science Common Crawl Corpus http://aws.amazon.com/public-data-sets/

38. 사례: Landsat on AWS Landsat 프로그램은 미국 지질 조사소(USGS)와 NASA의 합동 프로젝트로 지구 위성 이미지에 대해서 촬영 및 저장하는 가장 중요한 프로젝트입니다. Landsat 데이터를 획득, 저장 및 분석하는 데에는 매우 높은 비용과 시간이 소요됩니다.

39. 사례: Landsat on AWS 1페타바이트의 Landsat 이미지를 Amazon S3에 저장하고 제공하고 있습니다. 누구나 Landsat 데이터를 AWS에서 다운로드하거나, 고정 비용 투자없이 AWS에서 바로 활용하여 분석할 수 있습니다

40. 사례: Landsat on AWS ESRI에서는 ArcGIS Online을 통해 Landsat 데이터를 보여주고 분석할 수 있는 웹 브라우저 기반 도구를 바로 개발했습니다. “위성 이미지를 보여주는데 미리 캐시 서버를 만들 필요없이 실시간으로 동적인 이미지 탐색 서비스를 만들 수 있었습니다.” http://www.esri.com/landsatonaws

41. 마지막으로: NASA JPL

42. Jet Propulsion Laboratory - CalTech • Federally-funded (NASA-owned) Research and Development Center (FFRDC) • University Operated (Caltech) • $1.5B Business Base • 5,000 Employees • 139 Buildings; 36 Trailers • 673,000 Net Square Feet of Office Space • 906,000 Net Square Feet of Non-Office Space (e.g., Labs) • 177 Acres (includes 22 acres leased for parking)

43. Security is the #1 Priority on AWS 우리 경험에 따르면 AWS 클라우드 환경이 자체 데이터 센터 보다 보안이 더 강화되었다고 생각합니다. “Based on our experience, I believe that we can be even more secure in the AWS cloud than in our own data centers.” -Tom Soderstrom, CTO, NASA JPL 보안 요구 사항에 적합한 아키텍쳐 주요 업무에 대한 보안 감사 및 인증 획득 http://aws.amazon.com/ko/security

44. 활용 사례: HPC – 데이터 분석

45. 활용 사례: JPL 웹 사이트 Mars Exploration Program Mars.jpl.nasa.gov Eyes on the Solar System Eyes.jpl.nasa.gov Night Sky Network Nightsky.jpl.nasa.gov

46. 활용 사례: 데이터 저장/백업 및 재해 복구 Mars Exploration Rovers Station Fires

47. 활용 사례: 사내 업무 시스템 및 애플리케이션 Rapid Development Enterprise Applications

48. Mars Science Laboratory – 웹 서비스 구조

49. http://aws.amazon.com/swf/testimonials/swfnasa/ http://aws.amazon.com/solutions/case-studies/nasa-jpl-curiosity/ http://aws.amazon.com/solutions/case-studies/nasa-jpl/

50. Opportunity Pancam mosaic of total size 11280×4280 pixels containing 77 color images

51. Mastcam instrument on Mars Science Laboratory consist of up to 1296 images and have a resolution of almost 2 Gigapixels

52. 관련 정보 • 아키텍쳐 센터: http://aws.amazon.com/architecture • 솔루션 센터: http://aws.amazon.com/solutions • HPC 사례: http://ws.amazon.com/hpc • 빅데이터 사례: http://aws.amazon.com/big-data • 연구 지원: http://aws.amazon.com/grants • 교육 지원: http://aws.amazon.com/educate • 공개 데이터: http://aws.amazon.com/genomics • 클라우드 보안: http://aws.amazon.com/opendata

53. AWS 서비스의 차별점 2006년 부터 클라우드 서비스 운영 경험 다양한 클라우드 업무를 지원하는 40여개 이상 고객의 피드백을 기반한 빠른 혁신 속도 11 리전, 30 가용영역(AZ), 53 엣지 로케이션 49번의 자발적인 가격 인하 수천개의 파트너사 및 2천개 이상 마켓플레이스 제 축적된 경험 서비스 및 전문성 혁신의 속도 글로벌 인프라 가격 철학 파트너 생태계

54. 다음 단계… • AWS 서비스 가입 ühttp://aws.amazon.com/ko • 무료 서비스 혜택 누리기 ühttp://aws.amazon.com/ko/free • 직접 사용해보기!

55. 프로그램 AWS 서비스 무료 활용 실습 자료 및 교육 프로그램 학교별 커리큘럼 및 자료 공유 교육 경험 공유 커뮤니티 무료 크레딧 무료 온라인 실습 Educate 포털 접속 AWS 기초 교육 수강 오프라인 교육 50% AWS인증시 험 50% 교수 $200 Yes Yes Yes Yes Yes 학생 $100 Yes Yes Yes No No www.awseducate.com