2. 01빅데이터란무엇인가?
디지털 환경의 발달로 사람들이 하루에 쏟아내는 천문학적인 양의 데이터
지난 해 세계적으로 생성된 데이터의 양은 ‘2조 기가바이트’
생성주기가 짧고 광범위하며 형태가 다양 (텍스트, 소리, 영상)
이렇게 디지털화된 방대한 양의 정보
“빅 데이터”
3. 01빅데이터란무엇인가?
기업에서는 이미 이전부터 소셜네트워크뿐만 아니라
GPS 기반의 지도정보, 날씨 정보등 다양한 정보들을
“중요한 데이터”라는 개념으로 정의하고 분석
“빅데이터”라는 이름으로 재정의
4. 02기존데이터분석과의차이점
기존에 비해 100배 이상 많은 데이터
로그 데이터, 구매기록 등 기존의 정형데이터 뿐만 아니라
소셜 미디어, 위치정보, 각종 센서의 정보 등 비정형 데이터도 함께 분석
다양한 데이터의 관계를 동시에 가능한한 빨리 처리하는 새로운 컴퓨팅 기술 적용
다양하고 신뢰할만한 분석결과를 제시해 가치를 창출
5. 03빅데이터의분석방법
❖ 텍스트 마이닝 Text Mining
정형화된 데이터를 분석하는 기법인 데이터마이닝과 비슷한 기법
자연어 처리 기술에 기반
비정형 텍스트 데이터에서 가치와 의미를 찾아내는 기술
텍스트가 가진 카테고리를 찾아낼 수 있음
❖ 평판분석 Opinion Mining
SNS, 블로그, 게시판, 카페 등 인터넷 상의 모든 웹문서와 의견을
분석해 그에 맞는 제품이나 서비스에 대한 평판을 추출
6. 03빅데이터의분석방법
❖ 소셜 네트워크 분석 Social Network Analytics
가트너사가 뽑은 10대 전략기술중 하나
개인 또는 그룹의 네트워크 영향력이나 관심사,성향의 패턴을 분석하고 추출
❖ 클러스터 분석 Cluster Analysis
비슷한 특성을 가진 개체를 합쳐가면서 최종적으로 유사특성의 그룹을 발굴
관심사나 취미에 따른 사용자 그룹을 군집분석을 통해 분류
7. 04국가별빅데이터산업동향 -미국
❖ 핵심적인 빅데이터 관련장비 개발
❖ 국가차원의 공공정보 공개를 통한 기술개발로 정책적 우위를 점함
❖ 여섯개의 관련 기관에 2억달러의 예산을 투입
❖ 민간부문과의 협력을 통해 전문인력 양성
❖ 빅데이터 산업 발전에 필요한 네트워크/클라우드 관련 인프라 진흥정책
8. 04국가별빅데이터산업동향 -유럽연합
❖ 일찍이 공공정보의 공개에 대해 관대한 입장
❖ 가입국가간 협약을 통해 정보공개 창구를 일원화
❖ 정보공개를 통해 정부행정의 투명성과 함께 빅데이터 산업발전 도모
❖ 데이터처리기술 연구에 2년간 1억유로 (1,400억원) 규모의 지원
❖ 개인정보에 대해 강경한 입장으로 개인정보 이용시 사용자의 동의를 받아야 하는
옵트인opt-in 제도 시행
❖ 미국과 마찬가지로 네트워크/클라우드 인프라 구축에 집중
9. 04국가별빅데이터산업동향 -일본
❖ 민간의 참여도가 낮아 정부주도로 빅데이터 산업 시장 형성에 주력
❖ 경제성장의 침체, 빈번한 자연재해 등의 국가 위기 상황이 자주 발생하여
빅데이터의 실시간 분석을 통한 정책결정의 중요성 강조
❖ 빅데이터 산업을 국가 중요진흥정책 중 하나로 선정
❖ 2013년 기준 89억엔(900억원) 규모의 지원을 통해 시장 창출에 집중
10. 04국가별빅데이터산업동향 -한국
❖ 세계 최고의 기술력과 인프라 보유
❖ 빅데이터에 대한 관심이 조금씩 형성되는 수준
❖ 2020년까지 9억달러 수준의 시장 성장 예상
❖ 소프트웨어분야에 취약한 한국 특성상 서비스와 스토리지 중심의 발전 예상
❖ 2012년 말 빅데이터 마스터 플랜안 발표, 2017년까지 5000억원 지원
❖ 정부주도로 민간에 대한 시장형성을 함께 진행한다는 점에서 일본과 유사
❖ 시작은 다소 늦었으나 민간 활성화를 위한 여러 정책과, 법적 한계를 극복하기 위
한 법 개정등도 동시에 진행된다는 점에서 긍정적
12. 05빅데이터활용사례-서울시올빼미버스
❖ 2013년 8월 서울시의 심야버스 운행 결정
❖ 최적의 노선을 결정하기 위해 KT와 MOU를 맺고 휴대전화 위치정보 사용
❖ 0시부터 5시까지의 휴대전화
기지국 통신자료 30억건을 활용,
해당시간 내 지역 통화량 파악
❖ 서울시가 보유한 교통데이터와
KT의 통화량 통계데이터를 통해
서울시 유동인구 통계 추출
0-5시 서울시내 유동인구 밀집도 ▶
서울특별시
13. 05빅데이터활용사례-현대카드x빅데이터
❖ 고객들의 외식 및 패션부분의 소비패턴을 성별/연령/시간대별로 분석
❖ 고객들이 많이 찾는 식당과 의류점을 파악
❖ 이를 토대로 제휴할인 등의 서비스를 제공하여 재구매 유도
❖ 전년도 대비 관련상품의 결제가 두배 가까이 증가함
❖ 통념을 깨는 통계결과로 의미있는 영업전략 수립 가능
❖ 카드결제데이터를 바탕으로 하기 때문에 타 데이터에 비해 신뢰성 높음
14. 06빅데이터의문제점-개인정보
빅데이터는 기본적으로 다양한 데이터셋에서 패턴/동향 등을 추출하는 것
이를 위해 기업들은 다양한 개인정보를 수집하고 축적하여 분석
모자이크 효과 Mosaic Effect
단편적인 정보 자체로는 개인을 식별할 수 없으나
함께 수집한 다른 정보와 결합하면 개인을 식별할 수 있는 것은 물론
프라이버시 노출과 보안 위험 또한 발생 가능
15. 06빅데이터의문제점-기술적측면
빅데이터를 제대로 활용하기 위해서는 “빅데이터”의 복잡한 분석이 필수
▶ 대용량데이터를 저장하고 분석하기 위한 ICT시스템과 솔루션이 필요
빅데이터의 활용을 위한 전문 인력의 필요
▶ 과학기술, 통계, 분석력, 해석 스킬, 창의력 등 다양한 역량이 필요
▶ 관련 전문가 집단의 확보와 육성이 절대적으로 요구됨
16. 06빅데이터의문제점-저작권
빅데이터를 분석/가공하여 얻은 2차 데이터의 저작권 문제
▶ 현재 웹상에 축적되고 있는 데이터의 분석을 통한 2차데이터에 대한 소유권
문제는 아직 명확하게 정립된 바 없음
▶ 기업들은 개인이 인터넷상에 공개하는 정보는 자신들이 공개한 데이터가 공
유하고 사용될 것을 전제하므로 문제가 없다고 주장
▶ 개인들은 블로그나 커뮤니티 서비스를 통해 축적된 데이터의 소유권이 자신
들에게 있음을 주장하며 포털 등 서비스 업체와 분쟁을 벌임
17. 07향후전망
빅데이터의 중요성 부각과 기술발전으로 급격한 성장
▶ 스마트 디바이스의 보급과 기술의 발전, 사회적 인식의 제고로 빅데이터의
중요성이 인식되고 관련 시장이 급격히 성장할 것으로 예상
▶ 출시되고 있는 스마트기기에 다양한 센서가 내장되어있고, 저장매체의 가격
과 통신비용이 급격히 하락하는 추세로, 기존에 불가능했던 대량의 데이터
저장과 유통이 가능해짐
선진 기업들의 빅데이터를 이용한 핵심서비스의 증가
▶ 구글의 검색통계를 이용한 독감예보서비스, 자동번역서비스
▶ 애플의 자연어처리기술을 이용한 개인비서 서비스 Siri
▶ 네이버의 음악검색 등 빅데이터를 이용해 정확도를 높일 수 있는 서비스의
증가 예상
18. 07향후전망
빅데이터의 성장과 함께 인프라, 소프트웨어, 서비스 관련산업 동반성장
▶ 스토리지, 서버, 네트워크등 기반 인프라 산업
▶ 데이터 조직화 및 관리 SW
▶ 데이터베이스 최적화 및 관리 SW
▶ 빅데이터 전용의 검색엔진, 데이터마이닝, 시각화 관련 SW
▶ 비즈니스 컨설팅, IT 아웃소싱, 전문인력 교육훈련산업 등 서비스산업
19. 08결론
국내/외 할것없이 빅데이터 관련 산업은 엄청난 속도로 증가하고 있음
우리나라는 세계최고의 인프라와 네트워크를 가지고 있으나 활용도가 낮음
1인당 모바일 트래픽이 월 1GB로 세계 평균의 10배 이상의 데이터생산 강국
!
한국과학기술정보연구원이 연평균 28.8% 성장할 것으로 예측하는 등 매우 잠
재력이 큰 시장이므로 정부와 민간부문의 긴밀한 투자와 협조로 각 세부분야의
전문기업을 전략적으로 양성하고, 기업에서도 빅데이터를 적극적으로 활용할
수 있게 지원하는 방안이 필요함