이미지(비디오) 데이터를 대상으로 빅데이터 시스템을 개발하는데 있어서 필요한 기초지식 및 기술동향에 대해 살펴보고 실제 시스템을 개발하는데 필요한 고려사항이 무엇인지 알아본다. 감성컴퓨팅(Affective Computing)의 기본을 알자.

1. 빅 데이터 시스템 개발에 있어서
이미지/비디오 데이터 처리
이정헌

2. 2

3. 빅 데이터 시스템 일반 프로세스
3

4. 출처 : Forbes(2012)
4

5. Data Scientist 가 되는 방법
5
출처 : IBM(2012)

6. 빅 데이터의 종류
6

7. BigData System (ex. IBM InfoSphere Data Explorer 9.0)
7

8. 빅 데이터의 4가지 차원 (정확성)
데이터의 정확성



8
어떤 데이터들은 본질적으로 불확실함. Ex. 인간의 감정이나 진실성, 맨해튼의 고층 건물 사이에서 일어나는 GPS센서의
반사, 날씨, 경제 요인, 그리고 미래 등. 이런 종류의 데이터들을 처리할 때는 아무리 철저한 데이터 정제를 실시해도 불확
실성을 제거할 수 없음. 불확실성에도 불구하고 이런 데이터들은 가치 있는 정보를 포함하고 있으며, 이런 불확실성을 인지
하고 수용해야 하는 것이 바로 빅 데이터 시스템이 갖추어야 하는 특징
이미지 / 비디오 데이터도 이러한 빅 데이터 시스템에서 데이터의 불확실성이 높은 대표적인 데이터임

9. 비정형 원본 데이터의 정형화
비정형 데이터에서 정형 데이터로의 변환

이미지/비디오 원본 데이터
이미지/비디오 분석
추출 데이터
수영/연주/달리기…
철수/영희/정헌/…
남녀/20대 …
High Level
바다/들판/실내/실외 …
사람/얼굴/고양이 …
테이블/의자/비행기 …
테이블옆/의자앞 …
손/발/머리/몸통 …
눈/코/입/눈썹 …
푸른/빨간/노란계열 …
프로파일/히스토그램 …
퍼센트/채도/명도 … Low Level
※ 이미지 / 비디오는 비정형 데이터의 대표적인 데이터
기존의 정형 데이터도 시간 열과 관계성을 추가되게 되면 비정형화 되는 특징을 가짐.
9

10. 추출 데이터의 활용 분야

추출 데이터 기반 활용 분야
추출 데이터
수영/연주/달리기…
철수/영희/정헌/…
남녀/20대 …
보안분야
High Level
마케팅분야
바다/들판/실내/실외 …
사람/얼굴/고양이 …
테이블/의자/비행기 …
교통분야
테이블옆/의자앞 …
손/발/머리/몸통 …
눈/코/입/눈썹 …
푸른/빨간/노란계열 …
프로파일/히스토그램 …
퍼센트/채도/명도 … Low Level
위성영상분야
의료분야
10

11. 빅 데이터 활용 예시
11

12. 이미지 마이닝 일반적인 처리과정
12

13. 영상이해 환경 개발을 위한 문제 현안

해법 정의의 어려움

동일한 기능을 수행하는 수많은 알고리즘의 존재

알고리즘을 개발한 용도 및 동작환경 지식의 부재

알고리즘 사이의 결과를 주고 받는 표준 데이터의 부재

개발한 알고리즘을 쉽게 테스트하고 관리하기 위한 환경의 부재

알고리즘 사이의 성능을 평가하기 위한 평가 체제의 부재

해법을 객관적으로 표현하기 위한 메타데이터 표준의 부재
13

14. 문제 해결을 위한 관련 기술 동향

IUE(Image Understanding Environement)


Khoros


http://www.onvif.org/
OpenCV


http://pascallin.ecs.soton.ac.uk/challenges/VOC/
OnVIF


http://www.amerineximaging.com/en/Products/Aphelion-Imaging-Software-Suite.html
PASCAL VOC


www.mathworks.com
KBVision


www.khoral.com/
MATLAB


DARPA 추진 (1999년)
http://opencv.org/
MTES

14
http://vision.khu.ac.kr/?mid=MTES

15. 이미지 마이닝의 단계 1/2
15

16. 이미지 마이닝의 단계 2/2
16

17. 이미지 마이닝 도구의 아키텍쳐
17

18. 이미지 기술자 중심의 프레임워크
18

19. 기능 중심의 프레임워크
19

20. 정보 중심의 프레임워크
Pattern and
Knowledge
Level
Information integration
Integrated
rules
Alphanumeric
pattern &
knowledge
database
Pattern & knowledge
database
Semantic concept
image retrieval
Semantic
Concept
Level
Object
Level
Image KDD module
Semantic concept
image indexing
Object/region
image retrieval
Alphanumeric KDD
module
Semantic concept
database
Feature
extraction
Alphanumeric
database
Object/region
image indexing
Object/region
database
Pixel
Level
Primitive feature
image retrieval
Image processing
(image segmentation,
object recognition)
Primitive feature
image indexing
Image database
20
User interface
(Data Visualization)
Domain
knowledge

21. 지식 기반의 프레임워크
21

22. 지능적인 위성영상을 위한 이미지 마이닝 시스템(Ex.)
22

23. 상황 인식과 이해 기반 프레임워크
23

24. 정보 융합 기반의 프레임워크
24

25. 정보 융합 수준에서의 상황 분석
25

26. Visual Object Classes Challenge 2005-2012

To recognize objects from a number of visual object
classes in realistic scenes

Each person annotated has at least their head and
one other body part visible.

Person : person

head

Animal : bird, cat, cow, dog, horse, sheep

hands

Vehicle : aeroplane, bicycle, boat, bus, car,
motorbike, train

feet

Indoor : bottle, chair, dining table, potted plant, sofa,
tv/monitor
26
Mark Everingham (University of Leeds)
Luc van Gool (ETHZ, Zurich)
Chris Williams (University of Edinburgh)
John Winn (Microsoft Research Cambridge)
Andrew Zisserman (University of Oxford))

27. Visual Object Classes Challenge 2005-2012

The images show the annotation available, consisting of bounding box and set of actions

Jumping / Phoning / PlayingInstrument / Reading / RidingBike / RidingHorse / Running / TakingPhoto / UsingComputer /
Walking
(Visual Object Classes Challenge 2012)
27

28. 영상분석을 위한 기초 기술 그룹
28

29. 페이셜코딩

페이셜 코딩의 역사

사람의 표정은 타고나는 것이며, 얼굴이 감정을 타인에게 전달하는데 사용되는 중
요한 수단이라는 사실이 밝혀졌다.


7년동안 모은 얼굴 표정자료를 기초로 사람은 43개의 안면근육과 이러한 근육들
이 움직여 다양한 방식으로 조합되면 23개의 핵심 움직임 단위(Action Unit, AU)가
만들어지고, 이 움직임 단위들은 감정과 관련된 모든 표정의 가장 기본적인 요소가
된다는 것이 밝혀졌다.


캘리포니아 대학의 폴 에크먼과 의과대학의 윌리프리즌, 2003
에크먼의 FACS 시스템을 이용하여 기업의 행동에 대한 소비자와 직원들의 실제
감정 반응을 파악해주고 기업이 그에 따라 계획을 수립할 수 있게 도와주는 페이셜
코딩을 비즈니스 세계에 접목하기 시작했다.


찰스 다윈, 1872
센서리로직, 2007
페이셜 코딩의 신뢰성

“인간은 지구상의 어떤 동물보다도 많은 안면 근육을 가지고 있다. 이 사실만으로
도 얼굴은 수많은 데이터를 얻어 낼 수 있는 정보의 보고다.”


“얼굴인 신체에서 근육이 직접 피부에 붙어있는 유일한 부분이다. 이 때문에 얼굴
은 대단히 쉽게 움직이며, 피부는 두뇌에서 오는 자극에 빠르게 반응하여 자신의
모양을 바꾼다. 따라서, 얼굴은 감정을 무의식적으로 가장 잘 나타내는 창이다.”


29
애크먼과 프리즌, 2003
맥닐(McNeill), 1998
“얼굴 근육의 풍부한 움직임은 페이셜 코딩의 기본 토대이자 근거다. 두뇌가 감정
적인 자극을 발생시킬 때마다, 이 자극은 모든 안면 근육과 표정을 통제하는 안면
신경을 통해 얼굴로 전달된다.” - 댄 힐(Dan Hill), 2011

30. 페이셜코딩 핵심감정

표정 패턴



표정은 그것이 형성되고 최고조에 이르렀다가 사라지는 형태로 존재한다. 일반적으로 표정이 지속되는 시간은 0.5초에서
4초 사이이며, 근육 움직임의 지속시간 및 유형, 강도를 모두 종합하여 특정 감정의 강도를 측정하는 기준으로 삼는다.
감정은 하나의 패턴으로 유지되지 않으며, 어떠한 이벤트에도 복합적인 감정의 흐름이 단계적 변화와 혼재되어 나타난다.
7가지 핵심감정
행복(긍정적), 놀라움(중립적), 두려움, 분노, 슬픔, 협오감, 경멸감(부정적)

동영상기반 얼굴인식 및 추적기술 필요
놀라움
눈이 커진다.
눈썹이 올라간다.
입이 벌어진다.
30
두려움
눈썹이 올라가고
미간이 좁아진다.
눈이 커진다.
턱 주변 근육이 긴
장된다.
입술이 가로 방향
으로 당겨진다.
턱이 벌어진다.
분노
눈썹 끝이 내려가
고 미간이 찌푸려
진다.
눈이 가늘어진다.
입술을 힘주어 오
므린다.
슬픔
협오감
이마 중간에 주름
이 생긴다.
눈썹의 바깥쪽은
처지고 안쪽은 약
간 올라간다.
눈가에 주름이 생
긴다.
코와 윗입술 주변
의 팔자 주름이 깊
어진다.
입술 양끝이 처지
거나, 거꾸로 된 미
소모양이 나타난
다.
코끝이 올라가고
주름이 생긴다.
윗입술이 올라가
고 떄로 거꾸로 된
미소모양이 약간
나타난다.
아랫입술이 처진
다.
경멸감
입의 한쪽끝이 올
라가면서 비웃는
듯한 분위기와 함
께 얼굴의 반쪽만
표정이 바뀐다.
윗입술이 올라간
다.
눈이 약간 감기거
나 시선을 돌리기
도 한다.
행복(진짜미소)
눈 바깥쪽 피부에
새발 모양의 주름
이 생긴다.
눈꺼풀의 긴장이
풀어지면서 약간
처지고, 눈아래 피
부가 위쪽으로 당
겨진다.
입꼬리가 크게 올
라가고 빰도 위쪽
으로 당겨진다.
행복(사회적미소)
입꼬리와 뺨의 근
육이 올라가면서
얼굴이 전체적으
로 동그래진다.
반면 눈가 근육은
움직이지 않고 눈
동자에도 밝은 기
운이 감돌지 않는
다.

31. 페이셜코딩 감정의 다양성

7가지 핵심감정(기본감정)이 결합되면 24개의 2차 감정이 생성된다.

내향적 감정



해당 감정을 느끼는 사람에 의해서 유발되는 감정 또는 내면으로 향하는 감정을 말한다.
일반적으로 이러한 감정은 자존심과 관련되거나, 또는 우리가 갖는 기대치를 토대로 상황변화에 대한 우리의 감정을 내면화
하는 방식과 관련된다.
외향정 감정


31
외부 요인에 의해 유발되거나 또는 감정의 에너지나 그것이 일으키는 행동이 자신이 아닌 다른 누군가를 향한다.
자신의 상태 및 위치에 대한 관심, 다른 사람들의 상황이나 행운등(특히 그것이 우리의 목표실현과 관련되어 있는 경우)이
외향적인 감정을 일으키는 경향이 있다.

32. 페이셜코딩 응용

페이셜 코딩 데이터를 분석하는데 가장 중요한 데이
터는 청중이 주의를 기울이느냐의 여부이다. 그 이유
는 상업적인 측면에서 사용자들에게 감정적 반응을
유발함으로써 주의를 일깨우지 않는다면 소비자들을
설득할 수 없기 때문이다.

특정 자극에 반응할 때, „그리고/또는‟ 질문에 답변할
때 최소한 한가지 이상의 AU나 정확한 감정을 얼굴에
나타낸 참가자들의 퍼센티지를 조사함으로써 감정적
반응도를 파악한다.

사람들이 감정적으로 반응하는지 여부를 알아냈다면,
그 다음엔 반응의 종류를 파악해야 한다. 페이셜 코딩
을 이용해 기업은 긍정반응이 우세한지 부정 반응이
우세한지 판별할 수 있게 된다.

사람들이 자극에 대한 정확한 반응을 나타내지 못하
는 경우도 많기 때문에 페이셜 코딩과 함께 안구 운동
추적 방법을 병행 사용한다. 안구 운동 추적 방법은
사람들이 보고 있는 지점, 그들이 집중하는 지점을 알
아내 기록하는 것을 말한다. 감정 반응과 시각적 집
중을 동시에 파악하는 것은 사람들의 반응을 유발하
는 요인을 이해하기 위해 효과적인 방법이다.
32

33. 얼굴검출 기술동향

얼굴 검출 기술은 얼굴인식 이전에 실행되
어야 하는 과정으로 영상에서 얼굴이 있는
곳을 찾아내는 기술이다. 일반적으로 사람
의 얼굴은 조명, 사람의 얼굴이 응시하는 방
향과 각도, 표정, 카메라와 사람 간 거리에
따른 얼굴의 크기, 배경과 얼굴의 색상 차이
등과 같이 환경적인 조건에 따라 민감한 반
응을 하기 때문에, 영상으로부터의 얼굴 검
출 및 얼굴 인식에 관한 연구는 실제 많은 어
려움을 포함하고 있다.
얼굴검출
지식기반
특징기반
규칙기반
템플릿매칭기반
외형기반
얼굴특징
사전정의 얼굴템플릿
Eigenface
텍스쳐
변형하는 템플릿
분산기반
피부색
Neural Network
다양한 얼굴특징
SVM(Support Vector
Machines)
Naïve Bayes
Classifier
Hidden Markov
Model
InformationTheoretical Approach
33

34. 얼굴추적 및 특징추출 기술동향

얼굴영역이 검출되면 검출된 영역을 추적하면서 얼굴인식에 사용
할 특징값들을 추출하는 과정이 진행된다. 이과정에서 사용하는
알고리즘에 따라 뒤에 얼굴인식 알고리즘에 영향을 미치게 되며,
특징값을 선택하는 알고리즘의 종류들도 바뀌게 된다.
얼굴검출 및 추적 과정
특징값 추출 과정
34

35. 얼굴특징 추출 및 특징선택 기술 동향

특징값 선택 과정
35
얼굴인식에 사용되는 가장 작은 단위
의 분류에 오류를 일으킬 수 있는 영향
을 줄 수 있는 특징 값중에서 부분세트
를 선택하는 것이 목적으로 사용되는
것이 바로 특징값 선택과정이다.

36. 얼굴인식 기술동향

얼굴인식 기술은 크게 3가지 유형으로 분류 할 수 있으며, 하이브리드 방법을 이용한 연구들이 많이 진행되고 있다.
하이브리드 방법에서는 위치 특성과 더불어 하나의 얼굴을 인식하기 위하여 얼굴 전체 영역을 사용하기 때문에 매우
복잡하지만 인식률은 전체론적인 매칭 방법과 특징 기반의 매칭 방법들에 비하여 월등히 우수하다.
얼굴인식
전체론적 방법
특징기반 방법
하이브리드 방법
PCA(Eigenface)
Pure Geometry
Methods
LFA
LDA(Fisherface)
Dynamic Link
Architecture
ShapeNormalized
ICA
Hidden Markov
Model
Componentbased
PCA기반 얼굴학습 단계
Tensorfaces
PDBNN
36
PCA기반 얼굴인식 단계

37. 얼굴인식 기술동향 (주요기술)

기하학적 방법



특징 : 얼굴의 기하학적 특징점을 추출하여 일치여부를 판단하여 인식
성능 : 얼굴은 3차원이고 회전이 가능하기 때문에 적용에 한계가 있다.
Eigenfaces



특징 : 특징점 추출로 PCA(Principal Component Analysis)를 적용하고 유사도 측정으로 Euclidean 거리 적용.
성능 : 조명이나 환경변화에 민감하게 반응하지만 널리 사용되고 있어 그 성능이 검증된 대표적인 얼굴인식 방법.
Fisherfaces



특징 : FLD(Fisher Linear Discriminant) 분류 알고리즘으로 적용한 얼굴인식 방법.
성능 : 사람 개개인의 특성을 학습함으로써 보다 정확하고 환경변화에 둔감한 특성을 지니고 있어 on-line 상태에서 실시간
으로 적용 가능한 알고리즘.
SVM( Support Vector Machine)에 기초한 방법



특징 : PCA와 SVM(Support Vector Machine)알고리즘을 사용한 알고리즘.
성능 : 비교적 높은 인식률을 높이지만 얼굴인식과 같은 멀티 클래스에 적용하기에는 시간과 메모리가 많이 소모되는 알고
리즘이지만 현재 연구되는 얼굴인식 알고리즘의 대표적인 알고리즘임
신경회로망



특징 : 흑백의 정지영상에서 슬라이딩 윈도우를 이용해 학습된 얼굴모양을 검색
성능 : 두 개 이상의 다수 얼굴의 추출도 가능하나 속도가 느리며 학습이 어려움.
퍼지 + 신경회로망



특징 : 신경회로망회로의 입력으로 픽셀의 밝기 값 대신 퍼지 소속함수를 사용
성능 : 신경회로망만을 이용한 방법보다 성능은 향상되나 처리속도는 떨어짐.
Wavelet + Elastic Matching

특징 : 주파수 변환을 사용하며, 자세 및 표정의 변화를 처리하는데 효과적.

성능 : 인식률에 비해서 연산량이 많음.
37

38. 얼굴인식 성능평가 기술 동향

성능평가 기준

성능평가에 사용하는 얼굴DB


FERET Protocol

Error rate

XM2VTS Protocol

Computational speed.


Hit ratio
Memory usage.
성능에 영향을 주는 중요요인

Illumination / occlusion / expression /
pose invariability

Scalability.

Adaptability (to variable input image
formats, sizes, etc.)

ˆ Automatism (unsupervised processes)

Portability.
• 실제 응용에 있어서는 인식율을
좌우하는 측면에서 DB의 내용이
매우 중요하며 대부분의 상용솔루
션들의 자체 DB를 확보하고 있음
38

39. 얼굴인식 문제 및 해법연구 동향
문제 vs 해법연구
Illumination
Pose
Occlusion
Heuristic approach
Single-model
based approaches
Light-modeling app
roach
Expression
Multi-image based
approaches
Statistical approac
h
Optical technology
Geometric
approaches
Model-based appro
ach
Multi-spectral imagi
ng approach
39
조명의 차이로 인한 분류 클래스의 변위

40. 시선 추적 응용
40

41. 시선 추적 응용
41

42. 비디오 분석의 차별점 (Scene/Shot 방식)
42

43. 비디오 분석의 차별점 (Summarization 방식)
43

44. 지능형 영상 보안 기본 모델
44

45. CCTV 영상의 종류
45

46. 고객 성향 분석 응용(Ex.)
46

47. 교통사고 관리 응용 (1/2)
47

48. 교통사고 관리 응용 (2/2)
48

49. 자가-성장형 프레임워크
49

50. 상황인지 기반 지능형 자동 선택 필터 (ex. MTES)
50

51. 지식 기반 알고리즘 자동 조합 예시
A
B
#10
#6
#11
#9
#5
#10
#15
#20
#15
C
#9
(# : 알고리즘 데이터베이스 시스템 내부의 알고리즘 관리 인덱스)
: 중앙의 알고리즘의 전/후 관계에 사용될 수 있는 지식 정보
(a) 각 중앙의 알고리즘 정보로부터 생성된 전/후 알고리즘의 정보
B
#6
#11
A
#10
#5
C
#15
#20
#9
(b) (a)의 각 알고리즘의 전후 관계를 합쳐서 만든 전체 알고리즘의 관계
51

52. 빅데이터 분석에 실패하는 6가지 습관 (HBR)
경험에 따른 직관을 믿어라
완벽한 결정을 내릴 수 있도록 끊임 없이
정보를 모아라
52
결론을 내 놓고 데이터를 분석해라
모두가 같은 의견을 내는 것을 믿어라
출처 : Harvard Business Review(2012)
다른 것들을 예측하라
스스로 데이터 품질을 검증할 수 있다고
자만하라

53. 감사합니다.
53