내츄럴 사용자 인터페이스와 웨어러블 디바이스 - 하이컨셉 NUI / 하이터치 WD

내츄럴 유저인터페이스와 웨어러블 디바이스
High-Concept NUI / High-Touch WD
세종대학교 컴퓨터공학과 이정헌

UX vs UI
내츄럴 유저인터페이스와 웨어러블 디바이스2

UX vs UI
UX is not UI

UX vs UI
 UX (User Experience, 사용자 경험)
 사용자가 시스템∙제품∙서비스 등의 직∙간접적인 이용으로 얻게 되는 총체적 경험으로서, 단지 기술을 효용성 측면에서만 보
는 것이 아니라 사용자의 삶의 질을 향상시키는 방향으로 이해하려는 접근법
 IT분야에서 체계적으로 받아들이고 적용하기 시작한 개념으로, 기능이나 절차상의 만족뿐 아니라 사용자가 지각 가능한 모
든 면에서 참여 및 관찰을 통해 경험하는 가치의 향상을 추구하며, 긍정적인 사용자 경험은 사용자 요구의 만족, 브랜드 충
성도 향상 등에 영향을 줌(출처 : 네이버 지식백과)
밀어서 여는 문고리
알람 시스템의 아이콘 알람 숫자
5

UI 발전
 UI (User Interface, 사용자 인터페이스)
 사용자와 시스템이라는 두 측면의 사이에서 둘 간의 상호 작용이 원활하게 이루어지도록 돕는 장치나 소프트웨어. 휴대전
화의 액정 화면이나 단추는 물론 ‘글’ 소프트웨어에서 사용자가 조작하는 메뉴나 체제 등이 모두 사용자 인터페이스에 속함
(출처 : 네이버 지식백과)
 UUI(Ultimate UI)는 BCI(Brain Computer Interface, 브레인 컴퓨터 인터페이스 or BMI)로 발전하고 있음. BCI는 뇌의
움직임과 생각할 때 발생하는 뇌파를 이용해 제어하는 인터페이스로 1970년대부터 연구중
6

NUI (Natural User Interface)
 NUI는 사용법을 배우지 않고, 사용자가 가진 경험을 기반으로 자연스럽게 사용할 수 있는 UI
 NUI라는 명칭은
 1970년에 MIT Media Lab에서 연구되었던 웨어러블 컴퓨터(Wearable Computer)연구에 참여했던 Steve Mann이 Metaphor-
free Computing 연구를 Natural(Direct) Interface로 언급하면서 시작
 실제 널리 알려진 것은 2008년 MS의 Surface Computing의 연구 책임자인 de los Reyes가 차세대 UI의 기술의 방향으로 언급
7

NUI (Natural User Interface)

NUI로 인한 시장의 변화
 NUI가 경제적인 측면에서 의미를 가지고 있는 것은
 사용자층을 확산하고, 경제적으로 새로운 시장을 창출했기 때문
 초기 스마트폰이 특정 매니아 층만이 사용할 것이라는 예측을 무너뜨리고 현재는 3천만 시대에 돌입한 것이 실례
 NUI는 사람과 컴퓨터 사이의 사용자 인터페이스 측면에서
 컴퓨터와의 대화를 위한 사용자 인터페이스가 사람의 생활 방식을 닮아가는 쪽으로 변화하고 있다는 것을 의미함
 NUI의 발전을 ‘디지털 신분 장벽을 허무는 21세기의 훈민정음’이라고 표현. (출처 : 제일기획 커뮤니케이션연구소)
9

NUI 입력 디바이스

NUI 출력 디바이스

웨어러블 디바이스 측면에서 본 NUI 디바이스

UI 변화에 따른 UX 특성의 변화

OUI(Organic UI)

OUI(Organic UI)
https://www.youtube.com/watch?v=dvmY_LG0XBc

NUI Usage
? !

VIDEO
BODY
APPLICATION
SPEED
INTERNET
DATA
MEASUREMENT PRESENCE
BUSINESS
CAPITAL
RESOURCE
VIDEOMEDIA
ECONOMIC
DIVERSE
YES
NO
TRAINING
LEAD
FOLLOW
DESIGN
IMPROVE
FACTFICTION
CONTACT
GESTURE
PHYSICAL
WEB
SOUND
SOCIAL
MIRROR
BLOG
TEXT
RISK
APPLICATION
SPEED
EMOTION
DATA
IMMSRSION
PRESSURE
DISPLAY
CAPITAL
RESOURCE
NON-
ECONOMIC
DIVERSE
YES
NO
TRAINING
TOWER
INJECTION
LEAD
CONTACT
DESIGN
IMPROVE
FACT
FICTION
INTERACTIONUNITED
NETWORK
MIRROR
BLOGTEXT
INTERNET
DATA
NO
TELEVISION
REALIZATION
CLOCK DIGITAL
SMART
PHONE
EDUCATION
TALENT
PHONE
MEDIA
CLOCK
YES
NO
TOWER
NETWORK
BLOG
FICTION
EXPAND
TEXT
INTERNET
DIGITAL
INFORMATION
SECRET
STUDY
KNOWLEDGE
INPUT
CONTROL
OUTPUT
EXPAND
MEDIA
POWER

NUI Models

HCI – Human interface devices and Software

NUI – Middleware and Application Framework

Ambient Computing – Orchestrate billions of Devices

초연결시대 - 웨어러블 디바이스 - NUI

웨어러블 디바이스 분류
Close to the Body
On the Body In the Body

웨어러블 디바이스의 현재

스마트 워치 NUI – BLOCKS

스마트 워치 NUI

스마트워치 내장된 전/후면 카메라를 사용해 다양한 손동작을 인식해 복잡한 기능을 수행하거나
스마트워치를 찬 손의 움직임을 센서가 감지해 동작

스마트워치 NUI - Hot Watch

스마트워치 NUI - EM-센스(EM-Sense)
디즈니리서치가 카네기멜론 대학과 공동으로 스마트워치 컨셉 모델 개발
컨셉 모델은 사람이 물체를 만지면 물체가 발하는 전자파 노이즈를 이용해 실시간으로 만진 물체를
감지

New interaction sensor using Radar tech.

스마트 워치 NUI - Project Soli

스마트 워치 NUI – Tip-Talk

스마트워치 NUI - Skin Buttons

스마트워치 NUI - SkinTrack

스마트워치 NUI - The Cicret Bracelet

스마트 워치 NUI - Myo Gesture Control Armband

멀티터치
 1960년대 후반 IBM사에서 터치스크린 연구를 처음 시작한 이래로 수많은 기기의 인터페이스로 시험되다가 iPhone의
성공을 통하여 스마트폰, 태블릿 PC와 같은 모바일 개인 디지털 기기의 기본 사용자 인터페이스로 채택되어 일반화
됨. 멀티터치 기술은 20인치 이하의 소형 디스플레이 기술과 40인치이상의 대형 디스플레이 기술이 서로 다른 형태
로 발전.
37

멀티터치
 Capacitive Touch
 2007년 애플이 투과형 정전식 터치스크린 기술을 채택하면서 유명해진 기술
 가벼운 터치에도 반응하고 터치 화면에 전자파가 입력됨으로써 손가락을 감지(근접 센싱 기술)할 수도 있음
 정전식 터치 기술은 인듐과 산화주석의 전도성 화합물인 Indium Tin Oxide로 코팅된 유리로 구성되어 있으며, 유리의 네
모서리에 센서가 부착되어 있음. 유리에는 지속적으로 전류가 흐르게 되고 센서는 가로세로 방향으로 정밀하게 전하를 축
적한 후 사람의 손가락이 터치스크린을 누르게 되면 유리에 흐르던 전자가 신체로 이동하게 되고 센서는 전자적 변화가 있
는 위치를 감지하는 기술로 사람의 신체부위나 특수하게 만든 스타일러스 펜외에는 무생물체에는 반응을 하지 않도록 되
어있음.
 투과형 정전식 스크린은 저항식 기술에서 사용되는 플라스틱 레이어에 비해 투과도가 높은 유리 터치 표면을 사용함으로
써 색감이 더 밝고 유리 터치 표면 또한 내구성이 더 좋고, 표면 스크래치에 좀 더 강하다는 장점을 가짐. 국내에서는 삼성이
갤럭시 S에 능동 유기발광 다이오드(AMOLED) 스크린에 멀티터치 기술을 통합하는데 성공했으며, 슈퍼 아몰레드(Super
AMOLED)라는 브랜드로 선보이고 있음. 이 기술은 별도의 레이어가 아닌 스크린 자체에 직접 터치 센서가 위치하여 디스
플레이가 얇아지는 장점을 가지고 있음. 애플에서도 인셀터치(in cell touch) 기술이 iPhone5부터 적용될 것이라는 소문이 돌
고 있으며, 이 기술은 박형필름트랜지스터(TFT)LCD 제조공정에 멀티터치기술을 포함해 더 많은 유리와 센서를 사용할 필
요가 없도록 한 기술로 더 얇고 더 밝은 스크린을 얻을 수 있는 것으로 알려지고 있음.
Resistive Touch
38

멀티터치
 Surface Computing
 마이크로소프트사에 2007년에 선보인 Surface Computing은 다중 사용자를 위한 대화형 테이블 형태로 멀티터치 기술을 상
용화한 사례
 테이블의 밑에 적외선 스펙트럼을 발사하여 되돌아오는 영상을 인식하여 멀티터치와 테이블 위에 놓여지는 물체를 인지하
는 기술
 기존의 멀티터치가 사람의 손동작 위주였다면 기기간의 연동까지 고려되었다는 점에서 차별화된 기술. 현재는 삼성전자에
서 두께가 개선된 개선된 Surface 2 버전이 개발되어 공개됨
39

멀티터치
 N-trig
 iPhone과 갤럭시 S와 같은 정전식 멀티터치 기술은 사용자에게 새로운 경험을 선사한 반면에 일반적인 노트에 필기를 하는
것과 같은 세세한 필기 기능을 구현하는 데에는 한계를 가지고 있음
 손가락과 스타일러스 펜을 모두 지원하는 하이브리드식 멀티터치 센서를 개발
 이스라엘의 N-trig라는 업체는 정전식과 스타일러스 센서를 통합한 멀티터치 센서를 개발하여 테블릿 PC개발에 공급하고
있으며, 삼성에서는 와콤에서 개발한 방식의 하이브리드 멀티터치 기술을 사용하고 있음
40

Tactile Rendering of 3D Features on Touch Surfaces

Transparent physical buttons that rise up from a touchscreen surface

inFORM - Interacting With a Dynamic Shape Display

SurfaceFusion
출처 : Microsoft

Tabletop
출처 : Microsoft

Fingerlink Interaction System
http://bizion.mk.co.kr/bbs/board.php?bo_table=idea&wr_id=3423
46

음성인식
 음성인식 기술은 주로 인식할 수 있는 발성의 형태, 인식 대상 화자 및 단어에 따라 분류되며, 발성 형태별로는 가장
초보적 단계의 고립단어 인식에서 연결단어(connected word recognition) 인식, 연속어 인식(continuous speech
recognition), 핵심어 인식 등으로 분류
 인식 대상 화자별로는 특정 화자 또는 사용자가 자신의 음성으로 미리 인식기를 훈련시키는 화자 종속 인식(speaker
dependent recognition), 임의의 화자 발성을 인식할 수 있는 화자 독립 인식(speaker independent recognition), 사용
자가 자신의 목소리에 대한 인식률을 높이기 위해 화자 독립 인식기를 자신의 목소리에 적응시키는 화자 적응
(speaker adoption) 인식으로 분류
 인식 대상 단어별로는 인식할 수 있는 대상단어가 고정되어 있는 고정단어 인식(fixed vocabulary recognition)과 인
식 대상 단위를 수시로 갱신할 수 있는 가변 단어 인식(flexible vocabulary recognition)으로 구분
 음성인식 기술은 모든 사용자를 대상으로 보다 많은 어휘, 자연스러운 대화체를 인식하여 인식률을 높이는 방향으로
발전해 가고 있음
47

Amazon Echo - Real Life Jarvis

동작인식
 제스쳐인식 기술은 1990년대부터 시작되었다고 볼 수 있어 NUI 기술 중 가장 늦게 시작된 기술로 볼 수 있음
 최근 Kinect의 성공으로 비접촉식에 대한 기술로 인식되고 있지만, 기존의 센서나 장치를 사용자의 신체 일부분에 부
착하여 부착된 센서나 장치로부터 획득된 사용자의 움직임 정보를 이용하여 상호작용을 하는 접촉식 제스처인식 기
술이 1990년대부터 개발되어 사용되고 있음
 접촉식 제츠쳐 인식 기술은 최근 정밀한 동작을 캡쳐해 내는 용도로 주로 사용하고 있으며, 게임제작이나 영화, 군사
용 시뮬레이션 제작에 주로 사용되고 있음.
49

동작인식
 비접촉식 제스처인식 기술은 주로 카메라를 이용하여 사용자의 움직임 정보를 획득하고 이를 통해서 상호작용하는
기술로 사용자의 몸에 특정 마커를 부착시켜 사용자의 움직임을 비교적 쉽게 추적할 수 있는 마커(Marker) 기반 기술
과 순수 시각 기술만을 이용하는 마커리스(Markerless) 기반 기술로 구분
 비접촉식 제스처인식 기술은 접촉식 제스쳐인식 기술에 비해 사용자에게 보다 자연스러운 움직임을 제공하는 이점
이 있지만 사용자 움직임에 대한 특징점을 찾고, 이를 추적하는데 기술적인 어려움이 있음
 초기 기술에는 특정 마커를 사용자에게 부착시키는 방법을 이용하여 해결법을 모색함.
 마커는 접촉식 제스쳐인식과 같이 사람의 신체부위의 각 관절의 끝부분에 부착하여 사람의 신체부위의 3차원적인 위치를
파악하기 위해서 사용됨
 특정 마커를 사용할 때의 장점은 이미 해당 마커에 대한 속성(예, 컬러, 형태 등)을 알고 있기 때문에 비교적 쉽고 빠르게 사
용자의 제스처를 추적할 수 있는 장점이 있음
 사용되는 마커의 종류에 따라, 액티브(Active) 마커와 패시브(Passive) 마커로 구분될 수 있음
 액티브 마커의 경우에는 마커 자체의 속성 이외에도 조명의 영향에 강건할 수 있는 특성(예, LED, 적외선 LED 등)을 지닌 마
커
 패시브 마커의 경우에는 일반적으로 획일적인 컬러를 이용한 마커
 마커를 이용할 경우, 특징점 추출은 상대적으로 빠르게 할
수 있지만 접촉식 제스처인식 기술과 같이 여전히 사용자
는 부자연스러운 마커를 부착해야 하는 단점이 있음
 뿐만 아니라, 마커가 중첩되거나 마커의 수가 많아지면, 마
커간의 구분이 어렵게 되어 강건하고 정확하게 사용자의
제스처 추적이 어렵게 됨
50

키넥트
 Kinect 센서는 아래 그림과 같이 Color(RGB)카메라, Depth(3D)센서, 4개의 마이크로폰 어레이 그리고 센서를 상하로
움직일 수 있도록 틸트 모터 등으로 구성
 저렴하고 효과적으로 3차원적인 사람의 움직임 추출하기 위하여 Kinect에서는 적외선 레이저 빔 프로젝터와 단색
CMOS 센서를 사용한 깊이정보 추출방법을 사용
 적외선 레이저 빔이 비춰지면, 반사된 레이저 빔 포인트를 CMOS 센서가 받아서 각 픽셀 당 거리가 측정되고 이들 데
이터를 이미지 프로세서가 처리하여 Kinect 센서 앞의 사용자 3차원 정보를 인식하는 방식
51

키넥트
 키넥트 입력에서 인식까지의 과정
깊이맵 계산
배경 기반으로
각 사람분리
신체 각 부위 식별
신체연결부위 (joint)
인지
골격 생성

키넥트 NUI

키넥트 2 – include Xbox One
 기술적으로는 ToF(time of flight)방식의 depth 센서를 사용하여 기존보다 더욱 정교한 동작센싱이 가능
 손동작, 근육 강도, 얼굴표정도 감지. 또한 얼굴 피부의 미세한 혈류변화에 의한 적외선의 반사를 감지하여 맥박까지
측정
 최대6명까지 tracking하며, 내년에 윈도우용으로도 출시 예정
http://www.geeky-gadgets.com/the-possibilities-of-the-kinect-2-31-05-201/
http://www.youtube.com/watch?v=Hi5kMNfgDS4#t=225s
55

립 모션
• 센프란시스코에 벤처 회사
• MIT's Technology Review에서 "스마트폰 이래 가장 중요한 새로운 기술"로 소개
• 작은 아이팟 크기의 장치로 8입방 피트(cubic feet)의 3차원 공간을 정확하게 인식 - 키넥트보다 200
배 높은 감도를 가지며, 약 100분의 1 밀리미터의 움직임까지도 감지
• 키넥트가 모니터의 정면에서 동작을 인식한다고 하면, 립모션은 모니터의 아래에서 움직임을 인식
• TOF(Time of Flight)방식은 펄스를 쏘고 반사파가 들어오는 시간차이를 측정해서 거리를 구하는 방식
으로 레이더나 초음파센서에서 많이 사용
https://www.facebook.com/LeapMotion
http://www.youtube.com/watch?v=_d6KuiuteIA
56

g-speak SOE (Spatial Operating Environment)
 제스쳐, 공간, 멀티유저 시스템 기반의 working 시스템
http://www.youtube.com/watch?v=YmhQ2bxYL-8
57

Invoked Computing
출처 : Ishikawa Oku Laboratory (2012)
58

Invoked Computing - Banana Phone And Pizza Box Laptop PC

Interactive Environment System
출처 : Microsoft (2013)
60

NUI for Shoes

NUI for Car

Aireal: Interactive Tactile Experiences in Free Air

A computer with eyes

WiSee: Wi-Fi signals enable gesture recognition
http://www.washington.edu/news/2013/06/04/wi-fi-signals-enable-gesture-recognition-throughout-entire-home/

WiSee: Wi-Fi signals enable gesture recognition

Google Glasses

Google Glasses - Glass Enterprise Edition
 2013년 4월 15일, 구글 글래스용 익스플로러 프로그램을 출시
 글래스 OS(Glass OS)라는 운영체제로 동작하며, 내부의 부품 대부분은 스마트폰 부품과 유사.
 2GB RAM과 16GB 플래시 저장장치뿐만이 아니라 카메라, 마이크, 가속도계, 자이로스코프, 환경광 센서를 갖춤
 착용자의 오른쪽 눈에 화면을 투사하는 640-×-360픽셀 프리즘 프로젝트
 오른쪽의 터치패드로 제스처 제어가 가능하며 눈을 깜빡여 500만 화소 사진 촬영 가능
 2015년 1월 15일, 익스플로러 프로그램을 종료하고 글래스 운영을 구글 X 랩에서 제품 개발 그룹으로 이전
 보잉은 수 년 동안 겪었던 항공기 전선의 연결을 단순화하는 문제 등을 해결하여 구글 글래스로 항공기 설계 엔지니어를 지원
 국제 우주 정거장에서도 구글 글래스를 사용할 계획
 미국 샌프란시스코에 위치한 디지털 의료 신생업체 오그메딕스(Augmedix)는 환자를 검사하면서 사용할 수 있는 구글 글래스 기
반 의료 기록 서비스를 제공
 오그메딕스는 수백 명의 의사가 해당 서비스를 이용
 스탠퍼드대학교(Stanford University)는 자폐증 글래스 프로젝트(Autism Glass Project)라는 6~17세 아동 환자를 대상으로 구글 글
래스로 타인의 감정을 읽도록 하는 혁신적인 연구 진행
 핵심은 글래스웨어(Glassware, 구글 글래스 소프트웨어)를 이용해 자폐증 환자를 훈련해 시간이 지나면서 스스로 글래스 없이도 감정을
파악할 수 있도록 학습하는 것
 뉴캐슬대학교(Newcastle University)의 연구원들이 구글 글래스를 이용해 파킨슨병 환자들이 보행을 개선하고 작은 목소리로 대
화할 때 이해를 돕는 다양한 방법을 고안
 기업 및 산업용 글래스 엔터프라이즈 에디션(Glass Enterprise Edition) 개발 중
 경첩이 달려 글래스 하드웨어를 일반 안경처럼 접을 수 있음
 일반인 시장에서는 버튼, 터치패드, 음성 명령을 이용하거나 눈을 깜박여 활성화할 수 있는 카메라로 활용. 일본에서 크라우드
펀딩을 진행하고 있는 블링캠(Blincam)이라는 제품이 이 기능을 모방
 포켓몬 고의 성공으로 게임시장에서 구글 글래스의 위상 형성
실패 ? X

감정측정 필요성
 “사람이 결정을 내릴 때는 두가지 이유가 존재한다. 합당한 이유와 진짜이유가 그것이다.” – J.P. 모건
 3영역으로 구성된 두뇌에 담긴 구체적인 의미
 감정은 생각보다 먼저 그것도 대단히 빠른 속도로 일어난다.
 “감정과 이성의 본질적인 차이는 감정은 행동을 낳고 이성을 결론을 낳는다는 점이다.” – 도널드 칸(Donald Calne)
 기억은 감정을 토대로 한다. “편도체가 어떤 자극을 받아서 두뇌내에 감정적 회로가 만들어지면 새로운 기억이 생성된
다.”-르두, 1994
 “본능적 반응은 3초안에 일어난다.” – 마커스, 2002
 의식적 사고가 정신활동에서 차지하는 비율은 매우
낮다.
 “두뇌는 1초에 4천억바이트의 정보를 받아들이는데
그 가운데 의식적뇌가 처리하는 것은 2천바이트에 불
가하다.”-왓, 2004
 시각적 이미지 및 여타의 비언어적 커뮤니케이션이
더 강력한 힘을 발휘한다.
 “커뮤니케이션의 55%가 얼굴표정을 통해 35%가 목소
리톤에 의해 이루어지며, 단지 7%정도만이 언어적 표
현에 의해 이루어진다.”-마라비언,1981
 “기업의 수익성은 타깃 시장의 고객이 해당기업과
관련하여 경험하는 것들에서 어떤 감정을 느끼느
냐에 따라 달라진다. 따라서, 기업의 장기적인 성
공여부는 어떻게 그들의 감정을 측정하고 변화시
키느냐, 어떻게 그들의 감정에 대응하느냐에 달려
있다.” – 댄 힐, 2011

감정측정 방법
 생리적 측정 방법
 사람의 신체의 다양한 생리적인 신호를 측정하는 방법으로 다른 측정방법에 비해 객관적인 데이터를 얻을 수 있음
 기능성 자기공명영상(fMRI)를 이용한 측정방법
 사람이 의사결정 과정에서 감정이 중대한 역할을 한다는 사실을 입증하는 강력한 증거를 제공해주었다(Helliker, 2006).
 피부전기반응(EDA)을 이용한 측정방법
 피부전도반응(SCR), 피부저항반응(SRR), 피부잠재반응 (SPR)등이 있다. 피부전기반응을 이용한 연구에서, 사람은 주로 부정적
인 감정상태에서 피부전기반응의 수치가 감소하는 것으로 밝혀졌다.
 동공크기 측정법(Pupillometry)
 동공의 크기는 즐거운 감성의 상태에서 확장되는 것으로 밝혀졌다 (Hess & Polt, 1960).
 행위적 측정 방법
 얼굴의 표정이나 몸짓 그리고 말과 같이 겉으로 드러나는 신체적 반응을 측정하는 방법
 표정 부호화 시스템(Facial Action Coding System, FACS)
 사람의 43개의 얼굴 근육의 움직임과 그 조합을 바탕으로, 두려움, 화남, 기쁨, 역겨움, 슬픔과 놀람 등의 6가지의 기본 감정을
분류 하는 방법이다 (Ekman, 1978).
 근전도(Electromyography, EMG) 측정법
 무의식적인 얼굴 근육의 움직임을 분석하는 얼굴표정 분석방법. 얼굴에 센서를 부착하여 미세한 근육의 움직임으로부터 전
류를 감지한다. 광대뼈근육의 움직임이 긍정적인 감정상태와 상관관계를 갖는 것으로 밝혀졌다 (Dimberg, 1990).
 말의 특성 분석법
 사람의 감성상태와 연관이 있음이 밝혀졌으며, 감성적 반응을 측정하는데 매우 유용한 것으로 나타났다(Banse, 1996).

페이셜 코딩
 페이셜 코딩의 역사
 사람의 표정은 타고나는 것이며, 얼굴이 감정을 타인에게 전달하는데 사용되
는 중요한 수단이라는 사실이 밝혀짐
 찰스 다윈, 1872
 7년동안 모은 얼굴 표정자료를 기초로 사람은 43개의 안면근육과 이러한 근
육들이 움직여 다양한 방식으로 조합되면 23개의 핵심 움직임 단위(Action
Unit,AU)가 만들어지고, 이 움직임 단위들은 감정과 관련된 모든 표정의 가장
기본적인 요소가 된다는 것이 밝혀짐
 캘리포니아 대학의 폴 에크먼과 의과대학의 윌리프리즌, 2003
 에크먼의 FACS 시스템을 이용하여 기업의 행동에 대한 소비자와 직원들의 실
제 감정 반응을 파악해주고 기업이 그에 따라 계획을 수립할 수 있게 도와주
는 페이셜 코딩을 비즈니스 세계에 접목하기 시작함
 센서리로직, 2007
 페이셜 코딩의 신뢰성
 “인간은 지구상의 어떤 동물보다도 많은 안면 근육을 가지고 있다. 이 사실만
으로도 얼굴은 수많은 데이터를 얻어 낼 수 있는 정보의 보고다.”
 애크먼과 프리즌, 2003
 “얼굴인 신체에서 근육이 직접 피부에 붙어있는 유일한 부분이다. 이 때문에
얼굴은 대단히 쉽게 움직이며, 피부는 두뇌에서 오는 자극에 빠르게 반응하여
자신의 모양을 바꾼다. 따라서, 얼굴은 감정을 무의식적으로 가장 잘 나타내는
창이다.”
 맥닐(McNeill), 1998
 “얼굴 근육의 풍부한 움직임은 페이셜 코딩의 기본 토대이자 근거다. 두뇌가
감정적인 자극을 발생시킬 때마다, 이 자극은 모든 안면 근육과 표정을 통제하
는 안면 신경을 통해 얼굴로 전달된다.”
 댄 힐(Dan Hill), 2011

페이셜코딩 핵심감정
 표정 패턴
 표정은 그것이 형성되고 최고조에 이르렀다가 사라지는 형태로 존재한다. 일반적으로 표정이 지속되는 시간은
0.5초에서 4초 사이이며, 근육 움직임의 지속시간 및 유형, 강도를 모두 종합하여 특정 감정의 강도를 측정하는 기
준
 감정은 하나의 패턴으로 유지되지 않으며, 어떠한 이벤트에도 복합적인 감정의 흐름이 단계적 변화와 혼재되어
나타남
 7가지 핵심감정
 행복(긍정적), 놀라움(중립적), 두려움, 분노, 슬픔, 협오감, 경멸감(부정적)
놀라움 두려움 분노 슬픔 협오감 경멸감 행복(진짜미소) 행복(사회적미소)
눈이 커진다.
눈썹이 올라간다.
입이 벌어진다.
눈썹이 올라가고
미간이 좁아진다.
눈이 커진다.
턱 주변 근육이 긴
장된다.
입술이 가로 방향
으로 당겨진다.
턱이 벌어진다.
눈썹 끝이 내려가
고 미간이 찌푸려
진다.
눈이 가늘어진다.
입술을 힘주어 오
므린다.
이마 중간에 주름
이 생긴다.
눈썹의 바깥쪽은
처지고 안쪽은 약
간 올라간다.
눈가에 주름이 생
긴다.
코와 윗입술 주변
의 팔자 주름이 깊
어진다.
입술 양끝이 처지
거나, 거꾸로 된 미
소모양이 나타난
다.
코끝이 올라가고
주름이 생긴다.
윗입술이 올라가
고 떄로 거꾸로 된
미소모양이 약간
나타난다.
아랫입술이 처진
다.
입의 한쪽끝이 올
라가면서 비웃는
듯한 분위기와 함
께 얼굴의 반쪽만
표정이 바뀐다.
윗입술이 올라간
다.
눈이 약간 감기거
나 시선을 돌리기
도 한다.
눈 바깥쪽 피부에
새발 모양의 주름
이 생긴다.
눈꺼풀의 긴장이
풀어지면서 약간
처지고, 눈아래 피
부가 위쪽으로 당
겨진다.
입꼬리가 크게 올
라가고 빰도 위쪽
으로 당겨진다.
입꼬리와 뺨의 근
육이 올라가면서
얼굴이 전체적으
로 동그래진다.
반면 눈가 근육은
움직이지 않고 눈
동자에도 밝은 기
운이 감돌지 않는
다.

페이셜코딩 감정의 다양성
 7가지 핵심감정(기본감정)이 결합되면 24개의 2차 감정이 생성
 내향적 감정
 해당 감정을 느끼는 사람에 의해서 유발되는 감정 또는 내면으로 향하는 감정
 일반적으로 이러한 감정은 자존심과 관련되거나, 또는 우리가 갖는 기대치를 토대로 상황변화에 대한 우리의 감정을 내면화
하는 방식과 관련
 외향정 감정
 외부 요인에 의해 유발되거나 또는 감정의 에너지나 그것이 일으키는 행동이 자신이 아닌 다른 누군가를 향함
 자신의 상태 및 위치에 대한 관심, 다른 사람들의 상황이나 행동등(특히 그것이 우리의 목표실현과 관련되어 있는 경우)이
외향적인 감정을 일으키는 경향

페이셜코딩 분석
 페이셜 코딩 데이터를 분석하는데 가장 중요한 데이터
는 청중이 주의를 기울이느냐의 여부. 그 이유는 상업
적인 측면에서 사용자들에게 감정적 반응을 유발함으
로써 주의를 일깨우지 않는다면 소비자들을 설득할 수
없기 때문
 특정 자극에 반응할 때,‘그리고/또는’ 질문에 답변할 때
최소한 한가지 이상의 AU나 정확한 감정을 얼굴에 나
타낸 참가자들의 퍼센티지를 조사함으로써 감정적 반
응도를 파악
 사람들이 감정적으로 반응하는지 여부를 알아냈다면,
그 다음엔 반응의 종류를 파악. 페이셜 코딩을 이용해
기업은 긍정반응이 우세한지 부정 반응이 우세한지 판
별
 사람들이 자극에 대한 정확한 반응을 나타내지 못하는
경우도 많기 때문에 페이셜 코딩과 함께 안구 운동 추
적 방법을 병행 사용. 안구 운동 추적 방법은 사람들이
보고 있는 지점, 그들이 집중하는 지점을 알아내 기록.
감정 반응과 시각적 집중을 동시에 파악하는 것은 사람
들의 반응을 유발하는 요인을 이해하기 위해 효과적인
방법

얼굴 인식
 NUI 기술에서 사람의 상황을 판단하기 위하여 이용되는 얼굴인식 기술이 연구되기 시작한지는 20년이 넘었지만 주
로 사람을 식별을 하기 위한 출입통제 및 보안분야에서 주로 연구되어 오다 최근 스마트폰과 스마트TV등에 얼굴인
식 기술이 적용되면서 사용자 맞춤 정보를 제공하기 위한 개인화 기술로 관심을 받고 있음
 얼굴인식 기술에는 전통적으로 영상내의 사람이 누구인지를 인지해내는 식별기술과 얼굴의 성별과 연령대를 인지
해내는 속성인지 기술, 그리고 얼굴의 감정상태를 파악하는 감정인지 기술 등이 주로 연구됨
 개인화 측면에서 얼굴인식 기술의 중요성이 부각되면서 구글, 애플, 페이스북, 인텔등이 얼굴인식 업체들을 인수하여
자체 서비스를 스마트화하는 연구개발함

Google Glasses

Project Hololens

스마트링 - Fin - Wearable Ring for Numeric Keypad and Gesture Interface

스마트링 – VISA NFC 결재반지

스마트링 NUI

Gest - Work With Your Hands

Project Jacquard – Weaving tech. into Fabric

신체부착형 웨어러블 디바이스

Oyster card into acrylic nails - with RFID chip!

스마트 콘택트렌즈 – 혈당측정/시력보정
국제전기전자공학회(IEEE)의 과학기술 뉴스
사이트 '스펙트럼'은 최근 포스텍 신소재공학
과 한세광 교수 연구진이 당뇨로 인해 망막
이 손상된 환자를 위해 혈당 측정과 약물 투
여 기능을 동시에 갖춘 스마트 콘택트 렌즈
를 개발했다고 보도
혈당만 측정하는 렌즈는 3년내…
약물 방출 제품은 5년내 상용화

생체이식형 웨어러블 디바이스

NeuroSky Mindwave Mobile

LUCI - Advanced Lucid Dream Inducer

Neural Dust - 초소형 무선 센서
 UC버클리 연구팀이 초소형 무선 센서인 뉴럴 더스트(Neural Dust)를 개발. 뉴럴 더스트를 체내에 삽입한 상태에서 조
사하면 해당 부위에 있는 기관 데이터를 외부에서 읽을 수 있음
 초음파 진동을 이용해 데이터를 검색할 수 있는 센서는 미세한 압전성 결정을 탑재. 이를 활용하면 로봇 의수나 의족
을 움직이는데 필요한 신경에 체외에서 미세전류를 무선 전송할 수도 있음
 뉴럴 더스트의 크기는 길이가 3mm, 너비는 1mm에 불과. 물론 이 정도 충분히 작지만 연구팀은 이를 더 작게 만들어
궁극적으로는 머리카락의 절반 두께에 불과한 버전을 만들 계획
 센서를 사용할 수 있는 기간도 근전 보철 등에 필요한 전극이 보통 1∼2년이면 교환이 필요한 반면 뉴럴 더스트는 평
생 쓸 수 있다고 함. 연구팀 측은 뉴럴 더스트의 당초 개발 목적은 뇌와 기계간 차세대 인터페이스라고 밝힘. 예를 들
어 뇌에 센서를 내장하면 전극 교체 걱정을 하지 않고 평생 무료로 로봇 팔을 계속 쓸 수 있게 해주는 것. 연구팀은 또
뉴럴 더스트의 용도로 외부 신호를 이용해 근육과 신경에 반응을 주는 버전 개발도 가능하다고 밝힘. 몸에서 마비된
부분에 뉴럴 더스트를 심은 다음 기능을 회복시키는 것

Neural Dust - 초소형 무선 센서

Interscatter - 체내 칩을 위한 무선 신호 전송 기술
 스마트 콘택트 렌즈나 영구적으로 뇌에 이식할 수 있는 칩의 가장 큰 문제 전원
 데이터 수집이나 전송을 하려면 에너지가 필요한 데 이 문제를 해결해줄 수 있는 기술
 미국 워싱턴대학 전자공학 전공 대학원생 3명이 무선 신호를 생성하는 기술인 인터스캐터 개발
 이어폰 같은 데이터가 없는 특수 단음을 블루투스 주파수로 발신. 인터스캐터는 이 신호를 수신 안테나로 반사. 물론
그 전에 일정 작업을 추가, 와이파이 신호로 변경. 이 수정된 신호는 일반 와이파이 데이터와 마찬가지로 스마트폰이
나 노트북에서 받아볼 수 있음
 중요한 건 인터스캐터가 수신한 전파를 조금만 수정하기 때문에 전력이 거의 필요 없이 체내 장치가 직접 와이파이
신호를 생성하는 것보다 효율이 1만 배, 블루투스와 견주면 1,000배 효율이 높음. 이렇게 소비전력을 억제할 수 있다
면 다양한 임플란트 기기의 가능성이 열릴 것으로 기대.
 그 뿐 아니라 연구팀은 인터스캐터를 신용카드에 넣어 신호를 재활용, 지급 시스템과 상호 통신할 수 있는 프로토타
입도 개발

Interscatter - 체내 칩을 위한 무선 신호 전송 기술

High-Concept NUI
High-Touch WD

하이컨셉
(High Concept / 2006년, 다니엘핑크)
“트랜드와 기회를 감지하는 능력”
무관해 보이는 아이디어의 결합을 통해
남들이 전혀 생각하지 못했던 새로운 아이디어를 창조하는 역량.
예술적.감성적 아름다움을 창조하는 능력을 종합적으로 지칭하는 개념
현재 지식근로자가 주도하는 정보화시대가 조만간
창의성, 감성 등의 새로운 능력으로 무장한
창조근로자가 주도하는 하이컨셉 시대로 진화할 것이라고 주장

하이컨셉 NUI
(High Concept / 2016년, 이정헌)
“ What if … ? ”
만약…
몸에 아무것도 걸치지 말고
동작을 인식할 수 있다면
… ?
만약… 가 가능하다면? 만약… 가 일어난다면?
불가능하다고 생각되는 아이디어를 적은 수의 단어로 표현할 수 있는 개념

성공 요인
인간의 미묘한 감정을 이
해하고 공감을 이끌어낼
것
1
기술의 개념이 아니라 소
비자의 입장에서 소비자
의 감성에 맞추고 잠재욕
구를 충족시켜 줄 것
2
하이테크를 종합적으로
응용하여 사용하기 편리
하고 세련된 상품을 만들
어 낼 것
3
하이터치를 만들기 위해
선 기본적인 인간의 속성
에 대한 연구와 분석은 필
수
4
하이터치 WD
--------- High Touch ---------

And then … NUI
 NUI 기술은 사람의 일상사의 행동과 사람과 사람 사이의 의사전달 형태를 닮아가고 있
으며, 향후 이러한 기능을 넘어서 사람이 행동을 취하기 전에 미리 알아서 처리해주고,
실제로 존재하지 않는 것을 마치 실제로 존재하는 것과 같은 느낌을 가질 수 있는 형태
로 발전
 멀티터치 기술의 경우 2차원적인 멀티터치에서 향후 대중화될 3차원 디스플레이를 위
한 3차원적인 멀티터치로 발전할 것이며, 손가락이나 특정 펜에 의존적인 입력방식으로
느낌을 흉내내는 정도가 아닌 실제 사용하는 펜과 붓을 그대로 사용하도록 해줌으로써
도화지나 노트 등에 느낌을 그대로 살릴 수 있는 기술로 발전
 음성/영상인식 기술은 친한 사람 사이에서 대화하고 행동하듯이 명령어를 주고 받고 감
정까지 인지하는 방향으로 발전. 사람 일상사에서 보면 상대방의 무의식적 행동이나 얼
굴에 나타나는 표정으로 상대방이 어떠한 감정이나 의사를 가지고 있다고 판단하는 경
우들이 많은데 NUI 기술도 이런 것을 이해 할 수 있는 수준으로 발전
 오감을 체험할 수 있는 현실적인 기술로 뇌에 직접적으로 정보를 가하는 BCI (Brain
Computing Interface) 기술에 많은 연구비를 투자하고 있어 빠른 시기에 새로운 NUI 기
술이 나타나리라 예측
 한가지 종류의 NUI 기술이 아닌 다양한 NUI 기술이 접목되어 사람의 행동패턴에 친화
적인 NUI 기술 개발 필요. 사용자의 신체적, 인지적, 감성적 특성을 이해하여 사람을 이
해할 수 있고 사람에 친화적인 UX를 높여줄 수 있는 기술 필요. 이러한 NUI를 개발하기
위해서는 사람을 이해할 수 있어야 하기 때문에 기술적인 측면과 함께 심리학, 인문학과
같은 타분야의 학문들과의 하이브리드한 연구 필요
104

감사합니다.

내츄럴 사용자 인터페이스와 웨어러블 디바이스 - 하이컨셉 NUI / 하이터치 WD

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to 내츄럴 사용자 인터페이스와 웨어러블 디바이스 - 하이컨셉 NUI / 하이터치 WD

Similar to 내츄럴 사용자 인터페이스와 웨어러블 디바이스 - 하이컨셉 NUI / 하이터치 WD (20)

More from JeongHeon Lee

More from JeongHeon Lee (15)

내츄럴 사용자 인터페이스와 웨어러블 디바이스 - 하이컨셉 NUI / 하이터치 WD