2012년 8월 8일 게임분야 교수연수 과정- “동작인식 인트로덕션”

1. 차세대 UX/UI 기술 및 산업동향
이정헌

2. 목차
 차세대 UX/UI 기술
 NUI 개념
 NUI 의미
 NUI 종류 및 기술 동향
 NUI 기업 활용 예시
 NUI 발전 방향
 NUI 시사점
2 차세대 UX/UI 기술 및 산업동향

3. 차세대 UX/UI 기술
 UX (User Experience, 사용자 경험)
 사용자가 시스템∙제품∙서비스 등의 직∙간접적인 이용으로 얻게 되는 총체적 경험으로서, 단지 기술을 효용성 측면에서만 보
는 것이 아니라 사용자의 삶의 질을 향상시키는 방향으로 이해하려는 접근법을 말한다.
 IT분야에서 체계적으로 받아들이고 적용하기 시작한 개념으로, 기능이나 절차상의 만족뿐 아니라 사용자가 지각 가능한
모든 면에서 참여 및 관찰을 통해 경험하는 가치의 향상을 추구하며, 긍정적인 사용자 경험은 사용자 요구의 만족, 브랜드
충성도 향상 등에 영향을 준다. (출처 : 네이버 지식백과)
밀어서 여는 문고리
알람 시스템의 아이콘 알람 숫자
3 차세대 UX/UI 기술 및 산업동향

4. 차세대 UX/UI 기술
 UI (User Interface, 사용자 인터페이스)
 사용자와 시스템이라는 두 측면의 사이에서 둘 간의 상호 작용이 원활하게 이루어지도록 돕는 장치나 소프트웨어. 휴대전
화의 액정 화면이나 단추는 물론 „글‟ 소프트웨어에서 사용자가 조작하는 메뉴나 체제 등이 모두 사용자 인터페이스에 속한
다. (출처 : 네이버 지식백과)
 UI 발전사
 UUI 외에 BCI(Brain Computer Interface, 브레인 컴퓨터 인터페이스)로도 발전하고 있음. BCI는 뇌의 움직임과 생각
할 때 발생하는 뇌파를 이용해 제어하는 인터페이스로 1970년대부터 연구되고 있음.
4 차세대 UX/UI 기술 및 산업동향

5. NUI 정의
 NUI (Natural User Interface)는 기존의 CLI(Command Line Interface), GUI(Graphics User Interface)와는 달리 명
령어와 사용법을 배우지 않더라도 기존의 사용자가 가진 경험을 기반으로 키보드나 마우스 없이 신체부위를 이용하
여 자연스럽게 사용할 수 있는 사용자 인터페이스
 „Natural‟이라는 단어를 사용한 것은 기존 사용자 인터페이스와는 달리 사용법을 배우기 위해 특별히 외우거나 학습
해야 하는 부분 없이 일상생활의 행동에서 사용하는 동작들을 기반으로 손가락이나 제스쳐, 음성등을 통해 기기를
제어할 수 있기 때문. 즉, 직관적인 사용이 가능한 사용자 인터페이스임.
 NUI라는 명칭은 1970년에 MIT Media Lab에서 연구되었던 착용형 컴퓨터(Wearable Computer)연구에 참여했던
Steve Mann이 Metaphor-free Computing 연구를 Natural(Direct) Interface로 언급하면서 처음 시작됐다고 알려져 있
음. 그러나 실제 널리 사용된 것은 2008년 마이크로소프트의 Surface Computing의 연구 책임자인 de los Reyes가
차세대 UI 기술이 진보하는 방향을 언급하면서부터라고 볼 수 있음.
5 차세대 UX/UI 기술 및 산업동향

6. NUI 특징
An Invisible Interface
The Contents is the
Interface
Removing the Proxy
Direct Manipulation
Gestural interface
6 차세대 UX/UI 기술 및 산업동향

7. NUI 의미
 NUI가 경제적인 측면에서 의미를 가지고 있는 것은 기존의 CLI나 GUI 환경에서는 전문분야의 사람들이나 특별히 학
습한 사람들만이 IT 기기를 사용할 수 있었던 상황에서 특별한 학습과정 없이 손짓, 몸짓, 말소리 만으로도 IT 기기를
사용할 수 있게 하여 사용자층을 확산하고, 경제적으로 새로운 시장을 창출했기 때문
 초기 스마트폰이 특정 매니아 층만이 사용할 것이라는 예측을 무너뜨리고 현재는 3천만 시대에 돌입한 것이 실례.
 NUI는 사람과 컴퓨터 사이의 사용자 인터페이스 측면에서 보면 컴퓨터 측면보다는 사람의 대화 방식에 가까운 기술
이라 할 수 있음. 즉, 컴퓨터와의 대화를 위한 사용자 인터페이스가 사람의 생활 방식을 닮아가는 쪽으로 변화하고
있다는 것으로 의미함. 이러한 변화는 소비자와 IT 기기간의 간격을 줄여줌으로써 기존 IT기술의 소비자층을 확산시
키고 있다는 것을 나타냄.
 NUI 기술의 발전을 „디지털 신분 장벽을 허무는 21세기의 훈민정음‟이라고 표현. (출처 : 제일기획 커뮤니케이션연구소)
7 차세대 UX/UI 기술 및 산업동향

8. NUI 의미
„NUI가 삶의 질을 변화시킬 것‟ 이라는
세계 조사 자료
8 차세대 UX/UI 기술 및 산업동향

9. NUI 종류 - 입력
 NUI 기술은 신체가 직접 기기에 접촉하는 접촉식 방식과 신체에 직접 접촉하지 않는 비접촉식 방식으로 나눠 볼 수
있으며, 각 방식에서 새로운 기술들이 지속적으로 개발되고 있으며 각각의 기술 또한 더욱 발전하고 있음.
9 차세대 UX/UI 기술 및 산업동향

10. NUI 종류 - 출력
 NUI의 입력에 맞추어 처리된 결과를 출력해주는 NUI 출력방식
10 차세대 UX/UI 기술 및 산업동향

11. NUI 종류 - 멀티터치
 1960년대 후반 IBM사에서 터치스크린 연구를 처음 시작한 이래로 수많은 기기의 인터페이스로 시험되다가 최근
iPhone의 성공을 통하여 스마트폰, 태블릿 PC와 같은 모바일 개인 디지털 기기의 기본 사용자 인터페이스로 채택되
어 일반화됨. 멀티터치 기술은 20인치 이하의 소형 디스플레이 기술과 40인치이상의 대형 디스플레이 기술이 서로
다른 형태로 발전.
11 차세대 UX/UI 기술 및 산업동향

12. NUI 종류 - 멀티터치
 SmartSkin
 2001년 소니 연구소의 Jun Rekimoto가 사용자 손을 전기가 흐르고 있는 곳으로 가져갔을 때 생기는 전자기적 변화를 감지
해 멀티터치를 인식해 내는 기술
 전선을 격자로 배치해 둔 뒤 그 전선에 전기적 파동을 주기적으로 보내게 되고, 수신부에서는 그 전기적 파동의 미세한 변
화를 잡아내어 그 변화가 가장 큰 곳을 계산해 냄으로 손의 위치를 추정하는 기술
 iPhone에서 사용하고 있는 정전식 방식의 아이디어의 모태
12 차세대 UX/UI 기술 및 산업동향

13. NUI 종류 - 멀티터치
 FTIR
 뉴욕대학의 교수로 있던 재미교포인 Jeff Han이 만든 쉽고 저렴하게 구현할 수 있다는 장점을 가진 멀티터치 기술로 TED
에 소개되어 더욱 유명해 진 기술
 FTIR (Frustrated Total Internal Reflection) 이라는 물리적 현상을 이용한 기술
 플라스틱 판 안에 들어간 빛은 계속해서 전반사를 일으키게 되어 바깥으로 빠져나오지 못하지만 사람 손이 플라스틱 표면
에 닿게 되면 빛이 산란되어 바깥으로 빠져나오는 빛이 생기는데 이것을 카메라로 찍어보면 사람 손이 닿은 부분에서만 동
그란 점이 맺히게 되어 이를 인식하는 기술
 Jeff Han은 이 기술을 기반으로 Perceptive Pixel 이라는 대화면 멀티터치 전문기업을 설립하여 운영중
13 차세대 UX/UI 기술 및 산업동향

14. NUI 종류 - 멀티터치
 ThinSight
 마이크로소프트 Cambridge Lab의 Bill Buxton이 2007년에 전술한 두 기술의 문제인 정확도 문제와 카메라 화각 공간 문제
를 해결하기 위해 개발한 기술
 LCD 패널과 함께 동작하는 기술로, LCD 뒷면에 아래와 같은 광학적인 센서들을 배치하여 손가락을 감지
 눈에는 보이지 않는 적외선 발광소자와 그 적외선을 감지해 낼 수 있는 센서를 조합하여 LCD 뒷면에 수십 개의 센서를 부
착 후 작은 카메라가 수십 개 달려있는 형태로 생각할 수 있는데 사용자의 손이 가까이 오게 되면 적외선이 반사되는 양이
많아지게 되고 센서는 그것을 감지하게 됨. 그렇게 해서 얻은 센서들의 정보를 모아서 손가락 위치를 추정.
14 차세대 UX/UI 기술 및 산업동향

15. NUI 종류 - 멀티터치
 Surface Computing
 마이크로소프트사에 2007년에 선보인 Surface Computing은 다중 사용자를 위한 대화형 테이블 형태로 멀티터치 기술을
상용화한 사례
 테이블의 밑에 적외선 스펙트럼을 발사하여 되돌아오는 영상을 인식하여 멀티터치와 테이블 위에 놓여지는 물체를 인지하
는 기술
 기존의 멀티터치가 사람의 손동작 위주였다면 기기간의 연동까지 고려되었다는 점에서 차별화된 기술. 현재는 삼성전자에
서 두께가 개선된 개선된 Surface 2 버전이 개발되어 공개됨
15 차세대 UX/UI 기술 및 산업동향

16. NUI 종류 - 멀티터치
 Capacitive Touch
 2007년 애플이 투과형 정전식 터치스크린 기술을 채택하면서 유명해진 기술
 가벼운 터치에도 반응하고 터치 화면에 전자파가 입력됨으로써 손가락을 감지(근접 센싱 기술)할 수도 있음
 정전식 터치 기술은 인듐과 산화주석의 전도성 화합물인 Indium Tin Oxide로 코팅된 유리로 구성되어 있으며, 유리의 네
모서리에 센서가 부착되어 있음. 유리에는 지속적으로 전류가 흐르게 되고 센서는 가로세로 방향으로 정밀하게 전하를 축
적한 후 사람의 손가락이 터치스크린을 누르게 되면 유리에 흐르던 전자가 신체로 이동하게 되고 센서는 전자적 변화가 있
는 위치를 감지하는 기술로 사람의 신체부위나 특수하게 만든 스타일러스 펜외에는 무생물체에는 반응을 하지 않도록 되
어있음.
 투과형 정전식 스크린은 저항식 기술에서 사용되는 플라스틱 레이어에 비해 투과도가 높은 유리 터치 표면을 사용함으로
써 색감이 더 밝고 유리 터치 표면 또한 내구성이 더 좋고, 표면 스크래치에 좀 더 강하다는 장점을 가짐. 국내에서는 삼성
이 갤럭시 S에 능동 유기발광 다이오드(AMOLED) 스크린에 멀티터치 기술을 통합하는데 성공했으며, 슈퍼 아몰레드
(Super AMOLED)라는 브랜드로 선보이고 있음. 이 기술은 별도의 레이어가 아닌 스크린 자체에 직접 터치 센서가 위치하
여 디스플레이가 얇아지는 장점을 가지고 있음. 애플에서도 인셀터치(in cell touch) 기술이 iPhone5부터 적용될 것이라는
소문이 돌고 있으며, 이 기술은 박형필름트랜지스터(TFT)LCD 제조공정에 멀티터치기술을 포함해 더 많은 유리와 센서를
사용할 필요가 없도록 한 기술로 더 얇고 더 밝은 스크린을 얻을 수 있는 것으로 알려지고 있음.
Resistive Touch
16 차세대 UX/UI 기술 및 산업동향

17. NUI 종류 - 멀티터치
 N-trig
 iPhone과 갤럭시 S와 같은 정전식 멀티터치 기술은 사용자에게 새로운 경험을 선사한 반면에 일반적인 노트에 필기를 하
는 것과 같은 세세한 필기 기능을 구현하는 데에는 한계를 가지고 있음
 손가락과 스타일러스 펜을 모두 지원하는 하이브리드식 멀티터치 센서를 개발
 이스라엘의 N-trig라는 업체는 정전식과 스타일러스 센서를 통합한 멀티터치 센서를 개발하여 테블릿 PC개발에 공급하고
있으며, 삼성에서는 와콤에서 개발한 방식의 하이브리드 멀티터치 기술을 사용하고 있음
17 차세대 UX/UI 기술 및 산업동향

18. NUI 종류 - 멀티터치
 TUI Table
 Tangible User Interface를 위한 멀티터치 기술로 스크린의 뒷면에 Suface와 같은 원리로 스크린에 맺히는 상을 인식하여
정의된 객체에 대한 프로세싱을 수행하는 기술
 최근 영화에 많이 등장하는 기술로 미래 생활을 변화하시는 응용기술로 많이 예견되고 있으나, 공간과 자연광에서의 사용
에 한계를 극복하는 것이 문제
18 차세대 UX/UI 기술 및 산업동향

19. NUI 종류 - 멀티터치
 iPhone이 멀티터치 분야에 이룬 혁신
 하드웨어적인 부분보다는 동시에 이루어지는 터치 동작을 인식할 수 있다는 소프트웨어 적인 부분
 멀티터치가 가능함으로써 지금 널리 사용되고 있는 화면 쓸어 넘기기, 회전, 그리고 핀치/확장 기능이 개발될 수 있었고, 멀
티터치 기술이야말로 멀티터치 부분에서 iPhone의 진정한 성과이고 진짜 잘한 일이라고 언급
 애플은 계속 소프트웨어를 발전시켜 새로운 스타일의 쓸어 넘기기 기능을 추가하고 최대 5개의 손가락을 지원하는 등의 터
치 인식 동작을 확대하고 있음.
19 차세대 UX/UI 기술 및 산업동향

20. NUI 종류 - 센서기반
 Wii Remote
 센서기반 NUI의 대표적인 사례
 모션 감지 기능으로 사용자가 화면 위의 객체와 상호 작용하며 물건을 이용할 수 있게 하며 광학 센서와 가속도계를 사용하
여 포인트할 수 있게 되어 있음
 2005년 11월 16일에 도쿄 게임 쇼에서 선보였으며, "Wii Remote"라는 이름은 2006년 4월 27일에 발표
 Wii 홈브류를 사용하여 Wii 리모컨으로 Wii가 아닌 다른 장치의 컨트롤을 시도하는 해커들에게도 많은 관심을 받았음
 2001년 Wii 콘솔의 개발과 함께 시작. 같은 해, 닌텐도는 무선 모션 센서 마우스 회사인 Gyration Inc.로부터 모션 센서 면허
를 따냈다. 그리고 닌텐도는 원핸드 컨트롤러를 제작하는 회사로 게임 패드의 오른쪽 절반 부분을 모션 센서로 사용하
는, "'Gyropod' 컨셉"을 개발한 Gyration Inc.를 지정. 그 때, Gyration Inc.는 독립된 디자인 회사인 Bridge Design을 닌텐도
에게 소개하여 닌텐도가 디자인 컨셉을 잡는 데 도움을 줌. 2005년 초, 닌텐도는 기존의 컨트롤러 모양과는 다른 "조작봉
모양"의 Wii 리모컨과 확장 컨트롤러 '눈차크'의 디자인을 제안. 또한 닌텐도는 모션 센서와 적외선 포인터의 탑재, 그리고
버튼의 레이아웃을 결정. 2001년, Wii 리모컨이 개발되는 동안, 비디오 게임 디자이너 미야모토 시게루는 디자이너들에게
영감을 주기 위해 휴대 전화들과 차량자동항법장치의 컨트롤러를 가져왔으며, 그 결과 마지막에 생산된 프로토타입은 휴
대 전화와 비슷하게 되었음. 아날로그 스틱이나 터치 스크린이 있는 다른 디자인들도 존재하였으나, 닌텐도는 터치 스크린
이 있는 디자인을 거절하였으며, 휴개용 게임기와 가정용 콘솔이 똑같아지는 것을 우려했기 때문이라고 함
 Wii 리모컨은 이전까지의 게임 콘솔에 사용되었던 게임패드의 디자인과 다른, 원핸드 리모컨 방식의 디자인을 채택. 이것
은 사용자가 모션을 더 직관적으로 취할 수 있게 하고, 포인팅 동작을 취하기에 좋으며, 기존의 게임 유저가 아닌 사용자들
을 쉽게 끌어들일 수 있는 이점이 있다. Wii 리모컨은 세로 148mm에 가로 36.2mm이며, 두께는 30.8mm이다. 모델 넘버는
RVL-003이며, RVL이라는 단어는 Wii의 프로젝트 네임이었던 "Revolution 레볼루션에서 따 온 것 컨트롤러는 무선으로 단
거리 블루투스를 통하여 본체에 접속하여, 최대 4개의 컨트롤러, 최대 거리 10m까지 접속 가능. 그러나, Wii 리모컨의 포인
터 기능을 올바르게 사용하기 위해서는, TV에 설치하는 센서 바로부터 5미터 이내에서 사용가능
20 차세대 UX/UI 기술 및 산업동향

21. NUI 종류 - 센서기반
 Wii 리모컨은 3축의 가속도와 기울기를 인식할 수 있는 ADXL330 가속도계를 탑재하고 있다. 또한 PixArt 광학 센서를 탑
재하고 있어, Wii 리모컨이 어디를 가리키고 있는지를 감지할 수 있음. 텔레비전 화면의 빛을 감지하는 라이트 건과는 달
리, Wii 리모컨은 Wii 콘솔의 센서 바(모델명 RVL-014)로부터 빛을 감지하며, 텔레비전의 종류와 크기에 상관없이 사용 가
능하다. 센서 바는 20센티미터 길이의 검정색 막대이며, 양 끝에 각각 5개의 적외선 LED가 붙어 있음
 맨 바깥쪽의 LED는 약간 바깥쪽을 향하여 박혀 있고, 맨 안쪽의 LED는 약간 안쪽을 향하여 박혀 있으며 나머지는 똑바로
박혀 있음. 센서 바 케이블의 길이는 353cm. 센서 바는 텔레비전의 위나 아래에, 화면의 맨 가운데에 수평이 되도록 설치.
 Wii 리모컨으로 센서 바를 포인트할 때 지원되는 최대 거리는 센서 바로부터 5m Wii 리모컨의 이미지 센서는 센서 바의 적
외선을 찾아 위치를 계산하는 데 사용. 센서 바에서 나오는 2개의 밝은 빛은 이미지 센서에 의해 거리차 값 "가"로 감지. 빛
을 방출하는 두 개의 클러스터는 항상 "나"의 거리 값을 유지. 두 개의 거리값 "가"와 "나"는 Wii의 CPU 클러스터에서 삼각
측량법에 의해 계산. 또한, Wii 리모컨을 수평인 상태에서 회전시키키더라도 센서 바의 두 개의 클러스터의 각도를 계산하
여 회전 또한 인식이 가능. Wii 소프트웨어는 이미지 센서가 무언가에 의해서 "가려졌다"는 상황을 프로그래밍할 수 있음.
예를 들어 《춤춰라 메이드 인 와리오》에서 플레이어가 센서를 가리고 있는 손을 떼지 않으면, 샴페인 병의 뚜껑이 열리지
않음.
 센서 바는 Wii 리모컨으로 화면의 커서, 오브젝트를 상하좌우로 움직이거나 메뉴 버튼 선택, 1인칭 슈팅 게임과 같은 게임
에서 물체를 조준할 때 필요. Wii 리모컨은 센서 바와의 거리 또한 계산할 수 있기 때문에, 3D 게임에서 느린 전-후의 움직
임도 감지할 수 있음. 복싱 게임과 같은 빠른 전-후의 움직임은 가속도 센서를 통하여 감지. Wii 리모컨의 가속도 센서(기울
기 센서의 역할도 함)를 통하여, 커서 또는 오브젝트의 회전도 가능
 적외선 센서로 위치를 감지하는 것은 백열 전구나 촛불, 태양광과 같은, 적외선을 발산하는 물제가 있는 경우 제대로 인식
하지 못하는 문제를 일으킬 수 있다. 이러한 문제는 형광등이나 삼파장 램프등의 적외선이 최대한 적게 나오는 전구를 사용
하거나, 태양이 들어오는 창문을 커튼으로 가리는 등의 방법으로 해결할 수 있음. 어떤 사용자들은 두 개의 손전등이나 촛
불을 사용하여 센서 바를 대체하기도 함. 이러한 방법은 움직이지 않는 두 개의 빛이 Wii 리모컨으로 하여금 계속적으로 물
리적인 거리 측정을 하도록 할 수 있다는 것을 설명한다. 이렇듯, Wii 리모컨은 커서의 위치를 계산하는 데, 그것이 센서 바
이든 무엇이든 간에 꼭 두 개의 광원을 필요로 함.
 Wii 리모컨의 위치 및 모션 감지 기능은 플레이어가 단순히 버튼을 누르는 대신에, 실제 게임에서의 동작 - 검을 휘두르거
나 총을 조준하는 등 - 을 따라 할 수 있게 함. 센서 바의 LED는 일부 카메라 또는 사람의 눈보다 더 넓은 광학 주파수를 감
지할 수 있는 장치에 의해 촬영될 수 있음
21 차세대 UX/UI 기술 및 산업동향

22. NUI 종류 - 음성인식
 음성인식은 사람이 일생생활 속에서 마우스나 키보드 등을 사용하지 않고 목소리를 통해 원하는 기기 및 정보 서비
스의 이용을 제어할 수 있는 기술
 1950년대 등장해 지속적인 연구가 진행되어 왔지만 2000년대 중반까지 낮은 음성 인식률로 대중화 실패
 특수한 용도에만 제한적으로 사용되어왔던 음성인식 관련 기술이 iPhone 4S의 Siri가 공개되면서 NUI의 한축을 맞
게됨
 음성인식 기술은 컴퓨터가 음향학적 신호를 단어나 단어의 집합 또는 문장으로 변환하는 과정을 의미
 마이크를 통해 입력받은 음성을 컴퓨터가 분석하고 특징을 추출
 미리 입력된 음성모델 데이터베이스와 비교하여 문자 혹은 명령어로 변환
 인식된 결과는 명령이나 제어, 자료 입력, 문서 준비 등의 응용 분야에서 최종 결과로 사용
 음성 이해와 같은 분야에서는 언어 처리과정의 입력 방식으로도 사용
 최근의 기술은 음성인식이 아닌 음성이해에 관심을 가지고 있는 것이며, 음성이해란 단지 단어 한마디 한마디를 정
확히 인식하는 것뿐만 아니라 발음되는 문장 전체의 의미를 이해하려는 시도로서 Siri가 여기에 속한다고 볼 수 있음
 음성인식 기술은 모든 사용자를 대상으로, 보다 많은 어휘, 자연스러운 대화체를 인식하여 인식률을 높이는 방향으
로 발전해 가는 과정 중
22 차세대 UX/UI 기술 및 산업동향

23. NUI 종류 - 음성인식
 1952년 미국 AT&T의 Bell Lab의 단일 음성으로 말하는 숫자 인식 시스템 „Audrey‟ 개발을 통해 시작
 1963년 IBM이 세계 최초로 음성을 통해 16개의 영어단어를 인식할 수 있고 간단한 숫자 계산이 가능한 „Shoebox‟라
는 장비를 개발
 이후 미국, 영국, 일본, 소련 등의 국가 연구소들이 인간의 발화를 인식하는 전용 하드웨어를 개발해 4개의 모음과 9
개의 자음을 지원하는 수준까지 음성인식 기술을 확장 개발
 1971년부터 76년까지 美 국방부 산하 국방과학연구소인 DARPA에서 음성인식 연구역사상 가장 큰 프로젝트 중 음
성이해연구(Speech Understanding Research) 프로그램을 진행하였고, 국방과 관련한 음성인식 프로젝트들이 다수
개방적으로 논의 됨
 1980년대 초 음성인식 기술이 인식할 수 있는 단어가 1,000단어에서 1만 단어까지 늘어나면서 군사용, 로봇, 건강
분야 등에 널리 활용되기 시작
 IBM은 통계적 기법을 이용한 대규모 음성인식 시스템 „Hidden Markov Model(HMM)‟을 개발하였는데, 이 방식을
통해 단순하게 소리의 패턴을 찾기 보다는 음성을 모델링하고 알려지지 않은 소리도 단어가 될 수 있는 가능성을 고
려하기 시작함.
 2000년대 초 휴대전화와 홈 오토메이션 등에 적용되었으나 낮은 인식률 때문에 대중적으로 확산 실패
 AT&T가 1990년대 전화번호 안내 서비스에 음성인식 기술을 적용한 것이 최초의 상용화 사례
 대표적인 음성인식 기술 적용 사례는 „말로 거는 전화‟였으나 트렌드모니터의 2010년 조사에 따르면 이 기능에 대한
고객 만족도는 29.5%에 불과하고, 무엇보다 음성인식률이 낮은 것이 가장 큰 문제로 휴대전화에 대고 큰 소리로 여
러 번 같은 단어를 말해야 하는 점이 사용자에게 거부감을 들게 하여 사용자 인터페이스로 실패.
23 차세대 UX/UI 기술 및 산업동향

24. NUI 종류 - 음성인식
 클라우드 컴퓨팅의 도래와 모바일 기기의 확산은 인식률 향상과 수요 증가를 견인하면서 주춤했던 음성인식 시장에
새로운 활력으로 작용하였고, 클라우드 컴퓨팅은 음성인식률 향상에 필요한 대용량 음성 데이터 저장과 실시간 처리
기술의 획기적 발전을 가능케 함
 음성인식률 95%를 표방하고 있는 구글은 클라우드 서버에 2010년 기준으로 성별, 연령별, 사투리로 구분한 총 2,300 억 개
의 영어 단어를 음성 데이터로 저장하고 있고, 이를 활용하여 음성인식을 실시간으로 처리하고 있음. 이러한 방식의 기술은
스마트폰에 입력된 음성 데이터를 클라우드 서버로 전송하고, 서버에서 음성인식을 수행한 후 그 결과를 스마트폰으로 재
전송하는 방식을 사용하는 것으로 이용자의 사용량이 늘어날수록 음성 데이터가 더욱 축적되어 인식 결과의 정확도가 지
속적으로 높아지게 되었음
 모바일과 클라우드 시대가 도래와 더불어 음성인식 기술의 차별적 강점이 새롭게 주목받으면서 IT 대형 벤더를 중심
으로 음성인식 기술 경쟁이 본격화되고 있으며, 타산업 분야로도 확대 적용되고 있는 추세
 구글, 애플, 마이크로소프트 등 주요 IT 업체들은 자사의 핵심 제품과 서비스에 음성인식 기술을 적용 중이며, 핵심
기술보유 업체와의 제휴 혹은 적극적 인수를 통해 관련 기술을 확보하고 있음
 구글, 애플, 마이크로소프트의 음성인식 기술확보 현황
기업 제품출시 음성기술 업체 인수 및 제휴
모바일 음성검색(2008년) Phonetic Arts 인수(2010년)
구글
PC 음성검색(2011년) SayNow 인수(2011년)
iPhone4S(2011년) Siri 인수(2010년)
애플
New 아이패드(2012년) Nuance와 기술제휴(2011년)
윈도모바일8(2012년)
마이크로소프트 Tellme Networks 인수(2011년)
Xbox360 Kinect(2010년)
24 차세대 UX/UI 기술 및 산업동향

25. NUI 종류 - 음성인식
 음성인식 기술은 주로 인식할 수 있는 발성의 형태, 인식 대상 화자 및 단어에 따라 분류되며, 발성 형태별로는 가장
초보적 단계의 고립단어 인식에서 연결단어(connected word recognition) 인식, 연속어 인식(continuous speech
recognition), 핵심어 인식 등으로 분류
 인식 대상 화자별로는 특정 화자 또는 사용자가 자신의 음성으로 미리 인식기를 훈련시키는 화자 종속 인식
(speaker dependent recognition), 임의의 화자 발성을 인식할 수 있는 화자 독립 인식(speaker independent
recognition), 사용자가 자신의 목소리에 대한 인식률을 높이기 위해 화자 독립 인식기를 자신의 목소리에 적응시키
는 화자 적응(speaker adoption) 인식으로 분류
 인식 대상 단어별로는 인식할 수 있는 대상단어가 고정되어 있는 고정단어 인식(fixed vocabulary recognition)과
인식 대상 단위를 수시로 갱신할 수 있는 가변 단어 인식(flexible vocabulary recognition)으로 구분
 음성인식 기술은 모든 사용자를 대상으로 보다 많은 어휘, 자연스러운 대화체를 인식하여 인식률을 높이는 방향으로
발전해 가고 있음
25 차세대 UX/UI 기술 및 산업동향

26. NUI 종류 - 음성인식
 국내에서는 ETRI를 중심으로 음성인식 기술이 개발되어 다음, 파인디지털 등 국내 기업 위주로 전파되어 활용되고
있으며 해외 업체 기술의 활용은 한국어의 특성상 아직 미미한 수준
 반면, 다양한 언어에 대한 세계 최고의 음성인식 기술을 보유한 Nuance사에 국내 제조사들이 지급하는 로열티 비용
은 연간 1,000억원 수준에 육박하고 있음
 구글 한국어 음성검색 서비스는 영어, 중국어, 일본어, 프랑스어 등에 이어 8번째로 출시되는등 다국적기업 서비스
적용시 우선순위가 높지 않은 편으로 외산 솔루션들이 아직 국내 시장을 장악하지 못하고 있음
 음성인식 기술은 현재 애플의 Siri가 가장 많은 관심을 받고 있으나, 현재 음성인식 기술로 세계 1위 기업인 Nuance
가 IBM과 협력하여 헬스케어 등의 영역으로 사업화를 다각화하고 있으며, Dragon Go라는 안드로이드용 앱을 선보
였으나 아직 Siri와는 달리 웹 서비스에 대해서만 음성으로 질문하면 이에 맞는 콘텐츠를 보여주는 형식의 기능을 제
공하고 있음
 구글은 현재 모바일 폰에서 음성검색등의 서비스를 성공적으로 서비스 하고 있으며, Siri에 대응하기 위해 Majel이
라는 코드명으로 개인 비서용 기술을 개발하고 있음
 마이크로소프트는 윈도우폰 7을 기반으로 Ziggy를 개발중에 있으나 서비스 영역이 제한되어 있음
 국내에서는 삼성이 Nuance에 인수된 Vlingo의 음성인식 기술을 채택한 Voice Talk을 개발하여 스마트폰에 탑재하고
있으며, Voice Talk는 Siri와 같은 인공지능 기술이 탑재되어 있지 않음
26 차세대 UX/UI 기술 및 산업동향

27. NUI 종류 - 음성인식
 Siri
 미국 투자은행 Piper Jaffray의 Gene Munster 애널리스트는 “Apple TV가 Siri를 탑재할 것이라고 예상되는데, 그럴 경우
TV 프로그램의 이름이나 배우의 이름 등을 TV 리모콘으로 입력해야 하는 귀찮은 일이 단순화될 것이다”고 전망. Siri가 TV
에 적용될 지점은 단순히 콘텐츠를 찾는 정도에 그치지 않을 수도 있음. 콘텐츠 내용에 대해 묻고 답할 수도 있는 것이다.
예를 들어 „미식축구시청 중에도 지금 터치 다운을 한 선수의 이름은?‟이란 질문에 Siri가 답을 하는 수준으로 발전할 가능
성이 있다. 그렇게 된다면 „TV와 시청자의 상호 작용성‟이라는 관점에서 TV 시청 행태는 지금과는 사뭇 달라질 것으로 전망
 Siri가 제공하는 음성 인식 기술은 결제 서비스 등 금융 분야에서도 활용될 가능성이 큼. 실제로 Twitter의 창업자 Hack
Dorsey가 설립한 모바일 결제 서비스 회사 „Square‟는 이용자들이 자신의 이름을 말함으로써 상점에서 결제를 할 수 있는
iOS용 애플리케이션인 Card Case를 최근 소개했음. Siri 역시 이러한 음성 인식 기능을 통해 결제에 활용될 가능성이 있
음. 특히 거래 정보의 축적이라는 차원에서 Apple을 비롯하여 많은 업체들이 충분히 관심을 가질만한 서비스로 Google이
NFC 사업을 추진하는 이유도 결제 수수료 때문이 아니라 소비자들에 대한 정보를 좀더 많이 확보하기 위한 것임
 Siri가 기존 검색 서비스와는 다른 새로운 패러다임을 제시하게 될 것으로 평가하고 있음. Siri는 실제로 Wolfram Alpha의
검색 엔진을 활용해 기존의 검색 엔진과는 전혀 다른 활용성을 보이고 있음. Google의 검색 엔진이 단순히 검색 결과에 가
장 적합한 결과들을 빠르게 보여준다는 데 강점이 있다면, Siri는 사용자가 내뱉은 말의 의도와 문맥을 인식해 반응하기 때
문임. 특히 Google이 웹 시장에 이어 영향력을 확대하고 있는 모바일 검 색 시장에서 Siri의 위력이 배가될 전망임. 이미
2009년 첫 공개 때부터'Google Killer'로 기대를 모았던 Wolfram Alpha의 검색 엔진을 Siri가 활용한다는 것 자체가 Google
에게는 큰 압박이 될 수 있음
27 차세대 UX/UI 기술 및 산업동향

28. NUI 종류 - 영상인식
 영상인식기반 NUI 기술은 크게 제스처 인식, 얼굴인식, 시선인식 등의 3가지 정도로 구분
 제스처 인식기반 NUI 기술은 손, 팔, 다리 등의 신체부위를 활용하여 기존의 마우스나 조이스틱이 하던 역할 등을 대
신하는 보편적인 UI를 제공
 얼굴인식기반 NUI 기술은 사람의 식별 및 속성, 감정 등을 인식하여 그 사람에게 맞는 UI를 구성해줌으로써 차별화
되고 개인화된 UX를 경험할 수 있게 해주는데 사용
 시선인식기반 NUI 기술은 기존에는 거동이 불편한 사람들의 마우스와 같은 역할로 이용되었으나, 최근에는 마케팅
측면에서 사람들의 시선이 머무는 위치를 측정하거나 3차원 입체디스플레이 및 홀로그램 등의 기술을 구현하기 위
한 UI 기술로 이용
28 차세대 UX/UI 기술 및 산업동향

29. NUI 종류 - 영상인식
 제스쳐인식 기술은 1990년대부터 시작되었다고 볼 수 있어 NUI 기술 중 가장 늦게 시작된 기술로 볼 수 있음
 최근 Kinect의 성공으로 비접촉식에 대한 기술로 인식되고 있지만, 기존의 센서나 장치를 사용자의 신체 일부분에 부
착하여 부착된 센서나 장치로부터 획득된 사용자의 움직임 정보를 이용하여 상호작용을 하는 접촉식 제스처인식 기
술이 1990년대부터 개발되어 사용되고 있음
 접촉식 제츠쳐 인식 기술은 최근 정밀한 동작을 캡쳐해 내는 용도로 주로 사용하고 있으며, 게임제작이나 영화, 군사
용 시뮬레이션 제작에 주로 사용되고 있음.
29 차세대 UX/UI 기술 및 산업동향

30. NUI 종류 - 영상인식
 비접촉식 제스처인식 기술은 주로 카메라를 이용하여 사용자의 움직임 정보를 획득하고 이를 통해서 상호작용하는
기술로 사용자의 몸에 특정 마커를 부착시켜 사용자의 움직임을 비교적 쉽게 추적할 수 있는 마커(Marker) 기반 기술
과 순수 시각 기술만을 이용하는 마커리스(Markerless) 기반 기술로 구분
 비접촉식 제스처인식 기술은 접촉식 제스쳐인식 기술에 비해 사용자에게 보다 자연스러운 움직임을 제공하는 이점
이 있지만 사용자 움직임에 대한 특징점을 찾고, 이를 추적하는데 기술적인 어려움이 있음
 초기 기술에는 특정 마커를 사용자에게 부착시키는 방법을 이용하여 해결법을 모색함.
 마커는 접촉식 제스쳐인식과 같이 사람의 신체부위의 각 관절의 끝부분에 부착하여 사람의 신체부위의 3차원적인 위치를
파악하기 위해서 사용됨
 특정 마커를 사용할 때의 장점은 이미 해당 마커에 대한 속성(예, 컬러, 형태 등)을 알고 있기 때문에 비교적 쉽고 빠르게 사
용자의 제스처를 추적할 수 있는 장점이 있음
 사용되는 마커의 종류에 따라, 액티브(Active) 마커와 패시브(Passive) 마커로 구분될 수 있음
 액티브 마커의 경우에는 마커 자체의 속성 이외에도 조명의 영향에 강건할 수 있는 특성(예, LED, 적외선 LED 등)을 지닌 마
커
 패시브 마커의 경우에는 일반적으로 획일적인 컬러를 이용한 마커
 마커를 이용할 경우, 특징점 추출은 상대적으로 빠르게 할
수 있지만 접촉식 제스처인식 기술과 같이 여전히 사용자
는 부자연스러운 마커를 부착해야 하는 단점이 있음
 뿐만 아니라, 마커가 중첩되거나 마커의 수가 많아지
면, 마커간의 구분이 어렵게 되어 강건하고 정확하게 사용
자의 제스처 추적이 어렵게 됨
30 차세대 UX/UI 기술 및 산업동향

31. NUI 종류 - 영상인식
 마커리스기반 제스쳐인식 방법은 마커를 이용하는 불편함을 해소하기 위해서 카메라만을 사용하여 사용자의 움직
임을 추적하는 방법
 마커리스 기반 제스쳐인식 기술은 마커기반 제스쳐인식 기술에 비해 사용이 편하고 상대적으로 저렴
 마커리스 방법은 광원의 간섭, 그림자 등과 같은 외부 요인에 취약
 비접촉식 제스처기반 사용자 인터페이스의 단점인 가려짐 문제나 빛의 간섭 문제 등을 보완하기 위해서 여러 대의
카메라를 이용하거나 적외선 카메라와 같이 특수한 장치를 함께 사용하기도 함
 하지만 보편화된 NUI 기기로써 마커리스 제스쳐인식 기술을 개발하기 위해서는 저렴한 카메라 장비를 이용하여 사
용자의 3차원 공간에서의 움직임을 추적하는 기술이 필요
 사용자의 움직임은 3차원 공간 상에서 이루어지는 3차원 정보이기 때문에, 사용자의 3차원 움직임을 효과적으로 추
적하면서도 계산 복잡도가 낮은 제스처기반 사용자 인터페이스에 대한 연구에 의해 개발된 것이 바로 마이크로소프
트의 Project Natal 의 결과물인 Kinect 임
 Kinect는 2009년 E3 Show에서 홈 엔터테인먼트의 차세대의 탄생이라는 의미의 „Project Natal‟이라는 코드명으로
Xbox 360의 게임인터페이스로 발표되었으며, 2010년 11월에 Kinect(Kinectic과 Connect의 합성어)라는 입력장치로
정식 출시되어 짧은 기간 가장 많이 팔린 디바이스로 기네스북에 기록을 올림
 Kinect는 NUI 분야의 새로운 지평을 열었다는 호평과 함께 Kinect 센서를 다양한 분야에 적용하려는 시도로 마이크
로소프트는 2012년 2월, 게임 용도가 아닌 임베디드 기기에서 사용될 수 있는 상업용 버전인 „Kinect for Windows‟를
출시하였고 동시에 Windows 기반 임베디드 기기에 Kinect 센서 디바이스를 쉽게 사용할 수 있도록 „Kinect for
Windows SDK‟도 출시함. 이로써 Kinect for Windows는 디지털 사이니지, 키오스크, 스마트TV, 의료기기 등 최신 IT
기기의 NUI로 주목 받고 있음
31 차세대 UX/UI 기술 및 산업동향

32. NUI 종류 - 영상인식
 Kinect
 Kinect 센서는 아래 그림과 같이 Color(RGB)카메라, Depth(3D)센서, 4개의 마이크로폰 어레이 그리고 센서를 상하로 움
직일 수 있도록 틸트 모터 등으로 구성됨
 저렴하고 효과적으로 3차원적인 사람의 움직임 추출하기 위하여 Kinect에서는 적외선 레이저 빔 프로젝터와 단색 CMOS
센서를 사용한 깊이정보 추출방법을 사용함
 적외선 레이저 빔이 비춰지면, 반사된 레이저 빔 포인트를 CMOS 센서가 받아서 각 픽셀 당 거리가 측정되고 이들 데이터
를 이미지 프로세서가 처리하여 Kinect 센서 앞의 사용자 3차원 정보를 인식하는 방식
32 차세대 UX/UI 기술 및 산업동향

33. NUI 종류 - 영상인식
 Kinect
 Kinect를 통해 인식된 사람의 골격정보와 Kinect에서 사용하는 표준 신체 골격 모델
33 차세대 UX/UI 기술 및 산업동향

34. 키넥트 동작과정
 카메라 센서 입력 사양
 30 Hz frame rate
 57 deg FOV(field-of-view)
8비트 VGA RGB 영상 11비트 모노크롬 영상
640x480 320x240
34 NUI기술기반 감성인식 기술동향

35. 키넥트 동작과정
 키넥트 입력에서 인식까지의 과정
배경 기반으로
깊이맵 계산
각 사람분리
신체연결부위 (joint)
신체 각 부위 식별 골격 생성
인지
35 NUI기술기반 감성인식 기술동향

36. 키넥트 동작과정
 확인된 모든 신체 부위의 3D 위치를 분석한다.
 컬렉션((position, confidence) 을 생성한다.
 각 신체 부분에 대한 다중 옵션을 생성한다.
 작업은 CPU에 의해 수행한다 .
 3모델을 기반으로 „ 골격(skeleton)‟을 생성한다.
 다음 과정으로 진행된다.
 (신체 길이와 관련된…) 연결된 포인트의 거리를 계산한다.
 신체의 뼈 구조 부분과 근접한 위치를 계산한다.
 Smoothness를 적용하여 응용 가능한 표준형태를 만든다.
36 NUI기술기반 감성인식 기술동향

37. NUI 종류 - 영상인식
 NUI 기술에서 사람의 상황을 판단하기 위하여 이용되는 얼굴인식 기술이 연구되기 시작한지는 20여년이 넘었지만
주로 사람을 식별을 하기 위한 출입통제 및 보안분야에서 주로 연구되어 오다 최근 스마트폰과 스마트TV등에 얼굴
인식 기술이 적용되면서 사용자 맞춤 정보를 제공하기 위한 개인화 기술로 새로운 관심을 받고 있음
 얼굴인식 기술에는 전통적으로 영상내의 사람이 누구인지를 인지해내는 식별기술과 얼굴의 성별과 연령대를 인지
해내는 속성인지 기술, 그리고 얼굴의 감정상태를 파악하는 감정인지 기술 등이 주로 연구됨
 개인화 측면에서 얼굴인식 기술의 중요성이 부각되면서 구글, 애플, 페이스북, 인텔등이 얼굴인식 업체들을 인수하
여 자체 서비스를 스마트화하는 연구개발이 진행 중에 있음
 구글은 2011년에 미국 CMU에서 스핀업한 세계최고의 얼굴인식 업체인 PittPatt를 인수. 특히, PittPatt의 얼굴인식 기술은
구글의 고글스(goggles) 서비스와 금년말 출시를 앞두고 있는 증강인류(augmented humanity, 에릭 슈미트가 구글 모바일
혁명 언급)를 위한 스마트기기인 „Project Glasses‟의 결과물인 구글 안경의 NUI 기술로 활용될 것으로 알려져 있음
 애플은 2010년 PolarRose를 인수하여 얼굴인식 기술을 이용한 UX 기술을 개발 중
 국내에서는 ETRI가 얼굴인식 분야에서 꾸준히 연구를 하고 있으나, 제한된 환경에서 연구결과들로 인해 아직 시장
에서 많이 활용되지 못하고 있음
37 차세대 UX/UI 기술 및 산업동향

38. NUI 기업활용 예시
 TV 사용자 인터페이스
 삼성전자가 CES 2012에서 선보인 스마트TV의 음성인식과 제스쳐인식 기술들은 2010년 마이크로소프트사가 인수한
Canesta사가 먼저 선보였으나, ES8000이라는 제품을 먼저 출시함으로써 시장의 많은 관심을 받고 있음
 ES8000에서는 음성인식 기술을 이용하여 기본적인 TV의 제어기능을 제어할 수 있으며, 손바닥 인식 기술을 이용하여 마
우스의 역할을 수행할 수 있음
 얼굴인식 기술을 사용하여 사용자의 개인선호도를 저장하여 제공하는 기능을 제공하고 있음
 ES8000은 미래형 TV 사용자 인터페이스의 사례를 제시하고 있으나 아직까지 인식율 및 UX에 대한 개선이 필요함
38 차세대 UX/UI 기술 및 산업동향

39. NUI 기업활용 예시
 미래형 가구
 Surface 2 (삼성, 마이크로소프트)
 Surface 2는 LCD 대화면위에 사람의 손 뿐만이 아니라 RFID, 핸드폰, 주사위와 같이 사전에 등록된 물체들을 인식하여 해당하
는 물체에 적합한 정보를 미래형 테이블의 사례를 보여주고 있으며, 미래형 가구의 가능성을 보여주고 있음
 자동차용 개인비서
 Sync (포드, 마이크로소프트)
 포드(Ford) 자동차는 마이크로소프트와 협력해 음성으로 휴대전화와 엔터테인먼트 시스템을 조작할 수 있는 음성인식 시스템
„Sync‟를 주요 차량에 탑재하고 있으며, 국내에서는 내비게이션 업체인 파인디지털이 150만 단어 수준의 어휘 인식이 가능한 음
성인식엔진 FineSRTM 7.0을 탑재한 내비게이션을 출시한 사례가 있으며, 목적지 검색뿐만 아니라 DMB 채널 전환과 화면 밝기
및 음량 등을 음성으로 조작할 수 있음
 스마트카 분야는 Siri의 성공으로 NUI의 기술이 더욱 더 발전할 것으로 예측됨
39 차세대 UX/UI 기술 및 산업동향

40. NUI 기업활용 예시
 유통플랫폼
 리테일 익스피리언스 플랫폼(마이크로소프트)
 2012년 NRF 컨퍼런스에서는 Kinect를 활용하여 고객이 쇼윈도를 걸어가면 고객을 인식하여 실시간으로 고객에게 맞춤 상
품을 제안하는 광고를 보여주는 방식을 시연하였으며, 지나가는 사람을 스캔한 후 성별, 키, 몸무게, 인종, 나이 등을 추측
하여 Windows Embedded POSReady 7 에서 고객성향에 맞는 제품을 추천해 주는 방식의 기능을 제공
 2012 CES (2012 International Consumer Electronics Show)에서는 매장 내부에서 가상 탈의실을 이용하여 번거롭게 직접
다른 옷으로 갈아 입는 수고를 하지 않고서도 선택한 의류가 자신 본인의 몸에 어울리는지 알아 볼 수 있는 새로운 경험을
선보임으로써 미래의 오프라인 매장의 사례를 보여주고 있음
 의료분야
 미국 미테소타 대학의 의학연구진은 Kinect를 의학연구용 기계에 활용하여 강박장애나 주의력 결핍장애와 같은 일련의 정
신장애 증상을 보이는 아동들을 진단하기 위한 의료기기를 개발함
 Kinect가 여러 대 설치된 작은 방에서 아이들이 자유롭게 장난감을 갖고 놀도록 하고 이런 아이들의 행동을 모니터링 시스
템을 전달해 증상을 진단하는 방법을 개발한 것으로 기존의 아이들의 몸에 센서를 부착해 진단하는 형태의 의료기기를 사
용하던 때보다 저렴한 Kinect로의 대체로 10만 달러 이상의 의료기기 비용을 절감하는 부수적인 효과를 달성함
40 차세대 UX/UI 기술 및 산업동향

41. NUI 발전방향
 NUI 기술은 보다 직관적인 사용형태를 가지기 위해서 사람의 일상사의 행동과 사람과 사람 사이의 의사전달 형태를
닮아가고 있으며, 향후 이러한 기능을 넘어서 사람이 행동을 취하기 전에 미리 알아서 처리해주고, 실제로 존재하지
않는 것을 마치 실제로 존재하는 것과 같은 느낌을 가질 수 있는 형태로 발전 예측됨
 멀티터치 기술의 경우 2차원적인 멀티터치에서 향후 대중화될 3차원 디스플레이를 위한 3차원적인 멀티터치로 발
전할 것이며, 손가락이나 특정 펜에 의존적인 입력방식으로 느낌을 흉내내는 정도가 아닌 실제 사용하는 펜과 붓을
그대로 사용하도록 해줌으로써 도화지나 노트 등에 느낌을 그대로 살릴 수 있는 기술로 발전 예측됨
 정전식 터치 기술의 근접 센서 기능은 스크린 표면의 X축과 Y축 뿐만 아니라 Z축까지 모든 움직임을 탐지할 수 있다는 것
을 의미하고 터치 표면으로 다가오는 손가락을 탐지할 수 있음. 즉, 근접 센싱을 통해 터치 스크린을 3차원화할 수 있으며
기술은 손가락의 인접도 뿐만 아니라 손가락을 사용한 동작을 해석할 수 있다는 잠재성이 있음. 예를 들어 사용자가 손가락
을 뻗으면 터치 스크린은 그것을 화면상에 있는 이미지를 줌-인하라는 명령으로 해석할 수 있다.
 음성인식과 영상인식 기술의 경우 컴퓨터와 인터페이스하기 위해 별도의 명령방식이나 규칙을 배워서 하는 것이 아
닌 친한 사람 사이에서 대화하고 행동하듯이 인지하는 방향으로 발전 예측됨.
 음성에 실린 감정까지 파악하여 같은 단어라 하더라고 서로 다른 의미를 가지는 것을 판단하는 기술까지 개발될 것
이며, 이러한 기술이 세상에 선을 보인다면 더욱 인간의 대화를 닮아가게 될 것이며, 이러한 음성인식 기술에 제스쳐
인식, 얼굴인식 기술이 더해지면 더욱 더 사람의 의사소통에 가까워지게 될 것임. 사람 일상사에서 보면 상대방의 무
의식적 행동이나 얼굴에 나타나는 표정으로 상대방이 어떠한 감정이나 의사를 가지고 있다고 판단하는 경우들이 많
은데 NUI 기술도 이런 것을 이해 할 수 있는 수준으로 발전 예측 됨
 현재 실세계에 존재하는 것을 가상세계에 옮겨서 실제와 가깝게 구현해내는 것이 활성화되어 있음. 그리고 이렇게
구현된 가상세계를 오감을 이용하여 실세계처럼 체험할 수 있는 실감형 장비를 개발하는 연구들이 꾸준히 연구되고
있음.
 오감을 체험할 수 있는 실감형 장비를 개발하는 방식이 아닌 영화 매트릭스에서 나오는 것같이 뇌에 직접적으로 정
보를 가하여 현실처럼 느끼게 해주는 BCI(Brain Computing Interface) 기술에 많은 연구비를 투자하고 있어 빠른
시기에 새로운 NUI 기술이 나타나리라 예측됨.
 소니에서는 뇌의 특정 위치를 초음파로 자극해서 사람이 맛이나 냄새 혹은 그 느낌까지 느낄 수 있는 기술에 대한 특허를
출원한 바 있음
41 차세대 UX/UI 기술 및 산업동향

42. NUI 발전방향
 다른 NUI 기술들과 접목하면서 새로운 NUI 기술로 재탄생할 것으로 예측됨.
 최근 마이크로소프트에서는 Kinect의 기술과 시선인식기술, 증강현실 기술들을 접목한 새로운 형태의 3차원 NUI 기술인
„HoloDesk‟의 연구결과물을 선보였으며 곧 제품으로 선보인다고 발표함. 이 제품은 가상세계의 3차원 정보와 실세계의 사
람 손이 실세계에서 가상의 물체를 만지는 것과 같은 인터페이스 형태를 제시하고 있음.
 NUI 기술의 발전은 새로운 스마트기기를 만들어 낼 것이며, 새로운 스마트기기에 최적화된 NUI 기술로 발전해 갈 것
임.
 실례로, 구글이 금년말 출시한다는 Project Glasses의 안경식 스마트기기와 미국 MIT의 미디어 랩에서 2009년 2월 발표한
Sixth Sense는 착용형 스마트기기의 사례로 현실에서 성공가능성이 높은 스마트기기로 관심의 대상이 되고 있음
42 차세대 UX/UI 기술 및 산업동향

43. NUI 발전방향
 사람은 본질적으로 하드웨어를 몸에 지니는 것을 불편해하며, 이러한 착용향 스마트기기가 가진 불편함을 해소하기
위하여 특정 장소에서는 영화 에서나 볼 수 있는 마법과 같이 사용자를 인식하여 사용자의 행동에 따라 스마트기기
의 기능을 실세계로 소환해서 사용할 수 있도록 해주는 소환현실 (Invoked Reality) 기술이 현실화 될 것임
 소환현실 기술은 마이크로소프트사와 도쿄대학교 연구그룹이 최근 발표한 연구결과로 정해진 공간안에서 사람의
행동을 추적 인식하여 사용자에게 제스쳐와 음성명령에 따라 TV, 전화기, 게임등을 실세계에 구현해주는 클라우드
와 증강현실등의 기술이 결합하여 만들어낸 최첨단 NUI 기술로 선보였으며, 홈네트워크 기술의 미래를 보여주고 있
음.
43 차세대 UX/UI 기술 및 산업동향

44. NUI 발전방향 - 신체언어와 NUI
 구술언어가 없던 시절부터 사람은 몸짓과 소리만으로 충분히 의사소통을 해왔다. 나라와 인종을 떠나 세계의 모든
사람들은 마음으로 의사소통을 할 수 있는데 그 이유는 „신체언어(Body Language)‟ 라는 근원적인 언어를 공유하
고 있기 때문이다.
 신체언어는 표정과 손 모양새, 몸으로 취하는 자세, 여러가지 다양한 움직임과 몸에 배인 버릇, 음조와 음성으로 이
루어진다. 사실 말 그대로 신체언어는 상대에게 말하고자 하는 것을 나타내기 위해 몸으로 할 수 있는 모든 것을 포
함한다. 흥미롭게도, 때로는 당신이 말하지 않으려고 하는 것까지도 신체언어를 통해 전달되기도 한다.
 대부분의 사람들은 다양하게 신체언어를 표현할 수 있는 능력을 가지고 태어난다. 사실은 이것은 우리가 말하는 법
을 배우기 이전, 아기였을 때 다른 사람과 소통하는 유일한 방법이기도 하다. 하지만, 언어만을 사용하면서 때로는
실망하기도 하고, 거부당하기도 하고, 속기도 한다.
 일부의 신체언어는 의식적으로 이루어진다. 어떤 경우에 자리에서 일어나 미소를 지어야 하는지, 또 어떤 경우에 포
옹을 해야 하는지, 그리고 언제 악수를 해야 하는지 알고 있다. 하지만, 누군가가 말로 표현하는 것이 실제로 그 사람
의 생각과 다르다는 것을 사람들은 직관적으로 느끼게 된다. 그것은 사람이 성장하면서 무의식적으로 사람의 신체언
어를 경험하기 때문이다. 물론, 이러한 직관력은 성장배경과 경험에 의해 차이를 보이게 된다.
 신체언어라고 해도 사람은 스스로 통제할 수 있는 것과 통제가 조금 어려운 것, 더 나아가 전혀 통제할 수 없는 것들
이 있다. 이 3가지 유형에 속하는 신체언어를 이해하기 위해서는 신체언어가 어떻게 구성되어 있는지 그것을 어떻
게 받아들여야 하는지 알아야 한다.
 누군가를 처음으로 만날 때, 우리의 뇌는 그 사람에 대해 알아볼 수 있고, 그 사람이 도움이 될지 해가 될지를 파악할
수 있는 수 백 가지의 신호를 순식간에 스캔한다. 우리가 받아들이는 신호 가운데 몇가지는 부모에게서 물려받았거
나 문화적 특징을 지닌 것들로 이미 신경체계에 깊숙히 박혀있어 사람에 따라 여러가지 의미로 해석될 수 있다. 이러
한 문제를 해결하기 위해 신체언어에 대한 보편적 해석 방법에 대한 연구가 수세기 전부터 진행되어 왔다.
 1872년 찰스 다윈의 저서 <인간과 동물의 감정표현>에서 그는 “영장류는 특별한 감정을 가지고 태어나고 이 감정은
몸과 얼굴을 통해 표출된다.”라는 신체언어는 선천적이라는 학설을 지그문트 프로이트를 거치면서 1960년대 중반에
폴에크만에 이르러 “신체언어는 성장과 문화의 결과다.”라는 학설을 입증하였다. 에크먼은 21개국의 학자들과 협력
하여 „감정이라는 것은 어느 지역에서나 보편적으로 나타나는 것 „이라는 것을 입증하였다.
 최근에는 신체언어라는 것이 감성적인 측면을 강조하는 마케팅 분야 및 제품 개발을 위한 디자인 컨셉을 잡거나 IT
기기들의 UI/UX 적인 측면의 기술 개발을 위한 요구사항 도출을 위한 핵심 요소기술로 인식되면서 신체언어를 객관
적으로 이해하기 위한 영상/음성 분석기술을 포함한 NUI(Natural User Interface) 연구들이 진행되고 있으며, 일부
연구들은 이미 상용화되어 실제 시장에 적용되고 있다.
44 차세대 UX/UI 기술 및 산업동향

45. NUI 시사점
 스마트기기를 생산하는 전문업체 뿐만이 아니라 타 산업분야에서도 소비자들과의 거리를 줄이기 위해 NUI 기술의
중요성 증대
 정보가 폭증하는 시대에 정보를 소비자에게 어떻게 효과적으로 전달할 것인가 하는 것은 결국의 매출의 증가로 이어지며
이를 해결하기 위한 기술로 NUI가 더욱 중요해지고 있음
 의류, 교육, 의료분야와 같은 타 산업분야에서도 생산성을 높이고, 소비자들과의 간격을 줄이기 위하여 상용화되어 있는
NUI 기술들의 채택하여 커스터마이징 함으로써 각 분야에 특화된 기술로 접목이 필요한 시점
 NUI 경쟁력이 곧 제품의 경쟁력을 결정해주는 중요한 잣대로 작용하여 새로운 NUI 기술 경쟁 가열과 수요 증가 예측
 iPhone, Wii, Kinect 모두 NUI의 차별화를 통해 성공한 제품들로 스마트폰과 게임기에서 새로운 트랜드를 만들어냄
 기술이 복잡해 질수록 제품과 소비자 사이의 간격은 넓어지게 되는데, 이러한 간극을 줄일 수 있는 것은 결국 인터페이스
기술로 해결될 수 있다. 향후 출시되는 신제품이 시장에서의 성공을 위해서는 차별화된 NUI 기술이 필수적인 요소이므로
NUI 기술 개발에 보다 많은 관심과 투자가 필요함
 한가지 종류의 NUI 기술이 아닌 다양한 NUI 기술이 접목되어 사람의 행동패턴에 친화적인 NUI 기술 개발 필요
 전술한 바와 같이 차세대 NUI기술은 사용자의 신체적, 인지적, 감성적 특성을 이해하여 사람을 이해할 수 있고 사람에 친화
적인 UX를 높여줄 수 있는 기술로 개발되어야 함
 이러한 NUI를 개발하기 위해서는 사람을 이해할 수 있어야 하기 때문에 기술적인 측면과 함께 심리학, 인문학과 같은 타분
야의 학문들과의 하이브리드한 연구가 필요함
 NUI 기술의 최근 동향을 지속적으로 모니터링하고 전문업체와의 전략적 제휴를 통해 핵심기술 확보가 중요
 iPhone, Wii, Kienect등을 보면 NUI 기술의 파급력은 어떠한 기술보다 관련분야에 미치는 시장의 파급력은 막강하다. 그러
므로 NUI의 핵심기술을 확보하기 위한 노력과 투자가 필요함
 현재 NUI의 핵심기술들은 선진업체들이 주도하고 있으므로 선진업체들의 개발동향을 주시하고 이들 업체와의 전략적 제
휴를 통해 요소기술을 확보하는 전략이 필요한 시점임
NUI는 새로운 시장을 만들고 새로운 트랜드를 만든다
45 차세대 UX/UI 기술 및 산업동향

46. 감사합니다.
46 차세대 UX/UI 기술 및 산업동향