The Development of Spatially-aware User Interfaces for Scaled Telepresence Systems

1. 哈Z
HADZIQ
Cybernetics and Network Security Laboratory
Department of Computer Science and Information Engineering
National Taiwan University of Science and Technology
國立臺灣科技大學資訊工程系
系統操控與網路安全實驗室

2. 在不同尺度遙現系統中
具空間感知特性的
使用者介面開發
THE DEVELOPMENT OF
SPATIALLY-AWARE USER INTERFACES
FOR SCALED TELEPRESENCE SYSTEMS

3. 呈現 與 遙現
的 概念
The Concept of Presence and Telepresence

5. 我們到底怎麼看世界
HOW DO WE ACTUALLY PERCEIVE THE WORLD

6. 人是包括：身體、靈體、（心靈）
HUMAN => BODY + SOUL + (SPIRIT)

7. 心靈）——————— 靈體 ——————— 身體
暫時
永遠
永遠

8. 基本呈現
由使用者周遭環境
組成的視覺影像

9. VIRTUAL PRESENCE/ REALITY (VR) 虛擬實境
在虛擬呈現中使用者被電腦產生的人工視覺（CGI）所圍繞

11. VIRTUAL PRESENCE/ REALITY (VR) 虛擬實境
在虛擬呈現中使用者被電腦產生的人工視覺（CGI）所圍繞

12. 遠端遙現
Telepresence: Remote Reality

13. 阿凡達
AVATAR
BIOLOGICAL ALIEN
TELEPRESENCE

14. 環太平洋
PACIFIC
RIM
GIANT ROBOTIC
TELEPRESENCE

15. TELEPRESENCE 遙現
由使用者角度與電腦產生的遠端遙現影像

18. 研究動機 與 研究目標
Research Motivation and Goals

19. 上述許多研究激勵了近期的研究者，來設計更合適的遙現系統，這些研
究者持續致力於讓遙現的品質（圖一b）與現實影像一樣好（圖一a）。
(a) (b)

20. PUT ATTENTION TO SEVERAL CHARACTERISTICS
注意特點
• 沈浸感
• 表現：時間（速度）、壓力度
• 自然操控介面
• 空間感知（Gibson 1986)
J. J. Gibson, “The Ecological Approach to Visual Perception.,”
Chapter Eight The Theory of Affordances. pp. 127–136, 1986.

21. RESEARCH GOALS
研究目標
此研究的目標為：
1.在各種不同高度規模的遙現系統中，研究具有空間感知的使用者介面；
2.觀察高海拔立體與低海拔立體視覺及其視覺遙現，與一般等高遙現之特
性的差異（normal, hypo, and hyper stereo vision）
3.以及提出在此三種系統中針對使用者介面的適應所需要進行的調整，因
為此三種遙現的大小或是視覺感知高度不同，造成遙現的知覺以及感知
理論上也會有所不同。

22. 相關研究
Related Work

23. GOOGLE STREET VIEW
谷歌街景
Google Street View是最近盛行的虛擬呈現系統之一，此系統打造了一個
360度的圖片景象集合，作為除了地圖景象之外的不連續虛擬知覺。
Lafon, R. Lyon, A. Ogale, L. Vincent, and J. Weaver, “Google Street View: Capturing the World at Street Level,” Computer (Long. B

24. TABLE-TOP TOURING SYSTEM
Piovesana 等人開發了一種地圖導航使用者介面，利用桌面上物理實體與多重觸控手勢，再由顯示器
上的感應器偵測，在其中的 Google 街景航行，如圖六說明，垂直方向上的顯示器呈現了 Google 街景
，而水平方向上呈現了 Google 地圖 。
M. Piovesana, Y.-J. Chen, N.-H. Yu, H.-T. Wu, L.-W. Chan, and Y.-P. Hung,
“Multi-display map touring with tangible widget,” Proc. Int. Conf. Multimed. - MM ’10, p. 679, 2010.

25. 我們 的 研究
Our Work

26. MAPXPLORER
使用兩種不同顯示器的巡航系統
MapXplorer推出另一種使用者介面，是根據人的特定航行模式，
而建構出來的街景航行系統，此模式稱為旅行概念模型，
此模型改善了上述研究中方向的問題。
H. Fabroyir, W. Teng, S. Wang, and R. Y. Tara, “MapXplorer Handy: An Immersive Map Exploration System
Using Handheld Device,” in 2013 International Conference on Cyberworlds, 2013, pp. 101–107.

27. TRAVELER CONCEPTUAL MODEL
旅行概念模型
旅行概念模型（Traveler Conceptual Model）模仿駕駛人與行人的行為，
以發展一個在虛擬環境中航行的使用者介面（例如Google 街景）。
H. FABROYIR, W.-C. TENG, and Y.-C. LIN, “An Immersive and Interactive Map Touring System
Based on Traveler Conceptual Models,” IEICE Trans. Inf. Syst., vol. E97.D, no. 8, pp. 1983–1990, 2014.

28. SCALED TELEPRESENCE SYSTEMS
不同尺度遙現系統

29. SPATIALLY-AWARE USER INTERFACE FOR NAVIGATING
DISCRETE VIRTUAL REALITY
CASE OF VIRTUAL SCENE: GOOGLE STREET VIEW
雙眼視覺系統允許使用者從 HMD 看到虛擬影像

30. SPATIALLY-AWARE USER INTERFACE FOR NAVIGATING
CONTINUOUS REMOTE REALITY (TELEPRESENCE)
CASE OF TELE-ROBOT: ALDEBARAN NAO
雙眼視覺系統允許使用者從 HMD 看到虛擬影像

31. SPATIALLY-AWARE USER INTERFACE FOR NAVIGATING
CRAWLING TELEPRESENCE
CASE OF TELE-ROBOT: PARROT JUMPING SUMO
雙眼視覺系統允許使用者從 HMD 看到虛擬影像

32. SPATIALLY-AWARE USER INTERFACE FOR NAVIGATING
FLYING TELEPRESENCE
CASE OF TELE-ROBOT: PARROT AR.DRONE
雙眼視覺系統允許使用者從 HMD 看到虛擬影像

33. CONTROL INTERFACE
操控方法
OPERATION iPad Myo + Leap Razer Hydra
CHANGE BEARING Map Rotation Mid-air Map Rotation
Surrogate of Map
Rotation
Steering
(DeviceMotion)
Steering or Bending
Hand
Steering (IMU)
MOVING FORWARD Double Pan ?
Surrogate of Double
Pan
Double Swipe
(Rowing)
Rowing Rowing
? Walking Walking

34. 系統架構
SYSTEM ARCHITECTURE

37. —
謝謝
”
“