[234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

1. DAQRI Helmet’s Computer Vision System Development 김병수 1

2. Speaker Byungsoo Kim 김병수 - Senior Computer Vision Scientist at DAQRI - PhD/MS in computer vision from University of Michigan, Ann Arbor - Visiting Researcher at Stanford University - Bachelor from KAIST 2

3. DAQRI Helmet 3

5. DAQRI Helmet for Augmented reality device Internet of things for industry 5

6. Why DAQRI Helmet? 현장에서의 필요성 Opportunities in Industry 6

7. 현장에서의 문제점들 - 여기는 어디? 난 무얼 보고 있는가? - 그래서 뭘 해야 하더라… - 저 기둥이 살짝 기운 것 같긴 한 것도 같고… 7

8. DAQRI Helmet 8 정확한 위치 제공 (Vision & Sensors) AR 컨텐츠/매뉴얼 제공 안전 비용 절감 업무 효율 향상

9. DAQRI Helmet vs VR Devices - See-through display 투명한 디스플레이 - 실제 환경을 바탕으로 한 콘텐츠 9

10. 10 - 명확한 타겟 설정: Industrial market - Multi cameras - High-end sensors DAQRI Helmet vs Other AR Devices

11. Computer Vision for Augmented Reality 11

12. AR의 원리 12 SensorsSensorsSensors Camera(s) CPU + Optical

13. CombinerScene generator -

14. Image/signal

15. processing

17. Computer

18. vision Computer Vision

21. Image/signal

22. processing

24. Computer

27. CombinerScene generator 영상, 센서 데이터로부터 물체/타겟 종류 인식 타겟과 글래스/유저 사이의 거리 및 각도 파악 -

28. Image/signal

29. processing

31. Computer

33. Computer Vision AR의 원리 15 SensorsSensorsSensors Camera(s) CPU + Optical

35. Image/signal

36. processing

38. Computer

39. vision

42. Image/signal

43. processing

45. Computer

49. Image/signal

50. processing

52. Computer

53. vision 영상, 센서 데이터로부터 물체/타겟 종류 인식 타겟과 글래스/유저 사이의 거리 및 각도 파악 Computer Vision

54. Computer Vision 관련 기술 Object Recognition Tracking Localization Mapping 18

55. Computer Vision 19 관련 기술 Object Recognition Tracking Localization Mapping

58. Computer Vision 활용 분야에 따른 적절한 응용이 중요 22 관련 기술 Object Recognition Tracking Localization Mapping

61. 25 Computer Vision However, camera-only-based computer vision is very challenging in the industrial environment.

62. Vision + Sensors Vision의 한계 텍스쳐 부족 or 광원 환경 변화 or 금속성 소재 26 SensorsSensorsSensors Camera(s) CPU + Optical

64. Image/signal

65. processing

67. Computer

68. vision

69. Vision + Sensors Vision의 한계 텍스쳐 부족 or 광원 환경 변화 or 금속성 소재 27 SensorsSensorsSensors Camera(s) CPU + Optical

71. Image/signal

72. processing

74. Computer

75. vision

76. Vision + Sensors Vision의 한계 텍스쳐 부족 or 광원 환경 변화 or 금속성 소재 Useful Sensors Inertial Measurement Unit Depth sensor GPS 28 SensorsSensorsSensors Camera(s) CPU + Optical

78. Image/signal

79. processing

81. Computer

82. vision

85. Image/signal

86. processing

88. Computer

89. vision

92. Image/signal

93. processing

95. Computer

96. vision

99. Image/signal

100. processing

101. -

102. Computer

103. vision

104. Vision + Sensors Vision의 한계 텍스쳐 부족 or 광원 환경 변화 or 금속성 소재 Useful Sensors Inertial Measurement Unit Depth sensor GPS 관련 과제들 센서 및 비전 사이의 calibration 데이터 싱크 문제 32 SensorsSensorsSensors Camera(s) CPU + Optical

106. Image/signal

107. processing

108. -

109. Computer

110. vision

111. Vision + Sensors Vision의 한계 텍스쳐 부족 or 광원 환경 변화 or 금속성 소재 Useful Sensors Inertial Measurement Unit Depth sensor GPS 관련 과제들 센서 및 비전 사이의 calibration 데이터 싱크 문제 33

112. Vision + Sensors Vision의 한계 텍스쳐 부족 or 광원 환경 변화 or 금속성 소재 Useful Sensors Inertial Measurement Unit Depth sensor GPS 관련 과제들 센서 및 비전 사이의 calibration 데이터 싱크 문제 34

113. Computer Vision System 개발 과정 35

114. Computer Vision 처리 속도 정확도 36

115. Computer Vision 처리 속도 정확도 37

116. 개발 과정 Use the right tool : 필요한 기술을 잘 고르자. Visual BoW TF-IDF Deep Learning Bundle Adjustment Kalman Filter 38

117. 개발 과정 Use the right tool : 필요한 기술을 잘 고르자. Visual BoW TF-IDF Deep Learning Bundle Adjustment Kalman Filter 39

118. 개발 과정 Use the right tool : 필요한 기술을 잘 고르자. 예: 정확성 vs 속도? 스케일? Visual BoW TF-IDF Deep Learning Bundle Adjustment Kalman Filter 40

119. 개발 과정 Speed, speed, speed : Basics can do many things! Linear algebra Geometry Convex optimization Linear optimization Optical flow Homography tracker Kalman filter 41

120. 개발 과정 Speed, speed, speed : 하드웨어 최적화를 항상 염두에! 42

121. 개발 과정 결론: Build from scratch Homography Tracker 3D Tracker SLAM 2D/3D Recognition 43

122. 개발 과정 결론: Build from scratch Core Math Linear Algebra Geometry Optimization Patch Tracker Optical Flow Kalman Filter Bundle Adjustment Homography Tracker 3D Tracker SLAM 2D/3D Recognition 44

123. 개발 과정 결론: Build from scratch Core Math Linear Algebra Geometry Optimization Patch Tracker Optical Flow Kalman Filter Hardware Optimization Bundle Adjustment Homography Tracker 3D Tracker SLAM 2D/3D Recognition 45

124. 어려운 점들 이론과 실제의 차이 : Computer vision (소프트웨어) - Sensors (하드웨어) 46

125. 어려운 점들 이론과 실제의 차이 : 예: 후방 카메라만 이용하면 SLAM이 잘 안 되더라. (왜?) 47

126. Open Source for AR Community 48

127. 오픈 소스 Coming soon! 49

128. 다루지 않은 주제들 50

129. 다루지 않은 주제들 안 다룬 주제들 - Optics - Head tracking - Eye tracking - 3D modeling 51 SensorsSensorsSensors Camera(s) CPU + Optical

130. CombinerScene generator

131. 다루지 않은 주제들 안 다룬 주제들 - Optics - Head tracking - Eye tracking - 3D modeling 52 Sensors Sensors Sensors Camera(s) CPU + Optical

132. Combiner Scene generator

133. 다루지 않은 주제들 안 다룬 주제들 - Optics - Head tracking - Eye tracking - 3D modeling 53 SensorsSensorsSensors Camera(s) CPU + Optical

134. CombinerScene generator

135. QA 54

136. Thank You 55

[234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Recommended

Recommended

More Related Content

Similar to [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Similar to [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기 (20)

More from NAVER D2

More from NAVER D2 (20)

[234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기