Microsoft HoloLens，Magic Leap，ハンドジェスチャー認識，SLAM（Simultaneous Localization and Mapping）について調べたので公開しておきます． 自分用に作ったのでリンクの羅列ですがよしなに〜

1. 中村 良 慶應義塾大学 青山敦研究室 学部4年
s13642rn sfc.keio.ac.jp Twitter@_Ryobot
拡張現実に必要な技術
@

2. ARグラス/VRグラス HMD最新情報2015年版
http://matome.naver.jp/odai/
2141060947125122101
AR/VR
AR/VRブームの要因は，HoloLens，Oculus Touch，
PSVRの発表は大きい.
2016年はこれらが同時に発売するのでAR/VR元年
と言われる．
Oculus TouchOculus Rift

3. Microsoft HoloLens
ゲームhttps://www.youtube.com/watch?v=29xnzxgCx6I
外観https://www.youtube.com/watch?v=Q25m0rfohM8
解体新書https://www.youtube.com/watch?v=zuzK3amWFzg
光学系は「バイザー(ハーフミラー)でダットサイトのように映像を反射させホログラフィック回折格子で屈
折させて眼球に光を届けている」で概ね予想通り。
音声認識(製作demo) https://www.youtube.com/watch?v=b6sL_5Wgvrg
Actiongram(UIがわかる)https://www.youtube.com/watch?v=_3Y7BXEbqcg
Fragment https://www.youtube.com/watch?v=BC1k_18JUDk
実際の視界映像https://www.youtube.com/watch?v=6i1JWGyzltY
Minecraft(E3 2015)https://www.youtube.com/watch?v=xgakdcEzVwg
Kinect v2 (Time of Flight法、動的計画法)https://www.youtube.com/watch?v=uq9SEJxZiUg
HoloDesk(2011)https://www.youtube.com/watch?v=JHL5tJ9ja_w
Holoportation(2016)https://www.youtube.com/watch?v=7d59O6cfaM0
良いところ：SLAMが良いので3DCGがブレなく現実に張り付く。
悪いところ：キラーアプリがない。視野角が40~45度と狭い：http://ggsoku.com/2015/06/hololens-
visible-area-problem/。Retinal Projectionなので視線が固定。HoloLens Clickerの存在(ジェスチャー
認識が不完全なので、クリック用のリモコンが…)。
demoを見れば3DCGはすごいが、仮想現実のモデルを掴んだり、現実のモノをスキャン等は出来ない？

4. Microsoft HoloLens
［E3 2015］西川善司の3DGE：網膜投射型デバイスを採用するHoloLens，試して分かったMR対応型HMD
のすごさと課題http://www.4gamer.net/games/302/G030248/20150619026/
ブレーズド・ホログラフィック・グレーティング、その製造方法、及びレプリカグレーティング：http://
astamuse.com/ja/published/JP/No/2005157118
マイクロソフト ホロレンズの仕組み Hololens How does it Work：http://gonebay.cocolog-nifty.com/
blog/2015/06/hololens-how-to.html
マイクロソフト ホロレンズの構造 Hololens Optical Structure and How it works：http://
gonebay.cocolog-nifty.com/blog/2015/06/hololens-optics.html
Display devices of Microsoft Hololens are DMD of DLP ホロレンズのディスプレイデバイスはDLPで使
われる デジタル マイクロミラー デバイス：http://gonebay.cocolog-nifty.com/blog/2015/07/display-
devices.html
META2
Direct hand interaction, 90 deg FOV, 2560x1440 res, $949(参考としてHTC Viveが110度)
デモhttps://www.youtube.com/watch?
ebc=ANyPxKp_Bk908P7q86xlq8pd4XQoYImcn1_5abiBCleRjn5FXtyj9zop8Yvmn5d9RC6F0gBXek
8zZWgVXEbrUe301MykT94f2g&v=2egoNJNpZKU&app=desktop

5. Magic Leap
プロダクト非公開。Q4’14にGoogleやQualcommから$542Mを調達。Q1’16にAlibaba主導のシリーズ
Cで$793.5Mを調達http://wired.jp/2016/02/03/magic-leap-round-c/。これはインターネット史上
最高額。評価額は$4.5B。Google CEOのSundar Pichaiが役員に。
AR用のOSで覇権を狙っている。直感だがApache License2.0かGPLでオープンソース化する気も…
http://www.wsj.com/articles/magic-leap-aims-to-build-operating-system-for-augmented-reality-
1445393075
特許を公開(外観やUIがわかる) http://www.gizmodo.jp/2015/01/magic_leap.html。特許ソース：
https://www.google.com/patents/US20120162549。180頁に及ぶ全文ソース：http://
pdfaiw.uspto.gov/.aiw?PageNum=0&docid=20150016777&IDKey=0A2D40E7DC31&HomeUrl=http%3A%2F%2Fappft.uspto.gov%2Fnetacgi%2Fnph-
Parser%3FSect1%3DPTO1%2526Sect2%3DHITOFF%2526d%3DPG01%2526p%3D1%2526u%3D%25252Fnetahtml%25252FPTO%25252Fsrchnum.html%2526r%3D1%2526f%3DG%2526l%
3D50%2526s1%3D%25252220150016777%252522.PGNR.%2526OS%3DDN%2F20150016777%2526RS%3DDN%2F20150016777
数少ないPV（ゲームのデモ：https://www.youtube.com/watch?v=kPMHcanq0xM、特筆すべきはラ
イトフィールド機能：https://www.youtube.com/watch?v=kw0-JRa9n94）12段階(0.5m~3m)の焦点
調整（ソース：https://www.quora.com/How-does-the-Microsoft-HoloLens-work）FOVは40°説が
濃厚(パテントより)
Magic Leapの遍歴がわかるhttp://www.gizmodo.jp/2014/12/655magicleapar.html
3D Displays using Scanning Laser Projection(網膜投射が起源)http://wenku.baidu.com/view/
c40a8242e45c3b3567ec8b68.html
Magic Leapのディスプレイ技術は非公開だがおそらく光ファイバー。ソース：https://
www.deepdyve.com/lp/wiley/57-1-near-to-eye-display-using-scanning-fiber-display-engine-
r9Co30HnYS、特許ソース：http://www.google.com/patents/WO2014113506A1?cl=en、参加メ
ンバーは映画やゲーム関係者が多く、拡張現実のゲームや映画を製作するコンテンツ会社でもある。
今のプロトタイプは超巨大らしく、The Beast（あの化け物）と呼ばれる。OSはアンドロイドが有力。

6. Magic Leap
LCDの「occlusion mask（閉塞マスク）」を使って、CGオブジェクトが出現する場所にピンポイントで
現実世界からの光を遮断し、幽霊っぽく浮き上がって見えないようにする手法[Three dimensional
virtual and augmented reality display system] https://www.google.com/patents/
US20130128230?dq=inassignee:%22Magic+Leap,+Inc.%22&ei=VpdaVI-
RMM6oogSW3YKADQ&cl=en
大きなメガネ大のレンズに光をバウンスし、視野のどこにでもCGの動物が現れるようにできる導波管の説
明[Ergonomic head mounted display device and optical system]https://www.google.com/
patents/
US20140071539?dq=inassignee:%22Magic+Leap,+Inc.%22&hl=en&sa=X&ei=Xf9cVM3NKof4ig
LUjYDgDA&ved=0CC0Q6AEwAg
外付けカメラ1組だけで現実世界の現在地をソフトウェアに知らせる手法[Photogrammetry system and
method for determining relative motion between two bodies]http://www.google.com/patents/
US8655094
視野のどこに現れるかに応じてCGオブジェクトの外観を変える手法[DISPLAY SYSTEM AND METHOD]
http://www.patentsencyclopedia.com/app/20140267420
Magic Leapでメガネ搭載カメラ1組を使って、両目の動きを追い、両目がどこに焦点を合わせているのか
を検出する手法[SYSTEM AND METHOD FOR AUGMENTED AND VIRTUAL REALITY]http://
www.patentsencyclopedia.com/app/20140306866#ixzz3IDdfxCGh
デジタルのライトフィールド技術で現実世界の中にCGオブジェクトの奥行きを確保[Multiple depth
plane three-dimensional display using a wave guide reflector array projector]https://
www.google.com/patents/US20140003762

7. Magic Leap
論文。微小反射体、回折パターニング装置、デフォルメ可能な薄膜ミラーといった高度な光学系ハードウェ
ア（どれもSchowengerdt氏が前から実験に成功している技術）を駆使すれば、現実のオブジェクトとまっ
たく同じようにバーチャルの3Dオブジェクトにも人は焦点を合わせることができるというのが、Magic
Leapの思惑[True Three-Dimensional Displays that Allow Viewers to Dynamically Shift
Accommodation, Bringing Objects Displayed at Different Viewing Distances Into and Out of
Focus]http://jpk.tjtc.edu.cn/04/yanjing/downshuangyuyuandi/26True%20Three-
Dimensional%20Displays%20that%20AllowViewers%20to%20Dynamically%20Shift%20Accommodation,Bringing%20Obj
ects%20Displayed%20at%20Different%20Viewing%20Distances%20Into%20and%20Out%20of%20Focus.pdf
tactile glove（触覚手袋）。ヘッドギアを使いながら2本指をこすり合わせるとロボット1組の操縦が可能
[Tactile glove for human-computer interaction]https://www.google.com/patents/
US20130082922?dq=inassignee:%22Magic+Leap,+Inc.%22&ei=VpdaVI-
RMM6oogSW3YKADQ&cl=en
The Beast（化け物）の新バージョンは、スマホ風のモバイル部品に依存していて、OSはAndroidが有力
クアドコアのモバイルプロセッサ、携帯無線信号、GPS、ノイズキャンセリングヘッドフォン、3D深度感
知カメラ、これ全部ひとつのパッケージに収まる。
RGB-DセンサにはProject Tangoが有力。
1016/4/19のWiredの記事「The Untold Story of Magic Leap,
the World’s Most Secretive Startup」https://www.wired.com/?
p=1999666
106/4/19公開の動画「A New Morning」https://
www.youtube.com/watch?v=GmdXJy_IdNw
この写真で、彼らが秘密にしているディスプレイ技術「photonics」
が、光ファイバーであることに信憑性が高まった

8. Oculus Touch 3種の神器（Medium、Toybox、Bullet Train）
ゲームだけでなくクリエイションやコミュニケーションを取り入れ、HMDの可能性を大きく変えた。
Toybox Demo for Oculus Touch：https://www.youtube.com/watch?v=iFEMiyGMa58
Sculpting in Virtual Reality - Oculus Rift DK2 + Razer Hydra：https://www.youtube.com/watch?
v=jnqFdSa5p7w
Bullet Train Unreal Engine 4 Demo - Oculus Connect 2：https://www.youtube.com/watch?
v=DmaxmnPzMWE
Sulon Q
ディスプレイAR。GPUメーカーのAMDとSulonの共同開発http://shiropen.com/2016/03/15/14272
HTC Vive
世界最大のゲーム配信プラットフォームSteamの運営企業ValveのVRヘッドセットhttp://
weekly.ascii.jp/elem/000/000/314/314985/
OSVR
Acer、OSVRを採用。独自のVRデバイスとVR向けPCを開発することを発表http://
www.moguravr.com/accer-osvr/
FOVE
アイトラッキングできるVRhttp://jp.techcrunch.com/2016/03/23/fove-raises-11-million-dollars/
Glyph
オーディオヘッドホンかつ網膜投射のVRヘッドセットVRhttp://gigazine.net/news/20140202-glyph-
mobile-theater/
Avegant Glyphが来たhttp://inside-my-box.hatenablog.com/entry/2016/04/25/043316

9. 拡張現実のためのCV
1. ハンドジェスチャー認識(つまむ動作がほしい)
2. SLAM(Simultaneous Localization and Mapping)
3. 領域分割(シーンラベリング)
4. 三次元物体認識&追跡
5. 光源推定→3DCG(OpenGL, DirectX)の陰影反射
6. 視線推定(アイトラッキング)→注意計測
7. 動的コンテンツ生成(仮想現実の物理法則から学習する動物)
ハードウェア
・RGB-Dカメラ、アイトラ、加速度ジャイロ、GPS
・光学系
シースルー→プリズム、ホログラフィック回折格子、平面導光板
光源→Cathode Ray Tube、Digital Light Processing、DMD
レンズ(焦点調整light field)
・GPU(高速な内積演算→リアルタイム処理)
・ZigBee(AR社会はAR GlassをHUBにしたIoT社会)

10. ハンドジェスチャー認識
ハンドジェスチャー認識が重要である根拠
・手は運動野でもっとも占める領域が大きい。手は最適な脳の出力器官でありコンピュータへの入力器官
・音声認識も流行りだが、駅や喫茶店でSiriを使ってる人を見たことがない(家で使ってるかもしれんが)
・念力や想像力でコントロールできたら最高だが、産総研の元EcoGの研究者はこう言ってる
ペンフィールドのホムンクルス

11. ハンドジェスチャー認識
人の姿勢推定[Monocular Single Image 3D Human Pose Estimation]http://hi.cs.waseda.ac.jp/
~esimo/ja/research/pose3d/
オプティカルフロー→「LRNとHRNの2ストリーム3DのCNN」もしくは「CNN+RNN(LSTM)」が主流。
マルチモーダル・ジェスチャー認識→Multi-stream RNN(MRNN) ディープラーニングの映像認識への応用：
http://www.nlab.ci.i.u-tokyo.ac.jp/~nishida/prometech2015_slide.pdf
【論文】[インタラクションシステムのための高精度な3次元ハンドジェスチャ認識手法](UnlimitedHandの
玉城絵美)http://ci.nii.ac.jp/naid/110007970633
一般物体認識のための局所特徴量(SIFTとHOG)http://www.vision.cs.chubu.ac.jp/SIFT/PDF/
pcsjimps2008.pdf
東大High Speed Gesture Recognition(2014)https://www.youtube.com/watch?v=JHL5tJ9ja_w
グラフ信号処理のすすめhttps://www.jstage.jst.go.jp/article/essfr/8/1/8_15/_pdf
Leap Motion
Amazonでセールだったのでポチった。指先のような明白な特徴点の検知は高精度だが、握ったりつまむ動
作には弱い。とはいえハンドジェスチャー認識の暫定ディファクトスタンダードで、Unityでアプリ開発す
る人もいる。
Kinect
説明は不用のあれ。HoloLensにはKinectのジェスチャー認識が使われているらしい。
RealSense
intelはプロセッサ事業だけじゃない。ムーアの法則の終焉が近ずく焦りからかハンドジェスチャー認識のビ
ルドインカメラ事業を始めている。
Xtion
ASUS製のOpenNIの公式デバイス。

12. SLAM(Simultaneous Localization and Mapping)
概要：http://myenigma.hatenablog.com/entry/20100802/1280626985
TOROを使ったLoop Closure Detectionが上手くいくか?最適化処理をするか?でマッピング
の精度が全然違う。Online RGBD SLAM with a Kinect：https://www.youtube.com/
watch?time_continue=1&v=AMLwjo80WzI
ARライブラリ
ARToolKit
オープンソースのマーカベースのARライブラリ。白黒パターン以外にイラストをマーカにできる。
Qualcomm Vuforia
白黒パターン、画像や文字、三次元物体をマーカにできる。
両方ともマルチプラットフォーム対応
Parallel Tracking and Mapping(PTAM)
カメラ位置・姿勢推定手法。SIFTを用いてキーポイントディスクリプタを算出しバックグラウンド
でBundle adjustment(カメラ位置・姿勢の最適化)し、リアルタイムな並列化処理を実現
Dense Tracking and Mapping(DTAM)
全画面(密な)対応付けで高精度かつ頑健なカメラ位置・姿勢推定を実現。ピンボケに強い。空間の
密(Dense)な三次元形状を得て復元できる。GPUを用いた実装で、グラボ上でリアルタイムに動作。
ソースコードが公開されてる
Semi-dense Visual Odometry(LSD-SLAM)
DenseとSparseのいいとこどり。CPUのみの実装でスマホで動作できる
Abecedary Tracking and Mapping(ATAM)
Visual SLAMの実装。シンプル。研究開発向け

13. 論文[消失点を用いた RGB-D センサによる単調な環境での 6 自由度 SLAM](東大・淺間山下研究
室)http://www.robot.t.u-tokyo.ac.jp/asamalab/publications/files/980.pdf
論文[屋内環境 SLAM のための点群グループ化による ICP 性能向上](東大・淺間山下研究室)http://
www.robot.t.u-tokyo.ac.jp/~yamashita/paper/E/E272Final.pdf
スライド[3D物体認識と弱教師付き学習](ISTの知能機械情報)http://www.mi.t.u-tokyo.ac.jp/
kanezaki/pdf/3D_and_weaklearning.pdf
The Future of Real-Time SLAM and "Deep Learning vs SLAM”http://
www.computervisionblog.com/2016/01/why-slam-matters-future-of-real-time.html
リアルタイムに表情測定＋計測された３Dモデルに反映http://forums.structure.io/t/3d-
photorealistic-avatar-construction-body-and-face-in-less-than-20-minutes/4978
o.jp/designmaterials/infrared/
SLAM(Simultaneous Localization and Mapping)

14. Matterport：Show Roomに特化https://www.youtube.com/watch?v=vFqa-IsRHqI
Google Project Tango：モバイル製品に埋め込みhttps://www.youtube.com/
watch?v=Qe10ExwzCqk
Structure Sensor：モバイル製品に外付けhttps://www.youtube.com/watch?v=w4aMQQv2Zvk
Rescape：FPSに特化(GDC2014, Kickstarter勢)：スマホアプリhttps://www.youtube.com/
watch?v=IzvAu-QiZo4
Autodesk 123D Catch：スマホアプリhttps://twitter.com/agehama_/status/
695153711346135040?lang=ja
SLAM(Simultaneous Localization and Mapping)
ロボットのオドメトリーフリー、特に二次元平面における環境形状の取得ではhector_slam(ROSのmapping
パッケージ)一択感ある。http://wiki.ros.org/hector_slam
URGセンサ(位相差方式)http://www.hokuyo-aut.co.jp/search/index.php?cate01=1も使うとさらに高精
度http://openspur.org/~atsushi.w/jikken/sokuiki_sensor.pdf
URG + hector_slamで地図を描いてみたhttp://daikimaekawa.github.io/ros/2014/04/14/
HectorSLAM02/
位相差方式を三次元にするとTime Of FlightいわゆるToF(Kinectが採用)になる。近赤外線LEDを照射し、
観測物に反射した光をCMOSイメージセンサで計測し位相差から光の飛行距離を推定。
3次元距離画像技術の原理http://www.optex.co.jp/tech/sensor/3d.html
TOF 距離画像カメラの実力http://www.brainvision.co.jp/wp/support/tech/
capability_of_tofcamera.pdf
赤外線に関する物理法則http://www.nippon-heater.c

15. 光学系
HMD用の視線追跡(アイトラッキング)デバイス：http://www.moguravr.com/tobii/
ソニーが’08にパブリックしたホログラフィック平面導光板の論文[A Full Color Eyewear Display using
Holographic Planar Waveguides]https://pro.sony.com/bbsccms/assets/files/mkt/digicinema/
solutions/SonyEntertainmentAccessGlassesWhitePaper_8-4.pdf
回折格子（グレーティング）/島津製作所 http://www.shimadzu.co.jp/opt/guide/index.html
その他
BluetoothとZigBeeの違いhttp://www.musenka.com/info/bluetooth_zigbee_diff.html
Disneyのお絵描き立体化アプリhttps://twitter.com/VRFocus/status/651088217626710016?
lang=ja
動画から3Dモデルが作れる研究が凄すぎるhttp://mikaninc.com/3dmodeling-from-movie/
高速プロジェクションマッピング(IST石川渡辺研究室)https://twitter.com/iku_arino/status/
657748518120128512?lang=ja
LytroのLight FieldはVRで動画を歩き回れる仕様にhttps://twitter.com/takesenit/status/
662356910297878528?lang=ja&lang=ja
既存3Dスキャナが1,000倍高精度になる技術、MITが開発https://twitter.com/hirax/status/
672375462572589056?lang=jaとhttps://twitter.com/hirax/status/
672376053671702528?lang=ja
耳を塞がずに音楽が聞ける無線ヘッドホンhttp://japanese.engadget.com/2015/12/10/codeo/
AR関連の動向

16. Holographic Planar Waveguides
Digital Light Processing
Digital Mirror Device