SlideShare a Scribd company logo
1 of 141
HoloLens光学系の謎に迫る!
発表者:あるしおうね
自己紹介:あなた誰?
なまえ:あるしおうね (某車の名前から)
しごと:VR/ARエンジニア(自称)
しゅみ:ARでミクさんと色々やっています
だいがく:ちょっと変わったHMDを作っていました
ミクさんARフィギュア
ビデオシースルーAR+
口唇触覚デバイスで
ミクさんとキス
HoloLensで
ミクさんとARデート
入門:VR-HMDの光学系は?
VR-HMDの光学系:目
● まず目ありき
● 遠くに物があるとして
VR-HMDの光学系:目
● 物からの色んな角度の光が目に入って来て絵として見える
=現実環境を見ている
VR-HMDの光学系:目
● 簡単のために物は無限遠にあると仮定します
=ある角度からの光は全て平行光として目に入射する
言い訳:2m先に物体が存在する場合を考えても、瞳孔径が3mmとして両端の光線がなす角度は
わずかに0.086°なので、ほぼ無限遠の平行光に近い
VR-HMDの光学系:目
● 最も簡単なディスプレイ
VR-HMDの光学系:無限遠のディスプレイ
● 最も簡単なディスプレイ:映画館
でかくて頭に乗らない
VR-HMDの光学系:無限遠のディスプレイ
超巨大スクリーン
● レンズを間に置いて、平行光を近くの液晶パネルに収束させる
VR-HMDの光学系:最も簡単なHMD
レンズ
液晶パネル
● レンズを間に置いて、平行光を近くの液晶パネルに収束させる
=(無限遠の)現実環境と等価な物を見ている
VR-HMDの光学系:最も簡単なHMD
レンズ
液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
レンズ
液晶パネル
● 目をキョロキョロした場合
レンズ
液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
● 目が上下左右にずれた場合
レンズ
液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
● メガネを入れた場合(=前後にずれた場合)
レンズ
液晶パネルメガネ
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ レンズと液晶パネルが大きければ十分な幅を確保できる
レンズ
液晶パネル
平行光の幅
瞳孔径
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ レンズと液晶パネルが大きければ十分な幅を確保できる
レンズ
液晶パネル
平行光の幅
瞳孔径
VR-HMDの光学系:HMD内で目が動くとどうなる?
レンズ
液晶パネル
平行光の幅
瞳孔径
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ レンズと液晶パネルが大きければ十分な幅を確保できる
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ 全て角度の平行光を含む青い三角形の中に瞳孔があれば多少動いても同じ絵が見える
レンズ
液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ 全て角度の平行光を含む青い三角形の中に瞳孔があれば多少動いても同じ絵が見える
レンズ
液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ 全て角度の平行光を含む青い三角形の中に瞳孔があれば多少動いても同じ絵が見える
レンズ
液晶パネルメガネ
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ 全て角度の平行光を含む青い三角形の中に瞳孔があれば多少動いても同じ絵が見える
レンズ
液晶パネル
角度α=視野角
α
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ 全て角度の平行光を含む青い三角形の中に瞳孔があれば多少動いても同じ絵が見える
レンズ
液晶パネル
角度α=視野角なので、同じレンズ径なら広視野角ほど三角形は小さくなる
α
VR-HMDの光学系:HMD内で目が動くとどうなる?
● 小さなレンズ&液晶ではどうなるか?
○ 青い三角形も小さくなる=目の動かせる範囲が狭くなる
○ 目とレンズが滅茶苦茶近い=メガネのスペースもない
レンズ 液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
● 小さなレンズ&液晶ではどうなるか?
○ 目が少し上下にずれると…?
レンズ 液晶パネル
像が一部消失
VR-HMDの光学系:HMD内で目が動くとどうなる?
● 小さなレンズ&液晶ではどうなるか?
○ くしゃみをすると…
レンズ 液晶パネル
ぎゃああああ
VR-HMDの光学系:HMD内で目が動くとどうなる?
● VR-HMDの結論:大きなレンズと液晶は正義
レンズ
液晶パネル
VR-HMDはスマホ/タブレット向けサイズの液晶/有機ELの普及で高性能化した
VR-HMDの光学系:HMD内で目が動くとどうなる?
● 目が前後上下左右に動いていい範囲=アイボックス
○ 大きなレンズと液晶は広いアイボックスを確保しやすい
レンズ
液晶パネル
視野角と同じかそれ以上に重要な性能パラメータ
VR-HMDの光学系:HMD内で目が動くとどうなる?
光学シースルー方式の
AR-HMDではどうなる?
● 視界の確保には目の前のレンズと液晶が邪魔
AR-HMDの光学系:どうやって実視界を確保する?
レンズ
液晶パネル
● 視界の確保には目の前のレンズと液晶が邪魔
AR-HMDの光学系:どうやって実視界を確保する?
レンズ
液晶パネル
● 視界の確保には目の前のレンズと液晶が邪魔
○ 1.とりあえずレンズと液晶を少し離す
レンズ
液晶パネル
AR-HMDの光学系:どうやって実視界を確保する?
● 視界の確保には目の前のレンズと液晶が邪魔
○ 2.間にハーフミラーを差し込む
レンズ
液晶パネル
AR-HMDの光学系:どうやって実視界を確保する?
● 視界の確保には 目の前のレンズと液晶が邪魔
○ 3.光路を曲げる
レンズ
液晶パネル
AR-HMDの光学系:どうやって実視界を確保する?
● 視界の確保には 目の前のレンズと液晶が邪魔
○ 4.CGと実物体の
合成像が
得られる
レンズ
液晶パネル
実物体
合成像
AR-HMDの光学系:どうやって実視界を確保する?
● レンズと液晶が離れている=
レンズ
液晶パネル
※光路を折りたたまなかった場合の配置
AR-HMDの光学系:この光学系の課題は?その1
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
○ この配置がなす三角形は
AR-HMDの光学系:この光学系の課題は?その1
レンズ
液晶パネル
※光路を折りたたまなかった場合の配置
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
○ この配置がなす三角形はVR-HMDの三角形より鋭角になる
○ ハーフミラーもあるので一定以上近づけない=前後に動ける範囲に制限
AR-HMDの光学系:この光学系の課題は?その1
レンズ
液晶パネル
※光路を折りたたまなかった場合の配置
● 光学系が
AR-HMDの光学系:この光学系の課題は?その2
レンズ
液晶パネル
● 光学系が分厚い
AR-HMDの光学系:この光学系の課題は?その2
レンズ
液晶パネル
● みんなが望むAR-HMDは…
AR-HMDの光学系:この光学系の課題は?その2
● みんなが望むARグラスは…
AR-HMDの光学系:この光学系の課題は?その2
● みんなが望むARグラスは…
薄いメガネ型でこの辺に電子部品が内蔵されている(小学生並の妄想)
AR-HMDの光学系:この光学系の課題は?その2
● ARグラス型:薄くてコンパクト
● アイボックスの確保:多少目が動いてもOK
● 広い視野角:凄い没入感!
AR-HMDの光学系:要求まとめ
AR-HMDの光学系:要求まとめ
HoloLens光学系はこれらの両立を目指している(道半ば)
● ARグラス型:薄くてコンパクト
● アイボックスの確保:多少目が動いてもOK
● 広い視野角:凄い没入感!
HoloLensの光学系:コンパクトさの追求
● 小さいレンズと液晶を使用
レンズ 液晶パネル
小さい液晶(LCOS)パネル
写真は0.37インチ版
(Himax社公式ページより引用)
HoloLensの光学系:コンパクトさの追求
● 小さいレンズと液晶を使用
○ 三角形も小さいので、余程目を近づけないと一部しか見えない
レンズ 液晶パネル
像が一部
しか見えない
HoloLensの光学系:コンパクトさの追求
小さい液晶(LCOS)パネル
写真は0.37インチ版
(Himax社公式ページより引用)
● 小さいレンズと液晶を使用
○ 三角形も小さいので、余程目を近づけないと一部しか見えない
○ レンズと液晶を大きくする以外の解決法…石油王ならどうする?
レンズ 液晶パネル
HoloLensの光学系:コンパクトさの追求
小さい液晶(LCOS)パネル
写真は0.37インチ版
(Himax社公式ページより引用)
● 小さいレンズと液晶を使用
○ 三角形も小さいので、余程目を近づけないと一部しか見えない
○ レンズと液晶を大きくする以外の解決法…石油王ならどうする?
■ 石油王「小さいレンズと液晶をたくさん置けばいいじゃない」
HoloLensの光学系:コンパクトさの追求
小さい液晶(LCOS)パネル
写真は0.37インチ版
(Himax社公式ページより引用)
● 小さいレンズと液晶を使用
○ 三角形も小さいので、余程目を近づけないと一部しか見えない
○ レンズと液晶を大きくする以外の解決法…石油王ならどうする?
■ 石油王「小さいレンズと液晶をたくさん置けばいいじゃない」
こうすると三角形は大きくできると覚えておいてください
HoloLensの光学系:コンパクトさの追求
小さい液晶(LCOS)パネル
写真は0.37インチ版
(Himax社公式ページより引用)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 分厚いハーフミラーは使いたくない
レンズ 液晶パネル
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ とりあえず上にずらしてみる
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 光を目の前に導くWaveguide:導光素子=透明の薄い板を置く
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 光を曲げて導光素子内に入れるDOE:回折光学素子(回折格子)を置く
液晶パネルレンズ
DOE(回折光学素子):隣り合う光との干渉で
特定方向への光を強めたり弱めたり(≒光を曲
げる事が)出来る素子。特性は光の波長に強
く依存する(写真はTomshardwareより)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 曲がった光は導光素子内部で全反射を繰り返して下に向かう
液晶パネルレンズ
全反射:一定以下の浅い角度で入射した光が
透過せずに鏡の様に反射する現象。光を透過
する媒質の屈折率で角度の閾値は変わる
(写真はWikipediaより)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 曲がった光は導光素子内部で全反射を繰り返して下に向かう
液晶パネルレンズ
全反射:一定以下の浅い角度で入射した光が
透過せずに鏡の様に反射する現象。光を透過
する媒質の屈折率で角度の閾値は変わる
(写真はWikipediaより)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 曲がった光は導光素子内部で全反射を繰り返して下に向かう
液晶パネルレンズ
全反射:一定以下の浅い角度で入射した光が
透過せずに鏡の様に反射する現象。光を透過
する媒質の屈折率で角度の閾値は変わる
(写真はWikipediaより)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 曲がった光は導光素子内部で全反射を繰り返して下に向かう
液晶パネルレンズ
全反射:一定以下の浅い角度で入射した光が
透過せずに鏡の様に反射する現象。光を透過
する媒質の屈折率で角度の閾値は変わる
(写真はWikipediaより)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 光が目の前に来たら、目の前にもDOEを置いて再び光を真っ直ぐに戻す
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 光が目の前に来たら、目の前にもDOEを置いて再び光を真っ直ぐに戻す
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
像が一部
しか見えない
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
画像下側の光線…外れ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
画像上側の光線…外れ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
画像上側の光線…外れ
レンズと液晶が小さい問題は変わらない
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
画像上側の光線…外れ
レンズと液晶が小さい問題は変わらない
ここで石油王の言葉
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
画像上側の光線…外れ
レンズと液晶が小さい問題は変わらない
ここで石油王の言葉
「小さいレンズと液晶をたくさん置けばいいじゃない」
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEで光を曲げて目に入射する前と後にも反射光がある
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEを上下に広げて前後の反射光も曲げて光を複製する
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEを上下に広げて前後の反射光も曲げて光を複製する
液晶パネルレンズ
液晶パネルレンズ
画像下側の光線…当たり!
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEを上下に広げて前後の反射光も曲げて光を複製する
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEを上下に広げて前後の反射光も曲げて光を複製する
HoloLensの光学系:薄さの追求
液晶パネルレンズ
画像上側の光線…当たり!
● 目の前の邪魔なレンズと液晶をどうするか?
○ 実質的に三角形を大きくできる=石油王的解決法!
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEには波長依存性があるので、実際はRGBの波長ごとに光を曲げている
液晶パネルレンズ
RGB
HoloLensの光学系:薄さの追求
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
米国特許:US 9513480 B2より引用
回折格子の配置(3つある)
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
米国特許:US 9513480 B2より引用
回折格子の配置(3つある)
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
米国特許:US 9513480 B2より引用
回折格子の配置(3つある)
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
米国特許:US 9513480 B2より引用
回折格子の配置(3つある)
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
米国特許:US 9513480 B2より引用
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
米国特許:US 9513480 B2より引用
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
■ 導光素子内の下側のDOEで、
目に入射する光を複製する
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
■ 導光素子内の下側のDOEで、
目に入射する光を複製する
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
■ 導光素子内の下側のDOEで、
目に入射する光を複製する
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
複製する回数を増やせば、薄型のまま
アイボックスを大きくできる
=目が多少動いても大丈夫
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
複製する回数を増やせば、薄型のまま
アイボックスを大きくできる
=目が多少動いても大丈夫
Exit Pupil Expander:射出瞳拡張光学系
射出瞳≒目が動いていい範囲
(E P E)
● 理想のARグラスへ
HoloLensの光学系:薄さとアイボックスの両立
米国特許:US 9513480 B2より引用
端から小さく光を入れるだけなので、
● 理想のARグラスへ
HoloLensの光学系:薄さとアイボックスの両立
米国特許:US 9513480 B2より引用
端から小さく光を入れるだけなので、
薄くて小さいARグラスが実現できる
薄いメガネ型でこの辺に電子部品が内蔵されている(小学生並の妄想)
● 薄くてアイボックスが大きいARグラスが出来る。しかし…
HoloLensの光学系:課題
● 薄くてアイボックスが大きいARグラスが出来る。しかし…
○ 視野角が小さい
○ 色ムラがある
HoloLensの光学系:課題
● 何故視野角が小さいの?
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ もっと光を複製すれば、
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ もっと光を複製すれば、三角形を大きく視野角も広くできるのでは?
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ もっと光を複製すれば、三角形を大きく視野角も広くできるのでは?
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
出来ない
● 何故視野角が小さいの?
○ 視野角は画像上端からの光線と
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ 視野角は画像上端からの光線と下端からの光線がなす角度で決まる
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ 視野角は画像上端からの光線と下端からの光線がなす角度で決まる
■ 三角形のαに等しい
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
α
● 何故視野角が小さいの?
○ 画像上端からの光線は導光素子内で反射を繰り返せる角度である必要がある
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
※実はこの図は不適切(導光素子が厚すぎる)
で、下端からの光線と同じ複製回数が
望ましい
● 何故視野角が小さいの?
○ 画像下端からの光線は導光素子から飛び出さないように全反射条件を満たす角度である必要がある
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
全反射:一定以下の浅い角度で入射した光が
透過せずに鏡の様に反射する現象。光を透過
する媒質の屈折率で角度の閾値は変わる
(写真はWikipediaより)
入射する角度が上端からの光線より深い
● 何故視野角が小さいの?
○ 導光素子で画像上端からの光線と下端からの光線の両方を導く角度の限界
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ 導光素子で画像上端からの光線と下端からの光線の両方を導く角度の限界
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
導光素子を光を導くとき
● 各光線の複製回数を(大体)等しくする
● 全反射条件の維持
を両立する条件で限界が決まる
● 何故視野角が小さいの?
○ 一言で言うと…
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ 一言で言うと…大体導光素子のせい
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ 一言で言うと…大体導光素子のせい
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
特に全反射条件の制限は厳しく、HoloLensだけでなく
導光素子を使うAR-HMD全般の課題
● 光を複製するEPE光学系は三角形を大きくできるけど…
HoloLensの光学系:課題2 色ムラ(推測含)
液晶パネルレンズ
● 光を複製するEPE光学系は三角形を大きくできるけど…
○ ムラの無い表示=全ての角度の光を均一に複製する設計、製造が必要
HoloLensの光学系:課題2 色ムラ(推測含)
液晶パネルレンズ
米国特許:US 9513480 B2より引用
HoloLensの光学系:課題2 色ムラ(推測含)
米国特許:US 9513480 B2より引用
● 光を複製するEPE光学系は三角形を大きくできるけど…
○ ムラの無い表示=全ての角度の光を均一に複製する設計、製造が必要
■ 位置によって反射率を適切に変える必要がある
HoloLensの光学系:課題2 色ムラ(推測含)
米国特許:US 9513480 B2より引用
● 光を複製するEPE光学系は三角形を大きくできるけど…
○ ムラの無い表示=全ての角度の光を均一に複製する設計、製造が必要
■ 位置によって反射率を適切に変える必要がある
■ それをRGB3色でやる必要がある
HoloLensの光学系:課題2 色ムラ(推測含)
米国特許:US 9513480 B2より引用1ミクロン以下
● 光を複製するEPE光学系は三角形を大きくできるけど…
○ ムラの無い表示=全ての角度の光を均一に複製する設計、製造が必要
■ 位置によって反射率を適切に変える必要がある
■ それをRGB3色でやる必要がある
■ 上記は超精密なDOEをいじる必要がある
● 超細かい格子の表面での反射や、
溝の深さ、角度をも考慮する必要がある
HoloLensの光学系:課題2 色ムラ(推測含)
米国特許:US 9513480 B2より引用
一言で言うと、かなり大変では?
● 光を複製するEPE光学系は三角形を大きくできるけど…
○ ムラの無い表示=全ての角度の光を均一に複製する設計、製造が必要
■ 位置によって反射率を適切に変える必要がある
■ それをRGB3色でやる必要がある
■ 上記は超精密なDOEをいじる必要がある
HoloLensの光学系:まとめ
● 小さいレンズ&液晶と導光素子を使って薄くコンパクトに
● レンズ&液晶をDOEで複製するEPE光学系で
アイボックスを確保(目が動いても大丈夫)
HoloLensの光学系:まとめ
● 小さいレンズ&液晶と導光素子を使って薄くコンパクトに
● レンズ&液晶をDOEで複製するEPE光学系で
アイボックスを確保(目が動いても大丈夫)
● 主に導光素子による制約で視野角が限られている
● DOEでのレンズ&液晶の均一な複製は難しく
色ムラが出やすいのでは?(※推測)
HoloLensの光学系:まとめ
● 小さいレンズ&液晶と導光素子を使って薄くコンパクトに
○ 将来は本当の意味でのARグラスに!
● レンズ&液晶をDOEで複製するEPE光学系で
アイボックスを確保(目が動いても大丈夫)
● 主に導光素子による制約で視野角が限られている
○ 解決する特許が出ているので何とかなるかも?
● DOEでのレンズ&液晶の均一な複製は難しく
色ムラが出やすいのでは?(※推測)
○ 特許や製造工程の改善で何とかなるかも?
最後に一言
● HoloLensは複雑なデバイスですが、
特定の意図、思想に基づいて設計されています
● その意図、思想を読み解くと、視野が広がるかもしれません
● 魔法使いのエンジニアの皆さんにとって、
魔法の中身を垣間見る一助になれば幸いです
● 提案特許:光を左右二方向に分割して複製する
HoloLensの光学系:視野角の拡大手段は?
PCT特許:WO2017180403より引用
HoloLensの光学系:視野角の拡大手段は?
左側半分の視野の光線を担当 右側半分の視野の光線を担当
● 提案特許:光を左右二方向に分割して複製する
PCT特許:WO2017180403より引用
● 提案特許:光を左右二方向に分割して複製する
○ 真ん中から光を入れる必要があるのでちょっと格好悪くなる?
HoloLensの光学系:視野角の拡大手段は?
左側半分の視野の光線を担当 右側半分の視野の光線を担当
PCT特許:WO2017180403より引用
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
AR-HMDの光学系:視野角/アイボックスの確保手段
レンズ
液晶パネル
※光路を折りたたまなかった場合の配置
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
○ ハーフミラーとレンズを合体して近づける=曲面ハーフミラー化
レンズ
液晶パネル
AR-HMDの光学系:視野角/アイボックスの確保手段
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
○ ハーフミラーとレンズを合体して近づける=曲面ハーフミラー化
○ 曲面ミラーが目に近い分より広い三角形に
AR-HMDの光学系:視野角/アイボックスの確保手段
曲面ハーフミラー
液晶パネル
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
○ ハーフミラーとレンズを合体して近づける=曲面ハーフミラー化
○ 曲面ミラーが目に近い分より広い三角形に
■ ただし薄くないし液晶も大きい
曲面ハーフミラー
液晶パネル
Meta Vision社のMeta2 HMD
(写真は公式ページより)
AR-HMDの光学系:視野角/アイボックスの確保手段
● 入射角が臨界角を超えて浅い角度になった時
屈折光が無くなって反射光のみになる事
全反射 is 何?
「分かりやすい高校物理の部屋」様より引用
● 入射角が臨界角を超えて浅い角度になった時
屈折光が無くなって反射光のみになる事
全反射 is 何?
「分かりやすい高校物理の部屋」様より引用
n1:水の屈折率(=導光素子)
n2:空気の屈折率(ほぼ1)
● 光が波の性質によって干渉して、障害物の後ろ側に回り込む現象
○ 格子状の板に波長と位相が整った光を入れると、格子で分割された隣り合う光同士が干渉して、
方向によって光が強め合ったり弱め合ったりする
回折 is 何?
「分かりやすい高校物理の部屋」様より引用
強め合った結果、回折光として複数の点が現れる
● 光が波の性質によって干渉して、障害物の後ろ側に回り込む現象
○ 格子状の板に波長と位相が整った光を入れると、格子で分割された隣り合う光同士が干渉して、
方向によって光が強め合ったり弱め合ったりする
回折 is 何?
「分かりやすい高校物理の部屋」様より引用
強め合った結果、回折光として複数の点が現れる
● 光が波の性質によって干渉して、障害物の後ろ側に回り込む現象
○ 格子状の板に波長と位相が整った光を入れると、格子で分割された隣り合う光同士が干渉して、
方向によって光が強め合ったり弱め合ったりする
回折 is 何?
「分かりやすい高校物理の部屋」様より引用
強め合った結果、回折光として複数の点が現れる
↓複数じゃ困る!
● 光が波の性質によって干渉して、障害物の後ろ側に回り込む現象
○ 格子状の板に波長と位相が整った光を入れると、格子で分割された隣り合う光同士が干渉して、
方向によって光が強め合ったり弱め合ったりする
回折 is 何?
「分かりやすい高校物理の部屋」様より引用
強め合った結果、回折光として複数の点が現れる
↓こうなって欲しい
● 光が波の性質によって干渉して、障害物の後ろ側に回り込む現象
○ 格子状の板に波長と位相が整った光を入れると、格子で分割された隣り合う光同士が干渉して、
方向によって光が強め合ったり弱め合ったりする
回折 is 何?
「分かりやすい高校物理の部屋」様より引用
強め合った結果、回折光として複数の点が現れる
↓こうなって欲しい
※単なる格子でなく斜めになって
いるのは、不要な0次+2次以降の
回折光を削減するため
● アイボックス拡大の点では非常に有利だと主張されています
○ 縦軸:接眼部の厚み、横軸:アイボックスサイズで、
EPEは厚みを変えずにアイボックス拡大が可能
HoloLensのEPE光学系は他と比べてそんなに有利?
Bernard Kress氏特別講義より引用
● 違います。特許は前身となるNokiaから引き継がれています
○ さらに射出瞳拡張の手法自体は1987年に特許が取られているそうです
元は飛行機などのヘッドアップディスプレイ:HUD向け
HoloLensのEPE光学系はMSの独自発明?
Bernard Kress氏特別講義より引用
● 接眼部周辺は厚いが、光学系自体はかなり薄い
○ 手前のモジュールだけで表示ができる
HoloLensの表示光学系は本当に薄いの?
Bernard Kress氏特別講義より引用
HoloLensと同じような光学系は他にないの?
EPSONのMoverio公式ページより引用
● DOEによるEPE光学系を使うものは市販されてません
○ 導光素子を使った例:EPSON Moverio BT-100/200/300
■ 導光素子内ではDOE/HOEでなく反射のみで光を曲げており、高画質
● DOEによるEPE光学系を使うものは市販されてません
○ 導光素子+HOEを使った例:Sony SmartGlass
■ 商用化されている単色版は非常に薄型(映画館で実体験済)
HoloLensと同じような光学系は他にないの?
Mukawa H., et al, A Full Color Eyewear Display using Holographic Planar Waveguides, SID 2008, Vol.39, Issue 1, pp-89-92 より引用
● DOEによるEPE光学系を使うものは市販されてません
○ 導光素子+HOEを使った例2:Konica Minolta ウェアラブルコミュニケーター
■ 三色の光路の折り曲げと色分離を1つのHOEで実現(縞模様のDOEでなくホログラムを使
用)
HoloLensと同じような光学系は他にないの?
稲垣義弘,ホログラフィック光学素子を用いたウェアラブルディスプレイの光学設計,KONICA MINOLTA TECH. REPORT Vol.13, pp.123-127, 2016より引用
● 「網膜上に直接像が形成される」という定義では異なります
○ LCOS上で既に画像が表示されていて、本質的にはそれを覗き込む光学系
○ 下記の様な本来の網膜投影の場合、網膜上以外どこにも像が存在しない
HoloLensは網膜投影方式じゃないの?
(QDレーザー公式ページより引用) QDレーザー Eyewear
VR-HMDの光学系:アイボックスの現実
● 本当に三角形になるの?
○ 液晶の出射光の拡散範囲的に、実際は多くの場合菱形になるようです
レンズ
液晶パネル
VR-HMDの光学系:アイボックスの現実
● 本当に三角形になるの?
○ 液晶の出射光の拡散範囲的に、実際は多くの場合菱形になるようです
■ つまりもっと小さくなる
レンズ
液晶パネル
VR-HMDの光学系:アイボックスの現実
レンズ
液晶パネル
結論:やっぱり大きなレンズと液晶は正義
● 本当に三角形になるの?
○ 液晶の出射光の拡散範囲的に、実際は多くの場合菱形になるようです
■ つまりもっと小さくなる

More Related Content

What's hot

【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"Deep Learning JP
 
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介Ryohei Ueda
 
Gazebo/ROSで力覚センサプラグインを使う
Gazebo/ROSで力覚センサプラグインを使うGazebo/ROSで力覚センサプラグインを使う
Gazebo/ROSで力覚センサプラグインを使うHDeanK
 
[DL輪読会]Neural Radiance Flow for 4D View Synthesis and Video Processing (NeRF...
[DL輪読会]Neural Radiance Flow for 4D View Synthesis and Video  Processing (NeRF...[DL輪読会]Neural Radiance Flow for 4D View Synthesis and Video  Processing (NeRF...
[DL輪読会]Neural Radiance Flow for 4D View Synthesis and Video Processing (NeRF...Deep Learning JP
 
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)Masahiro Suzuki
 
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜Jun Okumura
 
SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎yohei okawa
 
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能についてUnityTechnologiesJapan002
 
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII
 
Open3DでSLAM入門 PyCon Kyushu 2018
Open3DでSLAM入門 PyCon Kyushu 2018Open3DでSLAM入門 PyCon Kyushu 2018
Open3DでSLAM入門 PyCon Kyushu 2018Satoshi Fujimoto
 
【DL輪読会】Factory: Fast Contact for Robotic Assembly
【DL輪読会】Factory: Fast Contact for Robotic Assembly【DL輪読会】Factory: Fast Contact for Robotic Assembly
【DL輪読会】Factory: Fast Contact for Robotic AssemblyDeep Learning JP
 
ORB-SLAMの手法解説
ORB-SLAMの手法解説ORB-SLAMの手法解説
ORB-SLAMの手法解説Masaya Kaneko
 
Learning to Solve Hard Minimal Problems
Learning to Solve Hard Minimal ProblemsLearning to Solve Hard Minimal Problems
Learning to Solve Hard Minimal ProblemsTakuya Minagawa
 
はじめようARCore in 札幌
はじめようARCore in 札幌はじめようARCore in 札幌
はじめようARCore in 札幌Takashi Yoshinaga
 
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...Sho Kagami
 
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Masaya Kaneko
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII
 
20160724_cv_sfm_revisited
20160724_cv_sfm_revisited20160724_cv_sfm_revisited
20160724_cv_sfm_revisitedKyohei Unno
 

What's hot (20)

【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
 
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
 
Gazebo/ROSで力覚センサプラグインを使う
Gazebo/ROSで力覚センサプラグインを使うGazebo/ROSで力覚センサプラグインを使う
Gazebo/ROSで力覚センサプラグインを使う
 
[DL輪読会]Neural Radiance Flow for 4D View Synthesis and Video Processing (NeRF...
[DL輪読会]Neural Radiance Flow for 4D View Synthesis and Video  Processing (NeRF...[DL輪読会]Neural Radiance Flow for 4D View Synthesis and Video  Processing (NeRF...
[DL輪読会]Neural Radiance Flow for 4D View Synthesis and Video Processing (NeRF...
 
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
 
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
 
SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎
 
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
 
MRTK3を調べてみた
MRTK3を調べてみたMRTK3を調べてみた
MRTK3を調べてみた
 
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
 
Open3DでSLAM入門 PyCon Kyushu 2018
Open3DでSLAM入門 PyCon Kyushu 2018Open3DでSLAM入門 PyCon Kyushu 2018
Open3DでSLAM入門 PyCon Kyushu 2018
 
【DL輪読会】Factory: Fast Contact for Robotic Assembly
【DL輪読会】Factory: Fast Contact for Robotic Assembly【DL輪読会】Factory: Fast Contact for Robotic Assembly
【DL輪読会】Factory: Fast Contact for Robotic Assembly
 
ORB-SLAMの手法解説
ORB-SLAMの手法解説ORB-SLAMの手法解説
ORB-SLAMの手法解説
 
Learning to Solve Hard Minimal Problems
Learning to Solve Hard Minimal ProblemsLearning to Solve Hard Minimal Problems
Learning to Solve Hard Minimal Problems
 
はじめようARCore in 札幌
はじめようARCore in 札幌はじめようARCore in 札幌
はじめようARCore in 札幌
 
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
 
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
 
SLAM勉強会(PTAM)
SLAM勉強会(PTAM)SLAM勉強会(PTAM)
SLAM勉強会(PTAM)
 
20160724_cv_sfm_revisited
20160724_cv_sfm_revisited20160724_cv_sfm_revisited
20160724_cv_sfm_revisited
 

HoloLens光学系の謎に迫る