#FTMA15 第二回課題　鬼コースサーベイ

201211106 河原圭佑 #2 (鬼)
SmartSkin :
An Infrastructure for Freehand Manipulation on Interactive Surfaces
Jun Rekimoto
何をしたか
静電容量センサーを用いて, 複数の人の手や
指を認識するセンサーアーキテクチャやイン
タラクションの提案
CHI2002
何が新しいか
今までのマウスは1点のカーソルだったが, そ
れを複数にして, 手で操作できるようにした.
静電容量の手のセンシングの方法は, テルミ
ンやZimerrmans氏らによって既にあったが,
本研究はそれらを用いたインタラクションの
設計などについて.
やりのこしたこと
・平面じゃないところの面のインタラクション
・触覚フィードバック
・透明な静電容量計測素子
・静電容量を用いたデバイス間の通信
実装方法
https://www.youtube.com/watch?v=waSXkJBKT1s
静電容量のメッシュを用いた.
検出した静電容量をbicubic補完して, 手
の位置をメッシュの細かさ以上に検出

201211106 河原圭佑 #2 (鬼)
CyberCode:
Designing Augmented Reality Environmentswith Visual Tags
Jun Rekimoto Yuji Ayatsuka
何をしたか
DARE 2000
Augmented Realty に適用可能な二次元コード
(現在で言うARマーカ)を提案.
他のシステム
RFタグ
2次元バーコード
赤外線IDコード
メリット
印刷できる
カメラの解像度が低いモバイル端末でも使用可能
カメラからの3次元的な位置が計測可能.
アプリケーション
物理的なものにリンクを埋め込む
屋内ナビゲーション
映像に注釈情報を重畳させる
Direct manipulation device for physical environments
テレビにARマーカを表示する
ユビキタス・コンピューティング
紙から三次元的に像を映し出す

201211106 河原圭佑 #2 (鬼)
Pinwheels:
Visualizing Information Flow in an Architectural Space
Hiroshi Ishii, Sandia Ren, and Phil Frei CHI 2001
何をしたか
風車を使って, 情報世界のbitsの風を現実で
表現している.
なぜ風車なのか
風自体の制御や, 情報化は大変だが, 風車が
回るというメタファーを通じて, 情報の流れ
を物理的/情報的に可視化できるから.
要件
1. スケーラビリティがある風車のシステム
2. コンテンツの模索
3. 時空間的にコンテンツがいろんな模索ができる
アプリケーション
a. 人の存在
b. 原子的な, 宇宙的な現象
c. 巨大なシステムの状態表示
道の混み具合, 地下鉄の人の量, エレベータの位置
情報空間からの通知
添付ファイルが大きいメールが来ると強く回って,
小さいメッセージだと一瞬だけ回る.
時間軸がある.→風が通るのを再現

201211106 河原圭佑 #2 (鬼)
PegBlocks:
a Learning Aid for the Elementary Classroom
Ben Piper and Hiroshi Ishii CHI 2002
何をしたか
PegBlockという初等教育の物理を教えるの
に良い教育的おもちゃを作った.
主張
物理を教えるのに, 抽象的な概念からスター
トする場合が多いが, PegBlockを用いて, 具
体的なモノで遊びながら勉強を初められる.
実装
9つのペグがついており, すべてにピニオンとラッ
クとモータが入っている.
一つを押すと, モータで発電されて, 他のPegBlock
のペグに電気的に信号が伝わる.
評価
小学校に実際に導入はしていないが, 多くの子供が
遊んだ.
物理法則
バッテリーが入ってると思いこんだ子供が, バッテ
リーが入っていないと聞かされて, 驚いたようだっ
た.
このPegBlocksはエネルギーの変換を子どもたちに
実感させるのに適している.
次
Intouch [CHI97]

201211106 河原圭佑 #2 (鬼)
inTouch:
A Medium for Haptic Interpersonal Communication
Scott Brave and Andrew Dahley CHI 1997
何をしたか
遠隔にいる人と触覚的なフィードバックを
介して, コミュニケーションできるinTouch
というコミュニケーションツールを試作し
た. 触覚的なテレポーテーションを目指す.
目標
他の触覚系の研究と違って,この研究では物
理的な形の知覚にこだわっていない.
だが, 人の存在感を感じられる.
触れるということは親密なコミュニケーショ
ンの場面で多い.
デザイン
ローラを使うことで, 前後どっちの方向に
でも回転することができ, また, アクティブ
にもパッシブにも切り替えることができる.
将来
この論文ではメカニカルな柔らかいシャフ
トで接続されているが, 電気的な接続をする
ものを構築中である.

201211106 河原圭佑 #2 (鬼)
Facial Performance Sensing Head-Mounted Display
Hao Li Laura Trutoiu Kyle Olszewski Lingyu Wei
Tristan Trutna Pei-Lun Hsieh Aaron Nicholls Chongyang Ma
何をしたか
SIGGRAPH2015
https://www.youtube.com/watch?v=rgKkEnaaSDc
HMDを装着していても表情を計測できる
システムの提案, 構築
実装方法
HMDで隠れる部分
→ ひずみゲージ8つから機械学習
隠れていない部分(口など)
→ RGB-Dカメラ(Intel Realsense)で認識
処理
教師データ : ディスプレイを外して, 3D計測
特徴量ベクトル : ひずみゲージの値 + 口元の3D計測
線形回帰モデルを用いて
下式のT, Cを計算
x = T(
s
b
)+ c
Future work
ひずみゲージの数を増やして, より表現力を増やす.
EyeTrackerと組み合わせて, より表情らしく.

!
!
#2! 201313095!
body-centric
digital!wallet
14
in!public
social!
acceptance !
•  Tsukada,!K.,!and!Yasumura,!M.!AcEvebelt:!Belt-type!wearable!tacEle!
display!for!direcEonal!navigaEon.!In!Proc.!of!UbiComp.!Springer,!2004,!
384–399.!
•  Rekimoto,!J.!Gesturewrist!and!gesturepad:!Unobtrusive!wearable!
interacEon!devices.!In!Proc.!of!ISWC,!IEEE!(2001),!21–27.
Belt:&An&Unobtrusive&Touch&Input&Device&for&Head;worn&Displays&(CHI’15)
David!Dobbelstein,!Philipp!Hock,!Enrico!Rukzio
h]ps://www.youtube.com/watch?v=y8Ub3u2IhsA

!
!
#2! 201313095!
Poke
Poke
25
Poke 3
noEceability 3
•  Harrison,!C.,!Lim,!B.!Y.,!Shick,!A.,!&!Hudson,!S.!E.!(2009,!April).!
Where!to!locate!wearable!displays?!reacEon!Eme!performance!
of!visual!alerts!from!Ep!to!toe.!In!Proc.!CHI’09,!ACM,!941-944.!
•  Campbell,!C.!S.,!&!Tarasewich,!P.!Designing!visual!noEﬁcaEon!
cues!for!mobile!devices.!In!CHI!EA'04,!ACM,!1199-1202.!
NoERing:&A&ComparaEve&Study&of&NoEﬁcaEon&Channels&for&Wearable&InteracEve&Rings&(CHI’15)
Thijs!Roumen,!Simon!T.!Perrault,!Shengdong!Zhao
h]ps://www.youtube.com/watch?v=kOaphlSryf4

!
!
#2! 201313095!
7 2 3 !
; !
on-body
•  Gemperle,!F.,!Kasabach,!C.,!SEvoric,!J.,!Bauer,!M.,!and!
MarEn,!R.!Design!for!Wearability.!In!Proc.!ISWC!’98,!
116-122.
Where&to&Locate&Wearable&Displays?&ReacEon&Time&Performance&of&Visual&Alerts&from&Tip&to&Toe&(CHI’09)
Chris!Harrison,!Brian!Y.!Lim!Aubrey,!Shick!Sco]!E.!Hudson

!
!
#2! 201313095!
FingerReader
!
4
93.9%
3
4 5
!
•  Nanayakkara,!S.,!Shilkrot,!R.,!Yeo,!K.!P.,!and!Maes,!P.!
EyeRing:!a!ﬁnger-worn!input!device!for!seamless!
interacEons!with!our!surroundings.!In!Proc.!of!Augmented!
Human!(2013),!13-20.!
FingerReader:&A&Wearable&Device&to&Explore&Printed&Text&on&the&Go&(CHI’15)
Roy!Shilkrot,!Jochen!Huber,!Meng!Ee!Wong,!Pane!Maes,!Suranga!Nanayakkara
h]ps://vimeo.com/86912300

!
!
#2! 201313095!
Cyclops
1
360°
MHI RDF
!
20 20
MHI
79% RDF
92%
!
•  Morris,!D.,!Saponas,!T.!S.,!Guillory,!A.,!and!Kelner,!I.!
Recoﬁt:!Using!a!wearable!sensor!to!ﬁnd,!recognize,!and!
count!repeEEve!exercises.!In!Proc.&ACM&CHI&’14&(2014),!
3225–3234.!!
Cyclops:&Wearable&and&Single;Piece&Full;Body&Gesture&Input&Devices&(CHI’15)&
Liwei!Chan,!Chi-Hao!Hsieh,!Yi-Ling!Chen,!Shuo!Yang,!Da-Yuan!Huang,!Rong-Hao!Liang,!Bing-Yu!Chen!!
h]ps://www.youtube.com/watch?v=JYm_3oNUGIk

!
!
#2! 201313095!
!
Muehlbauer!et!al.![24]
!
SVM
114 94 30
20
95
99 4 98 7 96 13
93
!
•  Muehlbauer,!M.,!Bahle,!G.,!Lukowicz,!P.!What!can!an!arm!
holster!worn!smart!phone!do!for!acEvity!recogni-!Eon?!
Proc!IEEE!ISWC!2011.
RecoFit:&Using&a&Wearable&Sensor&to&Find,&Recognize,&and&Count&RepeEEve&Exercises&(CHI’14)
Dan!Morris,!T.!Sco]!Saponas,!Andrew!Guillory,!Ilya!Kelner
h]ps://www.youtube.com/watch?v=zpa4rVGlO68

!
!
#2! 201313095!
!
2
3
1 2
15-20% 90-95%
Hambone
•  B.Amento,W.Hill,andL.Terveen.Thesoundofonehand:!a!wrist-
mounted!bio-acousEc!ﬁngerEp!gesture!interface.!In!!CHI!’02:!CHI!
’02!extended!abstracts!on!Human!factors!in!compuEng!systems,!
pages!724–725,!New!York,!NY,!USA,!2002.!ACM!Press.
Hambone:&A&Bio;AcousEc&Gesture&Interface&(ISWC’07)
Travis!Deyle,!Szabolcs!Palinko,!Erika!Shehan!Poole,!and!Thad!Starner
h]ps://www.youtube.com/watch?v=Uxj-vyal84M

!
!
#2! 201313095!
•  Rabiner,!L.R.!(1989).!A!Tutorial!on!Hidden!Markov!Models!
and!Selected!ApplicaEons!in!Speech!Recogni-!Eon.!Proc.!
IEEE,!Vol.!77,!257-28
The&Sound&of&One&Hand:&A&Wrist;mounted&Bio;acousEc&FingerEp&Gesture&Interface&(CHI’02)
Brian!Amento,!Will!Hill,!Loren!Terveen

!
!
#2! 201313095!
Non-linear!SpaEal!Sampling
!
SVM
12
94.8%
15cm !
!
•  Nakatsuma,!K.,!Shinoda,!H.,!Makino,!Y.,!Sato,!K.,!and!Maeno,!T.!Touch!
interface!on!back!of!the!hand.!In!proc.!of!SIGGRAPH!’11!(2011),!39:1–
39:1.!
•  !Butler,!A.,!Izadi,!S.,!and!Hodges,!S.!Sidesight:!mulE-!touch!interacEon!
around!small!devices.!In!Proc.!of!UIST!’08!(2008),!201–204.
zSense:&Enabling&Shallow&Depth&Gesture&RecogniEon&for&Greater&Input&Expressivity&on&Smart&Wearables&(CHI’15)
Anusha!Withana,!Roshan!Peiris,!Nipuna!Samarasekara,!Suranga!Nanayakkara
h]ps://www.youtube.com/watch?v=fQobwL8eSU4

!
!
#2! 201313095!
•  HARRISON,!C.,!TAN,!D.,!AND!MORRIS,!D.!2010.!Skinput:!ap-!
propriaEng!the!body!as!an!input!surface.!In!Proceedings!of!the!
28th!internaEonal!conference!on!Human!factors!in!compuEng!
systems,!ACM,!New!York,!NY,!USA,!CHI!’10,!453–462.
Touch&interface&on&back&of&the&hand&(SIGGRAPH'11)
!Kei!Nakatsuma,!Hiroyuki!Shinoda,!Yasutoshi!Makino,!Katsunari!Sato,!Takashi!Maeno!
h]ps://www.youtube.com/watch?v=tKNLxh9Yw2M

!
!
#2! 201313095!
Pose-IO EMS
!
Pose-IO
EMS !
EMS
5.8°
4.6 :!5 be]er
•  Roudaut,!A.,!Rau,!A.,!Sterz,!C.,!Plauth,!M.,!Lopes,!P.,!and!
Baudisch,!P.!Gesture!output:!eyes-free!output!using!a!force!
feedback!touch!surface.!Proc.!CHI'13,!25472556.!!
PropriocepEve&InteracEon&(CHI’15)&
Pedro!Lopes,!Alexandra!Ion,!Willi!Mueller,!Daniel!Hoﬀmann,!Patrik!Jonell,!Patrick!Baudisch!!
h]ps://www.youtube.com/watch?v=KMxIw7zhlw

!
!
#2! 201313095!
EMS
AR EMS
EMS
!
GPS
•  Tamaki,!E.,!Miyaki,!T.,!and!Rekimoto,!J.!PossessedHand:!A!
hand!gesture!manipulaEon!system!using!electrical!sEmuli.!
In!Proc.&AH’10&(2010),!2:1–2:5.!!
Cruise&Control&for&Pedestrians:&Controlling&Walking&DirecEon&using&Electrical&Muscle&SEmulaEon&(CHI’15)&
Max!Pfeiﬀer,!Tim!Du!̈nte,!Stefan!Schneegass,!Florian!Alt,!Michael!Rohs!
h]ps://www.youtube.com/watch?v=JSfnm_HoUv4

!
!
#2! 201313095!
EMS
EMS
EMS 16
automaEc!calibraEon!system
auto-calibraEon!systems 16
!
88.75g
!
•  Kruijﬀ,!E.,!SchmalsEeg,!D.,!and!Beckhaus,!S.!Using!
neuromuscular!electrical!sEmulaEon!for!pseudo-hapEc!
feedback.!In!Proceedings!of!the!ACM!symposium!on!Virtual!
reality!soyware!and!technology,!VRST!’06,!ACM!(New!York,!NY,!
USA,!2006),!316–319.
PossessedHand:&Techniques&for&Controlling&Human&Hands&using&Electrical&Muscles&SEmuli&(CHI’11)&
Emi!Tamaki,!Takashi!Miyaki,!Jun!Rekimoto!!
h]ps://vimeo.com/27044937

!
!
#2! 201313095!
EMS
EMS
RFID
EMS
12
76% !
!
•  Kruijﬀ,!E.,!SchmalsEeg,!D.,!and!Beckhaus,!D.!Using!
neuromuscular!electrical!sEmulaEon!for!pseudo-hapEc
feedback.!Proc.!VRST!'06,!316—319.
Aﬀordance++:&allowing&objects&to&communicate&dynamic&use&(CHI’15)
Pedro!Lopes,!Patrik!Jonell,!Patrick!Baudisch
h]ps://www.youtube.com/watch?v=d0J7V37zQjY

!
!
#2! 201313095!
EMS !
EMS
EMS
!
!
ReacEon!loss
EMS
Using&Neuromuscular&Electrical&SEmulaEon&for&Pseudo;HapEc&Feedback&(VRST’06)
Ernst!Kruijﬀ,!Dieter!SchmalsEeg,!Steﬃ!Beckhaus

!
!
#2! 201313095!
SVM
10
6 Per-User
86.3%
71.2%

•  Sato,!M.,!Poupyrev,!I.,!and!Harrison,!C.!Touche!́:!enhancing!
touch!interacEon!on!humans,!screens,!liquids,!and!everyday!
objects.!In!CHI!’12,!483–492.!
•  Tim!Collins.!AcEve!acousEc!touch!interface.!Electronics!Le]ers,!
Vol.!45,!No.!20,!pp.!1055!–1056,!24!2009.
Touch&&&AcEvate:&Adding&InteracEvity&to&ExisEng&Objects&using&AcEve&AcousEc&Sensing&(UIST’13)
Makoto!Ono,!Buntarou!Shizuki,!Jiro!Tanaka
h]ps://www.youtube.com/watch?v=XgxXi6w8IQc

!
!
#2! 201313095!

SVM
on-body
per-
user 5 96.7% 4
98.7%
•  Harrison,!C.,!Benko,!H.,!Wilson,!A.,!OmniTouch:!wearable
mulEtouch!interacEon!everywhere.!in!UIST'11,!441-450.!
•  Matsushita,!N.!and!Rekimoto,!J.,!HoloWall:!designing!a!ﬁnger,!
hand,!body!and!object!sensiEve!wall.!UIST'97,!209-210.
Touché:&Enhancing&Touch&InteracEon&on&Humans,&Screens,&Liquids,&and&Everyday&Objects&(CHI’12)
Munehiko!Sato,!Ivan!Poupyrev,!Chris!Harrison
h]ps://www.youtube.com/watch?v=E4tYpXVTjxA

!
!
#2! 201313095!
SVM
9 9
TapSense 4
95% 99%
TapSense
Delete
•  Harrison,!C.,!Tan,!D.,!and!Morris,!D.!Skinput:!appropriat-!
ing!the!body!as!an!input!surface.!In!Proc.!CHI!'10.!453-!462.
TapSense:&Enhancing&Finger&InteracEon&on&Touch&Surfaces&(UIST’11)
Chris!Harrison,!Julia!Schwarz,!Sco]!E.!Hudson
h]ps://www.youtube.com/watch?v=-oN96cucBr4

!
!
#2! 201313095!
!

2
2 SVM
13 Fingers,!Whole!Arm,!
Forearm 87.6% Fingers
87.7% Whole!Arm 95.5%
88.3% Forearm 81.5%
83.3%
GUI
•  Saponas,!T.S.,!Tan,!D.S.,!Morris,!D.,!and!Balakrishnan,!R.!
DemonstraEng!the!feasibility!of!using!forearm!
electromyography!for!muscle-computer!interfaces.!In!Proc.!
CHI!’09,!515-24.!
Skinput:&AppropriaEng&the&Body&as&an&Input&Surface&(CHI’10)
Chris!Harrison,!Desney!Tan,!Dan!Morris
h]ps://www.youtube.com/watch?v=g3XPUdW9Ryg

!
!
#2! 201313095!
Fiberio
!
10 3
30 150
148 2
Fiberio
•  Matsushita,!N.!and!Rekimoto,!J.!HoloWall:!Designing!a!
Finger,!Hand,!Body,!Object!SensiEve!Wall.!Proc.!UIST!'97,!
209–210.!
Fiberio:&A&Touchscreen&that&Senses&Fingerprints&(UIST’13)
ChrisEan!Holz,!Patrick!Baudisch
h]ps://www.youtube.com/watch?v=p1a5yLzuTqA

!
!
#2! 201313095!
3D
3D !
•  Geiger,!M.,!Vollertsen,!F.!The!Mechanisms!of!Laser!Forming.!
CIRP!ANNALS!‘93,!42,!1,!301-304.!
•  Willis,!K.D.D.,!Xu,!C.,!Wu,!J.K.,!Levin,!G.,!Gross,!M.D.!InteracEve!
fabricaEon:!new!interfaces!for!digital!fabricaEon.!Proc.!TEI!'11,!
pp.!69-72.!
LaserOrigami:&Laser;Cugng&3D&Objects&(CHI’13)
Stefanie!Mueller,!BasEan!Kruck,!Patrick!Baudisch
h]ps://www.youtube.com/watch?v=arjRtCjI9AQ

!
!
#2! 201313095!
bend
•  Hyunyoung!Song!,!François!GuimbreEère!,!Chang!Hu!,!Hod!
Lipson,!ModelCray:!capturing!freehand!annotaEons!and!edits!
on!physical!3D!models,!Proceedings!of!the!19th!annual!ACM!
symposium!on!User!interface!soyware!and!technology,!October!
15-18,!2006,!Montreux,!Switzerland
InteracEve&ConstrucEon:&InteracEve&FabricaEon&of&FuncEonal&Mechanical&Devices&(UIST’12)
Stefanie!Mueller,!Pedro!Lopes,!Patrick!Baudisch
h]p://dl.acm.org/citaEon.cfm?id=2380116.2380191

!
!
#2! 201313095!
3D !
3D
•  Savage,!V.,!Schmidt,!R.,!Grossman,!T.,!Fitzmaurice,!G.,!and!
Hartmann,!B.!A!series!of!tubes:!Adding!interacEvity!to!3d!
prints!using!internal!pipes.!In!Proc.!UIST'14!(2014).!
3D&PrinEng&PneumaEc&Device&Controls&with&Variable&AcEvaEon&Force&CapabiliEes&(CHI’15)&
Marynel!Va!́zquez,!Eric!Brockmeyer,!Ruta!Desai,!Chris!Harrison,!Sco]!E.!Hudson
h]ps://www.youtube.com/watch?v=-4gFYvhkz0Y

!
!
#2! 201313095!
OpenFab 3D
fablets
3 3
•  CHEN,!D.,!MATUSIK,!W.,!SITTHI-AMORN,!P.,!DIDYK,!P.,!AND!
LEVIN,!D.!2013.!Spec2Fab:!A!reducer-tuner!model!for!
translat-!ing!speciﬁcaEons!to!3D!prints.!ACM!Trans.!Graph.!
32,!4!(July).
OpenFab:&A&Programmable&Pipeline&for&MulE;Material&FabricaEon&(SIGGRAPH’13)
Kiril!Vidimcˇe,!Szu-Po!Wang,!Jonathan!Ragan-Kelley,!Wojciech!Matusik

!
!
#2! 201313095!
3D
3D
3D
3D
14 30
67
!
2.44
14 !
!
3D
•  Mueller,!S.,!Kruck,!B.,!Baudisch,!P.!LaserOrigami:!Laser-
Cunng!3D!Objects.!Proc.!CHI’13,!2585-2592.
faBrickaEon:&Fast&3D&PrinEng&of&FuncEonal&Objects&by&IntegraEng&ConstrucEon&Kit&Building&Blocks&(CHI’14)&
Stefanie!Mueller,!Tobias!Mohr,!KersEn!Guenther,!Johannes!Frohnhofen,!Patrick!Baudisch
h]ps://www.youtube.com/watch?v=BlO6YRcLJjE

Touching
the
Void:
Direct-‐Touch
Interac4on
for
Intangible
Displays(CHI’10)
Li-Wei Chan Hui-Shan Kao Mike Y. Chen Ming-Sui Jane Yi-Ping Hung
201413109　久保勇貴 #2（鬼コース）
どんなもの？
空中像へのタッチのエラーに関する調
査及び影や音のフィードバックを付与
することによるパーフォーマンス向上
を示した研究
先行研究と比べてどこがすごい？
平面画像をタッチする際の奥行きに関
するエラーの正確な取得を初めて検
証。
技術や手法のキモはどこ？
２つの赤外線カメラを用いた正確な
タッチの検出
どうやって有効だと検証した？
タッチ時の奥行きの正確さに関する被
験者実験を実施。また、タッチする際
に影や音を付けた際の反応時間を被
験者実験で検証。
議論はある？
ユーザは慣れるまで、影や音のフィー
ドバックが必要だが、そのあとは必要
なくなる
次に読むべき論文は？
MirageTable
（CHI'12）

MirageTable:
Freehand
Interac4on
on
a
Projected

Augmented
Reality
Tabletop(CHI’12)
Hrvoje Benko Ricardo Jota Andrew D. Wilson
201413109　久保勇貴 #2（鬼コース）
どんなもの？
テーブル上においてバーチャルな物
体をリアルタイムで現実でものを動か
すことと同様な動作に操作可能なシス
テム

現実の物体をリアルタイムで画面に
取りこむことができ、質の高いフリー
ハンドインタラクションを実現した点
色、深度、前景、頭追跡、プロキシ
パーティクルを駆使したリアルタイム
メッシュの作成
凹凸など例外な表面に対しての投影
した際の画像の質についての評価実
験。また、仮想物体の奥行き知覚に
関する実験も行った
議論はある？
前面のみしかキャプチャしていないた
め、差が生じる。握っている場所の再
現は未解決な課題である。
Hirsch
et
al.
2014
(SIGGRAPH’14)

A
Compressive
Light
Field
Projec4on
System
(SIGGRAPH’14)
MaChew
Hirsch
Gordon
Wetzstein
Ramesh
Raskar
201413109　久保勇貴 #2（鬼コース）
どんなもの？
通常の3Dディスプレイに比べて、解像
度、輝度、コントラストを改善した圧縮
ライトフィードディスプレイ
多視点立体視を複数でなく１台のプロ
ジェクタを用いて実現した
受動的スクリーンと高速切り替えプロ
ジェクタによる新しい光学設計
4つのシーン例を投影したものを示し
た。アニメーションの3D効果について
観察を行った。
議論はある？
光路長を広げると、観察できる画質が
大幅に制限され、他のライトフィード
ビューと混線が生じる。
Butler
et
al.
2011

Vermeer:
Direct
Interac4on
with
a
360°
Viewable
3D
Display(UIST’11)
Alex Butler, Otmar Hilliges, Shahram Izadi, Steve Hodges, David Molyneaux, David Kim
201413109　久保勇貴 #2（鬼コース）
どんなもの？
映し出された3Dオブジェクトとインタラ
クションを行えるシステム
ディスプレイ内の画像とのインタラク
ションを提案。ボリュームディスプレイ
を支援する新しいセンシング法の提案
パラボラ鏡に取り付けた赤外線カメ
ラ・センサによる指先検出
アプリケーション例を示した。
議論はある？
パラボラ鏡の大きさよりもディスプレイ
サイズが小さくなってしまう
Hirsch
et
al.
2012

8D:
Interac4ng
with
a
Relightable
Glasses-‐Free
3D
Display(CHI’12)
Li-Wei Chan Hui-Shan Kao Mike Y. Chen Ming-Sui Jane Yi-Ping Hung
201413109　久保勇貴 #2（鬼コース）
どんなもの？
ライトフィードによる入力とライトフィー
ルドによる表示を行うリアルタイム8D
ディスプレイ
リアルタイムでの8Dディスプレイの実
現（先行研究は7fps）
GPUにおけるレンダリング処理
MRIデータを用いたディスプレイのデ
モを示した。
議論はある？
現在はグレースケールの入力のみだ
が、カラーでの入力できればより強力
になるだろう
Sahoo
et
al.
2015

Control
of
Non-‐Solid
Diﬀusers
by
Electrosta4c
Charging
(CHI’15)
Deepak Ranjan Sahoo, Diego Martinez Plasencia, Sriram Subramanian
201413109　久保勇貴 #2（鬼コース）
どんなもの？
シャボン玉や霧などの非固体を電場
による制御を試みた研究
非固体の形や位置の制御法を提案し
た点
[Intra
et
al.
11]中の“wire-‐to-‐
Cylinde”を用いたエアゾール粒子の帯
電

霧及びシャボン玉によるディスプレイ
のアプリケーション例で実際に制御し
て見せた。
議論はある？
風による影響を本手法は打ち消すこ
とができた
Barnum
et
al.
2010

A
Mul4-‐Layered
Display
with
Water
Drops(SIGGRAPH’10)
Peter C. Barnum Srinivasa G. Narasimhan, Takeo Kanade
201413109　久保勇貴 #2（鬼コース）
どんなもの？
複数層の落下水滴にプロジェクション
マッピングを行いディスプレイとした研
究
水滴の制御を行うことで単一のプロ
ジェクタによって複数層の映像投影を
可能とした点。
[Ambravaneswaran
et
al.
2002]及び本
研究における実験結果に基づく水滴
生成
複数のディスプレイ例を示した。

例）顔の投影、水槽シミュレータなど
議論はある？
本当の3Dディスプレイにするにはより
多くの水滴制御が必要。
Lee
et
al.
2007

An
Immaterial
Depth-‐Fused
3D
Display(VRST’07)
Cha Lee, Stephen DiVerdi, Tobias H¨ollerer
201413109　久保勇貴 #2（鬼コース）
どんなもの？
２つのスクリーンを駆使し3Dディスプ
レイを実現するdepth-‐fused
3D(DFD)に
関する評価を行い、その結果よりディ
スプレイを提案した研究。
DFDが任意のスクリーン設定及び見る
位置に対して有効であることを示した。
６通りのスクリーン組合せから２つを
抽出し、見え方の違いを検証した点。
６通りのスクリーンについて立体的に
見えるか被験者実験を実施。その後、
それぞれに有意差がみられるか調べ
た。

議論はある？
ステレオイメージを認めることができな
かったユーザに対しても強い3D効果
が見られた。
Tokuda
et
al.
2010

Cloud
Display
(ACE’10)
Yutaka Tokuda, Yasuhiro Suzuki, Kunihiro Nishimura, Tomohiro Tanikawa, Michitaka Hirose
201413109　久保勇貴 #2（鬼コース）
どんなもの？
煙の渦輪を用いた空間を埋めるディ
スプレイ
制御可能な手法により高所へのパー
ティクルを運搬することに着目した点。
コンピュータによって制御が行われる
空気砲アレイ
箱の中で実験を行い、安定して渦輪を
できるようにした。実際に、デモを行っ
たことを示した。
議論はある？
今の試作機をより早く、リフレッシュ速
度を高めることにより、より濃く空間を
埋められることを目指す。
Sato
et
al.
2009

Par]cle
Display
System　(JVRC'09)

-‐
A
Large
Scale
Display
for
Public
Space
-‐
Munehiko
Sato,
Yasuhiro
Suzuki
,
Atsushi
Hiyama,
Tomohiro
Tanikawa,
Michitaka
Hirose
201413109　久保勇貴 #2（鬼コース）
どんなもの？
パーティクルディスプレイによる公共
スペースのための大画面ディスプレイ
の提案
公共スペースにおける要求と制限に
基づいたシステムを提案した点
実験に基づく表示画像のスクロール
時間の制御
Aという文字の知覚実験によって最適
な点滅周期の調査を行った。
議論はある？
現在の試作機を組合せより高解像度
にする必要がある。
Kwon
et
al.
2015

FugaciousFilm:
Exploring
Aen4ve
Interac4on
with
Ephemeral
Material
(CHI’15)
Hyosun
Kwon,
Shashank
Jaiswal,
Steve
Benford,
Sue
Ann
Seah,

Peter
BenneC,
Boriana
Koleva,
Holger
Schnädelbach
201413109　久保勇貴 #2（鬼コース）
どんなもの？
膜を押す、引く、飛び出ることができる
新しい石鹸膜インタフェースの提案
徐々に消えるインタフェースは高い注
意を有するインタラクションを提供する
という点を示したこと。
水：グリセリンを20:1の対比で混ぜる
ことで、“pop”がきれいになるようにし、
かつ膜の耐久性を向上させた
３目並べを用いた被験者実験を実施。

ユーザは膜を割ると負け。膜を自分の
マスにするには、タッチ、押す、引くの
書かれた通りの操作を行う。
議論はある？
ユーザに精密な動作を要求すること
は、とりわけ注意を払うことを誘発す
る。
Wetzstein
et
al.
2012

Tensor
Displays:
Compressive
Light
Field
Synthesis

using
Mul4layer
Displays
with
Direc4onal
Backligh4ng(SIGGRAPH’12)
Gordon
Wetzstein
Douglas
Lanman
MaChew
Hirsch
Ramesh
Raskar
201413109　久保勇貴 #2（鬼コース）
どんなもの？
視点によって異なる立体映像を見るこ
とができる複数の層からなるディスプ
レイ
既存の手法を合成したcomputa(onal

displaysというディスプレイの新しいフ
レームワークを提案した
時分割で視差マスクを表示することで、
ユーザの視線ごとに立体像を表現す
る。
通常のディスプレイ、３層LCD、LCD及
び指向性バックライトの例による比較。

議論はある？
波紋を含むこと、色チャンネルが悪影
響を与える、相互反射、不均一などの
問題が見られた。
Matoba
et
al.
12

SplashDisplay(VRIC’12)
Yasuo Matoba Taro Tokui Ryo Sato Tochiki Sato Hideki Koike
201413109　久保勇貴 #2（鬼コース）
どんなもの？
パーティクルにCGを投射し、パーティ
クルがテーブル上に投げられると爆発
しパーティクルが噴きあがる
ビーズがミリメートルからメートル単位
までZ軸方向について空中で奥行きを
表現する
スピーカによって風力が発生させ、
ビーズを舞い上げる点。
ビーズを投げると花火が打ちあがって
いるかのようなアプリケーション例を
示した。
議論はある？
高いレベルの表現及び幅広い入力範
囲を提供できた。
Kim
et
al.
14

MARIO:
Mid-‐air
Augmented
Reality
Interac4on
with
Objects
(EC’14)
Hanyuool
Kim
,
Issei
Takahashi,
Hiroki
Yamamoto,
Satoshi
Maekawa,
Takeshi
Naemura
201413109　久保勇貴 #2（鬼コース）
どんなもの？
350×300×250のテーブル上のスペー
スにおいて自由に動かせる空中像を
造りだすことができる
凹面鏡や凹レンズのように曲面でな
いため、画像の歪曲が発生しない。
Aerial
Imaging
Plate(AIP)を用いた空中
像の生成及び、そのためのディスプレ
イ移動装置。
左右からの視差の考慮及び、奥行き
表現時の画像提示。視野角の検証な
どを行った。

議論はある？
投影しているひよこを叩いたり、払い
のけたりするような動作がデモ中見ら
れた。

Tactile Feedback on Flat Surfaces for the Visually Impaired
Ali Israr , Olivier Bau , Seung-Chan Kim , Ivan Poupyrev
どのようなものか？
視覚障害者のための触覚を用いた視覚代用デバイス
先行研究と比べてどこがすごいか？
道案内をしてくれる機械などはあるが、日用品の場所
を教えたり探すのを手伝ってくれるデバイスはない。
技術や手法のキモ
タッチパネルとカメラを搭載したデバイス。
触覚を与える技術はTeslaTouchを利用。
色を基準にオブジェクトの位置を認識。
有用性の確認
視覚障害者二人に対して実験。このデバイスを使
わなくても各自の方法で物を見つけられるが、間
違えることが多い。このデバイスを使用すること
で、間違えることなく正確に物の位置を特定でき
た。
課題
一つの色でしか判断できない。
触感のあるなしでしか情報を伝えられない
関連論文
TeslaTouch [Bau, et al. 2010]
2015/05/22 橋爪智 #2鬼

Fingernail-Mounted Display of Attraction Force and Texture
Masataka Niwa, Tomoko Nozaki, Taro Maeda, and Hideyuki And
指先に取り付けて、触感と力を両方表現できるデバイ
ス
触感と引力をそれぞれ表現するデバイスはあるが、両
方を一つのデバイスで表現した例は少ない。
引力は自由な方向に付加することができる。
偏心に重さを付けた円盤を4枚使用する。
5-9Hz : 引力。 100-200Hz : 触感
それぞれの円盤の位相や、回転数を調整することで、
触感と力
を表現する。
4つのモータを使い、それぞれの円盤を独立して制御す
る
有用性の確認
4人の男性に対して実験。80％以上の精度で認識
できた。
関連論文
The nail-mounted attraction force/bump display.
[Nozaki, et al. 2008]
2015/05/22 橋爪智 #2 鬼

Gilded gait: reshaping the urban experience with augmented footsteps
Yuichiro Takeuchi
靴に装着し、地面の触感をコントロールするデバイス
単独で動作しなかったり、特定の環境のみでしか動作
しなかったりする→靴単体で動作。環境に依存しない
6個の振動パネルを取り付け、ゲルでカバー。
app modulesを取り替えることができ、様々な機能を
付加できる（GPS,sound)
4種類の地面を再現。
•  Hard Ground : 振動させない
•  Soft Ground : すべてのパネルを振動
•  Bumpy Ground : ジグザグに振動
•  Godzilla : 全てのパネルを振動、何回か繰り返す
課題
モーターを使っているため、波形をプログラミングで
きない。→圧電素子を使用する。
関連論文
Haptic Shoes [Fu, et al. 2010]
2015/05/22 橋爪智 #2鬼

ExoInterfaces novel exosceleton haptic interfaces for virtual reality,
augmented sport and rehabilitation
Dzmitry Tsetserukou , Katsunari Sato , Susumu Tachi
腕に装着し、物理的なinteractionを可能にするデバイス
Exoskeleton : 力を増幅するためだが、重たく危険なこ
ともある
String-based : wireが視界をまたぐ。動きに制限がある
→腕の動きに制限を与えない。安全。
「FlexTorque」人間の筋肉の構造を再現する。ベルト
とモーターを使用する。肩の近くに装着することで、
腕に負担がかかりにくい。
触覚feedback：弱いトルク
運動を支援：強いトルク
課題
物理的な接触を表現する。ゲームやスポーツにより没
頭させる。リハビリのサポートをする。視覚障害者の
支援（ものの場所を教える）
関連論文
FlexTorque [Dzmitry, et al. 2010]
2015/05/22 橋爪智 #2 鬼

Perception of Ultrasonic Haptic Feedback on the Hand:
Localisation and Apparent Motion
Graham Wilson , Tom Carter , Sriram Subramanian , Stephen Brewster
超音波を用いた触覚フィードバック。有効性の検討を
行う。
超音波触覚フィードバックは比較的新しく、研究や操
作方法に関する知識が少ない。
腕を自由に動かすことができ、小さいものは着用可能
8*8のアレイ状に超音波発生器を設置。
有効性の確認
•  局所的な触感
25箇所に分割し、それぞれに超音波を当てる
触感を感じた：98.9％
場所の誤差：8.5mm
•  手のひらを動く触感
上下左右に動く
動いてると感じた：62.9％。
2015/05/22 橋爪智 #2 鬼

Friction Measurements on a Large Area TPaD
Nicholas D. Marchuk , J. Edward Colgate , Michael A. Peshkin
超音波の振動により触感を与える。
ガラス板を使うので透明。後ろにディスプレイを配置
可能。
「Squeeze Film Effect（スクイズ膜効果）」
ガラス板に取り付けた圧電素子の円盤に、高周波信号
をかける。
実験
振動しない部分＝摩擦が発生しない部分が発生。周波
数により場所が変わる。
→摩擦を大きさをかける力の大きさから計測。
→指の場所に合わせて複数の周波数を使い分ける。
関連論文
T-PaD[Winfield, et al. 2007]
2015/05/22 橋爪智 #2 鬼

STIMTAC, a Tactile Input Device with Programmable Friction
Michel Amberg , Frédéric Giraud , Betty Semail , Paolo Olivo , Géry Casiez , Nicolas Roussel
触感を与えられるタッチデバイス
LATPaD : サイズ大きい。ノイズが大きい
TeslaTouch : 高い電圧付加が必要。GNDに接続しなけ
ればいけない
「Squeeze Film Effect」超音波を用いて、振動を与え
る。
圧電性セラミックを電極にコーディング。
指トラッキングは力センサを用いる
活用法
マウス。キーボード。絵を描く
関連論文
LATPaD[Vincent, et al. 2011]
TeslaTouch[Bau, et al. 2010]
2015/05/22 橋爪智 #2 鬼

Surround Haptics: Tactile Feedback for Immersive Gaming Experiences
Ali Israr , Seung-Chan Kim , Ivan Poupyrev , Jan Stec
ゲームに合わせて、高解像度の触覚フィードバックを
ユーザーに与える椅子
荒く配置した安価な振動アクチュエータで高解像度の
触覚フィードバックを行える。
一点の振動、連続した動き、範囲の振動などを再現
仮想的な振動アクチュエータをいくつかの振動アク
チュエータを使って作り出す。
physical-physical,physical-virtual,virtual-virtual
ゲームにHaptics Engineを導入し、Haptics APIを用い
てHaptic Displayを操作する。
関連論文
Exploring Surround Haptics Displays[Israr, et al. 2010]
2015/05/22 橋爪智 #2 鬼

Audio-Haptic Feedback in Mobile Phones
Angela Chang , Conor O’Sullivan
haptics機能のついてない携帯電話に、オーディオ機能
を利用した触覚フィードバックを追加する。
簡単に作れて、non-haptic mobile devicesでも大丈夫。
「MultiFunction Transducer(MFT)」
スピーカーから、音と信号の両方を出力できる。
•  Haptic Inheritance
音を2つの周波数帯に分ける
•  Synthesis and Matching
低周波数帯(20-300Hz)を使い、触感を伝える
有効性の検討
42人の人を対象に実験を行う。83％の人が触感を感じ
た
2015/05/22 橋爪智 #2 鬼

Resolution of Sleep Deprivation Problems using ZZZoo Pillows
Shunsuke Yanaka , Motoki Ishida
近年、不眠症の人が多い
→誰かと接していると、安心し睡眠に導入しやすくな
る
→まるで添い寝をしているような、リアルな抱きまく
らを使う。
breathing sensation : 風船を使って人の呼吸を再現。肺
の形の風船。弱く長い呼吸をする。
heating :お湯を使って人の体温を再現。45℃
有効性の確認
84人の人が実験
呼吸が睡眠を誘ったか→61％
体温が睡眠を誘ったか→85％
関連論文
The Impact of Sleep Disorders on Social Life[Komada,
et al. 2007]
2015/05/22 橋爪智 #2 鬼

まとめ
超音波
モーター
風
2015/05/22 橋爪智 #2 鬼
コイル
電気刺激
Electrovibration
振動
音
お湯

なかの
Temporally Consistent Disparity and Optical
Flow via Efficient Spatio-temporal Filtering1
技術や⼿手法のキモはどこか？
どんなもの？
先⾏行行研究と⽐比べてどこがすごい？
次に読む論論⽂文は？
どうやって有効性を⽰示した？
議論論はあるか？
時間的に⼀一定の視差を算出する⼿手法．静⽌止画ステレ
オよりも精度度が良良いことを⽰示す．従来よりも推定精
度度が良良い．オプティカルフローも算出する．
⼀一枚の静⽌止画に対するフィルタリング[1]をステレオ
動画に拡張している．
ケンブリッジのステレオ動画のデータセットを利利⽤用
実写動画に対する⽐比較も⾏行行う．ノイズ耐性も検証する．
フィルタベースとエネルギーベースの関係性を良良
り理理解することで推定精度度を上げる
実装が簡単でリアルタイム視差推定が可能．
・Fast Cost-Volume Filtering for Visual Correspondence and Beyond.
[Rhemann, C., Hosni, A., Bleyer, M., Rother, C., Gelautz, M. / CVPR2011]
・Real-time Spatiotemporal Stereo Matching Using the Dual-Cross-Bilateral Grid
[Richardt, C., Orr, D., Davies, I., Criminisi, A., Dodgson, N.A. / ECCV2010]
・Secrets of optical flow estimation and their principles
[Sun, D., Roth, S., Black, M.J.: / 2010]
・Motion estimation with non-local total variation regularization
[Werlberger, M., Pock, T., Bischof, H / CVPR2010]
・Temporally Consistent Disparity Maps from Uncalibrated Stereo Videos.
[Bleyer, M., Gelatuz, M.: / ISPA2011]

なかの
SymStereo: Matching using Induced Symmetry (2014)2
どんなもの？
議論論はあるか？
画像の対称性を⽤用いてステレオマッチングを⾏行行う．
左右の画像を反転させて重ね合わせることで対称
性を測る．
絵的な類似の代わりに対称性を使う．今まで対称
性を⽤用いる⼿手法はなく新規性が⼤大きい．
三つのSymmetry-baseの⼿手法で精度度を検証．従来⼿手
法よりも精度度が向上している．Middlebury , Oxford
Corridor,fountain-P11のデータセット使⽤用．
ステレオの問題である不不連続な箇所、オクルー
ジョン部分は未解決である．演算時間はやや増加．
1-Dラインのコストを考える．今までは撮像⾯面に
対して平⾏行行な平⾯面でデプスを考えていたが，垂直
な平⾯面を考える．
BT[Birchfield and Tomasi 1998]
Census transform[Zabih and Woodfill 1994]
Log N[Kovesi 1997]
radio-metoric differences[Hirschmuller ,Scharstein 2009]

なかの
Camouflaging an Object from Many Viewpoints3
どんなもの
技術や⼿手法のキモはどこ？
議論論はある？
多くの視点から三次元の物体をカモフラージュする．
カモフラージュによってオクルージョン部分の不不連
続がどの程度度⽣生じるか，他の視点ではどれほどにな
るかの検証．
MRF（Markov Random Fields）ベース
新しい三次元物体のカモフラージュモデルを構築
37種類のデータセットを作る
箱形の物体に対してカモフラージュ処理理を施し，
結果を評価する．
オクルージョン，不不連続，テクスチャの歪みが問題
照明や画像の貼りつけに制限あり．

なかの
Aliasing Detection and Reduction in Plenoptic Imaging4
どんなもの
次に読むべき論論⽂文は？
カメラアレイ撮影の⾓角度度のエイリアシングを除去す
る．エイリアシングの探索索と打ち消しを⾏行行う．
周波数領領域ではなく空間領領域で探索索を⾏行行う
先⾏行行研究がフィルタ，デモザイキング，再パラメー
タ調整などの前処理理でエイリアシング除去を⾏行行うの
に対し，エイリアシング探索索後にリフォーカスの段
階でエイリアシングを取り除く．
8×8の平⾏行行カメラアレイで検証する．カメラ間の
基線⻑⾧長は70mm
今回は基線⻑⾧長が⻑⾧長いデータセットを使った．
次はLytroなどのマイクロレンズアレイで検証する
Globally consistent multi-label assignment on the ray space of 4d light fields
[S. Wanner, C. Straehle, B. Goldluecke / CVPR2013]
Lineassisted light field triangulation and stereo matching.
[Z. Yu, X. Guo, H. Lin, A. Lumsdaine, J. Yu. / ICCV 2013]

なかの
Globally Consistent Multi-Label Assignment on the Ray Space of 4D Light Fields5
どんなもの
四次元ライトフィールドの光線情報において，
マルチラベルの領領域分割を⾏行行う．
深度度情報，光線情報を⽤用いて領領域分割することで，
⼆二次元（空間）情報だけでは分割が難しかった
領領域を分割可能とする．
The light field camera: Extended depth of field, aliasing, and superresolution.
[T. Bishop, P. Favaro / IEEE Transactions on Pattern Analysis and Machine Intelligence 2012]

なかの
Line Assisted Light Field Triangulation and Stereo
Matching
6
どんなもの
光線情報を利利⽤用してステレオマッチングの精度度を
向上させる⼿手法．三⾓角測量量の誤差を減らす．
Light Field Stereo Matchingとかいう⼿手法
グラフ構造を作成
Variational light field analysis for disparity estimation and super-resolution.
[S. Wanner and B. Goldl¨uecke/ 2013]

なかの
Adaptive stereo similarity fusion using confidence measures / 20157
どんなもの
ステレオマッチングの新しい⽅方式，fusion weights
を提案．複数の⼿手法を組み合わせてコスト計算を⾏行行
う⼿手法．付録に既存⼿手法のコスト関数⼀一覧あり．
パラメータに依存する⼿手法を⽤用いないことで⾼高速化
を図っている．
⼀一つのアルゴリズムでは異異なる特性を持つ領領域全て
に対して適切切なマッチングはできない．複数を組み
合わせることでそれを補う．13種と多い．
middleburyとKITTIのデータセットで評価
⼀一枚あたり0.3sと⾼高速だが，0.01sとより⾼高速なアル
ゴリズムが存在する．
・Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure
[A. Klaus, M. Sormann, K. Karner / ICPR2006]
・On building an accurate stereo matching system on graphics hardware
[X. Mei, X. Sun, M. Zhou, S. Jiao, H. Wang, X. Zhang / ICCV2011]
・Similarity measures for depth estimation
[K. Wegner, O. Stankiewicz / 3DTV-CON2009]
・On accurate dense stereo-matching using a local adaptive multi-cost approach
[C. Stentoumis, L. Grammatikopoulos, I. Kalisperakis, G. Karras / ISPRS2014]
・A quantitative evaluation of confidence measures for stereo vision
[X. Hu, P. Mordohai / PAMI2012]

なかの
SIMILARITY MEASURE FOR DEPTH ESTIMATIOM / 20098
どんなもの
4種類の視差推定アルゴリズムを組み合わせている．
類似度度の選択性の解析．
Belief Propagationの枠組みを⽤用いる．
名古屋⼤大学の多視点データベースを利利⽤用
・HHI Test Material for 3D Video
[I. Feldmann, M. Muller, F. Zilly, R. Tanger, A. Smolic,P. Kauff, T. Wiegand / 2008]
・ Multiview Video Test Sequence and Camera Parameters
[Yo-Sung Ho, Eun-Kyung Lee, and Cheon Lee / 2008]
・ 1D Parallel Test Sequences for MPEG-FTV
[M. Tanimoto, T. Fujii, N. Fukushima / 2008]
・Non-parametric Local Transforms for Computing Visual Correspondence
[R. Zabih, J. Woodfill / 1994]

なかの
Spatiotemporal Stereo via Spatiotemporal Quadric Element (Stequel) Matching9
どんなもの
新しいマッチング⼿手法を提案，動き考慮することな
く時間情報を取り込むことができる．
時間⽅方向のエピ線を考える．
オプティカルフロー推定は3D境界や低テクスチャ
で弱いが提案⼿手法はロバストである．

なかの
Depth Video Enhancement Based on Weighted Mode Filtering10
どんなもの
ノイズを含んだ低解像度度のデプスマップの質を⾼高め
る⼿手法（超解像度度とデノイズ）．時間⽅方向も使⽤用，
簡単なオプティカルフローを計算し利利⽤用する．
⾮非反復復アルゴリズムのためGPUに載せやすく，⾼高速
化が考えられる．

なかの
Fast Bilateral-Space Stereo for Synthetic Defocus11
どんなもの
⾼高速な⾃自由焦点ぼけ画像の作成．
Bilateral-spaceを提案
従来研究よりも10から100倍速く，ぼけ具合の精度度
も良良い．
ぼけを作成するというアプリケーションに利利⽤用する
距離離という⾯面では提案⼿手法が有益であるが，実測的
な距離離という⾯面での精度度は悪い．背景と前景が同じ
⾊色で近くにある場合，同⼀一ととらえてしまう．
・Efficient high-resolution stereo matching using local plane sweeps.
[S. N. Sinha, D. Scharstein, and R. Szeliski./CVPR2014]
・Bilateral filtering-based optical flow estimation with occlusion detection.
[J. Xiao, H. Cheng, H. Sawhney, C. Rao, and M. Isnardi./ECCV2006]
・Efficient nonlocal regularization for optical flow.
[P. Kr¨ahenb¨uhl and V. Koltun./ECCV2012]
・Real-time spatiotemporal stereo matching using the dual-cross-bilateral grid
[C. Richardt, D. Orr, I. Davies, A. Criminisi, and N. A. Dodgson./ECCV2010]
視差推定の精度度はmiddlebury,KITTI

なかの
Robust Spatiotemporal Stereo for Dynamic Scenes12
どんなもの
ステレオ動画のフレーム間情報を取り⼊入れることで
ノイズ耐性を向上させる．また動きの⼤大きなものも
考える．
時間を含めたウインドウの提案．⾃自動的にそのよう
な変化に対応する画像領領域を検出する．
従来の時空間ステレオと⽐比べ，⼤大きな動きによる急
激な視差の時間変化に対して頑健である．

なかの
Spacetime Stereo: A Unifying Framework for Depth from Triangulation13
どんなもの
space time stereoを提案．ステレオカメラの視差推
定でも構造光を⽤用いた視差推定でも利利⽤用可能．
動的なシーンでの利利⽤用も可能．
フレームごとマッチングを取っていたが，複数フ
レームでのマッチングを可能とした．

なかの
Learning to Select and Order Vacation Photographs (Disney research)14
どんなもの？
あまりにもたくさん撮影した写真たちから⾃自動的に
フォトアルバムを作成する研究．
複雑な視覚での区別を試みたのはこの論論⽂文が初．
５つの異異なるトピックから63の個⼈人的な写真コレク
ションのデータセットを利利⽤用し定量量的に評価する．
写真間の差別かを定義する．顔、全体の絵、何が
写っているか/写っていないかを評価する．
・Jointly aligning and segmenting multiple web photo streams for the inference of collective
photo storylines [G. Kim and E. P. Xing. / CVPR2013]
・Photo sequencing.
[T. Basha, Y. Moses, and S. Avidan.. / CVPR2012]

なかの
A Taxonomy and Evaluation of Dense Two-Frame Stereo
Correspondence Algorithms15
どんなもの
ステレオマッチングに関する分類を⾏行行う．
新たなデータセットを作成する．
というよりも他の⼿手法が有効性を⽰示すことができる
ようにデータセットを作成した．
今ではmiddleburyのデータセットと⾔言えばステレオ
業界では超有名
High-resolution stereo datasets with subpixel-accurate ground truth.

なかの
Discriminability Limits in Spatio-Temporal Stereo Block Matching1
どんなもの
spatio-temporal disparity estimationの根本的な前提
の正当性を解析し，マッチング処理理の際に動きが助
けとなる程度度を決定する．
時空間マッチングのエラーを分析し，誤りの原因を
確率率率で導出する（フレーム数，動きの分散，画像特
徴，ノイズの関数）．
[3,4,24,33,34]は時空間マッチングの利利点を指摘し
ていたが本論論⽂文はマッチング精度度の向上のために動
きを⽤用いる⼿手法の程度度や性質を研究する．
6つのステレオビデオを⽤用いて検証を⾏行行った．
・Spacetime stereo: Shape recovery for dynamic scenes
[L. Zhang, B. Curless, and S. Seitz / CVPR2003]
・ Spatiotemporal stereo and scene flow via stequel matching
[M. Sizintsev and R. Wildes / PAMI2012]
・ Temporally consistent disparity and optical flow via efficient spatio-temporal filtering
[A. Hosni, C. Rhemann, M. Bleyer, and M. Gelautz / PRCAIVT2012]
・ Spacetime stereo: A unifying framework for depth from triangulation
[PAMI2005]
・ Dynamic depth recovery from multiple synchronized video streams
[H. Tao, H. Sawhney, and R. Kumar / CVPR2001]
・ Spatiotemporal descriptor for wide-baseline stereo reconstruction of non-rigid and
ambiguous scenes
[ECCV2003]

なかの
Depth-Based Patch Scaling for Content-Aware Stereo Image Completion2
どんなもの
ステレオでデプスを取り，物体の三次元情報を使っ
てインペインティングを⾏行行う．
bookのデータセット，背景が繰り返しパターンが多
いものを使っている．

なかの
Fast Semi-dense Surface Reconstruction from
Stereoscopic Video in Laparoscopic Surgery3
どんなもの
⼿手法の流流れ
腹腔内⼿手術の際にステレオビデオから⾼高速に物体の
三次元再構成を⾏行行う研究．
Evaluation of stereo matching costs on images with radiometric differences
[Hirschmueller, H., Scharstein, D / PAMI2008]
スコープカメラから画像取得，GPUで演算する．
視差を算出し，フィルタにかける．距離離に変換．
点群を再びフィルタにかけて三次元再構成．

なかの
3D Reconstruction from Accidental Motion4
どんなもの
数秒のビデオ（単眼）から三次元再構成を⾏行行う．
⼿手ぶれなどの動きから再構成が可能で，特定の動き
や機材を必要としない．
短い基線⻑⾧長でも再構成が可能（3mmの基線⻑⾧長）
基線⻑⾧長が短いため，背景の精度度が低くなる．
リフォーカス画像作成には⼗十分．
練習では上⼿手く動作したが，検証がまだ必要．

なかの
Panoramic Video from Unstructured Camera Arrays5
どんなもの
複数のカメラを⽤用いたパノラマ撮影を⾏行行う．
その際に不不⾃自然さがないような動画を作成する．
不不⾃自然さを感じる感覚特性を提⽰示し，それにのっ
とって対策を講じている．
⼀一つのカメラの解像度度と品質を向上させるよりも複
数台のカメラを組み合わせることがはるかに簡単で
有益である．専⾨門家でなくてもGoProのカメラセッ
トを組み合わせることは容易易．
カメラの配置は厳密に決められていない．完璧な時
間同期やローリングシャッターの不不⾜足のような実撮
影での問題もクリアしている．
左のシステムは14台のカメラを使⽤用．
右のシステムはGoProを5台使⽤用．
Disney 2015/5/8

なかの
Floating Scale Surface Reconstruction6
どんなもの
流流動的にスケールを変えられる三次元再構成⼿手法
サンプル規模に依存するパラメータがない．
→どのスケールのサンプルにも対応できる．
siggraph2014

なかの
A Super Resolution Reconstruction Scheme for Mixed Spatio-Temporal
Stereo Video
7
どんなもの
ビデオ超解像アルゴリズム
⼆二台のカメラを使⽤用．
⼀一台は低解像度度で⾼高速，⼀一台は⾼高解像度度で低速．
HHI 3DV ftp siteのBookarrivalとbeergadenを使⽤用

なかの
What Is a Good Day for Outdoor Photometric Stereo?8
どんなもの
屋外における照度度差があるステレオの研究．
屋外でステレオを⾏行行う際に有利利or不不利利な⽇日照条件を
明らかにする．
点光源を⽤用いた研究は⾏行行われていたが，屋外での研
究はされていなかった．
晴れより曇りの⽅方が精度度が良良い．雲があるから特徴
量量を取りやすい．雑⾳音を⽩白⾊色ガウスモデルを想定．
季節ごとのデータセットを利利⽤用してみても良良い
Time-lapse photometric stereo and applications.
[F. Shen, K. Sunkavalli, N. Bonneel, S. Rusinkiewicz, H. Pfister,and X. Tong./
2014]
Outdoor photometric stereo
[L.-F. Yu, S.-K. Yeung, Y.-W. Tai, D. Terzopoulos, and T. F.Chan /ICCP2013]
屋外の照明に関するHDR環境マップのデータベース
を利利⽤用．
Disney 2015/4/24

なかの
COLORBRUSH: ANIMATED DIFFUSION FOR INTUITIVE
COLORIZATION SIMULATING WATER PAINTING9
どんなもの
アニメを⽔水彩画で描いたように変換する．
⽔水彩画を描くには経験が必要であるが，それを作成
するアルゴリズムを考案．絵具が⽔水によりどうにじ
むかシュミレーションしている．
Disney 2014/10/27 ICIP2014
・Gabor-space geodesic active contours,” In Algebraic Frames for the Perception-Action
Cycle [C. Sagiv, N.A. Sochen, and Y.Y. Zeevi ./2000]
・Practical temporal consistency for image-based graphics applications
[M. Lang, O. Wang, T. Aydin, A. Smolic and M. Gross /SIGGRAPH2012]
・Computer-Generated Watercolor
[C.J. Curtis, S.E. Anderson, J.E. Seims, K.W. Fleischer, and D.H. Salesin, /SIGGRAPH1997]

なかの
From Sound to Sight: Using Audio Processing to enable Visible Light Communication10
どんなもの
光に情報を載せる技術．プロジェクトページがあって光関係の研究が8個載っている
http://www.disneyresearch.com/project/visible-light-communication/
ビデオのURL
http://www.disneyresearch.com/wpcontent/
uploads/
Pub_̲InvisibleLightCommunication_̲Siggraph14_̲video.
mp4

#FTMA15 第二回課題　鬼コースサーベイ

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (10)

Recently uploaded

Recently uploaded (20)