#FTMA15 第二回課題 仏・人間コース サーベイ
•
16 likes•5,521 views
#FTMA15 先端技術とメディア表現#３ 落合陽一の筑波大講義の３回目． 5月22日の講義の後半で用いた資料です． 授業でやった学生によるサーベイの一枚まとめをシェアします．仏コースではグループで週２本の論文を読みます． 人間コースでは週１本の論文と関連研究５本を読みます． まとめてくれた@yopitaさんに感謝．
Recommended
More Related Content
Viewers also liked
Viewers also liked (16)
Similar to #FTMA15 第二回課題 仏・人間コース サーベイ
Similar to #FTMA15 第二回課題 仏・人間コース サーベイ (12)
Recently uploaded
Recently uploaded (20)
#FTMA15 第二回課題 仏・人間コース サーベイ
- 1. Foreign Manga Reader Geza Kovacs Robert C.Miller 何をした？ 外国語を楽しく学ぶために漫画から⽂文法や発⾳音、意味を勉強できるようにした 先行研究より進んだ点は？ ビデオから外国語を勉強するものは既にある が 漫画の⽅方が学びやすい どんな技術を使った？ PDFで漫画を読みこみ、ユーザーがドラッグした⽂文章を光学⽂文字認識識で読み取る。 翻訳や発⾳音はGoogle翻訳（⼤大丈夫？）を、構⽂文解析はBerkeley parserを⽤用いる。 何ができた？ ⽇日本語で書かれた漫画を英語に翻訳。⽇日本語の発⾳音を聞くことができる。 また、⽂文章の⽂文法的な関係（⾃自⽴立立語と助詞など）を分かりやすく表⽰示。 今後に向けた議論のポイントは？ もっと難しい⾔言葉葉にも対応が必要、光学⽂文字認識識の精度度を上げる
- 2. Correc/ng Automa/c Transla/ons through Collabora/ons between MT and Monolingual Target-‐Language Users Joshua S.Albrecht Rebecca Hwa G.Elisabeta Marai Albrecht, Joshua et al. "Correc>ng automa>c transla>ons through collabora>ons between MT and monolingual target-‐language users." Proceedings of the Associa>on for Computa>onal Linguis>cs, 2009. ⽂文章構造を可視化するソフトを開発し、 機械翻訳のミスを検出する。 ESTABLISHING A METHODOLOGY FOR BENCHMARKING SPEECH SYNTHESIS FOR COMPUTER-‐ ASSISTED LANGUAGE LEARNING Zöe Handley Marie-‐Josée Hamel Handley, Zöe, and Marie-‐Josée Hamel. "Establishing a methodology for benchmarking speech synthesis for computer-‐assisted language learning (CALL)." Language Learning & Technology 9.3 (2005): 99-‐120. コンピューターを使⽤用した語学の 勉強法について、「発⾳音」の学習を 導⼊入することに関する議論論。
- 3. Smart Sub/tles for Language Learning Geza Kovacs Kovacs, Geza. “Smart Sub>tles for Language Learning”. CHI 2013 Extended Abstracts. 映像で使われている⾔言語を 瞬時に翻訳し、字幕を出す。 Learning Accurate, Compact, and Interpretable Tree Annota/on Slav Petrov Leon Barre] Romain Thibaux Dan Klein Petrov, Slav et al. Learning Accurate, Compact, and Interpretable Tree Annota>on. COLING-‐ACL 2006 今回紹介した「Foreign Manga Reader」 で⽤用いられているBerkeley parserという 構⽂文解析を⽣生み出している。
- 4. Successful classroom deployment of a social document annota/on system Sacha Zyto David R. Karger Mark S. Ackerman Sanjoy Mahajan Zyto, Sacha et al. "Successful classroom deployment of a social document annota>on system." CHI 2012. オンライン上で配布した資料料に アノテーション（付箋のような）を付加し、 その項⽬目についてクラスで議論論や質問を ⾏行行うことができるWebアプリケーションを開発。 これで授業はさらに活性化する！ #2 終
- 5. The Rockin’ Mouse:Integral 3D Manipula9on on a Plane Ravin Balakrishnan, Thomas Baudel, Gordon Kurtenbach, George Fitzmaurice 先行研究と比べてどこがすごい？ どんなもの？ 2次元的な操作と3次元的な操作が 同時に行うことが可能なマウス。 技術や手法のキモは？ 次に読むべき論文は？ 議論はある？ どうやって有効だと検証した？ 従来のマウスと同じような形状を維 持しつつ、3D操作を可能にした。 マウスの裏を球面状にすることで傾 けるという操作を生み自由度が2か ら４になった。 コンピュータ上の３Dの物体を操作するタ スクを普通のマウスとRockin’ Mouseで やらせその時間を計測する 普通のマウスに比べて操作性は高い。 また学習もしやすく、同じタスクを繰り返 した際のパフォーマンスの向上にも差が 見られた。 ジョイスティック関連 その他の操作関係のデバイス
- 6. EyePoint:Prac9cal Poin9ng and Selec9on Using Gaze and Keyboard Manu Kumar, Andreas Paepcke, Terry Winograd 視線とキーボードを組み合 わせてコンピュータを操作 するという試み A Two Ball Mouse Affords Three Degrees of Freedom I.Sco@ MaKenzie, R.William Souoref, & Chris Pal 昔のマウスに入ってた ボールを２個にした３自 由度のマウス
- 7. EyeWindows:Evalua9on of Controlled Zooming Windows for Focus Selec9on David Fono and Roel Vertegaal 複数ウィンドウの操作に視 線を用いた代物 Eye Tracking off the Shelf Dan Witzner Hansen, David MacKay, John Paulin Hansen 市販のWebカメラを 使って視線の情報を取 得する
- 8. Auditory and Visual Feedback During Eye Typing Paivi Majaranta, I.Sco@ MacKenzie, Anne Aula, and Kari-‐Jouko Raiha 視線でのタイピングの際に聴覚的や 視覚的なフィードバックを与えるとどう 影響が及ぶか
- 9. 論文URL: http://www.nue.org/ okuno/icslp02-okuno.pdf The Generalized Perceived Input Point Model and How to Double Touch Accuracy by Extracting Fingerprints . Holz, C. and Baudisch, P. The generalized perceived input point model and how to double touch accuracy by extracting fingerprints. In Proc. CHI '10. 581-590. どんなもの？ 先行研究と比べてどこがすごい？ 技術や手法のキモはどこ？ どうやって有効だと検証した？ 論議はある？ 次に進むべき論文は？ タッチした時の指の傾きを指紋により検出するこ とによって,より精度のあるタッチ入力を実現す る. 従来の２次元的タッチ入力とは違い,指の姿勢か ら３次元的に位置を取得して,指先の柔らかさで 意図しない場所を検出しないようにする. 指紋と傾きを掛け合わせて,３次元的に入力を考 えること. 予想しないユーザーのタッチを対応できなかっ た.ユーザーが行いたい画面操作が,人によって異 なった. デバイスそれぞれの、95%の精度で取得できる 最小のターゲットサイズ 指紋インターフェース,制御インターフェース,光学追跡イ ンターフェースのターゲットサイズの検証した.指紋イン ターフェースは制御インターフェースと比べて1.8倍の縮 小に成功した.制御インターフェースボタンの10%未満の 大きさで実装できるようになった. Shift: A Technique for Operating Pen-Based Interfaces Using Touch とか
- 10. High precision touch screen interaction. Albinsson, P. Zhai, S. 2003. High precision touch screen interaction. In Proc. CHI 03, 105‒112. Back-of-Device Interaction Allows Creating Very Small Touch Devices Baudisch, P. and Chu, G. 2009. Back-of-device interaction allows creating very small touch devices. In Proc. CHI 09, 1923‒1932. 仮想上の十字カーソルキーと,指先の動きをアナログ 信号的に増幅させて精度を上げる方法を使い,高精度 で画面操作タッチを行う.これは２点タッチを前提と していて、ズームや十字カーソルキーを使ったハン ドル操作により画面操作を行う.素手のポインティン グが重要である.タッチペンやデバイスを利用しない. しかしアンカーポイントを見失ってしまうため実装 はまだ早い. だが、この研究はシステムを設計することが目的だ ったらしい (a)はハンドル操作,(b)は拡大,(c)(d)は移動 緑色の円は位置を強調したもの, その中の灰色の円は動きのある円, 白い部分は支点となり,もう一方の手の入力をサポートする 小さなスクリーンを裏側から入力操作ができる デバイス ▼a)ボタン付きのデバイス,b)指で画面が隠れるデバ イス,c)使用可能なサイズのスクリーン,後ろから操作 できるタッチスクリーン ◀︎開発したデバイスの使い方として提唱する方法. a)2.4画面のクリップ b)1.2画面の時計 c)半分未満のサイズの指輪 使用例
- 11. Empirical Evaluation for Finger Input Properties In Multi-touch Interaction Wang, F. and Ren, X. 2009. Empirical evaluation for finger input properties in multi-touch interaction. In Proc. CHI’09 . 1063–1072. Low-Cost Multi-Touch Sensing through Frustrated Total Internal Refl ection Han, J. Y. 2005. Low-cost multi-touch sensing through frustrated total internal reflection. In Proc. UIST 05, 115‒118. 接触面積,接触形状及びマルチタッチ選択,指の向きな どの特性を見つけ,マルチタッチの精度を検証してい る マルチタッチ感知をローコストで！ エンジニアリングの労力と費用を最低限に し,FTIR(全反射しているアクリル板を上から触ると 反射が崩れタッチされた場所を検出する技術)によっ てマルチタッチを実装する. (a)指の組み合わせカーソル,(b)メニュー,(c)指のポインタ,(d)指の交差を選択
- 12. Improving the accuracy of touch screens: an experimental evaluation of three strategies. Potter, R., Weldon, L., Shneiderman, B. 1988. Improving the accuracy of touch screens: an experimental evaluation of three strategies. In Proc. CHI 88, 27‒32. タッチスクリーンの精度の評価を,3つのタッチ方法 で検証している. とくに指が離れる時の直前の動きは無視した方がい い.
- 13. Mobility-Trees for Indoor Scenes Manipulation http://vcc.siat.ac.cn/console/homepage/info?id=48 繰り返し物体を動かしその情報を蓄積、分析して、室内の物体を 操作する高度なコントローラを作成した。 かつては物体単体で考えていたが、これは周辺の状況を踏まえて 動作を考察している。 どんなもの？ 先行研究との違いは？ 技術や手法のキモ 家具同士の相互作用を考慮する。家具同士は木構造でその場面を 連結している。 例：天井→壁→家具→etc Google 3D Warehouse を用いて物体を配置、繰り返し操作してそれぞれ の状況での動作を検証。また、計測と修正にかかる時間も記録していった 前提となる過程が崩れた場合正しく動作しない。全く同じ状況では同じ状 況しか再現されず、時にはおかしな動作をするのでその場合は手作業によ る修正が必要となる。 検証方法 議論 次に読むもの Computer-Generated Residential Building Layouts
- 14. Structure Preserving Reshape for Textured Architectural Scenes テクスチャーが施されたモデルをユーザーが対話式で長さなどの形状を決め、構造物を組み立てることができるアプ リケーションを製作。 Example-based Synthesis of 3D Object Arrangements ユーザーが幾つかの同じような場面を与えると（机周りの写真など）、提供されたデータベースを元にそれと同じよ うな全く新しい環境を構築するアプリケーションを作成。
- 15. Automatic Furniture Population of Large Architectural Models テンプレートを用いて部屋に家具を自動で配置する。 Acquiring 3D Indoor Environments with Variability and Repetition 画像から家具を検出、モデリングする？ Non-homogeneous Resizing of Complex Models モデル（家具など）のサイズを変更する際に、その機能性を損なうことがないような変形を可能とする
- 16. 研究概要 他との違い 次に読むべき論文 さらなる発展 技術の中心となる点 何ができるようになるか リアルタイムで生成できるモ デルの大きさの向上、そして そのデータの詳細化 用いている無線が802.11n (300Mbps)であったため現在は 802.11ac(1.6Gbps)によるさら なるデータの増加が見込める。 KinectFusion: Real-time dense surface mapping and tracking 3D reconstruction and tracking. In Proc.3DIMPVT 2012, IEEE, 524-530 データの取得に大掛かりな機材 を必要とせず処理をサーバに任 せて範囲に制限なくモデルの生 成が可能。ロボット,ARなどへの 応用。おそらくHoloLensにも用 いられているであろう技術。 GPUで用いるメモリの利用方法 の効率化、ノイズのフィルタリ ング改善、それにより無線でデ ータを送ることができ、データ の取得が容易になった。 効率的な手法により動かして いる深度カメラから得たデー タにより、大きくも詳細な表 面モデルをリアルタイムに生 成
- 22. 皮にしわがよる様子を硬度に応じて シュミレーションすることができる。 Folding and Crumpling Adaptive Sheets 紙を丸めたり、折ったりする様子を シュミレーションすることができる。
- 24. NailO: Fingernails as an Input Surface Hsin-‐Liu (Cindy) Kao, Artem Dementyev, Joseph A. Paradiso, and Chris Schmandt どういうものか 先行技術と比べて何がすごいか どうやって有効だと検証したか 次に読みたい論文：Traxion: A Tactile Interaction Device with Virtual Force Sensation 議論はあるのか 爪に備え付けるウェアラブルなジェスチャー入力装置。 一つの指で操作可能で、目立たなく、ユーザーが好き な見た目にカスタマイズすることができる。 化粧品からインスピレーションを受けた。 今までは爪にディスプレイを付けたり、指先をタッチパッドに したりすることはあったが、爪の表面を入力装置とすることは なかった。また、今までの装置はワイアーがついていたが、この 装置はbluetoothを使用しておりワイアレスである。 １０人(男女５人ずつ)に５つのジェスチャーをそれぞれ １２回ずつ試行してもらった（各ジェスチャー６０回）。 結果、測った正確率は９２．３％であった。 爪のひずみが原因と思われるが、スワイプダウンのジェスチャー が一番検出されにくかった(正確率８３．５) 中指や薬指でスワイプするのは多くの人にとって難しかったが、 指の長い人は自然で快適にできた。今後は１０本分のセンサーを 用意し、個人の特徴に合わせて選べるようにする。
- 25. Nenya: Subtle and Eyes-‐Free Mobile Input with a Magnetically-‐ Tracked Finger Ring FingerPad: Private and Subtle Interaction Using Fingertips Daniel Ashbrook , Patrick Baudisch, Sean White リングを回したり、指に沿ってリングをスライドするこ とによって操作する指輪型の入力デバイス 人差し指の指先をタッチパッドとして操作できる入力 デバイス Liwei Chan∗ Rong-‐Hao Liang∗† Ming-‐Chang Tsai‡ Kai-‐Yin Cheng† Chao-‐Huai Su† Mike Y. Chen‡ Wen-‐Huang Cheng∗ Bing-‐Yu Chen‡
- 26. Fingersight: Fingertip Visual Haptic Sensing and Control NailDisplay: Bringing an Always-‐Available Visual Display To Fingertips 指先にカメラとバイブレーションを付けてスクリーンのオ ブジェクトを動かしたり回転させたりでき る”Fingersight”というセンサー。 指の下の何を操作するのかが目で見てわかる爪に 取り付け可能なディスプレイ George Stetten 1,2 , Roberta Klatzky3 , Brock Nichol1 , John Galeotti 2 , Kenneth Rockot1 , Kimberly Zawrotny1 , David Weiser 1 , Nathan Sendgikoski1 , Samantha Horvath1 Chao-‐Huai Su∗ Liwei Chan† Chien-‐Ting Weng∗ Rong-‐Hao Liang∗¶ Kai-‐Yin Cheng∗ Bing-‐Yu Chen
- 27. Beauty Technology: Body Surface Computing 肌に直接あてはめられるセンサーや電子装置などの ウェアラブルな技術が日常生活の機関として重要に なっていく。 Katia Vega and Hugo Fuks
- 28. Sensi&ve Couture for Interac&ve Garment Modeling and Edi&ng • 検証 2D生地の局所的な密度と、モデルが生地に覆わ れる時の剛性のシミュレーション • 議論の余地 3Dモデルによっては2D着衣の継ぎ目が見えてし まい、その解決策が予期せず複雑なものになること がある • 次に読むべき論文 Self-‐Refining Games using Player Analy8cs • どんなもの? 2Dの着衣を3Dモデルに載せる • 新規性 2Dデザインの変更を即座に3Dモデルに反映で きる • 手法の肝 視点、2Dイラスト(特に頂点)、3Dモデルの内部 的なリンクによる、２次元↔︎３次元の双方向変換 と反映
- 29. A simple approach to nonlinear tensile s8ffness for accurate cloth simula8on • 布地をCADなどの3Dの仮装オブジェクトに適応させるときの、 生地の変化における異方性や非線形性による複雑な問題と シミュレーションによるその改善策
- 31. Example-‐Based Wrinkle Synthesis for Clothing Anima8on • ズボンやシャツなどのように比較的体表にフィットするような着衣を 着た人の動きが服をどのように動かすかをシミュレートしたアニ メーション
- 32. Precompu8ng Interac8ve Dynamic Deformable Scenes • 複雑さと相互作用の折り合いをつけながら、なるべく短時間 でモデルの形状変化を予測的にシミュレートする
- 33. Interac8ve Cover Design Considering Physical Constraints • 3Dオブジェクトを完全に覆い尽くし、かつ開いて中身を取り出 すことも容易にできるカバーを設計するアルゴリズム
- 34. どんなものか 先行研究と比べてどこがすごい？ Brain interface として特徴脳波を検 出. 検出した脳波を用いてマウスの 簡単な操作を行うシステム. 脳波を用いることでマウスとの Brain to Brain を実現.またそれら のシステムを実装し有用性を確 認. 技術のキモはどこか どうやって有効だと検証した？ 議論はある？ 次に進むべき論文は？ Operatorの脳波を三つの命令で 分類すること,また分類する上 での精度（カラーマップ確認 できず）.マウス視点での評価 実際にシステムを構築しオペレータ側 は脳波によってマウスを操作.迷路にお ける探索というタスクで評価. 非人道的と言われることへの配慮. マウスのトレーニング精度 EEG Mouse:A Machine Learning- Based Brain Computer Interface Mind-controlled Ratbot: A Brain-to-brain System Yipeng Yu,Cunle Qian, Zhaohui Wu, Gang Pan*
- 35. Common spatial subspace decomposition applied to analysis of brain responses under multiple task conditions: a simulation study Motor Imagery計測のための電極のレイアウトの提案 補運動野エリア(SMA)→全ての運動イメージ下で活性化 ↓ どのようにSMAでの運動イメージを分類するか？ ↓ SMAと一次運動野間の時空間関係に触発された電極配置の 提案 Y. Wang, B. Hong, X. Gao and S. Gao Psycho-Physiological Measures for Assessing Cognitive Load 認知的負荷を評価のための一般化方法の提案 および評価 あるタイミングで情報を開示した時の 認知的負荷を心電図など各センサを用いて計測 電図中央絶対偏差値と中央値の熱流束の測定を併用 ↓ 負荷の高低レベルの区別において80％以上の分類精度 Eija Haapalainen, SeungJun Kim, Jodi F. Forlizzi, Anind K. Dey
- 36. Common spatial subspace decomposition applied to analysis of brain responses under multiple task conditions: a simulation study 複数タスク下における 脳波解析手法の提案. 特徴抽出において、 複数のタスクおよび条件下で得られた 脳波データをもとに特定の信号を抽出する手法. Yunhua Wanga, b, Patrick Bergc, Michael Scherga,* Clinical Neurophysiology 110 (1999) 604±614 Automatic Navigation for Rat-Robots with Modeling of the Human Guidance Chao Sun, Nenggan Zheng, Xinlu Zhang, Weidong Chen, Xiaoxiang Zheng Bio-robotのための 自動ナビゲーション手法の提案 コンセプトとして生物的な知性と 人工的な知性のハイブリッドな知性の創出 A General Regression Neural Networkを用いた手法 Rat-robotに対して高度な制度を計測
- 37. NeuroPhone: Brain-Mobile Phone Interface using a Wireless EEG Headset 神経信号を用いて携帯電話を制御する手法の提案 ↑なぜ？ 神経信号は携帯電話のようにあふれている←？？？？ プロトタイプシステムの設計 無線を用いたEmotiv Epoc EEGヘッドセットと iPhoneを繋ぐ 脳波によるiPhoneのアプリケーション操作 Andrew T. Campbell, Tanzeem Choudhury, Shaohan Hu, Hong Lu, Matthew K. Mukerjee∗, Mashfiqui Rabbi, and Rajeev D. S. Raizada
- 38. Spin-‐It: Op+mizing Moment of Iner+a for Spinnable Objects どんなものか 3Dモデルと回転軸を入力すること で、非対称な形状でも回転する駒 やヨーヨーを作ることができる。 先行研究と比べてどこが凄いか 静的なモデルの重心を制御するので はなく、質量と慣性モーメントの両方 を制御し回転運動下で安定させる。 また、先行研究より静止状態でもさら に安定するようになった。 技術や手法のキモはどこなのか 回転による抵抗などを計算し、形 状を保ったまま回転できそうな内 部の質量分布を割り出すアルゴリ ズム。 どうやって有効だと検証したか 実際に3Dプリンタで出力し、回して みた。 今後の課題や議論 キャラクターから抽象的な形まで作 れて、アクチュエーターの低電力化 などにつながるかもしれないが、リ アクションホイールで制御する機械 や落下やジャンプする機械はこの 研究の範囲外かもしれない。 次に読むべき論文 Make It Stand: Balancing Shapes for 3D Fabrica;on
- 39. Make It Stand: Balancing Shapes for 3D Fabrica;on 静止した物体が自立する、あるいは 吊るして理想の形で静止するような 質量分布を計算するアルゴリズム
- 40. Fabrica;ng Ar;culated Characters from Skinned Meshes 表面のメッシュデータと関節を入力すると関 節が可動するモデルを出力する
- 41. Automa;c Rigging and Anima;on of 3D Characters メッシュデータと骨格を入力すると、自動でモデルに骨格を適用してくれる。 １つの骨格を多くのモデルに適用できるため、アニメーション付けが楽になる。
- 42. Tangible Interac;on + Graphical Interpreta;on: A New Approach to 3D Modeling 専用のブロックか粘土で物理的に組み立てると、組 み立てたものに装飾を施した3Dモデルが生成される
- 43. EigenSkin: Real Time Large Deforma;on Character Skinning in Hardware 専用の手袋型デバイスを装備し動かすことで手 のモデルの非線形な動きを計算し変形の過程 を正確に補完することができる
- 44. Dyna: A Model of Dynamic Human Shape in Mo6on Gerard Pons-‐Moll∗Javier Romero∗Naureen Mahmood∗Michael J. Black∗Max Planck Ins6tute for Intelligent Systems, T¨ubingen, Germany どんなものか ・柔らかな変形のできるリアルなモデリング技術。 ・4Dスキャンと3Dスキャンしたテンプレートメッシュの 配列を用いて研究を行った。 ・これまでは静的なキャプチャはできるが実際に運動し ている体の動的な柔らかな変形は難しかった。 ・学習モデルでこれを可能にしている 先行研究と比べてどこがすごい？ 技術や手法のキモ ・体の動きの物理的な要素(速度や加速度、角速度な ど)から次の変形を予測する。 ・低次元線形部分空間を使用して変形を近似す る。 これからの課題 次に読む論文は？ ・より多くのスポーツの動きはキャプチャできない ・重力や他の力の効果もキャプチャできるようにしたい ・SCAPE[Anguelov et al. 2005]
- 45. MoSh: Mo6on and Shape Capture from Sparse Markers ・人間の体の3Dデータを骨格検出に役立てた mocap。 ・疎なマーカーでもよりリアルで緻密な動きを再 現できる。 Breathing Life into Shape: Capturing, Modeling and Anima6ng 3D Human Breathing ・高解像度の3Dスキャンで人間のポーズと息を する時の形状の変化をキャプチャし、よりリアル な息をする時のアニメーションを再現した研究 Ma?hew Loper∗ Naureen Mahmood† Michael J. Black‡ Max Planck InsOtute for Intelligent Systems, Tubingen, Germany Aggeliki Tsoli∗ Naureen Mahmood† Michael J. Black‡ Max Planck InsOtute for Intelligent Systems, Tubingen, Germany
- 46. High Fidelity Facial Anima6on Capture and Retarge6ng With Contours ・顔の輪郭のmocap ・フレームごとにの調整としてブレンドシェイプア ニメーションの上に、効果的なラプラシアンフィ ルターをかけている SCAPE: Shape Comple6on and Anima6on of People ・リアルな筋肉の変化や人間の動きなどをキャプチャ する ・観測できないところも予測して3Dメッシュをあてはめ 完成させる ・キャプチャした3Dデータを基にアニメーションを予測 する Kiran S. Bhat∗ Rony Goldenthal† YuOng Ye‡ Ronald Mallet§ Michael Koperwas¶ Dragomir Anguelov∗ Praveen Srinivasan∗ Daphne Koller∗ SebasOan Thrun∗ Jim Rodgers∗ Stanford University James Davis† University of California, Santa Cruz
- 47. Real-‐Time Character Anima6on Techniques ・当時のアニメーションについての技術をレビューし た論文。特にリアルな人間の動きと合成を行う技術 についてフォーカスしている。 ・ FFDは筋肉の変形の表現に最も汎用性がある ・Mass-‐springシステムは表面や外層の表現に適して いる(肌や髪、衣服など) ・（当時：たぶん2000年ごろ(^^;） Thanh Giang Robert Mooney Christopher Peters Carol O'Sullivan MOCAP・アニメーション辺りを読んでみて思ったこと ・学習アルゴリズムがよく使われている ・あらかじめ被験者からデータをとり、マーカー 数が少なくても高品質な検出をできるようにして いる。 ・SCAPE[Anguelov et al. 2005]がよく引用されている感 じがした ・近年はとてもリアルな動きが表現できるようになって いると思う
- 48. Eyeglasses-‐free Display: Towards Correc6ng Visual Aberra6ons with Computa6onal Light Field Displays Fu-‐Chung Huang Gordon Wetzstein Brian A. Barsky Ramesh Raskar どんな研究か？ 近視の人でも眼鏡やコンタクトレンズなしで見ることができ るディスプレイ用のフィルタを開発した． これまでのフィルタとの比較や3D化もしたみた． 先行研究と比べて何がすごいか？ [Huang et al. 2012] のMulElayer Displayや[Pamplona et al. 2012] のLight Field Display よりもくっきりと見え，コントラスト も高い． この手法のキモは？ 細かいレンズを敷き詰めたフィルタをディスプレイに乗せる だけという手軽さとローコストさで実現した． 検証方法・結果 10インチタブレットに表示した画像に対してこれまでの手法 のフィルタリングと提案手法でのフィルタリングをそれぞれ かけてそのコントラストと鮮明さを数値化して比べた． 議論はあるか？ 目とディスプレイの位置が固定されていることを前提として 検証している．動いている場合にはアイトラッキングの技術 が必要となる． 次に読むべきもの HUANG, F.-‐C., LANMAN, D., BARSKY, B. A.,ANDRASKAR,R. 2012. CorrecEng for opEcal aberraEons using mulElayerdisplays.ACM Trans. Graph. (SIGGRAPH Asia) 31, 6, 185:1–185:12. （マルチレイヤーディスプ レイ）
- 49. Correc6ng for Op6cal Aberra6ons using Mul6layer Displays Fu-‐Chung Huang Douglas Lanman Brian A. Barsky Ramesh Raskar CATRA: Interac6ve Measuring and Modeling of Cataracts Vitor F. Pamplona Erick B. Passos Jan Zizka Manuel M. Oliveria Everea Lawson Esteban Clua Remesh Raskar マルチレイヤーフィルタリングを用いた目が 悪い人でも見やすいディスプレイの提案． 鮮明に見えるようにすることができたがコント ラストが約80%低下してしまった． 白内障の人の目をインタラクティブに測定し てモデリングを行った． 患者の目をスキャンして眼球の中に像を作る ことにで白内障によるレンズの前方散乱を測 定するための光学設計を行った． 個人の視力のシミュレーションが可能
- 50. NETRA: Interac6ve Display for Es6ma6ng Refrac6ve Errors and Focal Range Vitor F. Pamplona Ankit Mohan Manuel M. Oliveira Ramesh Raskar Tailored Displays to Compensate for Visual Aberra6ons Vitor F. Pamplona Manuel M. Oliveira Daniel G. Aliaga Ramesh Raskar 人間の目の屈折異常を克服するための解決法の 提案． ピンホールとマイクロレンズアレイを用いて眼球内 での焦点のズレを修正する． マイクロレンズアレイを用いて目が悪い人が眼鏡や コンタクトなしでも見ることができるディスプレイの開 発． その人に合わせたディスプレイを仕立てることで HMDなどを目が悪くても快適に使うことができるよう になる．
- 51. HDR-‐VDP-‐2: A calibrated visual metric for visibility and quality predic6ons in all luminance condi6ons Rafal ManEuk Kil Joohn Kim Allan G. Rampel Wolfgang Heidrich 画像の可視性と質を評価するための視覚的な指 標の提案． 測定対象の画像をいくつかのデータセットで検証 する．以前のHDR-‐VDPに対して低コントラスト域で の検証が改善されている． この論文の提案手法はインラインで利用可能．
- 52. どんなもの？ 形状ディスプレイを用いて物理的な物体の 共有を行い、遠隔者とのコミュニケーションを 支援する。 他と比べてどこがすごい？ ・物理的存在感により、視覚からの支援以上 のコラボレーション支援を可能にする。 ・ロボットでは人間の手などの表現しかできな いが、Tangible UI(TUI)を用いることですべて の物体(コンテンツ)の表現が可能。 ・形状ディスプレイのモータのためのPID制御、 画像の歪みや遅延時間に対するフィルタリン グ、深度情報から手やオブジェクトを判断する アルゴリズムなど、広い分野にわたるソフト ウェアシステム。 キモとなる手法・技術 ・プロジェクタと形状ディスプレイを用いた、物 理的、仮想的な表現の融合。 問題点・今後の課題 ・物体を握ることが出来ないなど、まだまだ複 雑な動きが出来ない ・形状ディスプレイの解像度が低い ・ネットワーク遅延と、遅延が操作者に与える 影響の調査 etc... 次に読むべき論文は？ Tangible Bitsで原点を知る
- 53. “Physical Telepresence”の元となる論文。 (考えの大元は”Tangible Bits”) 物理的な物を同期させシェアするという考え に基づいた研究で、物理的に触れることので きるインターフェイス(TUI)を用いて、物理的な 情報を含んだCSCWを行う。 初期の2.5D形状ディスプレイ研究。 アクチュエータとプロジェクタを用いることで、視覚的な情 報だけでなく触ることで形状や硬さを感じることができる ような、フレキシブルなスクリーンを提案している。
- 54. 形状ディスプレイとARを統合して使用することより、物体の物理的な 形状と仮想的な形状を同一空間で表現している。 イメージ的には、“Physical Telepresence”のプロジェクタを用いた投影 の部分が、 ARに代わったもの。 硬さや形状が変わる、フレキシブルなユーザインタフェースについての 研究。硬さが変わるものや感覚のフィードバックがあるもの、形状が変 わるものなど、4つのプロトタイプを紹介している。
- 56. どんなもの？ 先行研究と比べてどこがすごいの？ 技術や手法のキモはどこ？ どうやって有効だと検証した？ 次に読むべき論文は？ hat Base: Differing Player Experiences in Video Game Genres and the Unique Case of MOB Daniel Johnson Lennart E. Nacke Peta Wyeth 異なるゲームジャンルのPX(プレイヤー経験) の違いを調査したのと、 MOBAというジャンルのゲームのPXを掘 り下げて説明したもの 調査の際には、PENS・GEQと呼ばれる２つ のアンケート手法によって統計を取っている点 実際に様々なゲームを行っているプレイヤ ー７００人程度にアンケート調査を行って 統計をとった。MOBAについては６人に 面談を行ってアンケート調査を行った。 新しいジャンルであるMOBAのPXについては、 この分野で研究者によく理解されていない。 他ジャンルとの比較によって、MOBAのPX を確立する部分が今までにないものである。 The Identification of Deviance and its Impact on Retention in a Multiplayer Game. Proc CSCW '14, 1356– 1365.
- 57. The Identification of Deviance and its Impact on Retention in a Multiplayer Game Kenneth Shores Yilin He Kristina L. Swanenburg Robert Kraut John Riedl マルチプレーヤーゲームにおける、周りに 不快感を与えるプレイヤーの影響とその対策 実際にあるオンラインゲームのプレイヤーに アンケートをとって統計を出している。 Personality, Genre and Videogame Play Experience .Johnson, D., Wyeth, P., Sweetser, P., and Gardner, J. ゲームジャンル別、個人的見解をアン ケートとしてまとめたもの。 GEQと呼ばれるアンケート手法をと っている。
- 58. ネットゲーム等に潜在的に構築される、プ レイヤー間の関係を統計・調査したもの ゲームのサポートを目的に調査されている Analyzing Implicit Social Networks in Multiplayer Online Games Iosup, A., van de Bovenkam, R., Jia, A., and Kuipers, F. GEQ (Game Engagement/Experience Questionnaire): A Review of Two Papers Kent L. Norman プレイヤーの主観的なゲーム経験・ ゲームをすることでの関わり度合い について調査を行ったその結果のレ ビュー
- 59. Effects of Skill Balancing for Physical Abilities on Player Performance, Experience and Self-Esteem in Exergames Gerling, K., Miller, M., and Mandryk, R. ゲームバランスの与える影響と、 バランスの取り方について論じている。 どのようにプレイヤーの満足度を満 たすか？について実際に実験を行い、調 査している
- 60. Automa'ng Image Morphing using Structural Similarity on a Halfway Domain Jing Liao, Rodolfo Lima, Diego Nehab, Hugues Hoppe, Pedro Sander, Jinhui Yu. 先行研究と比べてどこがすごい？ どんなもの？ 技術や手法のキモはどこ？ どうやって有効と検証した？ 議論はある？ 次に読むべき論文は？ 2つの画の間で品質の高いモーフを自 動生成する 相関関係を樹立するための途中の遷 移画面がたった一つで行っており、な おかつ連続的で単純であること 相関関係の最適化に用いたエネル ギー関数の計算、方形運動経路、遷移 させるピクセルそのものの評価 より複雑な画像を取り扱うことに加え、 色の変化もモーフに合わせてスムーズ に見せる、ビデオ・シーケンス間にこの 技術を応用する 実際に2つの画を用いて、従来の技術 と比較検証し、この論文で用いた技術 の方がより品質の良いモーフが出来た Morphing of Face Image by Feature Extrac'on[2005]
- 61. Origamizing Polyhedral Surfaces Tomohiro Tachi どんなもの？ どうやって有効と検証した？ 先行研究と比べてどこがすごい？ 議論はある？ 立体折り紙図形を作図するシステムを作り、 複雑な立体折り紙図形を対話的に作成で きるようにする 木構造や多面体の折り畳みでおり方を示す 方法があったが、本手法では折り紙分子を 詰め込み、状態を形式化し、形状に媒介変 数を与えるという幾何学的なことを持ち込 んでいる 技術や手法のキモはどこ？ 折り紙分子の集合表現 頂点・角を用いた状態導出・変形・マッピング CG構成アルゴリズムをテストする際によく使 われる図形を用いて、不安定度、効率、折 り畳み時間、そして計算時間を調べた。 3次元折り畳み図形を400ポリゴン以内で、 短時間に導きだすことに成功。 時々非常に非効率な図形を作り出すか、条 件を満たすことに失敗することがある。 次に読むべき論文は？ “3D Origami Design Based on Tucking Molecule,” 2009 （同一著者）
- 62. Unified Par+cle Physics for Real-‐Time Applica+ons どんなもの? 先行研究を比べてどこがすごい? 技術や思考のキモはどこ? 議論はある? 次に読むべき論文は? Miles Macklin Ma<hias Müller Nu<apong Chentanez Tae-‐Yong Kim リアルタイムな視覚的効果を演出するために、パーティクル （粒子）に基づいた統合的な動力学の枠組みを提案する。 柔軟物体、剛体、液体、ガス、布をそれらの相互作用も 含めて、統合的に表現している。 柔軟物体を表現するShape-Matching 法を剛体でも用いた。 また初めてガスをPosition Based Dynamicsで表現した。 Position Based Dynamics Position Based Fluids Meshless Deformations Based on Shape Matching Shape-Matching 法の収束はパーティクルの数に依存する ため、大きな形状の剛体に適していない。 動画：https://vimeo.com/94622661
- 63. Transient A<ributes for High-‐Level Understanding and Edi+ng of Outdoor Scenes 屋外のシーンに焦点を当てているので車やクローズアップし たオブジェクトの写真には弱い。ありえないシーンの追加は できない制約がある。（例：より夏っぽい雪に覆われた風景） BONNEEL, N., SUNKAVALLI, K., PARIS, S., AND PFISTER, H. 2013. Example-‐ based video color grading. ACM Trans. Graph. (proc. SIGGRAPH) 32. BYCHKOVSKY, V., PARIS, S., CHAN, E., AND DURAND, F. 2011. Learning photographic global tonal adjustment with a database of input / output image pairs. In CVPR. CAICEDO, J. C., KAPOOR, A., AND KANG, S. B. 2011. Collab-‐ oraVve personalizaVon of image enhancement. In CVPR. 研究内容 写真の季節属性を単純なユーザーインターフェイスで編集すること ができるもの 先行研究との違い 単純なユーザーインターフェイスでユーザーが写真に変更したい属 性を自由に指定できること。多くのシーンを動的に操作するフレーム ワークの実現。 先行研究よりそれっぽい感がでていること。 101個のウェブカメラから得た何千もの風景をクラウドソーシング で分類し、一時的な属性データベースを作り機械学習することで 新たなイメージの属性も認識できること。 動画：hXps://www.youtube.com/watch?v=yhtKKYi]qc 先行研究と比べてどこがすごい？ 技術や手法のキモはどこ？ 議論はある？ 次に読むべき論文は？ どんなもの？
- 64. どんなもの？ ユーザーは物理的デバイスの着用は不必要であり、ユーザーを感 知して、空気の渦を送り、自由大気中で触覚を実現させるもの。 先行研究と比べてどこがすごい？ 風を送ったり、超音波によって生じた圧力を利用したものはあった が、空気の渦の利用は初めてであり、ユーザーは物理デバイスの 着用を必要とせず豊かな触覚を提供される。 技術や手法のキモはどこ？ ターゲットを認識して空気の渦の周波数、強さを調整し、正確に当 てる技術。また、これを利用してタブレット等を直接触れずに操作可 能になる。 どうやって有効だと検証した？ 空気の渦は比較的に長い距離にいるユーザーに感触を感じ させることができる。また、デバイスが低コスト 議論はある？ 利用時、聞こえる音が生じてしまう。 AIREALデバイスを設置する際、三脚などの最低限の環境の 準備が必要 次に読むべき論文は？ TAKAMORI, F., TSURUYAMA, N., AND TAKEDA, T. 2010. Effect of Vortext Ring using Air Canon on Sense of Touch. In Proc. of IEICE.
- 65. A Reduced Model for Interac1ve Hairs Menglei Chai Changxi Zheng Kun Zhou どんなもの？ 毛量を減らした大雑把な髪のモデルをもと に補間するdata-‐driven solu6onを使用した、 リアルタイムで正確な髪のモデリング。 どうやって有効だと証明した？ 髪を無作為に抽出してサンプリング、単に 最適化してサンプリング、似た髪の束でグ ループ分けをしてサンプリング（本研究）の 3つでエラー数と処理時間を比較。 先行研究と比べてどこがすごい？ 計算コストが小さく、かつ正確で自然なシ ミュレーション。 議論はある？ 髪同士の衝突の再現が不十分である。 髪同士のこすれあいのシミュレーションも 導入する。 技術や手法のキモは？ ガイドとなる大まかな髪の線をさらに小さな 粒状に分けて配置データを収集し、似た髪 の動きで髪の束をグループ分けをする方 法をとることで、多くのアニメーションサンプ ルを作ることができ、様々な髪質によって 異なる動きをつけることができる。 次に読むべき論文は？ Precompu6ng Interac6ve Dynamic Deformable Scenes (Doug L James, Kayvon Fatahalian) Data-‐drivenを利用したモデリング hHp://gaps-‐zju.org/reducedhair/
- 66. どんなもの？ ユーザーは物理的デバイスの着用は不必要であり、ユーザーを感 知して、空気の渦を送り、自由大気中で触覚を実現させるもの。 先行研究と比べてどこがすごい？ 風を送ったり、超音波によって生じた圧力を利用したものはあった が、空気の渦の利用は初めてであり、ユーザーは物理デバイスの 着用を必要とせず豊かな触覚を提供される。 技術や手法のキモはどこ？ ターゲットを認識して空気の渦の周波数、強さを調整し、正確に当 てる技術。また、これを利用してタブレット等を直接触れずに操作可 能になる。 どうやって有効だと検証した？ 空気の渦は比較的に長い距離にいるユーザーに感触を感じ させることができる。また、デバイスが低コスト 議論はある？ 利用時、聞こえる音が生じてしまう。 AIREALデバイスを設置する際、三脚などの最低限の環境の 準備が必要 次に読むべき論文は？ TAKAMORI, F., TSURUYAMA, N., AND TAKEDA, T. 2010. Effect of Vortext Ring using Air Canon on Sense of Touch. In Proc. of IEICE.
- 67. どんなもの？ カメラで撮影した人の表情を、リアルタ イムで3Dアニメーションのキャラクター に反映させる。 https://www.youtube.com/watch? v=DBoChIFrj2c 先行研究と比べてどこがすごい？ 消費者(利用者)が専門知識を持ってい なくても、手間なく、リアルタイムで 自動で正確に、被写体の表情を読み取 り、キャラクターに反映できる。 技術や手法のキモはどこ？ オンライン式のDEM(Dynamic 3D Expression model)学習を表情の追跡技術ア ルゴリズムに取り入れている。 有効性は？ 特定の被写体の顔の特徴を従来より正確に 読み取ることにより、正確に表情を読み取 ることができる。 議論はある？ Blendshape modelのテンプレートに よって人間の顔の幾何的特徴が制限 されること。 テンプレートに子供やお年寄りのも のが少なく、表現しづらいこと。 次に読むべき論文は？ BALTRUSAITIS, T., ROBINSON, P., AND MORENCY, L.-P. 2012. 3d constrained local model for rigid and non-rigid facial tracking. In CVPR, 2610‒2617.
- 68. Anima&ng Human Dressing Alexander Clegg Georgia Ins&tute of Technology 概要 人間が服を着る動きをシミュレートする。 h<ps://youtu.be/PS76m6ApOus 先行研究との比較 従来できなかったTシャツの上にYシャツを重ね着 するなどのシミュレーションも行うことができ、より リアルなCGアニメーションを作れるようになった 手法のキモ 服の構造を解析して、どこを引っ張るべきかや、 腕や足を通すかなど決定しいくつかのモーション から最適なものを使ってシミュレートする 有効性 実際の人間と比較したり重ね着をさせて、従来の シミュレーションよりもより人間らしい物が生成さ れた 議論の余地 服のポリゴン数が約5~30kで、服の動きと適切な 着方のモーションをシミュレートしなければならず、 多いもので計算時間が20時間になる場合もある。 次に読むべき論文 BAI, Y., AND LIU, C. K. 2014. Coupling cloth and rigid bodies for dexterous manipula&on
- 69. RetroDepth: 3D Silhoue/e Sensing for High-‐Precision Input On and Above Physical Surfaces David Kim1,3, Shahram Izadi1, Jakub Dostal4, Christoph Rhemann1, Cem Keskin1 Christopher Zach1, Jamie Shotton1, Tim Large2, Steven Bathiche2 Matthias Nießner5, D. Alex Butler1, Sean Fanello6, Vivek Pradeep2 1Microsoft Research 2Microsoft 3Newcastle University 4University of St. Andrews 5Stanford University 6Italian Institute of Technology どうやって検証したか KinectやLeap Mo-onと比較した。 議論はあるか 既に安価なものであるが、実用化時に どれくらい安価にできるかがわからない。 次に読むべき論文 Akaoka, E., Ginn, T., and Vertegaal, R. Displayobjects: prototyping func-onal physical interfaces on 3d styrofoam, paper or cardboard models. In TEI’10, ACM (2010), 49–56 どんなもの？ ステレオカメラと赤外線ＬＥＤで手や物体の 3次元輪郭を高精度に取得し、非常に細かい 3D操作インターフェースを構築した。 先行研究と比べて 既存のLeap Mo-onと比べて、こちらの方が 出来るインタラクションが多い。 技術や手法のキモ Retro-‐reflec-veなデバイスを床に置き、 画像のセグメンテーションを助けることで 綺麗な3D輪郭を取得している。
- 70. Andrew D. Wilson MicrosoV Research Shahram Izadi, Otmar Hilliges, Armando Garcia-‐Mendoza, David Kirk Bringing Physics to the Surface MicrosoV Research Cambridge どんなもの？ インタラクティブサーフェイスで物理エンジンを 使ったインタラクションをする際にタッチ入力を どうやって検証したか 提示した5種類の指のモデル化の種類の内 3種類についてユーザテストを行った。 議論はあるか 球などの曲面をもつ物体に掴むなどの動作が うまくいかなかった。 次に読むべき論文 Wilson, A. Simula-ng Grasping Behavior on an Imaging Interac-ve Surface Interac-ve Tabletops and Surfaces (ITS) 2009 どのようにモデル化すればよいかというもの。 先行研究と比べて 既存のタッチ画面上で物理的に動いて 見える効果は事前にプログラムされていた ものだったが、この論文では一般的な物理 エンジンを用いている。 技術や手法のキモ Vision-‐basedなタッチデバイスを使用する ことで指の形や画面付近の物体の様子 などの情報も得た。
- 71. どんなもの？ 体の胸に魚眼カメラを取り付けて、１人 称視点で全身のジェスチャーを取得す る。 先行研究と比べてどこがすごい？ 技術や手法のキモはどこ？ 次に読むべき論文は？ キャプチャがウェアラブルな魚眼カメラ だけ。 ４つの実用的な例で、概念実証を行っ た。 どうやって有効だと検証した？ 議論はある？ h#ps://www.youtube.com/watch?v=JYm_3oNUGIk 魚眼レンズで撮影できない、背中側の モーションはキャプチャできない。 Humantenna:Sensing Gestures Using the Body as an Antenna 2012, Gabe A. Cohn 赤外線カメラで体のパーツや動きを 正確にキャプチャできる。
- 72. 内容 風による木の揺れ、枝折れ、葉の落下を 再現した成長の変化のシミュレーション A Study on the AnimaMons of Swaying and Breaking Trees based on a ParMcle-‐based SimulaMon Yasuhiro AKAGI Tokyo University of Agriculture and Technology Katsuhiro KITAJIMA Tokyo University of Agriculture and Technology 先行研究との比較 • SPH法を使用することでメッシュの 生成のミスを防げ、木の変形や破 壊のシミュレーションが可能 • 速度によって枝の折れる位置など が違う SPH法の利点 • 簡単に粒子同士の問題として シミュレーション • 構造の変化に強い • 並列化による高速化 注目する技術 • ばね質量系を使用した木の内 部の力の計算 • 枝が折れた後の表面の再現 次に読むべき論文 Windy Trees: Compu4ng Stress Response for Developmental Tree Models （内容） 木の風の影響による成長の変化 ユーザーによる操作 • 折れる力の設定 • パーティクル間の距離
- 73. どんなもの？ 先行研究と比べてどこがすごい？ 議論 どうやって有効だと証明したか？ 次に進むべき論文 技術や手法のキモはどこか？ テーブルをタッチパネルのようにできるシ ステム。 本来画面ではない机などをタッチディスプ レイとして利用できる。モニタのないモバ イルコンピュータが作れる。 プロジェクターで画面を投影し、カメラを用 いて手を検出し、タッチしてるか否かなどを 判定する 実際にプロトタイプを作成し、狙い通りの 動作ができることを技術的に実証した。 OmniTouch: wearable multitouch interaction everywhereかな？ 柔軟性という点ではとても有用な技術だが、 特定の作業においてはコストや精度に関し て従来技術の方が優れている PlayAnywhere: A Compact Interactive Tabletop Projection-Vision System
- 74. どんなもの？ 先行研究と比べてどこがすごい？ 議論 どうやって有効だと証明したか？ 次に進むべき論文技術や手法のキモはどこか？ 最大６人しか使用できない Combining Mul,ple Depth Cameras and Projectors for Interac,ons On, Above, and Between Surfaces LightSpaceという部屋装置 仮想物体を持つことができる ユーザーをより完全な仮想3D環境に入れることにより オブジェクトを「拾う」ことができる 机と壁に投影できる技術(Surround-‐screen projec7on-‐ based virtual reality等) マルチタッチ(DepthTouch、Interac7ons in the Air) デモイベントで800人の人に利用してもらい応答性との 堅牢性をテストした The Office of the Future
- 75. Rigid-Body Fracture Sound with Precomputed Soundbanks どうやって有効だと検証した？ 先行研究と比べてどこがすごい？ 技術や手法のキモはどこ？ 議論はある？ 次に読むべき論文は？ どんなもの？ 脆い物が壊れたときに発生する小さな欠片の落 下音をあらかじめ計算されたサンプルデータか ら自動生成する 脆い物が落下する3D映像に合わせて音が自動生 成されること。以前は実際に録音した落下音に 合わせて映像が作られていたが、これは逆。 欠片の落下音を自動生成する時にサウンドバン ク(音のデータベース)から選択することで、新た に生成するより時間や労力の短縮になる 3D映像で作成された欠片を全て楕円体に置き換 えて、素材の固有周波数や落下距離によって音 が変わるようにした。 粉砕するのではなく割れ目が入る物には適用で きない。何の物質で構成されているか分からな いものの音は生成できない。 O BRIEN, J. F., AND HODGINS, J. K. 1999. Graphical modeling and animation of brittle fracture. In SIGGRAPH 99
- 76. Video Collections in Panoramic Contexts James Tompkin Fabrizio Pece Rajvi Shah Shahram Izadi Jan Kautz Christian Theobalt パノラマ画像に映像を埋め込んだも の 動画を空間的にも、時間的にも探す ことができ、複数の動画の再生がで きる。 方位データや特徴抽出を利用してパ ノラマと動画をマッチさせる手法 被験者が正しく動画集を空間的・時間 的に把握できるか実験した。 動画の方向データが必要・方向データ に依存する Video Enhanced Gigapixel Panoramas. Pirk, S., Cohen, M. F., Deussen, O., Uyttendaele, M., and Kopf, J. 先行研究と比べてどこがすごい？ どんなものか？ 技術や手法のキモはどこ？ どうやって有効だと検証した？ 議論はあるか？ 次に読むべき論文は？
- 77. Phone as a Pixel: Enabling Ad-‐Hoc, Large-‐Scale Displays Using Mobile Devices 先行研究と比べてどこがすごい？ どんなもの？ 技術や手法のキモはどこ？ どうやって有効性を検証した？ 議論はある？ 次に読むべき論文は？ 小さなデバイスを集めて大きなアドホックディスプレ イを創造したい.そのための拡張が容易で、自由な同 期ができる独立したプラットフォームシステム. デバイスを任意に配置でき、いつでも再調整なしにデ バイスを追加でき、必要なものは普通のカメラ1台と インターネット接続、webブラウザだけである点. 同時に多くのデバイスを認識・識別し、位置を把握し て同期する技術。 ディスプレイの認識・識別にかかる時間を100から 1000台まで100台ごとに、ディスプレイにデバイスの シミュレータを表示して調べたところ、カメラは全て のデバイスを識別するのに3 6秒かかった. 屋外の晴れた状態での使用が光の反射等により困難. 識別中、識別後のデバイスの移動は駄目. ・Si#ables: Towards Sensor Network User Interfaces Julia Schwarz, David Klionsky, Chris Harrison, Paul Dietz, Andy Wilson
- 78. The Throat Ⅲ Disforming OperaJc Voices Through a Novel InteracJve Instrument ~どんなもの~ 一般人の人間は、声で表現をする(歌う)時、持っている歌 唱能力が追い付いていない。 この研究では、手に取り付けたセンサを”喉”と想定して読 み取った値を音声に反映するというものである。 ~先行研究と比べてすごいところ~ 完全に実用レベルまで来ている点。 ~技術や手法の肝はどこか~ Body voiceという通り、人が歌う際に感情が高まると手にそ の動きが反映される。これを似たパターンで認識して音声 に反映させている点。 ~有効性の検証方法~ 被験者二人に実際にオペラを演じてもらった。 ~議論はあるか？~ マイクで拾ってＰＣで処理をかけるのではなく、変調(声の加 工)は直接筋刺激や電磁力駆動にして、処理もマイコンなど を使ってリアルタイム処理させられそう。出したい声への差 がわかれば、歌唱練習にも使えそう。 ~次に読むべき論文は？~ “The new Interface for Musical Expression” 2011 Elbasus,L
- 79. Bundled camera paths for video stabilization Shuaicheng Liu, Lu Yuan, Ping Tan, Jian Sun どんなもの？ • スタビライザの機能を果たすソフト ウェア 先行研究と比べてどこがすごい？ • 修正時の映像の歪みが従来のものに 比べて小さい 技術や手法のキモはどこ？ • ビデオの領域を分割し、それぞれの領 域ごとに手ブレ補正をかけて合成する どうやって有効だと判断した？ 次に読むべき論文は？ 議論はある？ • 実際に動画に対して実行し、従来の ものと実行結果を比較 CHO, S., WANG, J., AND LEE, S. 2012. Video deblurring for hand-held cameras using patch-based synthesis. ACM Trans. Graph. (Proc. of SIGGRAPH) 31, 4. • モーションの精度とスタビライズ実 行結果の安定性が犠牲になっている
- 80. Toward High-Quality Modal Contact Sound Dynamic Sources in Complex Scenes Changxi Zheng Doug L. James どんなもの？ 先行研究と比べてどこがすごい？ 技術や手汰のキモは何？ どうやって有効だと検証した？ 議論はある？ 次に読むべき論文は？ 動画のリンク https://www.youtube.com/watch?t=108&v=BjZ7CV6giII 物理モデルにおける、剛体が衝突するときに発生する音について、より 品質の高い音を生成することに成功した。 従来よりノイズを抑えること、チャタリングを再現すること、接触による 音の減衰に成功している。 従来解決されていなっ方各問題に対して新しいアルゴリズムを用いて 、物理モデルの衝突の動きから音をレンダリングすることに成功している 点。 より早くより正確にする方法を探る。もっと複雑な状況でも再現できる する。フォークがマグカップに落ちた時の空洞内での共鳴などは上手く することができない。 同環境での物理実験においてサンプリングされたデータを、実際に生 された音の成分と比較することによって検証した。 「Precomputed Acoustic Transfer」同著者の、複雑な物体から発 音の生成についての論文
- 81. どんなものか 粒子状の物体をそれぞれの制約に従って結合さ せ、実時間で気体や液体、やわらかい物体や硬い 物体や布に至る物理現象を表現する。 先行研究と比べてすごいところ 物体の種類によって分割してシミュレートするのが 一般的だったが、このソフトウェアでは統一された 環境内で幅広い種類の現象を実時間でシミュレー トすることができる。 技術や手法について 全ての物体の基礎として粒子状の物体を使用す る。粒子状の物体に反発する性質や結合が弱い 性質など様々な条件を適用し液体や固体の性質 を擬似的に表現している。 Unified Particle Physics for Real-Time Applications 有効だと検証した方法 実際に複数の異なる性質を持つ物体同士の相互 効果をシミュレートした。流体に布やロープや固体 が着水したり気体の流れが布を押す現象、流体が 硬い物質にぶつかった時の現象などを再現した。 議論 実時間でのシミュレーションを目標としているので、 物理処理のリアルさという点においては多少の妥 協がある。シミュレート効率にまだ少し悪さが残る。 次に読むべき論文 Linear(me smoke anima(on with vortex sheet meshes.
- 82. Facial Performance Sensing Head-‐Mounted Display どんなもの？ 先行文献と比べてどこがすごい？ 技術や手法のキモはどこ？ どうやって有効だと検証した？ 議論はある？ 次に読むべき論文は？ ヘッドマウントディスプレイ（HMD）を身につ けたままユーザーの表情をリアルタイムに アニメーションにできる。 歪みセンサを用いることで、現状のRGB-‐ D（色以外に奥行きを見る）カメラでは曖昧 にしか認識できなかった部分を正確にトラッ キングできた。 目元をトラッキングするのに、歪みセンサを 用いた。表情を機械学習して一瞬先の表情 を予測する。 異なる複数人のユーザーに開発したHMDを つけて様々な表情をしてもらった。生成され たアニメーションはユーザーの表情を正確 に捉えた。 開発したフレームワークは、ユーザーごとに 使用前に調整が必要。将来的には人の顔 のモデルをデータベース化して、その工程 を覗けるようにしたい。 Real(me performance-‐based facial anima(on.
- 83. Emo$onal Remapping of Music to Facial Anima$on Steve DiPaola Ali Arya どんなもの？ 音楽から感情に関するデータを抜き出し、そのデータを翻 訳・変換し、3Dの顔表情動画を作成する手法についての 研究 先行研究と比べてどこがすごい？ 翻訳といえば、記述されたイベントや文章に対する、文字 上の変形であったが、本研究は、感情を異なる形へと変 形させる。 技術や手法のキモはどこ？ 人間の動作から顔の表情を表現するFace Objectとその データを異なる変量で保持する多次元空間Facespaceを 用いた点 議論はある？ データを表情にマッピングするルールを増やすことで、よ り自然な表情を作ることができる 次に読むべき論文は？ Arya, Ali, and Steve DiPaola. "Face As A Mul$media Object." Intl Workshop on Image Analysis for Mul7media Interac7ve Services. 2004. 参考動画URL hJps://www.youtube.com/watch?v=c1sCWfpYvSI
- 84. Tabletop: Touch-‐Enabled Virtual Percussion Instruments Zhimin Ren, Ravish Mehra, Jason Coposky, and Ming C.Lin どんなもの？ ユーザーが一つのディスプレイ上にて共同で音楽を競うことができ、仮 想空間の柔軟性をもった、仮想パーカッション演奏システム 先行研究と比べてどこがすごい？ 一つのプラットフォームで同時に異なる楽器を演奏できる 音合成と音響効果シミュレーションの連結で、多様な音が表現できる 異なる素材、形、大きさの新しい楽器を柔軟に作ることができる 技術や手法のキモはどこ？ 物理ベースの音合成 マルチタッチの卓上ディスプレイで仮想パーカッション演奏を実現でき るアルゴリズム 議論はある？ 手のどこで叩くかを正確に予測することができない。また人によっても 手の大きさ、太さが違う スポンジのマレットをつかわなければならない 叩く強さの上限がきまってしまっている どうやって有効だと検証した？ 異なる年齢の様々な音楽経験をもつ人々に使用してもらう 次に読むべき論文は？ 物理モデル、マルチディスプレイ、音声合成関係の論文 参考動画 hJps://www.youtube.com/watch?v=i7D_ao-‐LUBw
- 85. A Programmable System for Ar1s1c Volumetric Lightning Derek Nowrouzezahrai, Jared Johnson, Andrew Selle, Dylan Lacewell, Michael Kaschalk, Wojciech Jarosz Disney Research Zurich Walt Disney Anima1on Studios (hHps://www.youtube.com/watch?v=C83PuWiAvbg) どんなもの？ 2Dで描いた炎や煙などのイラストに時間や動く向き の情報を加えることで、ボリューメトリックなエフェク トを作ることができる。 先行研究と比べて何がすごいの？ 今まで直観的だったボリューメトリックなエフェクトを光 子ビームの考え方を使って一般化してコントロールで きるようにした。 技法や手法のキモはどこ？ ベテランアーティストがボリューメトリックエフェクトを 使用する際にモデリングとシェーディングの作業を 別々に行っていたのを模倣した。今まで幾何学的に やってきたことを光子ビームの考え方に変えた。 どうやって有効だと検証した？ 実際にこの技術は2010年公開の映画「塔の上のラ プンツェル」の作品の中で使用された。 議論はある？ 実践的なボリューメトリック現象にすべてが対応し ていないこと。しかし、従来難しいとされていた束の 表現は光子ビームによって簡単に表現できるように なるだろう。 次に読むべき論文は？ Kerr and Pellacini [2009; 2010]
- 86. A material point method for snow simula1on Alexey Stomakhin, Craig Schroeder, Lawrence Chai, Joseph Teran, Andrew Selle University of California Los Angels Walt Disney Anima1on Studios (hHps://www.youtube.com/watch?v=9H1gRQ6S7gg) どんなもの？ 雪に関するCGアニメーション生成テクノロジーを開発 した。 先行研究と比べて何がすごいの？ 雪の水分量を調節して、さまざまなタイプの雪による 趣味レーションが可能。 技法や手法のキモはどこ？ 固体力学と流体力学をまとめた連続体力学による技 法を利用した。 どうやって有効だと検証した？ 実際にこの技術は2014年公開の映画「アナと雪の 女王」の作品の中で使用された。本物と見間違える ようなその美しさに全米が泣いた。 議論はある？ なだれや粉雪の表現で重要な空気とのインタラク ションに改善の余地があった。 次に読むべき論文は？ Anima9ng sand as a surface flow. Zhu and Bridson [2005]