3. 過去10年のSIGGRAPH
に見る合成技術の変遷
2009
“Digital Emily Project”
O. Alexander et al
2010
“High-Quality Single-Shot
Capture of Facial Geometry”
T. Beeler et al, ETH/DRZ
“Example-Based Facial Rigging”
H. Lit et al, ETH/Zurich/EPFL
2011
“Interactive Region-Based
Linear 3D Face Models”
J. R. Tena et al, DRP
“Realtime Performance-Based
Facial Animation”
T. Weise et al, EPFL
2012
“Lightweight Binocular Facial
Performance Capture under
Uncontrolled Lighting”
L. Valgaerts et al, MPI
2013
“Realtime Facial Animation
with On-the-fly Correctives”
H. Li et al, ILM
2014
“Facial Performance
Enahncement using
Dynamic Shape Space”
A. H. Bermano et al, ETH/DRZ
“Automatic Determination of
Facial Muscle Activations
From Sparse Motion
Capture Marker Data”
E. Sifakis et al, Stanford
2005
2004
“Universal Capture:
Image-based Facial
Animation and Rendering
for the Matrix sequels”
G. borshukov et al, Stanford
“Spacetime Expression Cloning
for Blendshapes”
Y. Seol et al, KAIST/WETA Digital
https://www.youtube.co
m/watch?v=Eb7zzrtgdEE
13. “Interactive Region-Based Linear 3D Face Models”
J. R. Tena, F. De la Torre and I. Mathews, SIGGRAPH2011
アニメーション作成のための面倒なブレンド率設定をスライダではなく
顔表面上の点を掴んで移動させるような直観的UIで対話的操作により実現する手法
顔を領域分けすることにより少ないターゲットシェイプの組しかない状態でも
変形の自由度を確保している点が優れている
Demo movie is available on
http://www.disneyresearch.com/project/interactive-region-based-linear-3d-face-models/
14. “Interactive Region-Based Linear 3D Face Models”
J. R. Tena, F. De la Torre and I. Mathews, SIGGRAPH2011
・ユーザがピン＆ドラッグして移動した点に一致するような、
キャラクタのターゲットシェイプの組み合わせ（重み）を領域ごとに推定する。
・領域間での動きの不整合が起きないように領域間の境界部分の位置が
同じになるような制約をつけて問題を解いている点が肝
15. “Realtime Performance-Based Facial Animation”,
T. Weise, S. Bouaziz, H. Li and M. Pauly, SIGGRAPH2011
ユーザ自身の演技によりリアルタイムでキャラクタの顔表情をコントロールする
マーカレスなパフォーマンスベースのキャラクタアニメーションシステム
入力は３Ｄセンサー(Microsoft Kinect など)で撮影されたユーザの表情
FaceShift (http://www.faceshift.com/) として最低 ＄800/年から利用可能
ユーザＡ
ユーザＢ
ユーザＡの
キャプチャされた表情
ユーザＡの表情が
写されたキャラクタの表情
3Dセンサー
16. “Realtime Performance-Based Facial Animation”,
T. Weise, S. Bouaziz, H. Li and M. Pauly, SIGGRAPH2011
・Kinect等の低品質な色・奥行き情報から個人特有のターゲットシェイプの組を作る
奥行きと色の積層 ＋ テンプレートのフィッティング
＋ Example-based Facial Rigging (15表情→39表情)
・登録時に記録した顔のアニメーションを事前知識として、
テクスチャと形状双方の位置合わせによる顔のトラッキング
17. オンライン処理：
データ獲得・前処理・位置合わせ・表示：5ms 以下
非剛体位置合わせ：45ms/frame
Intel i7 2.8GHz with 8GB MEM
オフライン処理：
各表情に対する特徴点指定：2分/表情
ユーザ入力に対する表情モデルの計算：10分以下
アニメーションの事前知識計算：10～20分
Demo movie is available on is available on Youtube; https://www.youtube.com/watch?v=8kbPhG3y8ts
18. “Realtime Facial Animation with On-the-fly Correctives”,
H. Li, J. Yu, Y. Ye, and C. Bregler, SIGGRAPH2013
Kinectのようなデプスセンサを使って特別なセットアップ無しに
無表情顔を入力するだけでリアルタイムでのパフォーマンスキャプチャができる
撮影したアクターの表情へ適応するように初期のターゲットシェイプの組
（FACSに基づくテンプレートモデルから成る）をオンライン学習により更新する
顔のトラッキング性能の改善だけでなく転写先のキャラクタの表情をより豊かに
Demo movie is available on is available on Youtube; https://www.youtube.com/watch?v=X7y2RZdyZK0
19. “Realtime Facial Animation with On-the-fly Correctives”,
H. Li, J. Yu, Y. Ye, and C. Bregler, SIGGRAPH2013
・デプスセンサの入力から個人の23個のFACSに基づくターゲットシェイプの組を生成
・入力の各フレームに対してブレンドシェイプをフィッティングすることで顔を追跡
・フィッティング性能を改善するための7個の矯正用のシェイプを学習していく
20. “High-Quality Single Shot Capture of Facial Geometry”,
T. Beeler, B. Bickel, P. Beardsley, B. Sumner and M Gross, SIGGRAPH2010
ステレオカメラを使って標準的な照明環境下で顔の3次元形状を計測するシステム
サブミリメートル精度で映画産業で要求される品質を持つ（細かさ毛穴レベル）
プロ用のカメラ構成でも一般向けの3Dデジカメでも撮影可（将来的にはスマホも？）
細かいスケールの形状をステレオ法の改善が肝
7台の1眼カメラで撮影 １台の３Dデジカメで撮影
Demo movie is available on is available on Youtube; https://www.youtube.com/watch?v=JX5stsU6xfE
21. “High-Quality Passive Facial Performance Capture using Anchor Frames”,
T. Beeler, F. Hahn, D. Bradley, B. Bickel, P. Beardsley, C. Gotsman,
B. Sumner and M Gross, SIGGRAPH2011,
特に光を当てたりしないマーカレスなフェイシャルパフォーマンスキャプチャ技術
参照表情として選んだ表情と似た顔表情を含むフレームを Anchor frame と定義
参照表情から全てのAnchor Frame 画像間のピクセルをマッチさせる
ロバストなトラッキング手法を導入（これにより対応が取られて行く）
演技全体を単一の三角形メッシュで高精度に表現することができる
（結果のメッシュはすべて頂点毎の対応が取れているため分析がし易い）
Demo movie is available on http://graphics.ethz.ch/publications/papers/paperBee11.php
23. References
1. J. R. Tena, F. De la Torre and I. Mathews, “Interactive Region-Based Linear 3D Face
Models”, Proc. of ACM SIGGRAPH2011,Vol. 30, Issue 4, Article No. 76, 2011
2. H. Li, T. Weise and M. Pauly, “Example-Based Facial Rigging”, Proc. of ACM
SIGGRAPH2010,Vol. 29, Issue 4, Article No. 32, 2010
3. T. Weise, S. Bouaziz, H. Li and M. Pauly, “Realtime Performance-Based Facial
Animation”, Proc. of ACM SIGGRAPH2011,Vol. 30, Issue 4, Article No. 77, 2011
4. H. Li, J. Yu, Y. Ye, and C. Bregler, “Realtime Facial Animation with On-the-fly
Correctives”, Proc. of ACM SIGGRAPH2013, Vol. 32, Issue 4, Article No. 42, 2013
5. T. Beeler, B. Bickel, P. Beardsley, B. Sumner and M Gross, “High-Quality Single Shot
Capture of Facial Geometry”, Proc. of ACM SIGGRAPH2010, Vol. 29, Issue 4, Article No.
40, 2010
6. T. Beeler, F. Hahn, D. Bradley, B. Bickel, P. Beardsley, C. Gotsman,
B. Sumner and M Gross, “High-Quality Passive Facial Performance Capture using
Anchor Frames”, Proc. of ACM SIGGRAPH2011, Vol. 30, Issue 4, Article No. 75, 2011
