洋服サイズ計測アプリの開発～日常に溶け込むMagicLeapを目指して～

1
洋服サイズ計測アプリの開発
～日常に溶け込むMagicLeapを目指して～
Magic Leap × docomo MeetUp vol.1

2
松下日昇 @ ARヒノボル
ホロラボ在籍
元Mercari, Inc. R4D XR Research
Engineer
大学院ではComputer Vision /
Deep Learningを専攻
電脳コイルが好き

3
アプリの概要
アジェンダ
カメラ周辺処理の実現02
01
まとめと感想03

4
アプリの概要
Brief app introduction

5
概要
● どんなもの？
○ 洋服のサイズを簡単に計測できるML1アプリ
● なぜやった？
○ AR/MRが日常に潜む不便を解消する技術に
なり得ると示したかった
○ Magicverseの思想に繋がる（ブログ）
● いつやった？
○ メルカリR4D-XR 所属時に開発
● その他
○ AWE USA 2019 にて初公開・展示
○ 特許出願済み
（メルカリの許可を得て発表してます）
AWEでの展示の様子

6
AIとARを掛け合わせることで，洋服を一瞥し，トリガーを一回引くのみで，
サイズを測定できる簡単便利なMagicLeapOneアプリ
コンセプト

8
計測の流れ① ~Detect planar of clothes~
服のある平面
エッジデバイス側で，平面が
ワールド座標系においてどこ
に存在しているのか，自分と
の位置関係がどうなっている
のかは検出できる
しかしどの平面が服のある
平面かは判断できない
なので写真撮影した瞬間，
カメラが向いている先にある
平面を「服のある平面」
として記録する
他の平面
他の平面
X
Y Z
ワールド座標系

9
計測の流れ② ~Detect keypoints by AI~
MultiPoseNet[1]の内のKeypointEstimationSubnet
を実装したサーバー
[1] Kocabas, M., Salih K., and Emre A. "Multiposenet: Fast multi-person pose estimation using pose residual network." ECCV 2018.
カメラ画像
Keypoints
アップロード
ダウンロード

10
計測の流れ③ ~Plot 2D points to 3D points by AR~
デバイスが記録している平面
（洋服がその上にあると仮定）
カメラ中心
カメラ
画像平面
X
Y Z
RaycastV
U
(u, v)
Rayが平面に衝突した場所
= 求めたい3次元点 (x, y, z)
画像座標系
3次元点が求まれば，
2点間の距離を出せばサイズが分かる！
例）肩幅なら3, 4の距離を測定

11
カメラ周辺処理の実現方法
Details about camera processing

12
【前提】カメラ周りの座標系とその変換
カメラ中心
カメラ
画像平面
V
U
ワールド原点
X
Y Z
画像座標系
X
M
Y
M
Z
M
MainCameraの座標が原点
ML1座標系
XC
YC ZC
cameraToWorldMatrix
で座標変換
撮影カメラ座標系
回転はなく、平行移動のみ
カメラ内部パラメータで変換

13
プロットを実現するために必要な情報（ワールド座標系）
②カメラ中心
カメラ
画像平面
X
Y Z
RaycastV
U
③keypoint
(u, v)
ワールド
座標系
画像座標系
XC
YC
ZC
カメラ
座標系
① プロット先となる平面情報
= 服が置かれている平面
② RayCastの始点
= カメラ中心 = カメラ座標系の (0, 0, 0)
= ワールド座標系におけるカメラ中心
③ RayCastの方角
= カメラ中心から見てkeypointがある方向
= 画像座標系におけるkeypoint
= カメラ座標系におけるkeypoint
= ワールド座標系におけるkeypoint
ワールド中心
①

14
②カメラ中心
カメラ
画像平面
X
Y Z
RaycastV
U
③keypoint
(u, v)
ワールド
座標系
画像座標系
XC
YC ZC
カメラ
座標系
ワールド中心
①
既知未知

15
ML1 での画像キャプチャの基本（Unity の場合）
MLCamera API を使い外部カメラで
撮影した画像を取得可能
ただし、スクリーンを通して見る像
とは位置のずれが発生する
MLCamera
で利用される
外部カメラ
カメラ画像: 1960x1080
スクリーン画像: 1280x960
スクリーン画像とカメラ画像のおおよその位置関係

16
ML1 の中心点と撮影用カメラとの位置関係
ML1の中心点
撮影用カメラ
の中心点
約11.5cm
約6.6cm
X
Y
Z
XC
YC
ZC
ML1
座標系
カメラ座標系
カメラ座標の(0, 0, 0)
→z方向に+0.066, x方向に-0.115平行移動でML1座標系に変換
→cameraToWorldMatrixでワールド座標系に変換
②~RayCastの始点~への答え
実はML1の中心点と、撮影
用カメラの中心点は異なる
そのためずれが生じていた
SDK v0.19当時はこの情報が
出ていなかったので、
定規でふんわり計測した

17
カメラ/ワールド座標系でのkeypointを求める
画像座標とカメラ座標間の関係式より
と表せる
→内部パラメータが分かれば良い（zcは任意）
→カメラキャリブレーションで取得カメラ中心
カメラ
画像平面
RaycastV
U
③keypoint
(u, v) / (xC, yC, zC)
画像座標系
XC
YC
ZC
カメラ
座標系
カメラ座標点
内部パラメータ
（未知）
画像座標点（
既知）
画像座標系のkeypoint
→上記の式からカメラ座標系に変換
→平行移動してML1座標系に変換
→cameraToWorldMatrixでワールド座標系に変換
③~RayCastの方向~への答
え

18
②カメラ中心
カメラ
画像平面
X
Y Z
RaycastV
U
③keypoint
(u, v)
ワールド
座標系
画像座標系
X
C
Y
C
Z
Cカメラ
座標系
ワールド中心
①
全て既知

19
ほかにも気を付けるべきこと
● システムによって座標系が異なる
○ 座標変換を忘れずに行う（大事）
○ cameraToWorldTransformはUnityの関数なのになぜかOpenGL形式なので罠
X
Y
Z
X
Y
ZX
Y Z
Unity OpenCV OpenGL

21
まとめと感想
● カメラ周りの処理は、座標系が絡んで混乱しがち
○ 一度理解できれば、それ以降は楽
日常に溶け込ませるためには・・・
● ARと相性の良いAIの活用
○ カメラにより常に現実をとらえ続け、AIによってコンテキストを人間の代わりに理解し、
結果をディスプレイに分かりやすく表示できるから
○ エッジデバイスであるML1のみでGPUを利用したDLが動かせるようになってほしい
● 洗練されたUI/UX
○ 機能は完成しても、UI/UXが洗練されていないと使ってもらえない
○ （もっとML側でベースとなるようなUIを用意してほしいなぁ）
■ 弊社のたるこすがMRTKをML1に対応させたもの

22
【補足】実はアップデート(v0.22)によって
MLCamera API にカメラパラメータと、カメラ中心とワールド中心の位置関係
が取得できるようになっていた........!!!?!??
● GetIntrinsicCalibrationParameters()
○ Get camera intrinsic parameter.
● GetFramePose()
○ Get transform between world origin and the camera.
これからはこの値を使うことでより簡単に、正確に測定することが可能（血涙）

洋服サイズ計測アプリの開発～日常に溶け込むMagicLeapを目指して～

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 洋服サイズ計測アプリの開発～日常に溶け込むMagicLeapを目指して～

Similar to 洋服サイズ計測アプリの開発～日常に溶け込むMagicLeapを目指して～ (20)

More from NishoMatsusita

More from NishoMatsusita (6)