Lumin OS 0.98.20 と Lumin SDK 0.25 と Magic Leap 2 について

MAGIC
LEAP
2021
2
Lumin OS 0.98.20 と Lumin SDK
0.25 と Magic Leap 2 に
ついて
2021.04.15
Magic Leap Meetup vol.3 in Japan

MAGIC
LEAP
2021
目次
01. 自己紹介
02. Lumin OS 0.98.20 について
03. Lumin SDK 0.25 について
04. Zero Iteration Frontend について
05. Magic Leap 2 について
06. まとめ
3

MAGIC
LEAP
2021
4
自己紹介
01

MAGIC
LEAP
2021
Place image here
自己紹介
5
Sadao Tokuyama
株式会社OnePlanet
XR Enginner　徳山禎男
tokuyama@1planet.co.jp
Twitter: @tokufxug

MAGIC
LEAP
2021
ML Music Live
6
Place image here
音楽と連動して空間が動き出す音楽鑑賞用ア
プリケーション
Place image here
Giant Pizza Tower
自宅などの屋内環境を活用し、天井から降っ
てきたピザをキャッチするゲーム
● 開発ツール： Unity
● 平面検出機能を使用。
● https://world.magicleap.com/ja-jp/det
ails/jp.co.1planet.concepts.giantpizz
ayower
● 空間認識を使用。
ails/com.mlchallenge2.wireframe
自己紹介
Magic Leap World にリリースした
アプリケーション（弊社開発）

MAGIC
LEAP
2021
Spatial Tag
7
Place image here
現実空間に付箋を貼りつける
Landscapeアプリ
Place image here
Invisible Laughing Ghost
見えないゴーストを音声とライトで
見つけて退治するゲーム
● 空間オーディオを使用。
ails/net.magicmodelers.invisiblecryin
gcreature
Handrawn
Place image here
球体をつなげてモデルを作成する
アプリ
● ハンドトラッキングを使用。
ails/net.magicmodelers.concepts.ha
nddrawn
● 開発ツール： Magic Script
● 複数のPrism生成処理を実施。
ails/net.magicmodelers.magicleap.c
oncepts.spatialtag
自己紹介
Magic Leap World にリリースした
アプリケーション（個人開発）

MAGIC
LEAP
2021
8
Lumin OS 0.98.20
について
02

MAGIC
LEAP
2021
Lumin OS 0.98.20 について
01. オクルージョンの無効化
02.複数のフルスクリーンアプリの起動
03. Helio ブラウザのアップデート
9

MAGIC
LEAP
2021
Place image here
Place image here
オクルージョン OFF
01. オクルージョンの無効化
Lumin OS 上で表示するオブジェクトのオクルージョンの切り替えが可能。
10
オクルージョン ON
Lumin OS 0.98.11までは、必ずオクルージョ
ン機能が働いていた。（ OFFにできなかっ
た。）
デフォルト設定は OFF

MAGIC
LEAP
2021
01.オクルージョンの無効化
オブジェクトのオクルージョンの切り替えが可能。
11
Prism Occlusion
ONにするとオクルージョンが有効と
なる。

MAGIC
LEAP
2021
Landscapeアプリケーションも対象。
12
Prism Occlusion ON
Prism Occlusion OFF
Prism Occlusion ON
Prism Occlusion OFF
Social Helio

MAGIC
LEAP
2021
Prism Occlusionが機能しない時がある。
13
Prism Occlusion を ON の状態で Landscape アプリケーション（Galallyなど）
を起動すると Occlusion が行われなくなる。
Prism Occlusion を ON だが、
隠れないまま表示される。
Prism Occlusion OFF → ON で
隠れて表示される。

MAGIC
LEAP
2021
01. メニューのオクルージョンを無効化
14

MAGIC
LEAP
2021
15
複数のフルスクリーンアプリを起動
できるようになりました。

MAGIC
LEAP
2021
16
条件
　メモリ4GB内であること。4GBを超えた時点で
　自動的にアプリは閉じられます。

MAGIC
LEAP
2021
17
特徴
　バックグランドで起動しているアプリは一時停止
　状態になります。

MAGIC
LEAP
2021
18
アプリの終了方法
Landscape Managerを使って終了。（アプリが複数起動し
ている場合、最後に起動したアプリが
1つ表示される。） Launcherから終了。

MAGIC
LEAP
2021
19
アプリからのアプリ起動による挙動
1. Launch
(MLDispatch.TryOpenAppropriateApplication("xxx://");)
2. Exit or Homeボタン長押し
呼び出されたアプリが閉じられた後、
起動元のアプリに遷移する。

MAGIC
LEAP
2021
01. メニューのオクルージョンを無効化
20

MAGIC
LEAP
2021
03.Helioブラウザのアップデート
21
Helio経由でビデオ会議システムが
利用可能。

MAGIC
LEAP
2021
22
他社のビデオ会議システムのサポート開始

MAGIC
LEAP
2021
23
Helio（Lumin OS 0.98.20）互換表
ソリューション品質補足事項
Google Meets ◎ ビデオとオーディオ共にサポート。
Amazon Chime 〇動作するとビデオが不安定になる。
Microsoft Teams
△
ビデオがユーザーの動きとネットワーク環境により安
定しない。オーディオがたまに途切れる。
Cisco Webex
×
解像度が低くなる。テキストは解読可能だが画像がカ
クカクする。
Zoom
×
ビデオ反応なし。
オーディオのデバイス対応なし。

MAGIC
LEAP
2021
24
ユーザーエージェントの設定
ビデオ会議を行う場合、
ユーザーエージェントは“Linux Desktop”を
設定すること。（Helioで以下の操作を実施。）
> Preferences
> Appearance
> UserAgent
>”Linux Desktop”
設定後、Magic Leap 1 を再起動。

MAGIC
LEAP
2021
25
Google Meets使用時の注意点
Google アカウントのログインを一度も実施していない場
合、ユーザーエージェントは“Mozilla Desktop”を設定する
こと。（Helioで以下の操作を実施。）
> Preferences
> Appearance
> UserAgent
>”Mozilla Desktop”
設定後、Magic Leap 1 を再起動。

MAGIC
LEAP
2021
26
Lumin SDK 0.25
について
03

MAGIC
LEAP
2021
Lumin SDK 0.25 について
はじめに
01. Unityのバージョン
02. Automatic API について
03. その他
新機能
01. Barcode
02. IMU
03. MR Camera
04. Application ID
05. Eye Tracking
06. WebRTC
27

MAGIC
LEAP
2021
はじめに
03. その他
新機能
01. Barcode
02. IMU
03. MR Camera
04. Application ID
05. Eye Tracking
06. WebRTC
28

MAGIC
LEAP
2021
Lumin SDK 0.25 はじめに
29
Lumin SDK 0.25 に対応する
Unity Editor は、2020.2.x。
Lumin SDK 0.25 に対応する
Magic Leap XR Plugin は、
Version 6.1.0-preview 2以降。

MAGIC
LEAP
2021
はじめに
03. その他
新機能
01. Barcode
02. IMU
03. MR Camera
04. Application ID
05. Eye Tracking
06. WebRTC
30

MAGIC
LEAP
2021
31
Automatic APIとは
今まで、Magic Leap APIを使用する際、Startメソッドで開始を行
い、Stopメソッドで停止を実施する必要があった。
Lumin SDK 0.25から一部のAPIにおいて、StartメソッドとStopメ
ソッドを使用せずに利用できるようになった。
これは、Automatic APIのライフサイクルに管理されるため、自
動的に実施されるため、明示的なStartメソッドとStopメソッドを呼
び出す必要がなくなった。

MAGIC
LEAP
2021
32
Automatic APIとは
使用は可能だが【非推奨】の警告が表示される。

MAGIC
LEAP
2021
33
Automatic API 対応一覧
ArUco Tracker Privileges
MRCamera Hand Tracking
IMU Camera
Barcode Scanner CV Camera
Identiﬁer Raycast
Input Planes
Eyes Image Tracking

MAGIC
LEAP
2021
はじめに
03. その他
新機能
01. Barcode
02. IMU
03. MR Camera
04. Application ID
05. WebRTC
34

MAGIC
LEAP
2021
03. その他
35
ArUco トラッキング
Unity用のArUcoトラッキング API 追加。
Exampleは Assets/MagicLeap/ArucoTracker に含まれている。
Found Object
Found ObjectのExampleが
Assets/MagicLeap/FoundObjects に含まれた。

MAGIC
LEAP
2021
03. その他
36
アイトラッキング
瞳孔サイズの取得が可能。
（ミリメートル単位）
瞳孔（ピューピル）サイ
ズが取得できる。

MAGIC
LEAP
2021
03. その他
37
// 左目の瞳孔サイズを取得
MLEyes.LeftEye.PupilSize;
// 右目の瞳孔サイズを取得
MLEyes.RightEye.PupilSize;

MAGIC
LEAP
2021
03. その他
38
通常時は
4.2～4.8ミリ
暗い場所では
5.1～5.5ミリ
明かりを見ると
2.3～2.8ミリ

MAGIC
LEAP
2021
はじめに
03. その他
新機能
01. Barcode
02. IMU
03. MR Camera
04. Application ID
05. WebRTC
39

MAGIC
LEAP
2021
Lumin SDK 0.25 新機能
01. Barcode
40
QRコードのトラッキング
QRコードのトラッキングが可能。
モデル1とモデル2のQRコードをサポート。
エンコードデータの取得と6DoFの位置情報の取得が可能。

MAGIC
LEAP
2021
01. Barcode
41
使用するクラス
UnityEngine.XR.MagicLeap.MLBarcodeScanner

MAGIC
LEAP
2021
01. Barcode
42
MLBarcode の設定情報の作成～設定まで
MLBarcodeScanner.SetSettingsAsync(
MLBarcodeScanner.Settings.Create(true,
MLBarcodeScanner.BarcodeType.All, 0.04f));

MAGIC
LEAP
2021
01. Barcode
43
スキャンを有効にする場合、true
スキャンを無効にする場合、false
バーコードの種類を指定
None, QR, All

MAGIC
LEAP
2021
01. Barcode
44
QRコードを追跡するQRコードの物理的な
サイズ。（0.04の場合、1辺4cm。デフォルト
は0.1で1辺10cm。）この値と異なるQRコー
ドの場合、位置が大きくずれる。

MAGIC
LEAP
2021
01. Barcode
45
MLBarcode トラッキングスタート
MLBarcodeScanner.StartScanningAsync();
MLBarcode トラッキングストップ
MLBarcodeScanner.StopScanningAsync();

MAGIC
LEAP
2021
01. Barcode
46
MLBarcode リザルトハンドラ
public static event Action<BarcodeData>
OnMLBarcodeScannerResultsFound;

MAGIC
LEAP
2021
01. Barcode
47
MLBarcode BarcodeData
// バーコードの位置情報
Pose.position
// バーコードの回転情報
Pose.rotation
// バーコードの文字情報
StringData

MAGIC
LEAP
2021
はじめに
03. その他
新機能
01. Barcode
02. IMU
03. MR Camera
04. Application ID
05. WebRTC
48

MAGIC
LEAP
2021
02. IMU
49
IMU
LightwearおよびLightpackのIMUハードウェアデータ
にアクセスするAPI。

MAGIC
LEAP
2021
02. IMU
50
IMU
UnityEngine.XR.MagicLeap.MLIMU

MAGIC
LEAP
2021
02. IMU
51
IMU
1024個のSampleデータが返却される。
// Lightwear IMU取得
MLIMU.Sample[] imuSamples =
MLIMU.LightwearLeftIMU.GetCurrentData().Samples

MAGIC
LEAP
2021
02. IMU
52
IMU
Sampleのプロパティ
// 直線加速度のタイムスタンプ（単位：ms）
LinearAccelerationTimestamp
// 回転速度のタイムスタンプ（単位：ms）
RotationalVelocityTimestamp;
// 直線加速度（メートル毎秒毎秒）（重力を含む。）
LinearAcceleration
// 回転速度（ラジアン毎秒）
RotationalVelocity
// 摂氏温度
Temperature
//測定を行った機器（Lightpack/LightwearLeft）
IMULocation

MAGIC
LEAP
2021
02. IMU
53
IMU
Sampleデータの出力例

MAGIC
LEAP
2021
02. IMU
54
IMU
検証した結果
● Debug.Log(Sample)を実行しないとSampleデータが取
れない。（0件の状態）
● LightPackは一度もSampleデータが取得できなかった。
現在、Magic Leap社に調査していただいている最中。

MAGIC
LEAP
2021
はじめに
03. その他
新機能
01. Barcode
02. IMU
03. MR Camera
04. Application ID
05. WebRTC
55

MAGIC
LEAP
2021
03. MR Camera
56
MR Camera
Magic Leap 1 が映し出す、デジタルコンテンツを含めた映像のキャプチャが
アプリケーション上で行うことができます。

MAGIC
LEAP
2021
03. MR Camera
57
MR Camera
UnityEngine.XR.MagicLeap.MLMRCamera

MAGIC
LEAP
2021
03. MR Camera
58
MR Camera
MLMRCamera の設定情報の作成
MLMRCamera.InputContext inputContext =
MLMRCamera.InputContext.Create(
quality, blendType, stabilization
);

MAGIC
LEAP
2021
03. MR Camera
59
MR Camera
MLMRCamera.InputContext inputContect =
);
レンダリング品質
q720P → 720pの画質。
q1080P → 1080pの画質。

MAGIC
LEAP
2021
03. MR Camera
60
MR Camera
);
バーチャルコンテンツとリアルコンテン
ツのブレンドモード。
アルファ、加算、ハイブリッド

MAGIC
LEAP
2021
03. MR Camera
61
MR Camera
);
ブレ補正を実施するか否かを設
定するフラグ。
true = ブレ補正を実施する。

MAGIC
LEAP
2021
03. MR Camera
62
MR Camera
MLMRCamera キャプチャ開始
if (MLMRCamera.Connect(inputContext).IsOk)
{
MLMRCamera.StartCapture();
MLMRCamera.OnFrameCapture +=
　　　　　　　　　　　　　　　OnFrameCapture;
}

MAGIC
LEAP
2021
03. MR Camera
63
MR Camera
MLMRCamera キャプチャデータ取得
void OnFrameCapture(MLMRCamera.Frame frame)
{
// MLMRCamera.Frame は、撮影したカメラのフ
レームを表す構造体。
}

MAGIC
LEAP
2021
03. MR Camera
64
MR Camera
foreach (MLMRCamera.Frame.ImagePlane
imagePlane in frame.ImagePlanes)
{
// 撮影されたカメラフレームから得られるイメージプ
レーンを表す構造体。
}

MAGIC
LEAP
2021
03. MR Camera
65
MR Camera
ImagePlaneが持つプロパティ（一部）
Width
Height
Stride（横一列分のデータサイズ）
BytesPerPixel（1ピクセルあたりのバイト数）
Data（イメージデータバイト配列）

MAGIC
LEAP
2021
03. MR Camera
66
MR Camera
サンプル
Assets/MagicLeap/MRCamera

MAGIC
LEAP
2021
はじめに
03. その他
新機能
01. Barcode
02. IMU
03. MR Camera
04. Application ID
05. WebRTC
67

MAGIC
LEAP
2021
04. Application ID
68
アプリケーションID の取得
デバイスにインストールされたアプリにIDが付与され取得す
ることができる。
アンインストール後、再インストールを実施しても同じアプリ
ケーションIDが取得できる。
デバイスを工場出荷時にリセットするとIDは変更されます。
（他のデバイスにインストールされたアプリケーションとは異
なるIDとなる。）

MAGIC
LEAP
2021
04. Application ID
69
アプリケーションID の取得
string id = MLAppIdentiﬁer.GetAppInstanceId();

MAGIC
LEAP
2021
はじめに
03. その他
新機能
01. Barcode
02. IMU
03. MR Camera
04. Application ID
05. WebRTC
70

MAGIC
LEAP
2021
05. WebRTC
71
WebRTC
今回のライトニングトークでお話するため割愛します。

MAGIC
LEAP
2021
72
Zero Iteration
Frontend について
04

MAGIC
LEAP
2021
新機能
73
Zero Iteration Frontend
ZIF (Zero Iteration Frontend)は、C言語のAPIからZIを制御し、対
話するためのライブラリ。
クライアントは、ZIセッションを駆動するために、
ライブラリに対してビルドすることができます
（ただし、このリリースでは、APIのセットは制限されています）。

MAGIC
LEAP
2021
新機能
74
● スクリプト（Pythonスクリプトなど）を使ってデバイスのテレメト
リ（ヘッドポーズなど）をプログラムで制御する機能。
● Zero IterationをUnity内で完全に使用することができ、接続プ
ロセスの開始や停止も可能。
● サポートライブラリのインポートのユーザーエクスペリエンス
の改善。
● Zero Iterationワークフローの全体的な使用方法の合理化。

MAGIC
LEAP
2021
新機能
75
ライブラリのヘッダ、ライブラリ、およびサンプルは、
以下にあります。
MagicLeap/tools/zi/v2.3.1.20210225/zif

MAGIC
LEAP
2021
76
Magic Leap 2 に
ついて
05

MAGIC
LEAP
2021
Magic Leap 2 について
2021年1月27日～2021年1月28日までサウジアラビアのリヤドで Future Investment Initiative （以降、FII）が開
催されました。
FIIとは「ネオ・ルネッサンス」をテーマに、 COVID-19（新型コロナウイルス感染症）の世界的大流行の中で世界経
済の再形成に当たる技術的先駆者、投資家、政策担当者らを結び付けるマルチハブ会議です。
77

MAGIC
LEAP
2021
FII の1日目にLeaps and bounds: How immersive technologies amplify human potential というプログラムで
は、Magic Leap の CEO ペギージョンソン氏とトゥルキ・A・アル・ノワイサー（サウジアラビア公共投資ファンド国
際投資部門責任者）と対談を行い、 Magic Leap Second Generationについて少し触れられていました。
78

MAGIC
LEAP
2021
50%小型化、20%軽量化、100％の広視野角
アーリーアクセス開始 2021年Q4
79

MAGIC
LEAP
2021
2021年3月11日にマイアミハーバート・ビジネススクールでナイト・ベンチャー・リーダーズ・シリーズが行われまし
た。
マイアミハーバート・ビジネススクールは、学部ビジネス、フルタイムMBA、エグゼクティブMBA、MS、PhD、そして学位取得を目的とし
ないエグゼクティブ・エデュケーション・プログラムを提供する、世界有数のビジネススクールです。
80
Lisa Cyr

MAGIC
LEAP
2021
2021年3月11日にマイアミハーバート・ビジネススクールでナイト・ベンチャー・リーダーズ・シリーズが行われまし
た。
ナイト・ベンチャー・リーダーズ・シリーズは、南フロリダのビジネスコミュニティのメンバー同士のつながりを育み、さまざまな業界のビ
ジョンを持った経営者による講演を通じて、最新のビジネストピックを学ぶことができます。
81
Lisa Cyr

MAGIC
LEAP
2021
82
この講演にMagic Leap の CEO ペギージョンソン氏が登壇。ここでもMagic Leap Second Generationについて少
しだけ触れてました。
Lisa Cyr

MAGIC
LEAP
2021
83
この講演にMagic Leap の CEO ペギージョンソン氏が登壇。ここでもMagic Leap Second Generationについて少
しだけ触れてました。
Magic Leap 2 デバイスは来年の第1四半期に
リリース予定
Lisa Cyr

MAGIC
LEAP
2021
84
アラブニュースにもMagic Leap の CEO ペギージョンソン氏が「 Magic Leap 2 が2022年に広く普及する」と述べ
たと報じてます。

MAGIC
LEAP
2021
85
まとめ
06

MAGIC
LEAP
2021
まとめ
86
Lumin OS
待望のメニューのオクルージョンが導入された。
Lumin SDK
QRコードやWebRTCといった要望も多くあった機能が
追加されたことは嬉しい限り。
Magic Leap 2
米国はMagic Leap CEOの言葉通りであれば、
2022年1月～3月の間にリリース！（日本は不明。）

Lumin OS 0.98.20 と Lumin SDK 0.25 と Magic Leap 2 について

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Lumin OS 0.98.20 と Lumin SDK 0.25 と Magic Leap 2 について

Similar to Lumin OS 0.98.20 と Lumin SDK 0.25 と Magic Leap 2 について (20)

More from Sadao Tokuyama

More from Sadao Tokuyama (12)

Lumin OS 0.98.20 と Lumin SDK 0.25 と Magic Leap 2 について