Submit Search
Upload
Leap MotionではじめるNUIプログラミング
•
12 likes
•
6,075 views
Hiroyuki Mori
Follow
Leap MotionではじめるNUIプログラミング 2013年8月24日開催 プログラミング生放送 at 日本マイクロソフト株式会社 品川本社 31F セミナールーム C+D
Read less
Read more
Technology
Report
Share
Report
Share
1 of 22
Download now
Download to read offline
Recommended
Leap Motion - 1st Review
Leap Motion - 1st Review
Tsukasa Sugiura
内蔵化、モバイル化に向かうDepthセンサー
内蔵化、モバイル化に向かうDepthセンサー
Kaoru NAKAMURA
Leap motion 実践活用 ダイジェスト版
Leap motion 実践活用 ダイジェスト版
Kaoru NAKAMURA
モーションセンサーデバイス調査
モーションセンサーデバイス調査
@TMYSYSKW
Visual Studio 2022 30分一本勝負! at BuriKaigi2023
Visual Studio 2022 30分一本勝負! at BuriKaigi2023
Hiroyuki Mori
最近Preview公開されたAzure テストサービスを試してみた
最近Preview公開されたAzure テストサービスを試してみた
Hiroyuki Mori
Azure Load Testingを試してみた
Azure Load Testingを試してみた
Hiroyuki Mori
Visual Studio 2019 Updates Pickup!
Visual Studio 2019 Updates Pickup!
Hiroyuki Mori
Recommended
Leap Motion - 1st Review
Leap Motion - 1st Review
Tsukasa Sugiura
内蔵化、モバイル化に向かうDepthセンサー
内蔵化、モバイル化に向かうDepthセンサー
Kaoru NAKAMURA
Leap motion 実践活用 ダイジェスト版
Leap motion 実践活用 ダイジェスト版
Kaoru NAKAMURA
モーションセンサーデバイス調査
モーションセンサーデバイス調査
@TMYSYSKW
Visual Studio 2022 30分一本勝負! at BuriKaigi2023
Visual Studio 2022 30分一本勝負! at BuriKaigi2023
Hiroyuki Mori
最近Preview公開されたAzure テストサービスを試してみた
最近Preview公開されたAzure テストサービスを試してみた
Hiroyuki Mori
Azure Load Testingを試してみた
Azure Load Testingを試してみた
Hiroyuki Mori
Visual Studio 2019 Updates Pickup!
Visual Studio 2019 Updates Pickup!
Hiroyuki Mori
2021 01-30 Visual Studio 2019 知っているか!?この機能 in BuriKaigi2021
2021 01-30 Visual Studio 2019 知っているか!?この機能 in BuriKaigi2021
Hiroyuki Mori
Visual Studio 2019 新機能を時間のかぎりできるだけ!
Visual Studio 2019 新機能を時間のかぎりできるだけ!
Hiroyuki Mori
開発者のためのUIデザイン入門
開発者のためのUIデザイン入門
Hiroyuki Mori
Uno Platform か Blazor
Uno Platform か Blazor
Hiroyuki Mori
.NET Core 3.0 で見る Client Apps #BuriKaigi #BuriKaigi2019
.NET Core 3.0 で見る Client Apps #BuriKaigi #BuriKaigi2019
Hiroyuki Mori
.NET開発者は、なぜクロスプラットフォームに取り組むべきか
.NET開発者は、なぜクロスプラットフォームに取り組むべきか
Hiroyuki Mori
Windows phone関係のなにか。
Windows phone関係のなにか。
Hiroyuki Mori
2014 07-19 はじめてのクラウド
2014 07-19 はじめてのクラウド
Hiroyuki Mori
クライアント技術から見たBuild2014 Wrap-up
クライアント技術から見たBuild2014 Wrap-up
Hiroyuki Mori
僕がやったXaml戦略
僕がやったXaml戦略
Hiroyuki Mori
2013 11-09 デスクトップ・アプリの価値を高めるモダン化
2013 11-09 デスクトップ・アプリの価値を高めるモダン化
Hiroyuki Mori
データバインディング徹底攻略
データバインディング徹底攻略
Hiroyuki Mori
Wpf・silverlightのアニメーションからwindowsストアアプリのアニメーションへ
Wpf・silverlightのアニメーションからwindowsストアアプリのアニメーションへ
Hiroyuki Mori
Windowストアアプリ コントラクトとライフサイクル
Windowストアアプリ コントラクトとライフサイクル
Hiroyuki Mori
それではBehaviorでも使ってみましょうか。
それではBehaviorでも使ってみましょうか。
Hiroyuki Mori
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
More Related Content
More from Hiroyuki Mori
2021 01-30 Visual Studio 2019 知っているか!?この機能 in BuriKaigi2021
2021 01-30 Visual Studio 2019 知っているか!?この機能 in BuriKaigi2021
Hiroyuki Mori
Visual Studio 2019 新機能を時間のかぎりできるだけ!
Visual Studio 2019 新機能を時間のかぎりできるだけ!
Hiroyuki Mori
開発者のためのUIデザイン入門
開発者のためのUIデザイン入門
Hiroyuki Mori
Uno Platform か Blazor
Uno Platform か Blazor
Hiroyuki Mori
.NET Core 3.0 で見る Client Apps #BuriKaigi #BuriKaigi2019
.NET Core 3.0 で見る Client Apps #BuriKaigi #BuriKaigi2019
Hiroyuki Mori
.NET開発者は、なぜクロスプラットフォームに取り組むべきか
.NET開発者は、なぜクロスプラットフォームに取り組むべきか
Hiroyuki Mori
Windows phone関係のなにか。
Windows phone関係のなにか。
Hiroyuki Mori
2014 07-19 はじめてのクラウド
2014 07-19 はじめてのクラウド
Hiroyuki Mori
クライアント技術から見たBuild2014 Wrap-up
クライアント技術から見たBuild2014 Wrap-up
Hiroyuki Mori
僕がやったXaml戦略
僕がやったXaml戦略
Hiroyuki Mori
2013 11-09 デスクトップ・アプリの価値を高めるモダン化
2013 11-09 デスクトップ・アプリの価値を高めるモダン化
Hiroyuki Mori
データバインディング徹底攻略
データバインディング徹底攻略
Hiroyuki Mori
Wpf・silverlightのアニメーションからwindowsストアアプリのアニメーションへ
Wpf・silverlightのアニメーションからwindowsストアアプリのアニメーションへ
Hiroyuki Mori
Windowストアアプリ コントラクトとライフサイクル
Windowストアアプリ コントラクトとライフサイクル
Hiroyuki Mori
それではBehaviorでも使ってみましょうか。
それではBehaviorでも使ってみましょうか。
Hiroyuki Mori
More from Hiroyuki Mori
(15)
2021 01-30 Visual Studio 2019 知っているか!?この機能 in BuriKaigi2021
2021 01-30 Visual Studio 2019 知っているか!?この機能 in BuriKaigi2021
Visual Studio 2019 新機能を時間のかぎりできるだけ!
Visual Studio 2019 新機能を時間のかぎりできるだけ!
開発者のためのUIデザイン入門
開発者のためのUIデザイン入門
Uno Platform か Blazor
Uno Platform か Blazor
.NET Core 3.0 で見る Client Apps #BuriKaigi #BuriKaigi2019
.NET Core 3.0 で見る Client Apps #BuriKaigi #BuriKaigi2019
.NET開発者は、なぜクロスプラットフォームに取り組むべきか
.NET開発者は、なぜクロスプラットフォームに取り組むべきか
Windows phone関係のなにか。
Windows phone関係のなにか。
2014 07-19 はじめてのクラウド
2014 07-19 はじめてのクラウド
クライアント技術から見たBuild2014 Wrap-up
クライアント技術から見たBuild2014 Wrap-up
僕がやったXaml戦略
僕がやったXaml戦略
2013 11-09 デスクトップ・アプリの価値を高めるモダン化
2013 11-09 デスクトップ・アプリの価値を高めるモダン化
データバインディング徹底攻略
データバインディング徹底攻略
Wpf・silverlightのアニメーションからwindowsストアアプリのアニメーションへ
Wpf・silverlightのアニメーションからwindowsストアアプリのアニメーションへ
Windowストアアプリ コントラクトとライフサイクル
Windowストアアプリ コントラクトとライフサイクル
それではBehaviorでも使ってみましょうか。
それではBehaviorでも使ってみましょうか。
Recently uploaded
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
Recently uploaded
(9)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
Leap MotionではじめるNUIプログラミング
1.
Leap Motionではじめる NUIプログラミング 森 博之(もり
ひろゆき) 極東IT-Engineers / RIAアーキテクチャ研究会
2.
自己紹介 • 森 博之(もり
ひろゆき) • MS開発技術を専門としたフリーランスエンジニア • Microsoft MVP for Visual C# • 極東IT-Engineers 代表 • ブログ:もり ひろゆきの日々是勉強 • http://moriblog.kit-eng.com • Twitter • Windows8対応[基本+実用] Windowsストアアプリ開発入門 好評発売中!
3.
Agenda • Natural User
Interface概要 • Leap Motion概要 • C#によるLeap Motionプログラミング
4.
Natural User Interface概要
5.
NUIって? •Natural User Interface •
Computingにおけるユーザーインターフェースの中で自然 な・直感的な動作で操作可能な仕組みや方法は仕組みのこと。 • 人間の五感や人間が自然に行う動作による操作方法 • 主にIT関連のデザイナーや開発者で使われている用語
6.
My First NUI •
Project Natal(のちのKINECT) • Microsoft ResearchのNUI研究成果の1つ • 2009年 6月 2010 International CESの基調講演で公開
7.
KINECT for Windows •
3つのセンサーとSDKを使ってユーザーの骨格・距 離・方向・音声・表情などを入力
8.
その他のNUIデバイス • Creative Interactive
Gesture Camera DK • ¥25,000程度 • Webカメラ・深度センサー・デュアルアレイマイク • Intel Perceptual Computing SDKなどで開発 • Oculus Rift • $300 • ヘッドマウントディスプレイを使った VRゲーミングデバイス 現在、開発者向けSDKのみ
9.
Leap Motion 概要
10.
Leap Motionって? • 手や指の動作を読み取ることができるデバイス •
¥8,200.-(送料込み¥10,500.- 8/23現在) • Windows / Mac OS X / Linux向けのSDKを利用して開 発 • Windows環境では以下の言語で開発可能 • C++ • C# / Visual Basic (.NET Framework) • Java • Python • Objective-C • JavaScript
11.
付属ツール • Control Panel •
Leap Motionの設定 • Airspace • Leap Motionのホームアプリ • Visualizer • Leap Motionの識別情報を視覚化 • Airespace STORE • Leap Motion対応アプリのストア
12.
C#による Leap Motionプログラミング
13.
Leap Motionから取得できるデータ • モーショントラッキング(動作追跡) •
センサーの視界領域にある手や指を追跡 • 具体的には・・・ • 視界内のすべての手の識別(Hands) • 視界内のすべての指の識別(Fingers) • 視界内のすべて指とその座標位置(Pointables) • 視界内のツール(指より長い棒状のもの)(Tools) • ジェスチャーの開始・終了または更新(Gestures)
14.
Leap Motionで利用する主要クラス • Controller •
Leap Motion自体の制御を行うクラス • Listener • ControllerからEventによって通知を受けるための仮想クラス • Hand • 手の識別情報が格納されるクラス • Finger • 指の識別情報が格納されるクラス • Tool • ツールの識別情報が格納されるクラス • Gesture • ジェスチャーの識別情報が格納されるクラス
15.
Controller • Leap Motionの制御や情報取得を行う •
Frame情報はこのクラスを用いて取得する • 取得方法 • Pollingによる取得 • controller.Frameメソッドを利用 • 戻り値がFrameオブジェクト • Callbackを受けて取得 • Listenerを登録し、Callbackを受ける
16.
Listener • デバイスの状態をListenするために利用 • メンバーのメソッドをoverrideして実装する •
主要メンバー • OnInit • コントローラーの初期化を行ったときに呼び出される • OnConnect • Leap Motionの接続したときに呼び出される • OnDisconnect • コントローラーがLeap Motionとの接続を解除したときに 呼び出される • OnExit • リスナーがコントローラーから削除されたとき • コントローラーそのものが破棄されたとき • OnFrame • 新しいFrameの取得が可能になったとき
17.
Frame • 主要プロパティ • HandList •
手の識別情報のコレクション • PointableList • Pointableの識別情報のコレクション • FingerList • 指の識別情報のコレクション • ToolList • ツールの識別情報のコレクション • 主要メソッド • Gestures() • 戻り値が GestureList (ジェスチャーのコレクションオブジェクト) その他、「移動」や「回転」、「スケール(拡大・縮小)」といった モーション情報も含まれる
18.
Gesture • ジェスチャーの識別情報を格納したクラス • 4種類のジェスチャーを識別可能 •
Circle 指で円を描く • Swipe 指を直線的に移動させる • Tap • Key Taps 指やツールを下方向へ曲げて戻す • Screen Taps 画面方向へ向けて前後する
19.
参考:タッチエミュレーション • Leap Motion
SDKのサンプル • Leap Motionを用いてTouchを識別する場合、仮想的 なタッチパネルが存在するように実装する。 • 指の移動状態から触れていない状態(Hovering)と触れてい る状態(Touching)として、処理している
20.
InteractionBoxクラス • Leap Motionの可視領域上に下図のような箱状の 領域を設けて、取得したPointableListオブジェクト をディスプレイの座標系に変換できる
21.
まとめ • Natural User
Interface • 人間の五感や人間が自然に行う動作による操作方法 • Leap Motion, KINECTなど手軽に入手ができるように なった • Leap Motion • 手や指などの動作を識別することができる 入力デバイス • Frameを用いて認識情報を取得する
22.
ご清聴ありがとうございました Thank you!
Download now