La mia esperienza con Kinect, Computer Vision, XNA 4.0 e 3D

1. (N)UI FOR REAL
La mia esperienza con Kinect, 3D e computer
vision

2. LA RICHIESTA
 Tracciare la scelta degli utenti
 Esperienza breve
 Qualcosa di diverso

3. COSA HO USATO
 Computer Vision
 Kinect
 XNA per il 3D

4. DEMO

5. COMPUTER VISION
Lo scopo principale della visione artificiale è quello di riprodurre la vista
umana. Vedere è inteso non solo come l'acquisizione di una fotografia
bidimensionale di un'area, ma soprattutto come l'interpretazione del
contenuto di quell'area.

6. LIBRERIE CHE HO VALUTATO
AForge.NET
http://www.aforgenet.com
 Hanno implementato loro le
funzionalità
 Usa DirectShow per la webcam
 Supporta i Lego Mind Storm
EmguCV
http://www.emgu.com
 Wrap di openCV
 Compila sotto Mono
 Performance migliori con la versioni
commerciali (IPP, TBB)

7. COSA SI PUÒ FARE
 Object detection
 Face detection
 Motion detection
 Riconoscimento dei segnali stradali

8. HO VALUTATO ANCHE IL FACE
RECOGNITION
 L’idea
 Fotografia prima di usare il totem
 Il totem riconosce l’utilizzatore
 Problemi
 Le foto dovevano essere fatte precise
 Troppa variazione di luce non permette un riconoscimento accurato

9. KINECT

10. COSA PERMETTE DI FARE
 Riconosce 2 giocatori
 Distanza da 1.5 mt a 3mt
 Rileva 20 nodi per ogni scheletro
 Riconoscimento vocale
 Near mode (40 cm)

11. PROBLEMI
 La distanza dell’utente non deve cambiare
 Le coordinate sono -1...0…1
 Altezze diverse del giocatore
 I gesti vanno creati e gestiti
 Non ci deve essere ressa intorno al giocatore

12. IL NUOVO SDK 1.7
 Aggiunte due nuove gesture. «Push» e «Grip»
 Cambiata la «Human Interface Guidelines». Adesso si usa «Push»
 Ci dice direttamente lui se la mano è aperta o meno
 Aperto il segnale del laser (1.6)
 Aggiunto Kinect Fusion

13. XNA E 3D
Son tutti triangoli

14. A COSA FARE ATTENZIONE
 Cercare di non aprire troppi spriteBatch.Begin()
 Numero di poligoni dei modelli
 Back-face culling.
 Gli shader giusti sulle varie mesh dei modelli

15. NUMERO POLIGONI

16. BACK-FACE CULLING

17. HIGH LEVEL SHADER LANGUAGE
 Deriva dal C
 Nato come progetto congiunto tra NVIDIA e Microsoft
 Poi han litigato :/
 Viene trasformato in assembler e sparato direttamente alla
scheda video
 XNA li pilota tramite gli «Effect» con cui gli passiamo i parametri
 Per ogni gruppo di mesh possiamo applicare diversi shader
(era tutto in tedesco e diverso per ogni auto. YAY!)

18. COLLISIONI
 Collisioni in 2D è l’intersezione tra le due immagini
 Collisioni in 3D si fanno con Bounding Box e Bounding Sphere

19. XNA È MORTO
 C++
 DirectXTK (http://directxtk.codeplex.com)
 DirectX Tex (http://directxtex.codeplex.com)
 C#
 MonoGame (http://monogame.codeplex.com)

20. LIBRI DEL WEEKEND
 Learning XNA 4.0
 Learning OpenCV

21. GRAZIE!
 bettercoderwannabe.blogspot.com
 github.com/iridio
 @collaalessandro