Desarrollo de una aplicación para interactuar con una proyección en un museo con gestos de las manos utilizando un dispositivo Kinect. La aplicación se probó en el MUPAM (Málaga) para recorrer el trazado de la ciudad de Málaga desde sus inicios hasta la actualidad, con posibilidad de manejar información 2D y 3D. Video de la instalación en las Noches en Blanco 2015 y 2016 aquí: https://youtu.be/70vxJ9OehdQ

1. DESARROLLO DE INTERFAZ
INTERACTIVA PARA MUSEOS
BASADO EN KINECT
Proyecto Fin de Carrera
Realizado por: Silvia N. Moral Sánchez
Dirigido por: Cristina Urdiales García
Tecnología Electrónica- UNIVERSIDAD DE MALAGA
Málaga, 4 de abril de 2017

2. 2/35
Índice de contenidos
1. Introducción
2. El dispositivo Kinect
3. Interfaz de usuario
4. Implementación software
5. Pruebas y resultados
6. Conclusiones y líneas futuras

3. 3/35
Índice de contenidos
1. Introducción
2. El dispositivo Kinect
3. Interfaz de usuario
4. Implementación del sistema y software
5. Pruebas y resultados
6. Conclusión y líneas futuras

4. Introducción
4/35

5. Introducción
5/35

6. Introducción
Propiedad del usuario
Propiedad del museo
Costes, individual, aburrido
Proyección interactiva
solución
Equipos
portátiles
Instalación
mesas
táctiles
6/35

7. Introducción
Objetivos proyección interactiva
Interactividad
Reducción de costes
Acceso multitudinario
SENSOR KINECT+ PROYECTOR
7/35

8. Índice de contenidos
1. Introducción
2. El dispositivo Kinect
3. Interfaz de usuario
4. Implementación del sistema y software
5. Pruebas y resultados
6. Conclusión y líneas futuras
8/35

9. Dispositivo Kinect
INTERACCIÓN
GESTOS DEL CUERPO
INTUITIVO SEGURO MULTITUD
9/35

10. Dispositivo Kinect
KINECT
Interacción natural persona-maquina
Inconvenientes
Requisitos mínimos:
 Altura del dispositivo
 Distancia de colocación del usuario
 Sensibilidad a la luz directa
10/35

11. Dispositivo Kinect
Ventajas
 Económico
 SDK
 Reconocimiento 3D
 Puntos del esqueleto
11/35

12. Dispositivo Kinect
Detección de posiciones y gestos
12/35

13. Índice de contenidos
1. Introducción
2. El dispositivo Kinect
3. Interfaz de usuario
4. Implementación del sistema y software
5. Pruebas y resultados
6. Conclusión y líneas futuras
13/35

14. Interfaz de usuario
Requisitos
 Interfaz sencilla con gestos intuitivos
 Interacción solo con las manos
 Reconocimiento de ambas manos
 Usuario único
 Cambio de contenido en la interfaz
 Interfaz modular y ampliable
14/35

15. Interfaz de usuario
Aplicados a la interfaz de usuario
Posición Gestos
15/35

16. Interfaz de usuario
16/35
< >
Mapa de
profundidad
Ventana 1
(KinectRegionGrid)
Ventana 2
KinectScrollViewer
(WrapPanel)
Ventana 3
(Popup)
RETURNRESET
+ -
Imagen 2D
Objeto 3D
RETURN

17. Índice de contenidos
1. Introducción
2. El dispositivo Kinect
3. Interfaz de usuario
4. Diseño software
5. Pruebas y resultados
6. Conclusión y líneas futuras
17/35

18. Implementación software
18/35

19. Implementación software
19/35

20. Implementación software
Visual Studio
(IDE)
XAML
(gráficos)
C#
(clases,
métodos)
WPF
(transparente,
multiplataforma)
20/35

21. Interfaz de usuario Inicio
Inicialización Kinect
Excepción Error
Interfaz
Usuario
Gesto usuario
Vista 3D
Imágnes 2D
Scroll
puño cerrado
Scroll
bonotes <>
Arriba y
abajo
Figura
NO
SI
Zoom + ResetZoom -
Gesto usuario
Abro/Cierro/Muevo
Rotación 3D
(Abro/Cierro/Muevo)
Inicialización
MoverSeleccionar
SI
SI Return
Aplicar
Reconocer
21/35

22. Implementación software
Menú principal
22/35

23. Implementación software
Imagen mapa ampliado
23/35

24. Implementación software
Imagen zona ampliada
24/35

25. Implementación software
Visor con monumento 3D
25/35

26. Implementación software
 Atributos Visibility-Hidden-Collapsed
 Estética general de botones y regiones
 Modelo 3D:
• Formato de exportación de modelos
• Tamaño de los modelos en relación al tiempo
de respuesta y carga de la interfaz
• Individualización inicialización zoom y límite de
aumento
• Implantación de reset
• Rotación 3D
26/35

27. Índice de contenidos
1. Introducción
2. El dispositivo Kinect
3. Interfaz de usuario
4. Diseño software
5. Pruebas y resultados
6. Conclusión y líneas futuras
27/35

28. Pruebas y resultados
28/35

29. Pruebas y resultados
Montaje
 Ubicación sensor problemática luz
 Ubicación usuario
 Invasión de zona actuación del sensor
 Interferencia de ratón con los gestos
 Tarjeta gráfica no cumple requisitos
mínimos para modelos 3D
29/35

30. Pruebas y resultados
30/35

31. Pruebas y resultados
31/35
SI 47.5%
NO52.5%
SI 9.8%
NO90.2%
SI 100%
NO0%
0
2
4
6
8
10
12
14
16
1 2 3 4 5
Número
de
usuarios
0
5
10
15
20
1 2 3 4 5
Número
de
usuarios
videojuegos kinect
Innovador/interesante/divertido
estructura gestos

32. Pruebas y resultados
32/35
Estadísticas oficiales MUPAM
actividad PFC Kinect
Total usuarios año 2016:
93.356
Total usuarios Mayo-Diciembre 2015:
48.140

33. Índice de contenidos
1. Introducción
2. El dispositivo Kinect
3. Interfaz de usuario
4. Diseño software
5. Pruebas y resultados
6. Conclusión y líneas futuras
33/35

34. 34/35
Conclusiones y líneas futuras
Conclusiones
 Proyección interactiva
 Sencilla, amigable y fácil usar
 Versatil , modular y transparente
 Adquisión de nuevos conocimientos y lenguajes
 Satisfacción desarrollo de proyecto global y
completo con puesta en funcionamiento con
público y encuestas usuarios
 Repercusión medios

35. 35/35
Conclusiones y líneas futuras
Mejoras
 Ampliar repertorio de gestos
 Archivos interactivos de video y audio
 Gamificación personajes históricos 3D
 Diferenciar épocas colores y cambio idiomas
 Hipervínculo Google Maps para ubicación

36. DESARROLLO DE INTERFAZ
INTERACTIVA PARA MUSEOS
BASADO EN KINECT
Proyecto Fin de Carrera
Realizado por: Silvia N. Moral Sánchez
Dirigido por: Cristina Urdiales García
Tecnología Electrónica- UNIVERSIDAD DE MALAGA
Málaga, 4 de abril de 2017