Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Presentación PFC
Inmersión en Entornos
Virtuales mediante
Realidad Aumentada
Mª Begoña Sagredo Sánchez
Universidad de Mála...
Introducción
• Comunicaciones por vídeo limitadas por el estrecho
ancho de banda para la transmisión de imágenes
• Compres...
Introducción
• Técnica habitual en entornos
reales ⇒ división de imágenes
en objetos de interés y fondo
• Sustracción de f...
Introducción
• Otras técnicas emplean como fondo de referencia
una imagen previa del mismo sin objetos de
interés ⇒ únicam...
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Exper...
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Exper...
1. Modelos virtuales
• 3D Studio Max
– Modelado de objetos en 3D y creación de
materiales a partir de imágenes en formato
...
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la ext...
1. Modelos virtuales
Puerta Corcho
ParedesPizarra
ArmariosSuelo
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la ext...
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la ext...
1. Modelos virtuales
1. Modelos virtuales
Perspectiva final del diseño
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la ext...
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la ext...
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la ext...
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la ext...
1. Modelos virtuales
• Materiales para la Plaza
Calle Mercaderes Calle Teniente Rey
Calle San Ignacio
1. Modelos virtuales
Perspectiva final del diseño
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Exper...
2. Alineación de modelos con el
entorno real
• Es necesario conocer la posición y orientación de
la cámara en el entorno r...
2. Alineación de modelos con el
entorno real
• ARToolkit
– Librería de distribución libre que calcula en tiempo real la
po...
2. Alineación de modelos con el
entorno real
• Permite
posicionamiento con
una única marca
• Permite
posicionamiento
múlti...
2. Alineación de modelos con el
entorno real
• Posicionamiento único
con varias marcas
– Emplea varias marcas con
una posi...
2. Alineación de modelos con el
entorno real
• Posicionamiento único
con varias marcas
– Emplea varias marcas con
una posi...
2. Alineación de modelos con el
entorno real
• Sistema de marcas distribuidas por el entorno
X
Y
Z
2. Alineación de modelos con el
entorno real
• Diseño en 3D de un armario de cristaleras verde
X
Y
Z
2. Alineación de modelos con el
entorno real
• Proceso de superposición final
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Exper...
3. Sustracción dinámica de fondo
• Segmentación o división de imágenes en
‘objetos’ o regiones de interés y en ‘fondo’
o r...
3. Sustracción dinámica de fondo
• Comparación píxel a píxel entre fondo e imagen a
procesar, empleando como criterio el c...
3. Sustracción dinámica de fondo
Fondo de referencia
Imagen a procesar
Algoritmo de
comparación
3. Sustracción dinámica de fondo
• Inconvenientes
– Introduce ruido: grupos de píxeles aislados y erróneos
– Los resultado...
3. Sustracción dinámica de fondo
• Se aplica a continuación un algoritmo para la
detección de objetos ⇒ Algoritmo de detec...
3. Sustracción dinámica de fondo
Fondo de referencia
Imagen a procesar
Algoritmo de
comparación
Algoritmo de
detección de
...
3. Sustracción dinámica de fondo
• Problemas añadidos ⇒ fondo de referencia
procedente de un modelo virtual
– Errores de c...
3. Sustracción dinámica de fondo
Error debido al
modelado de la
textura
Error debido al
desalineamiento
3. Sustracción dinámica de fondo
• Filtrado de regiones más restrictivo ⇒
bounding box o caja que contiene la región
– Rel...
3. Sustracción dinámica de fondo
Región alargada
Regiones poco
ocupadas
3. Sustracción dinámica de fondo
• Composición final del fotograma
Fondos sustitutos Fotograma compuesto
Imagen procedente...
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Exper...
4. Experimentos y resultados
Proyección del
modelo de la
Plaza
Salida de
vídeo
compuesto
Imagen real
procedente la
cámara
...
4. Experimentos y resultados
• Ventajas
– Medios técnicos necesarios muy básicos: PC y
cámara de vídeo
– Funcionamiento gl...
4. Experimentos y resultados
• Inconvenientes
– Alineación de mundos comprometida: oscilaciones
del modelo y errores de po...
4. Experimentos y resultados
• Errores no eliminados
4. Experimentos y resultados
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Exper...
5. Conclusiones y trabajo futuro
• Posicionamiento
– Búsqueda y reconocimiento de marcas ha
permitido la localización en u...
5. Conclusiones y trabajo futuro
• Diseño y visualización de modelos virtuales
– OpenGL vs. Motores gráficos
• OpenGL perm...
5. Conclusiones y trabajo futuro
• Extracción de objetos y composición de
fotogramas
– Extracción de objetos
• Muy dependi...
5. Conclusiones y trabajo futuro
• Varias líneas de estudio interesantes
– Mejora en el posicionamiento ⇒ errores en funci...
Upcoming SlideShare
Loading in …5
×

Inmersión en entornos virtuales mediante Realidad Aumentada (Begoña Sagredo)

616 views

Published on

Sistema de Virtualidad Aumentada. Utiliza técnicas de posicionamiento basado en marcas y de sustracción de fondo para ubicar al usuario en un entorno distinto al que se encuentra. Para ello se modela automáticamente en entorno mediante planos que se detectan usando marcas tipo ARToolkit y después, una vez posicionado el usuario respecto a las marcas, se resta lo que está viendo del renderizado del modelo, quedando únicamente los objetos móviles, que pasan a ubicarse en el mundo virtual seleccionado.

Published in: Engineering
  • Login to see the comments

  • Be the first to like this

Inmersión en entornos virtuales mediante Realidad Aumentada (Begoña Sagredo)

  1. 1. Presentación PFC Inmersión en Entornos Virtuales mediante Realidad Aumentada Mª Begoña Sagredo Sánchez Universidad de Málaga
  2. 2. Introducción • Comunicaciones por vídeo limitadas por el estrecho ancho de banda para la transmisión de imágenes • Compresión de las secuencias de vídeo como solución más viable • Estándares MPEG de 2ª generación son los más usados ⇒ MPEG-4 emplea compresión orientada a objetos • Separación de fotogramas en objetos ⇒ procesado independiente y adaptación el ancho de banda disponible
  3. 3. Introducción • Técnica habitual en entornos reales ⇒ división de imágenes en objetos de interés y fondo • Sustracción de fondo ⇒ Extracción de objetos por comparación con un fondo conocido de referencia – Usuario situado en un espacio específico – Fondo plano homogéneo de color chillón – No es posible interactuar con los elementos virtuales
  4. 4. Introducción • Otras técnicas emplean como fondo de referencia una imagen previa del mismo sin objetos de interés ⇒ únicamente válida para cámaras fijas • En este proyecto se realiza una sustracción de fondo para cámaras móviles mediante técnicas de Realidad Aumentada (RA) – El fondo de referencia para la extracción de objetos se obtiene de un modelo virtual en 3D del entorno de trabajo debidamente alineado con éste – Para recomponer el fotograma se emplea un fondo sustituto del original obtenido de un segundo modelo virtual en 3D, también alineado con el entorno real
  5. 5. Indice • 1. Modelos virtuales • 2. Alineación de modelos con el entorno real • 3. Sustracción dinámica de fondo • 4. Experimentos y resultados • 5. Conclusiones y trabajo futuro
  6. 6. Indice • 1. Modelos virtuales • 2. Alineación de modelos con el entorno real • 3. Sustracción dinámica de fondo • 4. Experimentos y resultados • 5. Conclusiones y trabajo futuro
  7. 7. 1. Modelos virtuales • 3D Studio Max – Modelado de objetos en 3D y creación de materiales a partir de imágenes en formato ‘.bmp’ • OPenGL – Librería gráfica para la creación y configuración de ventanas de visualización donde se pueden representar fácil y rápidamente los objetos en 3D
  8. 8. 1. Modelos virtuales • Dos modelos virtuales: – Modelo del entorno de trabajo ⇒ actúa como fondo de referencia para la extracción de objetos inicial • Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan
  9. 9. 1. Modelos virtuales Puerta Corcho ParedesPizarra ArmariosSuelo
  10. 10. 1. Modelos virtuales • Dos modelos virtuales: – Modelo del entorno de trabajo ⇒ actúa como fondo de referencia para la extracción de objetos inicial • Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan
  11. 11. 1. Modelos virtuales • Dos modelos virtuales: – Modelo del entorno de trabajo ⇒ actúa como fondo de referencia para la extracción de objetos inicial • Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan • Diseño de materiales a partir de fotografías de los objetos reales que se quieren modelar
  12. 12. 1. Modelos virtuales
  13. 13. 1. Modelos virtuales Perspectiva final del diseño
  14. 14. 1. Modelos virtuales • Dos modelos virtuales: – Modelo del entorno de trabajo ⇒ actúa como fondo de referencia para la extracción de objetos inicial • Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan • Diseño de materiales a partir de fotografías de los objetos reales que se quieren modelar
  15. 15. 1. Modelos virtuales • Dos modelos virtuales: – Modelo del entorno de trabajo ⇒ actúa como fondo de referencia para la extracción de objetos inicial • Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan • Diseño de materiales a partir de fotografías de los objetos reales que se quieren modelar – Modelo virtual sustituto ⇒ fuente para el fondo sustituto en la composición del fotograma final
  16. 16. 1. Modelos virtuales • Dos modelos virtuales: – Modelo del entorno de trabajo ⇒ actúa como fondo de referencia para la extracción de objetos inicial • Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan • Diseño de materiales a partir de fotografías de los objetos reales que se quieren modelar – Modelo virtual sustituto ⇒ fuente para el fondo sustituto en la composición del fotograma final • Estructura similar al modelo del entorno real
  17. 17. 1. Modelos virtuales • Dos modelos virtuales: – Modelo del entorno de trabajo ⇒ actúa como fondo de referencia para la extracción de objetos inicial • Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan • Diseño de materiales a partir de fotografías de los objetos reales que se quieren modelar – Modelo virtual sustituto ⇒ fuente para el fondo sustituto en la composición del fotograma final • Estructura similar al modelo del entorno real • Materiales a partir de fotografías de las fachadas de la Plaza
  18. 18. 1. Modelos virtuales • Materiales para la Plaza Calle Mercaderes Calle Teniente Rey Calle San Ignacio
  19. 19. 1. Modelos virtuales Perspectiva final del diseño
  20. 20. Indice • 1. Modelos virtuales • 2. Alineación de modelos con el entorno real • 3. Sustracción dinámica de fondo • 4. Experimentos y resultados • 5. Conclusiones y trabajo futuro
  21. 21. 2. Alineación de modelos con el entorno real • Es necesario conocer la posición y orientación de la cámara en el entorno real para obtener la vista adecuada del modelo virtual • La existencia de referencias físicas en el entorno permitiría determinar dónde se encuentra la cámara en todo momento • Técnicas de visión por computador hacen posible la detección y reconocimiento de marcas físicas artificiales ⇒ ARToolkit
  22. 22. 2. Alineación de modelos con el entorno real • ARToolkit – Librería de distribución libre que calcula en tiempo real la posición-orientación de la cámara respecto de una serie de marcas para las que ha sido entrenado y sobre las que sitúa objetos virtuales • Longitud conocida del lado • Orientación del patrón Posición de la cámara
  23. 23. 2. Alineación de modelos con el entorno real • Permite posicionamiento con una única marca • Permite posicionamiento múltiple con varias marcas • Cámara limitada al espacio físico de las marcas Cambiar por un video
  24. 24. 2. Alineación de modelos con el entorno real • Posicionamiento único con varias marcas – Emplea varias marcas con una posición fija en un sistema de coordenadas definido – Determina la posición respecto de un único punto del sistema de coordenadas
  25. 25. 2. Alineación de modelos con el entorno real • Posicionamiento único con varias marcas – Emplea varias marcas con una posición fija en un sistema de coordenadas definido – Determina la posición respecto de un único punto del sistema de coordenadas • Es independiente de la marca detectada • Permite mayor libertad de movimientos
  26. 26. 2. Alineación de modelos con el entorno real • Sistema de marcas distribuidas por el entorno X Y Z
  27. 27. 2. Alineación de modelos con el entorno real • Diseño en 3D de un armario de cristaleras verde X Y Z
  28. 28. 2. Alineación de modelos con el entorno real • Proceso de superposición final
  29. 29. Indice • 1. Modelos virtuales • 2. Alineación de modelos con el entorno real • 3. Sustracción dinámica de fondo • 4. Experimentos y resultados • 5. Conclusiones y trabajo futuro
  30. 30. 3. Sustracción dinámica de fondo • Segmentación o división de imágenes en ‘objetos’ o regiones de interés y en ‘fondo’ o regiones carentes de ella – Funcionamiento en entornos reales ⇒ robusto a cambios de intensidad, luces y sombras – Funcionamiento en tiempo real ⇒ rápido – Compromiso resultados-tiempo empleado • ‘Segmentación en color por sustracción de fondo’
  31. 31. 3. Sustracción dinámica de fondo • Comparación píxel a píxel entre fondo e imagen a procesar, empleando como criterio el color – Distancia de color entre cada par de píxeles y se determina según un umbral determinado si: • Píxeles iguales ⇒ fondo • Píxeles diferentes ⇒ objeto potencial
  32. 32. 3. Sustracción dinámica de fondo Fondo de referencia Imagen a procesar Algoritmo de comparación
  33. 33. 3. Sustracción dinámica de fondo • Inconvenientes – Introduce ruido: grupos de píxeles aislados y erróneos – Los resultados dependen de los umbrales considerados, y estos de la situación del entorno en el instante de captura de la imagen • Comparación píxel a píxel entre fondo e imagen a procesar, empleando como criterio el color – Distancia de color entre cada par de píxeles y se determina según unos umbrales determinados que: • Píxeles iguales ⇒ fondo • Píxeles diferentes ⇒ objeto potencial
  34. 34. 3. Sustracción dinámica de fondo • Se aplica a continuación un algoritmo para la detección de objetos ⇒ Algoritmo de detección de objetos por mezclado con conectividad – Agrupación en regiones de píxeles adyacentes distintos del fondo – Filtrado de clases Área mínima ⇒ elimina regiones cuyo área no supere un valor mínimo ⇒ eliminación de ruido – Dilatación de regiones finales para eliminar huecos
  35. 35. 3. Sustracción dinámica de fondo Fondo de referencia Imagen a procesar Algoritmo de comparación Algoritmo de detección de objetos Criterios de área mínima
  36. 36. 3. Sustracción dinámica de fondo • Problemas añadidos ⇒ fondo de referencia procedente de un modelo virtual – Errores de comparación debido a que la superficie de los objetos modelados no es exactamente igual a los reales – Errores de comparación debido a la incorrecta alineación de los mundos real y virtual • Extracción de regiones que objetivamente no tienen sentido
  37. 37. 3. Sustracción dinámica de fondo Error debido al modelado de la textura Error debido al desalineamiento
  38. 38. 3. Sustracción dinámica de fondo • Filtrado de regiones más restrictivo ⇒ bounding box o caja que contiene la región – Relación de aspecto ⇒ evitamos regiones alargadas – Relación área efectiva-área de bounding box ⇒ evitamos regiones poco ocupadas por los píxeles de la imagen
  39. 39. 3. Sustracción dinámica de fondo Región alargada Regiones poco ocupadas
  40. 40. 3. Sustracción dinámica de fondo • Composición final del fotograma Fondos sustitutos Fotograma compuesto Imagen procedente de la sustracción
  41. 41. Indice • 1. Modelos virtuales • 2. Alineación de modelos con el entorno real • 3. Sustracción dinámica de fondo • 4. Experimentos y resultados • 5. Conclusiones y trabajo futuro
  42. 42. 4. Experimentos y resultados Proyección del modelo de la Plaza Salida de vídeo compuesto Imagen real procedente la cámara Proyección del modelo del entorno real
  43. 43. 4. Experimentos y resultados • Ventajas – Medios técnicos necesarios muy básicos: PC y cámara de vídeo – Funcionamiento global del sistema en tiempo real • La simplicidad de la técnica empleada para el posicionamiento • Rapidez y facilidad para representar los objetos virtuales
  44. 44. 4. Experimentos y resultados • Inconvenientes – Alineación de mundos comprometida: oscilaciones del modelo y errores de posicionamiento • Marcas lejanas y oblicuas al eje de la cámara • Presencia de ruido en imágenes – Errores en la extracción final de objetos • Cambios acentuados en las condiciones del entorno • Modelado demasiado básico del entorno de trabajo
  45. 45. 4. Experimentos y resultados • Errores no eliminados
  46. 46. 4. Experimentos y resultados
  47. 47. Indice • 1. Modelos virtuales • 2. Alineación de modelos con el entorno real • 3. Sustracción dinámica de fondo • 4. Experimentos y resultados • 5. Conclusiones y trabajo futuro
  48. 48. 5. Conclusiones y trabajo futuro • Posicionamiento – Búsqueda y reconocimiento de marcas ha permitido la localización en un entorno conocido empleando sólo una cámara – El sistema de marcas proporciona libertad de movimientos y posicionamiento con gran rapidez – Precisa al menos de una marca visible – Muy sensible al ruido, tanto más cuanto mayor es la distancia a la marca detectada
  49. 49. 5. Conclusiones y trabajo futuro • Diseño y visualización de modelos virtuales – OpenGL vs. Motores gráficos • OpenGL permite representar objetos en 3D con escasos recursos del sistema, de forma rápida y sencilla • La adaptación de los modelos y las texturas es menos laboriosa • Permite visualizar simultáneamente los modelos en ventanas independientes ⇒ verificación de mundos real y virtual alineados
  50. 50. 5. Conclusiones y trabajo futuro • Extracción de objetos y composición de fotogramas – Extracción de objetos • Muy dependiente de cómo se ha diseñado el modelo del entorno y de los resultados del posicionamiento ⇒ propagación de errores • Principal causa de limitación de velocidad global – Composición de fotogramas finales fácil y sencilla
  51. 51. 5. Conclusiones y trabajo futuro • Varias líneas de estudio interesantes – Mejora en el posicionamiento ⇒ errores en función de la distancia • Empleo de marcas a medio camino ⇒ búsqueda en la base de datos de marcas conocidas • Sistemas externos de apoyo: sonar, dispositivo tracker... ⇒ complejidad – Mejora en el diseño de modelos ⇒ falta de realismo • Modelado y carga de efectos de luces, sombras y brillos en función de las condiciones del entorno – Posibilidad de incorporar los resultados a tecnologías basadas en MPEG-4

×