1.
Presentación PFC
Inmersión en Entornos
Virtuales mediante
Realidad Aumentada
Mª Begoña Sagredo Sánchez
Universidad de Málaga

2.
Introducción
• Comunicaciones por vídeo limitadas por el estrecho
ancho de banda para la transmisión de imágenes
• Compresión de las secuencias de vídeo como
solución más viable
• Estándares MPEG de 2ª generación son los más
usados ⇒ MPEG-4 emplea compresión orientada a
objetos
• Separación de fotogramas en objetos ⇒ procesado
independiente y adaptación el ancho de banda
disponible

3.
Introducción
• Técnica habitual en entornos
reales ⇒ división de imágenes
en objetos de interés y fondo
• Sustracción de fondo ⇒
Extracción de objetos por
comparación con un fondo
conocido de referencia
– Usuario situado en un
espacio específico
– Fondo plano homogéneo
de color chillón
– No es posible interactuar
con los elementos virtuales

4.
Introducción
• Otras técnicas emplean como fondo de referencia
una imagen previa del mismo sin objetos de
interés ⇒ únicamente válida para cámaras fijas
• En este proyecto se realiza una sustracción de
fondo para cámaras móviles mediante técnicas de
Realidad Aumentada (RA)
– El fondo de referencia para la extracción de objetos se
obtiene de un modelo virtual en 3D del entorno de
trabajo debidamente alineado con éste
– Para recomponer el fotograma se emplea un fondo
sustituto del original obtenido de un segundo modelo
virtual en 3D, también alineado con el entorno real

5.
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro

6.
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro

7.
1. Modelos virtuales
• 3D Studio Max
– Modelado de objetos en 3D y creación de
materiales a partir de imágenes en formato
‘.bmp’
• OPenGL
– Librería gráfica para la creación y
configuración de ventanas de visualización
donde se pueden representar fácil y
rápidamente los objetos en 3D

8.
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la extracción de objetos inicial
• Se modelan las paredes y mobiliario significativo a base de
cajas de medidas variadas que los simulan

9.
1. Modelos virtuales
Puerta Corcho
ParedesPizarra
ArmariosSuelo

10.
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la extracción de objetos inicial
• Se modelan las paredes y mobiliario significativo a base de
cajas de medidas variadas que los simulan

11.
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la extracción de objetos inicial
• Se modelan las paredes y mobiliario significativo a base de
cajas de medidas variadas que los simulan
• Diseño de materiales a partir de fotografías de los objetos
reales que se quieren modelar

12.
1. Modelos virtuales

13.
1. Modelos virtuales
Perspectiva final del diseño

14.
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la extracción de objetos inicial
• Se modelan las paredes y mobiliario significativo a base de
cajas de medidas variadas que los simulan
• Diseño de materiales a partir de fotografías de los objetos
reales que se quieren modelar

15.
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la extracción de objetos inicial
• Se modelan las paredes y mobiliario significativo a base de
cajas de medidas variadas que los simulan
• Diseño de materiales a partir de fotografías de los objetos
reales que se quieren modelar
– Modelo virtual sustituto ⇒ fuente para el fondo
sustituto en la composición del fotograma final

16.
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la extracción de objetos inicial
• Se modelan las paredes y mobiliario significativo a base de
cajas de medidas variadas que los simulan
• Diseño de materiales a partir de fotografías de los objetos
reales que se quieren modelar
– Modelo virtual sustituto ⇒ fuente para el fondo
sustituto en la composición del fotograma final
• Estructura similar al modelo del entorno real

17.
1. Modelos virtuales
• Dos modelos virtuales:
– Modelo del entorno de trabajo ⇒ actúa como fondo de
referencia para la extracción de objetos inicial
• Se modelan las paredes y mobiliario significativo a base de
cajas de medidas variadas que los simulan
• Diseño de materiales a partir de fotografías de los objetos
reales que se quieren modelar
– Modelo virtual sustituto ⇒ fuente para el fondo
sustituto en la composición del fotograma final
• Estructura similar al modelo del entorno real
• Materiales a partir de fotografías de las fachadas de la Plaza

18.
1. Modelos virtuales
• Materiales para la Plaza
Calle Mercaderes Calle Teniente Rey
Calle San Ignacio

19.
1. Modelos virtuales
Perspectiva final del diseño

20.
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro

21.
2. Alineación de modelos con el
entorno real
• Es necesario conocer la posición y orientación de
la cámara en el entorno real para obtener la vista
adecuada del modelo virtual
• La existencia de referencias físicas en el entorno
permitiría determinar dónde se encuentra la
cámara en todo momento
• Técnicas de visión por computador hacen posible
la detección y reconocimiento de marcas físicas
artificiales ⇒ ARToolkit

22.
2. Alineación de modelos con el
entorno real
• ARToolkit
– Librería de distribución libre que calcula en tiempo real la
posición-orientación de la cámara respecto de una serie de marcas
para las que ha sido entrenado y sobre las que sitúa objetos
virtuales
• Longitud conocida del lado
• Orientación del patrón
Posición
de la
cámara

23.
2. Alineación de modelos con el
entorno real
• Permite
posicionamiento con
una única marca
• Permite
posicionamiento
múltiple con varias
marcas
• Cámara limitada al
espacio físico de las
marcas
Cambiar
por un
video

24.
2. Alineación de modelos con el
entorno real
• Posicionamiento único
con varias marcas
– Emplea varias marcas con
una posición fija en un
sistema de coordenadas
definido
– Determina la posición
respecto de un único punto
del sistema de coordenadas

25.
2. Alineación de modelos con el
entorno real
• Posicionamiento único
con varias marcas
– Emplea varias marcas con
una posición fija en un
sistema de coordenadas
definido
– Determina la posición
respecto de un único punto
del sistema de coordenadas
• Es independiente de la marca
detectada
• Permite mayor libertad de
movimientos

26.
2. Alineación de modelos con el
entorno real
• Sistema de marcas distribuidas por el entorno
X
Y
Z

27.
2. Alineación de modelos con el
entorno real
• Diseño en 3D de un armario de cristaleras verde
X
Y
Z

28.
2. Alineación de modelos con el
entorno real
• Proceso de superposición final

29.
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro

30.
3. Sustracción dinámica de fondo
• Segmentación o división de imágenes en
‘objetos’ o regiones de interés y en ‘fondo’
o regiones carentes de ella
– Funcionamiento en entornos reales ⇒ robusto a
cambios de intensidad, luces y sombras
– Funcionamiento en tiempo real ⇒ rápido
– Compromiso resultados-tiempo empleado
• ‘Segmentación en color por sustracción de fondo’

31.
3. Sustracción dinámica de fondo
• Comparación píxel a píxel entre fondo e imagen a
procesar, empleando como criterio el color
– Distancia de color entre cada par de píxeles y se
determina según un umbral determinado si:
• Píxeles iguales ⇒ fondo
• Píxeles diferentes ⇒ objeto potencial

32.
3. Sustracción dinámica de fondo
Fondo de referencia
Imagen a procesar
Algoritmo de
comparación

33.
3. Sustracción dinámica de fondo
• Inconvenientes
– Introduce ruido: grupos de píxeles aislados y erróneos
– Los resultados dependen de los umbrales considerados,
y estos de la situación del entorno en el instante de
captura de la imagen
• Comparación píxel a píxel entre fondo e imagen a
procesar, empleando como criterio el color
– Distancia de color entre cada par de píxeles y se
determina según unos umbrales determinados que:
• Píxeles iguales ⇒ fondo
• Píxeles diferentes ⇒ objeto potencial

34.
3. Sustracción dinámica de fondo
• Se aplica a continuación un algoritmo para la
detección de objetos ⇒ Algoritmo de detección de
objetos por mezclado con conectividad
– Agrupación en regiones de píxeles adyacentes distintos
del fondo
– Filtrado de clases
Área mínima ⇒ elimina regiones cuyo área no
supere un valor mínimo ⇒ eliminación de ruido
– Dilatación de regiones finales para eliminar huecos

35.
3. Sustracción dinámica de fondo
Fondo de referencia
Imagen a procesar
Algoritmo de
comparación
Algoritmo de
detección de
objetos
Criterios de
área mínima

36.
3. Sustracción dinámica de fondo
• Problemas añadidos ⇒ fondo de referencia
procedente de un modelo virtual
– Errores de comparación debido a que la
superficie de los objetos modelados no es
exactamente igual a los reales
– Errores de comparación debido a la incorrecta
alineación de los mundos real y virtual
• Extracción de regiones que objetivamente
no tienen sentido

37.
3. Sustracción dinámica de fondo
Error debido al
modelado de la
textura
Error debido al
desalineamiento

38.
3. Sustracción dinámica de fondo
• Filtrado de regiones más restrictivo ⇒
bounding box o caja que contiene la región
– Relación de aspecto ⇒ evitamos regiones
alargadas
– Relación área efectiva-área de bounding box
⇒ evitamos regiones poco ocupadas por los
píxeles de la imagen

39.
3. Sustracción dinámica de fondo
Región alargada
Regiones poco
ocupadas

40.
3. Sustracción dinámica de fondo
• Composición final del fotograma
Fondos sustitutos Fotograma compuesto
Imagen procedente
de la sustracción

41.
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro

42.
4. Experimentos y resultados
Proyección del
modelo de la
Plaza
Salida de
vídeo
compuesto
Imagen real
procedente la
cámara
Proyección del
modelo del
entorno real

43.
4. Experimentos y resultados
• Ventajas
– Medios técnicos necesarios muy básicos: PC y
cámara de vídeo
– Funcionamiento global del sistema en tiempo
real
• La simplicidad de la técnica empleada para el
posicionamiento
• Rapidez y facilidad para representar los objetos
virtuales

44.
4. Experimentos y resultados
• Inconvenientes
– Alineación de mundos comprometida: oscilaciones
del modelo y errores de posicionamiento
• Marcas lejanas y oblicuas al eje de la cámara
• Presencia de ruido en imágenes
– Errores en la extracción final de objetos
• Cambios acentuados en las condiciones del entorno
• Modelado demasiado básico del entorno de trabajo

45.
4. Experimentos y resultados
• Errores no eliminados

46.
4. Experimentos y resultados

47.
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro

48.
5. Conclusiones y trabajo futuro
• Posicionamiento
– Búsqueda y reconocimiento de marcas ha
permitido la localización en un entorno conocido
empleando sólo una cámara
– El sistema de marcas proporciona libertad de
movimientos y posicionamiento con gran rapidez
– Precisa al menos de una marca visible
– Muy sensible al ruido, tanto más cuanto mayor es
la distancia a la marca detectada

49.
5. Conclusiones y trabajo futuro
• Diseño y visualización de modelos virtuales
– OpenGL vs. Motores gráficos
• OpenGL permite representar objetos en 3D con
escasos recursos del sistema, de forma rápida y
sencilla
• La adaptación de los modelos y las texturas es
menos laboriosa
• Permite visualizar simultáneamente los modelos en
ventanas independientes ⇒ verificación de mundos
real y virtual alineados

50.
5. Conclusiones y trabajo futuro
• Extracción de objetos y composición de
fotogramas
– Extracción de objetos
• Muy dependiente de cómo se ha diseñado el modelo
del entorno y de los resultados del posicionamiento
⇒ propagación de errores
• Principal causa de limitación de velocidad global
– Composición de fotogramas finales fácil y
sencilla

51.
5. Conclusiones y trabajo futuro
• Varias líneas de estudio interesantes
– Mejora en el posicionamiento ⇒ errores en función de
la distancia
• Empleo de marcas a medio camino ⇒ búsqueda en la base de
datos de marcas conocidas
• Sistemas externos de apoyo: sonar, dispositivo tracker... ⇒
complejidad
– Mejora en el diseño de modelos ⇒ falta de realismo
• Modelado y carga de efectos de luces, sombras y brillos en
función de las condiciones del entorno
– Posibilidad de incorporar los resultados a tecnologías
basadas en MPEG-4