Interfaces multimodales et géomatique : état des lieux

1. Interfaces multimodales et
géomatique : état des lieux
Frédéric Hubert, Ph.D.
Département des sciences géomatiques
Université Laval
Géomatique 2009
21 octobre 2009

2. Plan de la présentation
• Contexte actuel
• Les modes de communication
• Les interfaces multimodales par l’exemple
• Les interfaces multimodales géospatiales
• Open source et normes
• Intérêts de recherche

3. Aujourd’hui …
• La façon la plus commune pour interagir avec des systèmes
informatisés se concentre sur l’usage exclusif de :
Écran
Souris
Clavier

4. Aujourd’hui …
• Engouement pour des nouvelles technologies (matérielles)
offertes au grand public
– Téléphones intelligents
Apple iPhone
T-Mobile G1
HTC Diamond

5. Aujourd’hui …
• Engouement pour des nouvelles technologies (matérielles)
offertes au grand public
– Téléphones intelligents
– Nintendo Wii
Source: www.driver-dimension.com

6. Aujourd’hui …
• Engouement pour des nouvelles technologies (matérielles)
offertes au grand public
– Téléphones intelligents
– Nintendo Wii
– GPS mobile / embarqué
 Ce ne sont pas juste des gadgets !

7. En arrière de ces technologies …
des modes de communication
• Les cinq sens comme point • Modes de communication :
de départ • visuel
• sonore
• tactile
• gestuel
• olfactif (?)
• gustatif (?)
• cérébral (?)
• Types de modes
• + des formes d’interaction : • en entrée (saisie)
– Geste • et en sortie (restitution)
– Parole

8. Les modes de communication :
Le mode visuel & composants
• Les écrans (sortie)
• Les vidéoprojecteurs (sortie)
• Lunettes Réalité Virtuelles (sortie)
• ~ Eye Tracking (entrée)

9. Les modes de communication :
Le mode sonore & composants
• Hauts-parleurs, casques (sortie)
• Microphone (entrée)

10. Les modes de communication :
Le mode tactile & composants
• Clavier (entrée)
• Manettes, volant (entrée et sortie)
• Écrans tactiles (entrée et sortie)
HP TouchSmart

11. Les modes de communication :
Le mode gestuel & composants
• Capture du mouvement du corps ou
du visage
– Souris, Caméra (entrée)
– Wiimote (entrée et sortie),
– Wii Balance Board (entrée)
– Gants haptiques (entrée)

12. Les modes de communication :
Les modes olfactif et gustatif
MicroScent
Food simulator

13. Les interfaces multimodales
• Usage simultanée ou alternée de modes ou modalités de
communication entre l’homme et la machine afin de :
– Rendre plus intuitive l’interaction et l’expression pour l’humain,
– Diminuer l’ambiguïté liée à l’usage de certaines modalités de
communication (ex. la parole),
– Offrir un support pour les personnes ayant des déficiences.
• Intérêts :
 Augmenter et améliorer l’utilisabilité et l’accessibilité des
systèmes informatisés.
 Interaction adaptable, flexible, coopérative et plus naturelle
 Technologies de plus en plus matures

14. Les interfaces multimodales :
Architecture simplifiée
Serveurs
Fusion de données
Fission

15. Les interfaces multimodales :
Multi-modalité en entrée (1/2)
• Usage courant d’un écran, un clavier et une souris.
• Exemple : Ouvrir le gestionnaire des tâches de Windows
• Deux modes de communication
offerts pour réaliser la même chose :
– Souris
– Clavier

16. Les interfaces multimodales :
Multi-modalité en entrée (2/2)
• Usage d’un microphone
avec un écran tactile.
• Deux informations distinctes qui se
complètent (quasiment) en même temps
par :
1. parole avec microphone
2. pointer avec écran tactile
 Fusion des deux informations

17. Les interfaces multimodales :
Multi-modalité en sortie
• Exemple : Réception d’un appel sur un téléphone cellulaire.
• On peut alors recevoir la même information en même temps
(simultané) par :
– Sonnerie du téléphone (mode sonore)
– Affichage sur l’écran d’un nouvel appel (mode visuel)
– Vibration du téléphone (mode tactile)
 Fission simultané ou non

18. Les interfaces multimodales :
Exemple … le plus ancien
Le simulateur Sensorama
Cinéma immersif
datant des années 60 avec :
- projecteur d’images
stéréoscopiques
- son
- Air soufflé avec odeurs
(pizzas, jasmin, …)
- siège vibrant

19. Les interfaces multimodales :
Exemple … Apple iPhone
Caméra
Haut-parleur
Écran
tactile Boutons
Écran
Microphone
Vibration

20. Les interfaces multimodales :
Exemple … afficheur interactif portable
Source: www.driver-dimension.com

21. Les interfaces multimodales
géospatiales
• Une définition :
« Les interfaces multimodales géospatiales sont des
solutions d’interfaces homme-machine qui visent à combiner,
de manière simultanée ou alternée, des modes de
communication impliquant l’usage, direct ou indirect, de
l’information géographique dans le but d’améliorer
l’utilisabilité et l’accessibilité des données géospatiales au
travers de systèmes informatisés. »
• GeoMMI : Geospatial MultiModal Interface

22. GeoMMI - Le plus connu
• Les GPS mobile/embarqués dans les voitures
– Microphone (entrée)
– écran tactile (entrée/sortie)
– Haut-parleurs (sortie)
• Pour saisir une information de
destination, il est possible
d’utiliser :
– Commande vocale
– Ou écran tactile
• La restitution d’informations : visuelle et/ou sonore

23. GeoMMI – Vieille interface
• Une des plus anciennes interfaces multimodales
géospatiales
– Caméra
– Microphone
– Écran
Système « Put-that-there » de Bolt, 1980

24. GeoMMI - Edward Tse, Ph.D.
• Utilisation de microphones, caméras,
vidéoprojecteur, souris
– Geste et parole
http://edwardhtse.googlepages.com/areasofcreativity

25. GeoMMI – Interfaces tactiles
• Microsoft Surface
– http://www.microsoft.com/surface/

26. GeoMMI – Perspective Pixel
• Comme dans le film Minority Report
– http://www.perceptivepixel.com/

27. GeoMMI – Nasa World Wind
• Nasa World Wind + interfaces multimodales
• http://www.dfki.de/web
• (à gauche) Écran tactile seul
• (à droite) Écran tactile + Wii balance board
http://ifgiweb.uni-muenster.de/~j_scho09/world-wind-
touch/Home.html
http://www.youtube.com/watch?v=riFw0kKoinU&feature
=player_embedded

28. GeoMMI – Cubtile 3D
• Le cubtile 3D = navigation 3D
– L’entreprise immersion (www.immersion.fr)

29. GeoMMI – CoMPASS
• CoMPASS (TabletPC + Voix)
http://www.csi.ucd.ie/staff/mbertolotto/home/

30. GeoMMI – Groupe Immerse
• Pour les personnes avec des déficiences physiques
– Groupe de recherche de Dan Jacobson (Calgary)

31. GeoMMI – Groupe GeoVISTA
• DAVE_G (début des années 2000)
– Parole, eye tracking, gestes, …
– Gestion de risque, geocollaboration

32. GeoMMI – Réalité Augmentée

33. GeoMMI – Réalité Augmentée
avec iPhone
• Métro de Paris sur iPhone
– http://www.metroparisiphone.com/

34. GeoMMI … dans le Futur
Siftables Cerveau ! Hologrammes
http://siftables.com/
http://gl.ict.usc.edu/Research/
3DDisplay/

35. OpenInterface
• Le projet OpenInterface (www.openinterface.org/)
– Solution open source de plateforme d’aide à la création et au
déploiement d’interfaces multimodales
– Exemples :
• Navigation avec Google Earth (Microphone + capteur SHAKE)

36. OpenInterface
– Autres Exemples de navigation:
• Iphone + wiimote
• Table augmentée ou table tactile + Voix

37. Normes internationales
• Groupe de travail sur les interaction multimodales
– http://www.w3.org/2002/mmi/
– http://www.w3.org/2009/05/mmi-charter.html
• Objectifs :
– Étendre le Web avec de multiples modes de communication
– N’importe qui, n’importe où, n’importe quand, peu importe l’interface,
• Normalisation
– EMMA : Extensible Multimodal Annotation Markup Language (
Recommandation)
– Multimodal Architecture (Draft)

38. Le laboratoire REGARD
• Matériel obtenu via FCI
– 5 Téléphones mobiles (iPhone + Nokia)
– 10 PDA PalmOne Tungten et PDA HP
– 1 Écran 3D avec projecteurs
– 1 Écran auto stéréoscopique 40’’ Synthagram
– 3 Lunettes de réalité augmentée i-glasses PC 3D HR
– Clusters de PC
– 1 Stylet ST3 Polhemus
– 3 Souris 6 degrés de liberté Magellan (HP)
– 9 gant P5 glove (Virtual realities inc.)
– 2 Caméras numérique
– PC portables et PC desktop
– …

39. GeoMMI – Le projet GéoÉduc3D
http://geoeduc3d.scg.ulaval.ca
• Réalité augmentée, mobilité, données 3D, jeux, éducation
• Objectifs :
– Proposer des jeux interactifs éducatifs, s'appuyant sur les
technologies géospatiales et explorant des questions thématiques
auxquelles le jeune public des adolescents est sensible : les
changements climatiques; le développement durable.
– Concevoir et mettre en œuvre un ensemble d’outils d'apprentissage
innovants qui vont permettre d'enrichir - « augmenter » - l'expérience
(i.e. l'apprentissage ludique) du joueur en rendant le jeu plus
immersif, réactif, interactif.
• Différents chercheurs, différents domaines (géomatique,
éducation, réalité augmentée), différents partenaires :

40. Le projet GéoÉduc3D
Exemples de travaux
iPhone
Capture de mouvement (caméra + écran tactile)
(doigt bleu ou vert) + caméra Par Vincent Thomas, maîtrise

41. Intérêts de recherche
• Potentiel énorme d’utiliser des interfaces multimodales en
géomatique
– Aider les utilisateurs à spécifier leurs besoins en information
géographique
– Rendre plus utilisable et intuitif les systèmes géospatiaux
– Personnalisation des données spatiales, mais aussi des interactions
– Mettre en place un dialogue homme-machine
• Actuellement, des étudiants travaillent en particulier sur
l’iPhone :
– Élodie EDOH-ALOVE (maîtrise) : Étude du contexte spatial sur des
dispositifs mobiles, tel que l’iPhone, pour des jeux éducatifs en tenant
compte de l’aspect réalité augmentée dans le projet GéoÉduc3D
– Belko Diallo (doctorat - codirecteur) : Géo-décision en mobilité

42. Intérêts de recherche
• Belko Diallo (doctorat - codirecteur) : Géo-décision en mobilité

43. Conclusion
• Nouvelles connaissances sur les interfaces
multimodales.
• Découverte des interfaces multimodales
géospatiales.
• Exploitation de telles interfaces au Département des
sciences géomatiques de l’Université Laval.
• Potentiel des interfaces multimodales pour la
géomatique pour l’avenir !

44. Merci de votre attention
QUESTIONS ?
http://frederic-hubert.scg.ulaval.ca