Atelier IC 2011 - Traces

1. Traces/ numériques / explicites Yannick Prié Université Lyon 1 LIRIS UMR5205

2. Objectifs Donner des éléments de caractérisation des traces et de leur utilisation Proposer quelques définitions Présenter quelques travaux autour de l’approche des Systèmes à Base de Traces Modélisées

3. Plan Traces Traces numériques Traces numériques explicites pour utilisateurs conscients

4. Traces comme indices / signes Définir une trace en tant que telle est impossible « Génitif intrinsèque » (Serres) Interprétation, signification Abstraction Indice d’événements Questions de causalité / indices Trace de processus Suite d’événements Composition d’indices (indice plutôt isolé vs trace plutôt composée)

5. Interprétation de traces et activité L’interprétation est impliquée dans une activité Articulation consciente de la trace à l’activité Expérimentation Enquête Réflexivité Articulation inconsciente Signification immédiate Réflexion en action (Schön)

6. Traces et constitution d’un rapport au temps Construction du passé Juste passé Passé personnel Passé commun Construction du futur prise de conscience et transformation de l’activité et de soi-même Narration et récit

7. Bilan intermédiaire Définition générale La trace est une inscription-signe utilisée au cours d’une activité dans laquelle cette signification est mobilisée, ce qui implique une interprétation Focalisation : trace = signe du passé La trace est inscription-signe d’un événement ou d’un processus passé utilisée au cours d’une activité dans laquelle cette signification est mobilisée, ce qui implique une interprétation

8. Plan Traces Traces numériques Traces numériques explicites pour utilisateurs conscients

9. Traces et numérique Le numérique est fondé sur la notion de trace, tout processus numérique utilise des traces et produit des traces Dans le numérique, tout est donc signe, au moins du ou des processus qui en sont à l’origine Un monde d’indices à interpréter Propositions Penser l’interprétation instrumentée comme structuration spatio-temporelle d’indices Considérer une double interprétation

10. Structuration spatio-temporelle d’indices numériques Interprétation de traces numériques Processus d’organisation, de transformation d’éléments numériques quelconques spatial : structuration temporel : temporalisation Résultat nouveaux éléments numériques signifiants

11. Double interprétation 1- Interprétation liée aux processus numériques Interpréter d’abord les indices comme traces de processus informatiques, de calcul Interprétation automatisée d’indices définition de processus à partir des relations séquentielles ou chronologiques reconstruction de processus quelconque interprétation informée par la connaissance de caractéristiques d’un processus / programme, expert Fabrication de nouveaux indices signes de causes extérieures au numérique interprétation « à la limite » numérique interprétation cohérente avec la formalité numérique

12. Double interprétation 2- Interprétation liée aux processus ayant mis en jeu les processus numériques Interpréter ensuite ces indices comme traces de processus qui ont pu se dérouler en dehors du monde numérique processus physiques, biologiques, humains, sociaux, etc. avec le monde numérique activité médiée Interprétation arbitraire par rapport au numérique Interprétation de processus mondains Interprétation de processus calculatoires

13. Interprétation humaine de traces numériques Obligatoirement instrumentée Directe à partir de la présentation d’indice(s) plus ou moins calculée Interactive organisation/transformation manuelle interactive en nouveaux indices assisté par des processus automatiques requêtes, transformations, visualisation assistance possible par des modèles sur les processus visés Structuration automatique machinique Structuration interactive humaine

14. Structuration interactive comme tissage d’indices Mise en texte au sens large : tableau, groupement, texte écrit Objectification éphémère ou durable de la trace Narration, séquentialisation, temporalisation

15. Bilan Deux types d’objets de l’activité d’interprétation Deux types d’outils pour l’interprétation considérée comme structuration Structuration interactive Structuration automatique Interprétation de processus mondains Interprétation de processus calculatoires

16. Exemple 1 : données météo Traces données de température dans une base de données Structuration automatique lissage + présentation sur une carte Interprétation processus mondain il fait chaud à Toulouse

17. Exemple 2 : données d’exécution Traces logs d’un système Structuration automatique détection d’un problème Interprétation processus calculatoire erreur dans le code

18. Exemple 3 : vidéo Traces informations audio-visuelles Structuration automatique présentation de la vidéo comme objet détection de visages Structuration interactive expérience de la vidéo en train de se jouer, arrêt sur image, déplacement validation des visages proposés construction d’une structure d’annotation Interprétation de processus mondain telle personne a fait telle action la séance s’est bien passée

19. Exemple 4 : traces de conduite Traces vitesse, angle volant, position, vidéo fixations regards (issus d’une interprétation préalable) Structuration automatique accélération, tour volant, etc. présentation dans une timeline Structuration interactive marquage d’un « dépassement » de t1 à t2 requêtage et affichage e.g. « tour volant > 30 ET regard rétro gauche » Interprétation de processus mondain modèles de conduite

20. Le cas de l’activité médiée Processus visé = activité qui prend appui sur des inscriptions numériques et des outils numériques L’outil numérique supporte l’activité Les indices-inscriptions sont (plus) directement interprétables dans les termes de l’activité Instrumentation possible d’une interprétation automatique de processus calculatoire Préparation d’un environnement d’inscription de traces Conséquences possibles sur l’activité Réflexivité : indicateurs, historique, contextualisation Assistance

21. Exemple 5 : indicateurs Traces messages sur un chat Structuration automatique construction d’un pourcentage de participation Interprétation de processus mondain Etienne ne participe pas assez Je n’étais pas très impliqué

22. Exemple 6 : historique Traces logs serveur web Structuration automatique construction d’indices de navigation, e.g. Recherche d’information, Achat en ligne, Traitement courrier présentation en timeline Interprétation de processus mondain Etienne traite son courrier en général le matin Qu’est-ce que j’ai bien pu faire lundi ?

23. Exemple 7 : annotation de l’activité avec des marqueurs Structuration automatique Gestion du marquage temporel Présentation temporalisée de marqueurs Structuration interactive Pose de marqueurs, modification Interprétation de processus mondain Je commence telle tâche Il faudra envoyer un mail à Marie plus tard

24. Structuration interactive Structuration automatique Interprétation de processus calculatoires Structuration interactive Structuration automatique Interprétation de processus mondains (Interprétation formalisée de processus calculatoires) Bilan : deux cas principaux

25. Bouger les curseurs Par principe, tout élément informatique est atteignable, manipulable, structurable peut participer à une sémiose en tant que signe de processus numérique réel ou reconstruit en tant que signe « à la limite » de processus mondains peut participer à un activité de structuration Evolution d’un système tracé évolution de la séparation automatique / interactif par automatisation de schémas de structuration interactive par abandon de modes de structuration automatique changement des processus numériques eux-mêmespour prendre en compte / optimiser l’évolution de la structuration automatique

26. Bilan intermédiaire Trace numérique Inscription numérique composée d’un ou de plusieurs éléments numériques, interprétée comme signe d’un événement ou d’un processus numérique ou mondain au cours d’une activité instrumentée dans laquelle cette signification est mobilisée Trace numérique d’activité médiée Inscription numérique composée d’un ou de plusieurs éléments numériques, interprétée comme signe d’une activité médiéeau cours d’une activité instrumentée dans laquelle cette signification est mobilisée en analyse ou en réflexivité

27. Plan Traces Traces numériques Traces numériques explicites pour utilisateurs conscients

28. Trace numérique explicite d’activité médiée Trace qui se présente explicitement comme une trace d’un processus, qui s’appréhende comme une trace temporalisation explicite d’éléments signifiants interprétables en lien avec l’activité Pas forcément facile à interpréter ! Utilisateur conscient trace des autres (analyse) ou de soi-même (réflexivité)

29. Utilisations des traces explicites Analyse de traces passées Construction d’interprétation scientifique Contextualisation de ressources partagées Partage et redocumentation d’activité Analyse instantanée Monitoring Prévision Rétrospection : historiques Recherche d’information Développement : appropriation, métacognition Partage et redocumentation Contextualisation de ressource Réflexivité instantanée : indices Traces instantanées, awareness, undo, marqueurs Mémoire prospective Analyse Réflexivité

30. Problématiques applicatives Technologie intellectuelle visant à permettre l’interprétation d’une trace numérique d’activité Dispositif interactif de présentation, de navigation et d’interprétation d’une trace explicite d’une activité instrumentée Intégration dans une activité d’analyse interprétation/ partage Technologie intellectuelle visant à permettre l’interprétation d’une trace numérique de sa propre activité Dispositif interactif de présentation, de navigation et d’interprétation d’une trace explicite de son activité instrumentée Intégration pour une expérience complète activité + réflexivité Appropriabilitéde la trace construction de son expérience passée Analyse Réflexivité

31. Challenges Représentation des traces numériques modèles de traces Opérationnalisation de la structuration automatique transformations et modèles de transformation Visualisation et interaction pour l’interprétation (structuration interactive) timelines ou autres Conception de systèmes méthodologie Ethique  principes

32. Ethique et confidentialité Principe : un utilisateur est propriétaire de ses traces peut contrôler la collecte (débrayage complet, débrayage partiel) contrôle la diffusion et le partage de ses traces Moyen notification du traçage retour instantané (léger) sur ce qui est tracé outil(s) d’interprétation de trace

34. Traces modélisées (2) Modèle de trace : ensemble de types d’obsels types de relation Trace modélisée : association d’un ensemble d’obsels et de relations et d’un modèle de trace

35. Traces et transformations (1) Passage d’une trace modélisée à une autre trace modélisée Abstraction

36. Traces et transformations (2) Transformation de traces sélection, réécriture, fusion Trace première trace non transformée Transformations automatiques Modèles de transformation = descriptions formelles de transformations Transformations manuelles Graphe des transformations traçabilité des transformations

37. Systèmes à base de traces Collecte des traces Conservation des traces base de traces Transformation de traces assurer l’interprétabilité Outils d’exploitation des traces – notamment visualisation interactive assurer la visibilité et l’appropriabilité (Settouti, 2011)

38. Systèmes à Base de Traces

39. Exemple global : Visu Projet ANR ITHACA (Lyon 1, Lyon 2, TECFA) Interactive Traces for Humain Awareness and Collaborative Annotation Application Visu : tutorat en ligne Acteurs responsable de formation tuteurs apprenants Fonctionnement séances de tutorat synchrone retour sur l’activité asynchrone

40. Visu : salon synchrone Salon synchrone Visioconférence + chat + plan de séance + documents de séance + zone de marquage + timeline de présentation des traces Traces d’activité Trace des interactions Trace de marquage Traces audio-vidéo

42. Visu : salon de rétrospection Salon de rétrospection Player audiovidéo Timelinesynchronisée Traces personnelles Traces partagées Commentaires Annotation de l’activité a posteriori Transformation manuelle des traces Trace d’activité Trace de l’utilisation (pour l’analyse)

44. Visu : gestion de bilans Module de documentarisation de traces Construction de fragments documentaires Module de visualisation de bilans Texte + vidéo

47. Autres travaux Partage de traces, traces collectives Reprise d’activité lointaine ou proche à base de traces Documentarisation textuelle semi-automatique Construction interactive de transformations Timelines et présentation de traces Raisonnement à Partir de l’Expérience Tracée Transformation = inférence Fouille interactive de traces Transformations Modèles d’activité …

48. Méthodologie (Laflaquière, 2009)

49. Méthodologie

50. Conclusion Indice / trace Interprétation comme structuration spatio-temporelle d’indices automatique et interactive Interprétation de processus calculatoires puis mondains Traces explicites et utilisateurs conscients analyse / réflexivité Systèmes à base de traces modélisées Traces explicites pour la réflexivité

51. Remerciements Equipe SILEX