3. Situation actuelle
Ingénieur d’évaluation de systèmes de traitement de
l’information multimédia au Laboratoire national de
métrologie et d’essais (LNE)
Le LNE
¢ Etablissement Public à caractère Industriel et
Commercial
¢ Défense du consommateur
¢ Accréditation pour la délivrance de normes NF et CE
Rencontres AFTAL - 2 mai 2012 3
4. Cursus universitaire
2003-2006 : Licence Sciences du langage à l’Université
Stendhal Grenoble 3
¢ Parcours Informatique
¢ Stage de licence en phonétique expérimentale
2006-2008 : Master en Sciences du Langage spécialité
Traitement Automatique de la Langue Ecrite et Parlée
(TALEP) à l’Université Stendhal Grenoble 3
¢ Développement de plateforme pédagogique
¢ Traitement de base de données Syllabique
¢ Stage de Master 2 : Proximité de voix, comparaison de
la perception et du traitement automatique
Rencontres AFTAL - 2 mai 2012 4
5. Thèse
2008-2011 : Doctorat en informatique à l’Université
d’Avignon et des Pays de Vaucluse (Prix de thèse AFCP 2011)
u Parole de locuteur : Performance et confiance en identification
biométrique vocale
¢ Laboratoire Informatique d’Avignon (Jean-François Bonastre)
¢ Laboratoire Informatique de Grenoble (Solange Rossato)
u Chercheur invitée au SRI (Stanford, Californie)
¢ Vérification du protocole mis en place lors de ma thèse
Rencontres AFTAL - 2 mai 2012 5
6. Thèse
Tâche de vérification du locuteur
¢ Les deux signaux de parole ont-ils été produits par le même
locuteur ?
Vérifier la robustesse des systèmes de vérification du locuteur à la
variabilité de la parole
¢ Tous les signaux de parole sont-ils équivalent pour modéliser un
locuteur ?
¢ Quelle variation de performance des systèmes peut-on observer
en fonction des locuteurs et des signaux sélectionnés ?
Mieux comprendre où se situent dans le signal de parole les indices
relatifs au locuteur
¢ Complémentarité entre perception humaine et système
automatique
¢ Analyse de la variance de mesures d’indices acoustiques dits
idiosyncratiques
Rencontres AFTAL - 2 mai 2012 6
7. Monitorat
Enseignement à l’Université d’Avignon et des Pays de
Vaucluse
¢ C/C++
¢ Gestion documentaire
¢ XML
¢ Informatique pour les non-spécialistes
Rencontres AFTAL - 2 mai 2012 7
8. Traitement de l’information multimédia
Audio
u Qui parle ?
u Dans quelle langue ?
u Que dit-il ?
Texte
u Quel document est pertinent pour répondre à ma question ?
u Quelles sont les personnes citées dans ce texte ?
Traduction de documents textuels et de transcriptions de la parole
u Comment traduire en français une phrase produite en arabe ?
Image
u Qu’est-il écrit ?
u Où se trouve la personne X ?
Rencontres AFTAL - 2 mai 2012 8
9. Principe d’une évaluation
Développeurs
Applications Théories
SYSTEMES
Besoins
TACHES Données d’apprentissage Modèle
Comment vérifier la pertinence du modèle
à la tâche?
Fournisseur de corpus-Evaluateur EVALUATION
Systèmes Sorties
Données
Mesure de la performance
de test
Humains Références
Rencontres AFTAL - 2 mai 2012 9
10. Le LNE : tiers de confiance
Evaluer les progrès des systèmes de traitement de
l’information multimédia
u Mise en place de métriques
u Organisation de campagnes d’évaluation
u Analyse des résultats
Etablir des référentiels communs
u Données
u Outils d’évaluation
u Règles communes d’évaluation
Rencontres AFTAL - 2 mai 2012 10
11. Questions de recherche
Comment évaluer au mieux la performance des systèmes ?
Informatique
u Métriques
u Optimisation des outils
u Représentation des données
Linguistique
u Quel corpus pour quelles applications ?
u Caractérisation des phénomènes linguistiques grâce aux
« comportements des systèmes »
Rencontres AFTAL - 2 mai 2012 11
12. Merci de votre attention
Juliette.kahn@lne.fr
Séminaire RetD-Doctorale du 6 juillet 2012-
12
