Ubib.fr est un service de renseignement en ligne créé par les bibliothèques de 7 universités de l'Ouest de la France. Ce diaporama présente ce service et plus particulièrement son plan d'évaluation.

1. ubib.fr
ENSSIB – 3 juin 2009

2. une formation / un article
2

3. journées ABES 2007
Atelier Service de référence virtuelle, intervention de
Nicolas MORIN
3

4. redémarrage
Reprise du
projet par
Virginie EVEN
pour le compte
du RUOA
4

5. bâtir
une organisation
une évaluation
une communication une formation
5

6. bâtir
une organisation
une évaluation
une communication une formation
6

7. universités partenaires
7

8. Groupe
de
travail
8

9. Comité
de
pilotage 9

10. des besoins / un outil
Organisation collaborative
+
Service asynchrone (mail)
+
Service synchrone (chat)
10

11. Sciences & Techniques
Organiser Cœur &
Divers
Lettres
Sciences humaines
Droit & sociales
Santé http://www.flickr.com/photos/jkilmer2659/2452287117/
11

12. organisation : mail
Coeur
Pétales Lettres Divers Droit Santé Sciences SHS
Administrateur
Personnes-relais
Personnes-ressources
12

13. organisation : chat
Coeur
SCD Angers UBO UBS Le Mans Nantes Rennes 1 Rennes 2
Plages 3 4 2 3 6 4 3
Lundi Mardi Mercredi Jeudi Vendredi
9h-11h Le Mans Angers UBO Rennes 1 Nantes
11h-13h Nantes Nantes Rennes 1 UBS Le Mans
13h-15h UBS Nantes Rennes 1 Nantes Angers
15h-16h30 Rennes 1 UBO Nantes Rennes 2 Rennes 2
16h30-18h UBO Le Mans Rennes 2 Angers UBO
13

14. bâtir
une organisation
une évaluation
une communication une formation
14

15. Maîtriser
son image
15

16. dépôt de la marque
Dépôt de la marque semi-figurative :
= 305 € HT
16

17. nom de domaine
Ouverture du nom de domaine :
www.ubib.fr
= O € HT
17

18. Nous (ne)
sommes (que)
des bibliothécaires.
Laissons faire des
professionnels 18

19. communiquer
Daniel Habasque / www.nosoda.fr 19

20. affiche 40x60
20

21. marque-pages
21

22. goodies
22

23. bâtir
une organisation
une évaluation
une communication une formation
23

24. se former
30 stagiaires
150 € /
1, 5 jours
stagiaire
4 mois après l'ouverture 24

25. se former
aborder adapter enrichir
le savoir-répondre
25

26. disséminer
http://www.flickr.com/photos/antigone27/2719687128/
26

27. sites web
27

28. sites web
28

29. sites web
29

30. e.n.t.
30

31. le qwidget
31

32. sites web
32

33. www.ubib.fr
33

34. où se trouve l'usager
34

35. bâtir
une organisation
une évaluation
une communication une formation
35

36. Évaluer ? Oui, mais quoi ?
Les résultats Le coût
Les ressources La procédure
36

37. Évaluer ? Oui, mais quoi ?
informations
Les résultats
délivrées
qualité des utilité des
réponses réponses
37

38. Évaluer ? Oui, mais quoi ?
efficacité efficience
système utilisé La procédure
38

39. Évaluer ? Oui, mais quoi ?
Livres, revues,
bases de données Interface des
environnements
Les ressources physiques et virtuels
39

40. Évaluer ? Oui, mais quoi ?
par question
Le coût
par session
rentabilité productivité
40

41. Évaluer l'activité
pour piloter
41
Photo de Cliff1066

42. Mesurer l'activité
9 indicateurs
mis à jour mensuellement
diffusés sur le wiki ubib
42

43. Indicateur n° 1
Nombre de requêtes
(mail + chat)
43

44. Indicateur n° 2
Répartition des
requêtes entre le mail
et les session de chat
44

45. Indicateur n° 3
Répartition des mails
par pétale
45

46. Indicateur n° 4
Part du widget dans
les sessions de chat
46

47. Indicateur n° 5
Répartition journalière
des sessions de chat
47

48. Indicateur n° 6
Durée médiane et
moyenne de la session
de chat
48

49. Indicateur n° 7
Répartition des mails
par université de
provenance
49

50. Indicateur n° 8
Délai de la réponse par
mail
(Indicateur en construction)
50

51. Indicateur n° 9
Répartition par type de
questions posées
(Indicateur en construction) '
pas
est t) de
e n en
is c tem e
Ma plè aut
f
(com notre
51

52. Quelle place pour les normes ?
Indicateurs =
fiabilité + comparabilité
52

53. ISO 2789 : statistiques de bibliothèques
●
Définition très restrictive de la « demande d'information. » :
« opération de médiation auprès du
public par le personnel de la bibliothèque
à partir d'une ou de plusieurs sources
d'informations (...) »
53

54. ISO 2789 : statistiques de bibliothèques
Comprend Ne comprend pas
54

55. ISO 2789 : statistiques de bibliothèques
Comprend Ne comprend pas
Demandes bibliographiques
Instructions sur l'utilisation des
ressources
55

56. ISO 2789 : statistiques de bibliothèques
Comprend Ne comprend pas
Demandes bibliographiques Demandes de renseignements
Instructions sur l'utilisation des Questions d'orientation
ressources Questions administratives
Questions pratiques
Questions sur la localisation de
documents identifiés dans le
catalogue
56

57. ISO 11620 : Indicateurs de performance
des bibliothèques
●
Taux de réponses correctes
 Mesurer la qualité globale du service
●
Pourcentage des demandes d'information transmises par
voie électronique
 Mesurer l'impact du service
57

58. ISO 20983 : Indicateurs de performance
des services électroniques des bibliothèques
●
Pourcentage de demandes d'information transmises sous
forme électronique
 Transposition des indicateurs 11620 aux service
électroniques
58

59. Quelle place pour les normes ?
Finalement, les indicateurs ne
décrivent qu'une part (très)
réduite de l'activité des services
de renseignement en ligne
59

60. Évaluer la qualité
du service 60

61. Mesurer la satisfaction de l'usager
3 questions +
1 zone de commentaire
dans un formulaire web
lien à la fin de
chaque échange :
mail de réponse
+ transcription du chat
61

62. Mesurer la satisfaction de l'usager
Principale question :
Utiliserez-vous ce
service de nouveau ?
Ne mesure pas l'utilité de
la réponse
62

63. Mesurer la satisfaction de l'usager
63

64. Mesurer la satisfaction de l'usager
la satisfaction
n'est pas
la qualité
64

65. Évaluer la qualité du service
●
1ère idée : mesurer la pertinence de la réponse lors de son
utilisation par l'usager
●
Avantage : évaluer la réponse non plus lors de l'échange mais
lors de son utilisation (parfois plus tardive)
●
Problème : comment sélectionner les questions ? comment
définir une réponse « utile » ? comment recontacter les
usagers ?
65

66. e
Évaluer la qualité du service
u v a is
a
●
1ère idée : mesurer la pertinence de la réponse lors de son
M
utilisation par l'usager
e
●
Avantage : évaluer la réponse non plus lors de l'échange mais
é
lors de son utilisation (parfois plus lointaine)
id
●
Problème : comment sélectionner les questions ? comment
définir une réponse utile ? comment recontacter les usagers ?
66

67. Évaluer la qualité du service
●
2ème idée : évaluer la qualité des réponses
●
Période de référence donc sessions identifiées
●
Codage des sessions par 2 bibliothécaires
●
Codage sur le type de question, le type de traitement, le type
d'usager
67

68. Parenthèse sur le type de question
●
Orientation
●
Renseignement rapide (encyclopédique)
●
Recherche particulière (par ex. liste d'ouvrage
●
Recherche approfondie
●
Procédure et règlement
●
Localisation
68

69. Parenthèse sur le type de traitement
●
Exact et complet avec références citées
●
Exact et complet sans références citées
●
Inexact avec des références citées, datées ou fausses
●
Inexact sans références citées
●
Pas de réponse mais suivi par mail, téléphone ou en personne
●
Redirection (vers une autre bibliothèque/bibliothécaire, sans suivi)
●
Exact sans citation requise
●
Problèmes techniques, fermeture soudaine de la session ou inapproprié
●
Test
69

70. Trianguler l'évaluation
Usager
Bibliothèque ?
70

71. Trianguler l'évaluation
Usager
Questionnaire
de satisfaction
Évaluation qualitative
des réponses
Mesure de la pertinence des
informations
Bibliothèque ?
71

72. Trianguler l'évaluation
Usager
Mesure de
l'activité du service
Transcripts pour l'analyse
des techniques d'entretien et
de négociation avec l'usager
Analyse du coût si besoin
Bibliothèque ?
72

73. Trianguler l'évaluation
Usager
Questionnaire de
satisfaction
Suggestion d'amélioration
du service
Besoin en formation
Bibliothèque Bibliothécaire
73

74. Évaluer l'impact
du service 74

75. Beaucoup de com' pour rien ?
●
Évaluer la connaissance de l'existence du service
●
Objectif : le service est-il connu ? Les efforts de communication
et de dissémination sont-ils efficaces ?
●
Méthode : partie d'un questionnaire diffusé sur l'ensemble des
universités participantes
●
Problème : partie d'un questionnaire diffusé sur l'ensemble des
universités participantes
75

76. 20783, le retour
●
Mesurer le taux de pénétration du service
●
Objectif : déterminer l'importance d'ubib.fr dans les pratiques de
renseignement
●
Méthode : calculer la part des renseignements électroniques
parmi l'ensemble des renseignements
●
Problème : indicateur difficile à mesurer dans 1 SCD alors dans
7
...
76

77. En conclusion
Un service peu innovant mais opérationnel
+ Un terrain français peu exploité
+ Un plan d'évaluation « natif » en construction
= un projet passionnant mais loin d'être
achevé
77

78. in the clouds
Éléments bibliographiques sur :
www.zotero.org/nicolas.alarcon
Ce diaporama sur :
www.slideshare.com/alarcon
78

79. Des questions ?
nicolas.alarcon@univ-angers.fr
Merci de votre attention.
79