Initiation à la méthodologie bibliométrique, classique et alternative

1. Introduction aux concepts et outils
de la bibliométrie
Manuel Durand-Barthez - URFIST Paris 27 octobre 2016
Journée d’étude CentraleSupélec : « Les enjeux
documentaires de la thèse »

2. Calculer ?
! Calculer pour qui ?
! Calculer comment ?
! Calculer pourquoi ?

3. www.htemeel.com
Tout ce qui est comptabilisable ne compte pas
et tout ce qui compte n’est pas comptabilisable
William Bruce Cameron 1957, 1958 et 1963…?
http://quoteinvestigator.com/2010/05/26/everything-counts-einstein/#more-455

4. Calculer pour qui ?
Contexte législatif français :
! Les Programmes de la LOLF
(loi organique relative aux lois de finances)
! IIs visent:
! La « production scientifique » alias les publications
! Le transfert de technologie (dépôt de brevets…)
! La participation aux Programmes de recherche &
Développement de l’Union européenne (ex.: H2020)

5. Les Programmes de la LOLF
! 3 programmes gérés par le MENESR :
! P150 : Enseignement supérieur &
Recherche = financement DGESIP
! P172 : Recherches scientifiques et
technologiques pluridisciplinaires
= financement DGRI
! P193 : réservé exclusivement au CNES
= financement DGRI

6. Indicateurs communs
aux P 150, 172 et 193
a) Production scientifique des
opérateurs du programme.
Part des publications de référence
internationale des opérateurs du
programme dans la production
scientifique de l’Union
européenne, du monde et du trio
France /Allemagne / Royaume-Uni.

7. Indicateurs communs
aux P 150, 172 et 193
b) Reconnaissance scientifique
des opérateurs du programme
• Indice de citation à deux ans des publications
des opérateurs du programme
Source des données : Web of Science,
Clarivate-Analytics (ex-Thomson-Reuters)
Base de référence spécifiquement agréée
par l’Administration (LOLF)

8. Indicateurs d’autres programmes LOLF
! P192 (Min. Économie, Industrie &
Numérique)
! Bibliométrie des écoles
! Nombre moyen de publications
scientifiques de rang « A » rapporté au
nombre de chercheurs (ETP)
Source: Consolidation des informations
apportées par les organismes concernés

9. Calculer pour être classé
! Shanghai
! Times Higher Education World University
Rankings.
! QS [Quacquarelli Sysmonds] World
University Rankings
! U-Multirank
! Leiden Ranking
◦ Les classements ne sont pas, en France, un
objectif officiellement avoué, mais toujours
implicitement visé

10. Calculer pour être classé
! Les classements en vigueur sont plutôt
mal adaptés au cas français
◦ Recensent pour l’essentiel les établissements
d’E.S. => Orientation des étudiants avancés
pour la suite de leurs études
◦ Ne concernent les grands organismes français
de Recherche que par le biais de la
« contamination » UMR/Universités, le cas
échéant => inadéquation du modèle

11. Calculer pour être classé
! En France, le recensement est faussé par
l’hétérogénéité importante des
Affiliations
! Le millefeuille des signatures croît avec le
poids politique des superstructures
(COMUÉs etc.) et un usage immodéré de
la syntaxe multilignes ou de monolignes
mal construits

12. EVALUATION DES
PUBLICATIONS
13875 titres revendiqués
sur la Plate-Forme propriétaire de
l ISI
WEB OF SCIENCE (WoS)
[2016]

13. Répartition par Domaines
! 8854 titres en Sciences Technologie
Médecine
Base Science Citation Index
! 3242 titres en Sciences sociales
Base Social Science Citation Index
! 1779 titres en Sciences humaines
Base Arts & Humanities Citation Index

14. EVALUATION DES SOURCES
(Titres des revues)
JOURNAL CITATION REPORT
(J.C.R.)
Tableau statistique annuel
paraît à la fin du 1er semestre
de l année « n+1 »
2015 (paru en 2016):
8757 titres analysés en STM
3206 en Sci. sociales

15. Calcul du Facteur d’Impact ISI
ChristinaWelsh–CC-
BYND

16. Journal: EMBO J
Impact Factor: 9,643
Cites in 2015 to articles published in: 2014 = 1630
2013 = 2285
14+13 = 3915
Number of articles published in: 2014 = 181
2013 = 225
14+13 = 406
Calculation:
Cites to recent articles 3915 = 9,643
Number of recent articles 406

17. Le calcul sur deux ans n'est pas forcément le
plus adapté à toutes les spécialités :
Certaines peuvent mieux supporter
5 ans de délai
Notamment parce que la nature des articles
publiés possède un caractère plus pérenne et
plus fondamental, appréciable (et donc
"citable") sur une plus longue durée

18. Facteurs de pondération:
- Périodicité + ou – grande: 2 ou 52
num. par an ?
- Nombre d articles par numéro
- Changement de titre en cours d année
- « Jeune » périodique (libre, par ex.)
- Nombre de textes type « review »
- Langue, alphabet

19. Facteurs d Impact
et Axes de Recherche
! 177 Subject Categories du JCR S.T.M.
regroupées en 8 disciplines académiques
par l Observatoire des Sciences et des
Techniques (O.S.T.) + 1 pluridisciplinaire
(type Science ou Nature)
! Les Subject Categories font l objet d un
Facteur d Impact agrégé sur le JCR dont
la variation annuelle peut
éventuellement se répercuter sur les
politiques de recherche

20. Chercher la « bonne » revue
! Les « bonnes revues » d’un domaine
définies à partir du Journal Citation
Reports
! Une investigation sujette à caution
! La notion de rang A est multiforme et
varie suivant les contextes
! Néanmoins, quelle méthode brute permet
un défrichage basique ?

21. Méthode des 10 + 15 % Subj. Cat. /JCR
! Sélectionner 1, 2, voire 3 Subject
Categories (parmi les 177) correspondant
au domaine de recherche
! Afficher le premier Quartile dans l’ordre
décroissant des facteurs d’impact
! Les 10 premiers pour-cent = rang A
! Les 15 suivants = rang B
! Après, cela n’a plus beaucoup d’intérêt…

22. Cette Catégorie comporte 135 revues

23. 2015, Science Citation Index Expanded (SCIE)
Select
Quartile n°1

24. Bloc Quartile n°1
Top 10% = 13 / 135
Grands écarts
entre les 3
premières
positions

25. Fin du premier Quartile
15 % suivant le Top 10
= de 14 à 33
Remarquer l’Eigenfactor en dernière colonne
(commentaire + loin)
Si 2 ou 3 catégories englobent le domaine
recherché, comparer les Q1 de chacune,
avec éventuellement des titres communs
dont le rang sera différent
I.F. du 1er = 25,4
I.F. du 33ème = 2,57
Soit 1/10

26. Évaluation des Auteurs
Facteur de HIRSCH
Calcul d une moyenne faisant
coïncider:
! Nb de Publications et
! Nb de Citations
= indice h

27. Facteur H
Jorge Hirsch, Univ. San Diego (Cal.)
Si 25 articles cités au moins 25 fois,
alors H=25

28. Facteur H
! Si H = 25 : 25 articles cités au moins
20 fois
! H = √Σcit. ⁄ 1,82 (racine carrée du
nombre total de citations
recueillies [sauf auto-] par un
nombre défini d’articles sur une
période définie, divisée par 1,82)

29. Principaux problèmes liés au H
index
! Cumul arithmétique associé à
l’ancienneté: le jeune chercheur très
talentueux n’est pas reconnu
! Le plus souvent (sauf par ex. en
biomédecine), tous les co-auteurs
capitalisent les citations de manière
identique, quelle que soit leur
contribution intellectuelle réelle
! Calcul contaminé par les biais du système
de citations

30. Comment calculer ?
! L’Administration tend à privilégier les
mesures expéditives.
◦ Pour les publications : facteur d’impact du
JCR combiné au WoS mentionné par la LOLF
◦ Pour les auteurs : facteurs H
! Comme les classements : souvent
dénigrés, toujours adulés…

31. Dérivés de l’impact
! Score SIGAPS (recherche médicale)
! 5 catégories de publis (ordre décroissant
de notoriété suivant l’IF de la revue)
! Données bibilio extraites de PubMed,
catégorisation issue du WoS
! Attribution corrélative de 8,6,4,3,2,1
point(s)
! Les points sont cotés en équivalent €
pour la subvention au labo

32. Dérivé du H (valorisation de l’auteur)
! Score SIGAPS en signatures :
◦ Premier ou Dernier auteur : 4 points
◦ Deuxième auteur : 3 points
◦ Troisième ou avant-dernier auteur : 2 points
◦ Autres positions d’auteurs : 1 point
! Le score Auteur est combiné par
multiplication avec le score Publi pour
affiner l’attribution financière

33. Duncan C, 2006, FlickR

34. Typologie des publications
! «Journaux stratégiques » vs. « outils de
travail »
! Impact artificiel des reviews
! Incidence de calculs sur des moyennes ≠ des
médianes
! Indices de notoriété, « boîtes à
moustaches » Box Plots M.-H. Magri, INRA -
CREBI Jouy-en-Josas (distribution de type
Lotka)

36. Facteur d’impact agrégé vs. médian
" Calcul effectué sur les moyennes et
médianes des F.I. des revues d’une
discipline
! Biologie cellulaire
# F.I. agrégé = 5,734 ; médian = 3,200
! Mathématiques
# F.I. agrégé = 0,716 ; médian = 0,565
# Delta proportionnellement très inférieur
(culture de publication ≠ biol.)

37. Variantes du Facteurs d’impact
! Traçabilité des citations : par qui la publication citante est-
elle citée ; par qui la publication citant la citée est-elle elle-
même citée etc…
! Exécution itérative du PageRank de Google (méthode de
la « marche aléatoire »)
! Eigenfactor lié au J.C.R. (Clarivate) 5 ans
! Scimago Journal Rank lié à Scopus (Elsevier) 3 ans
! Facteur Y = produit de l’I.F.-WoS par le Weighted Page
Rank (J.Bollen et al. 2006)

38. Variantes du Facteur « H »
! Facteur « G » de Leo Egghe (Univ.Anvers)
! Nombre « g » d'articles dont la somme des
nombres de citations est au moins « g2 »
◦ un « g-index » de 10 indique que l'auteur a écrit 10
papiers dont la somme des citations est au moins de
100
! Il est censé remédier au « gel » des publications
captées au-dessus de l’indice H en tenant
compte du nombre exceptionnellement élevé de
citations générées par quelques-unes
d’entre elles

39. Variantes du Facteur « H »
! Multiples facteurs dérivés sous
l’application Publish or Perish de Will
Harzing, liée à Scholar Google, tenant
compte de:
◦ L’ancienneté de l’article
◦ Du nombre d’auteurs
◦ 6 combinaisons résultent de l’intersection de
ces deux paramètres

40. Variantes du Facteur « H »
! Nb de citations des chercheurs d’un
laboratoire rapporté à l’âge de chacun.
! Calcul effectué à partir de l’âge du plus
jeune de l’équipe
! Étude de la croissance du taux de citation
annuel moyen pour toute la carrière
! Disparition constatée de l’effet d’âge
! Calculs de médianes

41. Variantes du Facteur « H »
! BORNMANN, L., MUTZ, R., DANIEL, H.D.
(2009). Do we need the h Index and its variants
in addition to standard bibliometric measures?
Journal of the American Society for Information
Science andTechnology, vol. 60, n° 6, p. 1286-1289.
! BORNMANN, L., MUTZ, R., HUG, S.E.,
DANIEL, H.D. (2011) A multilevel meta-analysis
of studies reporting correlations between the h
index and 37 different h index variants Journal of
Informetrics, 5(3), 346-359
Max Planck, ETH et Univ. Zürich

42. Réseaux de co-citations et de citations
partagées
! Définition de collèges invisibles
! CiteseerX (Pennsylvania State Univ.)
domaines de l’informatique et des
mathématiques appliquées
! Cartographie induite d’un article et de
ses (co)auteurs
…/…

43. Réseaux de co-citations et de citations
partagées
! CiteseerX : partant de l’article
source
! Quels articles cite-t-il ?
! Quels sont les articles qui citent tout ou
partie des articles qu’il cite ?
! Quels sont les articles qui sont cités en
même temps que lui par d’autres ?

44. Bibliographie
en fin d’article
Onglet Active
Bibliography
⇒ Liste d’articles citant
en bibliographie des
articles cités par la
bibliographie de celui-ci
Onglet Co-Citation
⇒ Liste d’articles cités
en même temps que
celui-ci par d’autres
articles
Histogramme chrono.
des citations de cet
article

45. Combinaison de facteurs multicritères
« Méthode Langevin » Section 17 CNRS, 2007 =>
Adjacence de 14 critères. L’impact bibliométrique
n’est cependant pas déterminant (recrutement DR2)

46. Comparatif 4 métriques :
SNIP et SJR (Elsevier)
I.F. et 5-years I.F. (Clarivate)
Chemical Engineering Journal - 2016

47. Evaluations alternatives qualitatives
! A l’origine sur les preprints d’ArXiv
! Sur l’article, dans la revue même, type
Open Access. Ex : European Geological
Union
! Sur des articles publiés dans diverses
revues, par des collèges thématiques:
Faculty of 1000 liée à l’éditeur
BioMed Central (absorbé par Springer)

48. Altmetrics
! « Manifesto » du 26 octobre 2010 par:
o Jason Priem, University of North Carolina-Chapel
Hill
o DarioTaraborelli,Wikimedia Foundation
o Paul Groth,VU University Amsterdam
o Cameron Neylon, Science and Technology Facilities
Council
! Mis en avant notamment par PLoS One,
revue biomédicale U.S. en open access

49. Altmetrics
! Évaluation à partir des Tweets, des
Blogs, des systèmes de gestion
bibliographique partagée (Mendeley,
Zotero) ou des réseaux professionnels
de type LinkedIn ou
Google Groups

50. Aninvestigationofthefalsediscoveryrateandthemisinterpretationofp-values
D.ColquhounRSocOpenSci2014Nov;1(3):140216

51. Classements internationaux alternatifs
Classement de Leyde (Leiden-NL)
• Impact moyen d’une équipe rapporté à celui
d’un champ, i.e. d’une catégorie de sujet
• En rapport avec la taille de l’organisme
• Analyse du taux de collaboration
• Prise en compte du facteur linguistique
U-Multirank
Projet européen multicritère

52. Classement de Leiden sur 4 ans : 2011-2014
Physique et Sci. de l’Ingénieur
Europe
Seuil plancher : 100 publis
Calcul en compte fractionnaire

54. En guise de conclusion(s)?
! Moduler, nuancer, faire évoluer les
indicateurs dans le sens d’une
caractérisation optimale des entités
! Recenser, certes oui, mais pour qui,
pourquoi, à quelles fins ?
! A-t-on ici réellement répondu à ces
questions ?
$ On peut en douter…