(pseudo-)problematique bibliometrique en SHS ; regard sur le cas français

1. Bibliométrie en SHS: questions
de logique et d’éthique
Union académique internationale
Bruxelles, Palais des Académies
26 juin 2015
Manuel DURAND-BARTHEZ, URFIST de Paris
École nationale des Chartes
ΑίθουσαΣυνεδριάσεωνΑκαδημίαςΑθηνώνDimitrisGraffin31/10/14CCBY

2. Jalons d’une réflexion
• SHS vs. STM : le poids des préjugés
• Articles vs. Ouvrages : l’effet d’une dichotomie
• Indicateurs de périodiques : perseverare
diabolicum...
• Esquisse de solutions : “L’homme et l’oeuvre”
• Conclusion : l’évaluation en SHS, vaste
chantier fondé sur le volontarisme des acteurs

3. STM vs. SHS: clichés et malentendus
• En France, un colloque fondamental: Evaluation
des productions scientifiques : des innovations en
SHS
À l’initiative de l’Institut national SHS du CNRS, 9-
10 juin 2011
• Prémisse : le modèle ISI Web of Science est
inadapté aux SHS mais la prééminence socio-
économique du domaine STM (Science,
Technologie, Médecine) contamine la pratique
SHS de l’évaluation

4. SHS : quelle identité ?
• Question épistémologique de base posée par
J.Dubucs, Dir. Rech. CNRS, responsable du
Service Stratégie de la recherche et de
l’innovation, Secteur SHS au Min. de
l'Enseignement supérieur et de la Recherche
• La spécificité « Homme et Société » est-elle
fondée ? Il évoque un Credo entendu souvent
et source de malentendus :

5. Quelques idées reçues
Credo
• Les SHS sont spécifiquement spécifiques
• Les SHS diffèrent des autres sciences plus que les autres
sciences ne diffèrent entre elles
• Les SHS ne sont pas une espèce du genre « science »
• « Science » figure dans « Sciences de l'Homme et de la
Société » comme « chat » dans « achat » : en vertu d'un
simple accident orthographique
• Conséquence : la recherche d'indicateurs SHS
comparables aux indicateurs qui ont cours dans les autres
secteurs scientifiques est futile
(Fin de citation)

6. Un isolationnisme périlleux
• Dans un tel contexte, on court le risque de
« hiéronymiser » les SHS. Le syndrome de
Saint-Jérôme, seul dans sa grotte avec son
crâne
• C’est l’impasse à laquelle conduit
l’hyperspécificité

7. Le chercheur hiéronymite folklorise sa communauté et l’asphyxie
SanGirolamoscrivente–Caravaggio–1606-GalleriaBorghese–Lic.PD-Art

8. Concaténation ? Contamination?
• Or, anthropisation croissante des Sciences de la
Nature. Exemple: questions fondamentales sur
l’Environnement, l’Écologie, la Santé publique
• Impact sociétal des SHS ; concaténation et non
séparation vs. STM
• Approche contrefactualiste : Que se serait-il
passé si l’on avait suivi telle ou telle préconisation
qui n’a pas eu de publicité « parce qu’elle n’était
qu’SHS » ?

9. Mainstream ou réflexion
• Selon J. Dubucs, il s’agirait, par le biais d’une
évaluation rationnelle, d’abaisser l’indice de
viscosité du flux SHS en France, « proche de la
glycérine ». Manque de mobilité, manque
d’ouverture au monde contemporain, parfois
complexe d’infériorité, marginalisation, défense
passéiste de la langue française (Alliance Athéna)
• Quelles sont les conséquences de ce type
d’orientation institutionnelle et politique, que
génère concrètement cet angle de vue ?

10. Prestige spécieux de l’Article ?
• Les indicateurs sont indispensables mais la
duplication du modèle STM est inadéquate
• Support privilégié STM = l’article de périodique :
concision tant analytique que synthétique
suivi « périodique » de l’évolution technologique
langue unique (anglais)
immatriculation sérielle ISSN propice à l’insertion
dans des matrices d’évaluation statistique globales

11. Handicap supposé du Livre
• En SHS, prééminence (en France) du Livre :
 chronophage en écriture
 « lourd »
 coûteux
 à faible diffusion
 immatriculation atomisée ISBN, impossible à intégrer dans des
matrices globales
 variété des langues nationales
 citations drainées sur le (très) long terme
• En 2011, Pierre Glaudes, représentant l’Agence d’Évaluation de
l’Enseignement supérieur et de la Recherche (AERES) au colloque
précité, reconnaît l’importance des Ouvrages et de leurs Chapitres,
mais minimalise très nettement leur impact en regard des
Périodiques

12. Les Périodiques ont la cote
• Une préoccupation essentielle de l’AERES
semble avoir été longtemps la « cotation » des
périodiques en SHS
• Pas de calcul de type ISI d’un facteur d’impact,
simple labellisation alphabétique décroissante
• Référence: des listes établies par la European
Science Foundation.
• 3 grades : International majeur, International
secondaire, National ou bien A,B,C….

13. Liste des revues SHS référencées pour la vague D (2010-
2013) publiée par l’AERES en juillet 2008

14. L’enquête de 2004 : un tsunami…
• En 2004, enquête CNRS sur l’impact international
des périodiques qu’il subventionne ; c’est le but
officiel
• But officieux : arrêt des subventions ou restriction
à une version électronique pour les revues
n’atteignant pas un seuil minimal de citations situé
à 15 ou 20 en fonction des disciplines
• 18 disciplines, échantillon de test : 125 revues mi-
françaises mi-anglo-saxonnes, dix ans (1992-2001)
• Source : essentiellement l’ESF qui va générer l’ERIH
(European Reference Index for the Humanities)

15. La cote en question
• Jusqu’en 2011, accent mis par l’AERES sur la
cotation des Périodiques en A,B,C
• Le 12 décembre 2011, la Conférence des
Publications de Psychologie en Langue française
accuse l’AERES de contrevenir à l’article 114‐3‐1
du Code de la Recherche et d’abuser de ses
pouvoirs en attribuant une cote aux titres de
périodiques
• Recours judiciaire envisagé, l’Agence se rétracte

16. Ersätze ou neutralité
• Anciennes et nouvelles listes, cotées ou non,
se côtoient indûment sur le site de l’Agence
pendant quelques mois.
• Certaines Disciplines adoptent simplement
l’ordre alphabétique brut des titres listés
• D’autres substituent des chiffres aux lettres ou
des expressions de type : Excellent, Bien,
Passable…. Attitude « inqualifiable » ?

17. Harmonisation et exceptions
• Entre 2011 et 2014, la situation se stabilise
progressivement : 12 disciplines sur 15
adoptent le classement alphabétique brut des
titres
• Économie & Gestion conçoivent l’A, B, C à
partir d’une nomenclature interne autre que
celle initialement adoptée par l’AERES
• Activités physiques et sportives numérotent
1, 2, 3

18. Introduction des BD spécialisées
dans les Labels
• La Psychologie adopte en 2011 la mention des
bases de données dans lesquelles sont
indexées les revues : PsycINFO, Ergonomics
Abstracts, SCImago , ERIH , Journal Citation
Reports de Thomson Reuters, PubMed, Eth =
liste revues d’éthologie dite « constituée par
des pairs »
• Question : la « valeur » ou la « cote » des
bases sont-elles indifférentes ?

19. Une base internationale des titres de
périodiques SHS : JournalBase
• En 2008, l’Institut national SHS du CNRS
conçoit le répertoire JournalBase
• Liste alphabétique brute et pluridisciplinaire
de titres de périodiques dans le champ SHS
• Mention des bases de données dans lesquelles
sont indexées les revues : JCR, Scopus, ERIH et
AERES pour les années 2011 à 2013

20. L’ERIH abandonne les labels
• En janvier 2014, l’ESF transfère aux Norwegian
Social Science Data Services (NSD) la gestion
de l’ex-ERIH
• Le fichier devient « alphabétique brut »,
abandonnant les labels INT et NAT
• Critères classiques d’insertion dans cette liste:
 Revue par les pairs, périodicité régulière, comité de lecture dont
l’activité académique est reconnue, références bibliographiques
complètes, adresses des auteurs très explicites

21. Hors le Périodique, salut ?
• En termes de support, risque de monopolisation
SHS en faveur des Périodiques. Quel contre-
pouvoir ? Contamination STM ?
• La concaténation STM / SHS, initialement
évoquée, ne favorise-t-elle pas un primat du
Périodique sur toute autre forme d’expression de
la recherche SHS ?
• Le Livre est d’ailleurs loin d’être l’unique
alternative au Périodique

22. Le référentiel AERES Nov. 2014 :
les faits observables
• Ce référentiel envisage les autres productions
scientifiques propres au domaine : rapports
scientifiques ou techniques (rapports de fouille, par
exemple), catalogues d’exposition, atlas, corpus, tests
psychométriques, démonstrateurs, logiciels,
prototypes, productions audio-visuelles à caractère
scientifique, créations artistiques théorisées, etc. ;
• la production d’instruments, de ressources, de
méthodologie : éditions critiques, glossaires, bases de
données, collections, cohortes, observatoires,
plateformes technologiques, etc.

23. Le référentiel RIBAC du CNRS (2009)
• Recueil d’Informations pour un oBservatoire
des Activités des Chercheurs en SHS
• Description individuelle détaillée des activités
et des compétences : on retrouve les « faits
observables » ultérieurement définis par
l’AERES
• Le but n’est pas de juger mais de caractériser
• Se démarquant de la bibliométrie, l’IN-SHS
prône la notion plus consensuelle de
caractérisation

24. Conclusion : un vaste chantier
• L’édifice de l’Évaluation en SHS fait songer à la
Sagrada Familia de Gaudi à Barcelone. Son
inachèvement est peut-être salutaire
• L’optimisation du concept est le propre de la
communauté des chercheurs, de leur
volontarisme, de leur capacité à se mobiliser
pour que l’éthique l’emporte sur une logique
arithmétique souvent primaire
Aequitas ('bargeinio teg') neu Moneta (y bathdy) [Antoninus Pius], Amgueddfa Cymru – Nat. Mus. Wales CC BY NC

25. La Sagrada Familia
Barcelona
Ca. 1915
Construcción del Templo Expiatorio de la Sagrada Familia en 1915.
Recuerdos de Pandora ; FlickR Commons, lic. CC By