Organisé par le réseau « Archives ouvertes Toulouse » et réunissant éditeurs, enseignants-chercheurs, responsables d’évaluation de la recherche et professionnels de l’IST, ce colloque avait pour objet de faire le point sur les modifications en cours concernant les méthodes d’évaluation de la recherche, au regard des nouvelles pratiques en ligne et du libre-accès aux publications scientifiques, via des archives ouvertes comme HAL ou les revues en open access (OA).

1. Colloque Open access et évaluation
de la recherche
Toulouse les 13 et 14 octobre 2016
Colloque organisé par le réseau « Archives ouvertes Toulouse » : Compte-rendu

2. Intervenants :
• J.-C. Guédon, Professeur de littérature
comparée à l'Université de Montréal,
Québec, signataire de la Déclaration de
Budapest, 2002
• Didier Torny, Directeur adjoint
scientifique (section 36-40), Institut
National des Sciences Humaines et
Sociales (InSHS-CNRS)
• Iratxe Puable, Managing Editor, Plos One
• Alain Monteuil, Responsable du pôle
Archive Ouverte, Institut National de
Recherche en Informatique et en
Automatique (INRIA) Rhône-Alpes)
• Michaël Bon, PhD, Biophysicien,
Commissariat à l'Energie Atomique (CEA),
Fondateur du Self Journal of Science)
• J. Bordier, Docteur en sociologie,
chercheur indépendant et conseiller
éditorial
• Bernard Rentier, membre du Working Group
Open Access (sous groupe "Quality assessment")
de l'European University Association, premier
vice-président du conseil fédéral belge de la
politique scientifique, recteur émérite de
l'Université de Liège, Belgique
• Ben Johnson, Higher Education Policy Adviser,
Higher Education Funding Council for England
(HEFCE)
• Jean-Paul Deroin, Président de la CP-CNU
(Commission Permanente du Conseil National
des Universités)
• Marin Darcos, Directeur de la plateforme Open
Edition
• Guillaume Cabanac, Enseignant-chercheur,
Institut de Recherche en Informatique Toulouse
(IRIT), Université Toulouse III - Paul Sabatier)

3. • Chérifa Boukacem-Zeghmouri, Co-
responsable de l'Unité Régionale de
Formation à l'Information Scientifique
et Technique (URFIST) de Lyon et maître
de conférences HDR, laboratoire Elico,
Université Claude Bernard - Lyon 1)
• Marc Rennéville, Directeur de
recherche CNRS, Directeur de
publication de la revue hypermédia
Criminocorpus
• Sébastien Poublanc, Docteur en
histoire, Rédacteur en chef adjoint du
magazine de sciences humaines et
sociales Mondes Sociaux
• Odile Contat, Responsable d'études
documentaires pôle IST, Institut
National des Sciences Humaines et
Sociales (InSHS)
• Pierre Moret, Directeur de Recheche CNRS au
laboratoire TRACES UMR 5608, CNRS/ Université
Toulouse - Jean Jaurès et président CoCNRS
section 32 « Mondes anciens et médiévaux »
• Michel Polh, Directeur adjoint, chargé de l’IST,
Institut National de la Santé et de la Recherche
Médicale (INSERM)
• Ginette Arliguié, Professeur des universités et
maître de conférences à l'Université Toulouse III -
Paul Sabatier, membres de la section 60 «
mécanique, génie mécanique, génie civil», CNU
Groupe 9.)
• Florent Champy, Directeur de recherche au CNRS,
Laboratoire Interdisciplinaire Solidarités, Sociétés,
Territoires, Centre d’Etude des Rationalités et des
Savoirs (LISST-CERS, UMR CNRS/EHESS/UT2J).

4. Constats :
• la reconnaissance de revues
prestigieuses aux coûts
d’abonnement élevé, à diffusion
plus lente et accès payant
• Indices de type : FI, h-index, qui
encouragent la course à la
publication
• La reconnaissance de la démarche
de publication en libre-accès, à
diffusion rapide et à coût faible, via
les plates-formes ouvertes ou les
revues en libre-accès
• Les nouvelles formes de diffusion
des travaux de la recherche en
ligne
1. Sur quoi se fonde le système d’évaluation de la
recherche actuellement ?

5. 2. Le problème du facteur d’impact ?
• Est devenu dans certaines disciplines le seul critère de reconnaissance de
la valeur d’un travail de recherche, alors que sa pertinence est discutable
• RAPPEL :
– Le FI est le nombre moyen de citations de chaque article publié dans
une revue. Une revue avec un FI élevé serait ainsi considérée comme
plus importante (parce que plus visible : plus lue et plus citée) qu'une
revue avec un FI faible (source : Wikipédia).
– Il est calculé à partir des bases de données bibliographique Web of
Science Core Collection (WoS) de la société américaine Thomson
Reuters, de Scopus et de Google Scholar.
Facteur d’impact de 41,456, avec près de
400 000 citations de ses articles (2014)
Calcul : nombre de citations des articles publiés dans une revue
pendant une période donnée (2 ou 5 ans) divisé par le nombre total
d’articles publiés pendant cette même période dans cette même
revue

6. Objectifs du colloque
• Faire le point sur les modifications en cours
concernant :
– les méthodes d’évaluation institutionnelle de la
recherche (rappel : recommandations de H2020
de faire évoluer les critères d’évaluation des
chercheurs).
– Les nouvelles pratiques en ligne de consultation,
d’évaluation et de diffusion, pour proposer la prise
en compte d’autres choses critères que le FI

7. I) De nouvelles méthodes
d’évaluation dans les revues, épi-
revues ou blogs de recherche :

8. • Exemple de la revue Plos One, revue scientifique en libre accès
• Volonté d’apporter plus de transparence et plus d’ouverture
• Volonté de répondre à des besoins spécifiques des chercheurs :
– plus d’efficacité dans l’évaluation
– plus de rapidité
– Plus d’équité (éviter de céder aux considérations qui touchent à
l’impact de la recherche ou à son niveau d’intérêt, mais rechercher la
qualité avant tout)
Dans les revues

9. Système d’évaluation double, avant et
après acceptation du manuscrit
AVANT ACCEPTATION :
• Évaluation par l’éditeur et le
comité éditorial
– à partir de critères définis en
interne, pour plus d’équité, pour ne
pas exclure des travaux de
recherche moins attrayant au
premier abord (approbations
internes, conflits d’intérêts,
disponibilités des données)
APRES ACCEPTATION DU
MANUSCRIT :
• Evaluation par la communauté
scientifique elle-même sur le niveau
d’intérêt et l’impact de la recherche
• Processus plus lent, moins
transparent, pas forcément efficace
Comité scientifique
1 2

10. Système d’évaluation après
publication du manuscrit
• L’évaluation de l’impact de l’article est possible grâce à
l’utilisation de compteurs métriques type Altmetrics
• Mesure de l’impact et de l’intérêt de l’article au niveau de
l’article individuel et non du journal

11. Dans les épi-revues
• La plate-forme Episciences qui héberge les épi-revues a été créée
par le CCSD (si on a un compte dans HAL, on a un compte dans
Episciences)
• RAPPEL :
– une épi-revue est revue électronique en libre accès, alimentée
par les articles déposés dans les archives ouvertes telles que
HAL ou arXiv, et non publiés par ailleurs.
– Les comités éditoriaux des épirevues organisent l'activité
d'évaluation et de discussion scientifique des prépublications
soumises ou sélectionnée

12. Episciences fournit une plate-forme technique d’examen par les pairs
Intérêts des épi-revues (1) :

13. Intérêts des épi-revues (2) :
• Permettent une réappropriation du workflow par les
communautés scientifiques, qui peuvent investir
d’autres tâches dans la chaîne de publication de leurs
travaux et décider de créer une revue par exemple.
Ex : JDMDH Journal of Data Mining and Digital Humanities
Créée en 2014, la revue JDMDH se situe à l'intersection de la fouille des données et des humanités
numériques
• Intéressant de créer une revue quand les travaux de
recherche sont interdisciplinaires (problème qui se
pose aussi pour l’évaluation)
• Petit + : Une revue qui sélectionne un article lui appose directement
une labellisation (on passe de l’auto-archivage à la publication
proprement dite)

14. Avantages des évaluations
des épi-revues :
• Les critères de la grille de relecture peuvent être
rendus visibles et non anonymes (libre décision
de la revue).
• Il existe pour le lecteur la possibilité d’évaluer un
article après publication, en suivant un
formulaire présentant des champs spécifiques à
remplir, et le compte-rendu de l’évaluation est
public (régulation par l’auto-modération)
• Un article qui n’aurait pas été sélectionné pour la
revue reste cependant accessible sur HAL

16. Dans les blogs de recherche
• Création du SJS Self Journal of science par
Michaël Bon

17. Intérêts du self-journal :
• réappropriation du workflow par le chercheur
• conçu comme un espace personnalisé pour
les scientifiques, il permet de déposer des
articles, d’en débattre, de les classer et de les
évaluer collectivement

18. Idée centrale du SJS
• faire table rase des fonctions de rédacteur en
chef et de comité de rédaction voire de la
notion même de revue en tant que point de
passage obligé pour la validation des
publications
• de conduire les scientifiques à réfléchir à ce
qui fait la valeur d’un travail scientifique

19. Expérimentations du projet OpenAire
• Dans la revue VertigO (revue québécoise en
sciences de l’environnement)
• Initiative d’Horizon 2020 et du Consortium
Couperin, confié au collectif OpenEdition pour
mettre en place un dispositif d’évaluation ouvert
sur une des revues hébergées par OpenEdition
• pour analyser un processus de co-construction
des connaissances grâce à internet

20. Principes :
• A partir d’articles non publiés dans des revues
ou susceptibles de corrections, le sociologue
Julien Bordier a imaginé des dispositifs
d’évaluation ouverte de deux types :
– rapports d’évaluation publiés et non anonymés
– open-commentary sur des pre-prints à retravailler

21. Bilans
• Vrai défi d’aller chercher les évaluateurs, même si sur
internet
• A permis d’établir un dialogue entre l’évaluateur et
l’auteur
• Trois des cinq textes examinés sont aujourd’hui en
cours de publication

22. Limites
• des limites techniques se sont présentées
pour les annotations dans le texte (il fallait
installer un plug-in, et il aurait fallu qu’il soit
implanté directement sur le site).
– Utilisation du plug-in Hypothesis

23. Intérêts
• Les outils numériques permettent de
reconstituer sous d’autres formes le
processus du débat scientifique.
• Comme le rapport d’évaluation était public
(1er dispositif), il a dû être plus justifié, plus
détaillé

24. II) L’évaluation de la recherche : les
méthodes instituées et les
nouveautés possibles

25. La question de la récompense des
chercheurs dans les Universités
européennes
• les méthodes traditionnelles demeurent avec :
– l’utilisation du h-index (Indice essayant de
quantifier la productivité scientifique et l’impact
d'un scientifique en fonction du niveau de citation
de ses publications. source : Wikipédia).
– la comptabilisation du nombre d’articles dans des
journaux à fort impact (FI)
– l’attribution de primes de performance basées sur
les « scores d’impact » ou « mesures d’impact »
(que le chercheur peut ensuite mettre dans son CV)

26. Le cas du Royaume-Uni
• le rapport Finch de 2012 a eu un fort impact
sur les critères d’évaluation
– RAPPEL : le rapport Finch recommande que le
Royaume-Uni adopte le libre accès et présente
des recommandations pour organiser la transition
et accélérer le processus, mais de manière
mesurée (promotion, par une politique claire de
financement, de la publication en libre accès ou
hybride comme support principal de diffusion de
la recherche, notamment celle financée par des
fonds publics).

27. Avancées concrètes
• une notion d’open access sera intégrée pour la
campagne REF (Opérateur de la campagne d’évaluation
de la recherche : Research excellence framework) de
2021
• Principes :
– les universités auront obligation de proposer des
publications conformes aux critères OA définis par le
HEFCE (organisme qui dépend du gouvernement et
s’occupe du financement des activités d’enseignement et
de recherche dans les établissements d’enseignement
supérieur)
– Si les publications ne remplissent pas ces critères, le
dossier ne sera pas éligible

28. Conditions
• Pour que le dossier d’évaluation soit éligible
pour la campagne de REF 2021, il faut que les
publications des chercheurs soient toutes
disponibles par :
– La voie verte : dans un entrepôt libre d’accès
– La voie dorée : dans des revues à CL en OA
• Cette obligation d’OA ne concernera que les
articles de revue et les conférences (exclusion
des ouvrages).

29. Concernant les APCs
(Article processing charges)
• des négociations avec les éditeurs pour une
réduction des APCs ont été lancées Frais de
publication (Article processing charges) pour :
– Soit réduire les coûts des abonnements payés par
les Universités en fonction du montant des APCs
– Soit réduire les coûts des APCs pour les universités
abonnées
– Soit imaginer un forfait incluant abonnement et
publication en libre accès

30. La situation en France
• CP-CNU :
• Pas de prise en compte de l’OA pour les
promotions des chercheurs pour l’instant
• HCERES :
• Intégration des publications en OA à partir de la
vague A (2020-2021)
• Modifications de la méthodologie des évaluations
à partir de la vague D

31. Nouveautés dans les évaluations de
l’HCERES
• dans la méthodologie du dossier d’évaluation,
avec une reconfiguration du dossier plus axé sur
la stratégie de l’unité, sur sa politique, ses aspects
organisationnels et les aspects qualitatifs (avec la
mise en place d’un système d’auto-évaluation)
• dans le mode de saisie du dossier d’évaluation,
qui se fera en ligne, à flux continu, avec la
possibilité d’utiliser les archives ouvertes pour
avoir accès aux activités de recherche (l’HCERES
est en discussion avec HAL pour aspirer les
données des autres bases)

32. méthodologie du dossier d’évaluation (1)
• le nombre de critères va être limité, et les
évaluations recentrées sur les produits et
activités de recherche
• Un travail est en cours pour constituer un
référentiel des produits et activités de recherche
par discipline ou activité de recherche par les
communautés scientifiques elles-mêmes (ex :
définir un périmètre des produits de la recherche
et de les hiérarchiser). Les référentiels en cours
d’élaboration serviront pour les publications
concernées par la vague D (au 15 décembre).

33. méthodologie du dossier d’évaluation (2)
• Une importance est accordée dans les dossiers
d’évaluation à l’accès à l’information
scientifique, ce que les experts peuvent juger
eux-mêmes lorsqu’ils essayent de consulter les
publications
• Il n’y aura plus à fournir les listes exhaustives des
productions et des activités des chercheurs, mais
20% de ce que l’unité a fait de mieux, en
explicitant pourquoi il s’agit du mieux de l’unité
(volet auto-évaluation).

34. mode de saisie du dossier
• Volonté que la plate-forme de dépôt de
l’HCERES aspire ce qui est sur HAL (pour éviter
des doubles saisies), mais cela suppose des
évolutions de HAL.
• créer un entrepôt national des références et
des publications, pour soulager les
communautés des renseignements des
dossiers d’évaluation

35. Problèmes à résoudre (1)
• pour la transparence, il faudra trancher
concernant la publicité des résultats de
l’évaluation
• L’HCERES souhaiterait ouvrir un portail (il est
en négociations avec HAL) qui donnerait accès
aux archives d’évaluation depuis l’origine et
accès aux documents ayant servi à construire
l’évaluation

36. Problèmes à résoudre (2)
• Les obstacles concrets à la mise en place de ce portail
sont
– la loi de juillet 2013 sur l’ESR qui limite à un résumé la
publication des rapports des unités (donc pas d’obligation
de publication). Evolutions qui ne peuvent pas être
envisageables avant la vague A.
– changement des vagues, pour coller à l’évolution de la
carte des régions
– création de postes pour mettre en place des partenariats
avec les sites pour qu’ils créent leur propre plate-forme de
dépôt et qu’ils l’alimentent. De même, il est très important
de créer des postes pour aider les chercheurs à saisir leurs
données

37. III) Les nouvelles pratiques de
consultation et de diffusion en ligne

38. Le FI et les SHS : un problème concret
Revues très
réputées
en SHS
Elles ne sont pas
répertoriées

39. Problème de l’expertise
• Pools d’experts pour recenser les revues en sciences
humaines, qui sont essentiellement composés
d’anglophones et comme ces experts évaluent la
qualité de la langue (anglais), cela influe sur le
reviewing.
• Pour la sélection du pool d’experts des humanités
numériques, Marin Darcos, le Directeur de
OpenEdition, a inventé un indice, le Digital Humanity
decision power (DHDP), qui correspond au
‘pourcentage de chance de devenir un expert pour
faire partie d’un comité d’experts pour évaluer les
Humanités numériques’

40. DHDP = nombre d’experts / nombre de membres de la communauté soit E/M,
où est le nombre d’experts et E le nombre de personnes ayant répondu à
l’enquête « Who are you Digital Humanists ? »

41. Et pourtant…
64 millions de visites en
2015 !
• Notion très importante dans les SHS :
• la sérendipité et le principe du sleeping
beauty (Van Raan) ou du lecteur
inattendu, qui explique la hausse de
visualisation d’un article en fonction de
la conjoncture sociale.

43. Les réseaux sociaux de la recherche :
états des lieux
• L’apparition des réseaux sociaux de la
recherche a montré comment le gap entre les
bibliothèques et les chercheurs a été comblé
par les éditeurs et par les entrepreneurs qui
ont perçu l’aspect potentiellement lucratif de
l’intermédiation
• Captation de valeur par les éditeurs

44. Développement
• Apparition de permettant
l’accès rapide et direct à des travaux de
recherche
• Apparition de nouveaux standards pour
l’édition en ligne :
– DOI (Digital object identifier (DOI, littéralement
« identifiant numérique d'objet)
– standard éditorial Crossmark
– comptage de consultation de type Altmetrics

45. • Apparition de et de
à partir de 2011
• Attractivité :
– Services innovants (groupes, cv, accès rapide aux fichiers…)
– Bon référencement par Google des travaux déposés
• Le chercheur se retrouve alors acteur de sa propre
image, dans la même logique que la course à la
publication et la pression à la performance
• Déluge de mails (pour utiliser ces nouveaux outils, pour
trouver les experts), car cela permet ensuite de
monnayer cette connaissance

46. De nouveaux outils de comptage
• Du fait de cet usage massif des réseaux
sociaux, des outils comme Altmetrics se sont
développés, pour élargir et affiner l’évaluation
en proposant une métrique liée aux réseaux
sociaux (web 2.0) outil de calcul de l’impact
d’une recherche à court terme (plug-in qui
s’implante directement sur le navigateur), et
prenant en compte le domaine OA

47. Principes
• Des moteurs de calcul de citations
comptabilisent les views, downloads,
partages sur les réseaux sociaux...

48. Limites
ATOUTS
• moyen d’estimer la visibilité
et l’infiltration d’une
recherche sur les réseaux
sociaux
• Certains éditeurs
implémentent directement
cet outil sur leur site, ce qui
permet de rendre compte
de l’impact d’un article et
non pas d’une revue
INCONVENIENTS
• sensible à la pollution et au
gaming (partage par des
amis pour valoriser une
recherche).
• ne faut pas confondre la
visibilité d’un article avec sa
portée scientifique.

49. Exemples de valorisation
de travaux de recherche (1)
• Le musée numérique Criminocorpus

50. Idées
• 28 expositions exclusivement en ligne
• Chacune est alimentée par des documents des fonds
publics très consultés pour la recherche mais aussi des
documents issus de collections privées qu’il n’aurait
pas été possible de rendre consultable par tous sans le
numérique
• Un système de ‘’dossiers liquides’’ a été adopté, qui
renvoie à l’idée évoquée plus tôt par Bernard Rentier
d’’’articles liquides’’ : un travail de recherche doit être
toujours en cours de développement, d’où l’idée qu’il
n’est plus un ‘’solide’’ mais un ‘’liquide’’

51. Exemples de valorisation
de travaux de recherche (2)
• La revue Mondes sociaux

52. Idées
• créée en avril 2013
• un magazine de diffusion des SHS, en libre-accès,
publiant des articles de recherche écrits par des
chercheurs (articles basés sur des thèses, des articles
de recherche, des ouvrages), sans comité scientifique
• de proposer une diffusion massive sur les réseaux
sociaux (‘’vulgarisation de la recherche ‘’pour l’HCERES)
• prescripteurs de contenus adaptés aux nouvelles
pratiques du numérique : écrire pour le collégien de 3e
• principe du ‘’dossier liquide’’

53. Pour les commentaires ouverts
• commentaires constructifs, qui ont mené à
des propositions de soumettre un article pour
le commentateur qui émettaient des
remarques sur le contenu diffusé
• Plate-forme de débats, sur des sujets variés,
qui encourage la démocratie numérique

54. IV) Les retours d’expérience sur
l’intégration de l’open access dans
les processus d’évaluation

55. Point de vue de l’INSHS
• La Responsable d’études documentaires à l’InSHS Odile
Contat, en charge de l’aide aux revues scientifiques, a
confié son expérience sur la prise en compte du libre
accès dans la dotation aux revues
• L’attribution de ces subventions repose sur une
politique d’évaluation délimitée par des critères
discriminants, qui viennent des sciences de
l’information (ex : bonnes pratiques éditoriales, dontle
libre accès)
• Il s’agit de valoriser l’édition scientifique ouverte,
transparente et collective.

56. Principes
• Le modèle Latindex a été une source dont s’est inspiré l’InSHS,
pour valoriser au maximum les principes d’ouverture et de
transparence :
– existence d’une version numérique de la revue
– présentation des membres du comité de lecture sur le site et des
affiliations
– respect de procédures d’évaluation pour les articles : experts
extérieurs
– suivi d’une grille d’évaluation
– visibilité de la date de réception et d’acceptation de l’article.
• RAPPEL : LATINDEX est un système d’information académique,
gratuit, à but non lucratif, spécialisé sur les revues
académiques éditées en Amérique ibérique et lusophone. Le
système est basé sur le fruit de la coopération entre
différentes institutions de 23 pays (source : Wikipédia).

57. Degrés de prise en compte de la
publication en libre-accès dans les
procédures d’évaluation
• Disciplines présentées dans la table ronde :
– Archéologie, Histoire, Philologie
– Bio-médical
– Sciences Appliquées
– Sociologie

58. Conclusions de la table ronde :
• Le socle d’évaluation scientifique ne bouge pas
concernant l’open access, mais certaines pratiques qui
impliquent de la vulgarisation scientifique ou
‘’animation de la recherche’’ sont prises en compte (ex :
blogs de recherche)
• La prise en compte du facteur d’impact n’est pas aussi
forte dans toutes les disciplines, elle l’est plus
particulièrement dans le bio-médical où le recours y est
systématique
• Dans les sciences appliquées, une initiative a été prise
dans l’évaluation : que les rapporteurs ne mentionnent
pas le facteur d’impact

59. CONCLUSION :
• La prise en compte de l’OA n’est pas encore
instituée, et les organismes d’évaluation doivent
encore donner l’impulsion pour concevoir des
récompenses pour les chercheurs qui publient en
accès ouvert
• Comme il faut payer pour publier en OA dans la
voie gold, le problème de la récompense du
chercheur qui publie quand même en OA est réel
• A l’horizon 2021, la prise en compte de l’OA dans
les évaluations de la recherche devrait pouvoir
être effective