elgado López-Cózar, Emilio. Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades. Las humanidades en España y en Europa. Retos y oportunidades de la convergencia europea en la educación superior y en la investigación. Universidad Complutense de Madrid y CSIC. Madrid, 23-25 de marzo de 2010

1. Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación Madrid, 23-25 de marzo de 2010

2. España en estado de excitación evaluativa

3. El laberinto de las herramientas para la evaluación de las publicaciones científicas españolas

4. Libros Revistas Todo Nada Libros Revistas Revistas Libros Revistas

5. Los criterios

6. Indicios de calidad de los libros CNEAI, ANECA, ANEP HUM Obras de referencia imprescindibles en los estudios grado y postgrado  Inclusión en bibliografías independientes del autor y su entorno  Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias PCD  Traducciones de la propia obra a otras lenguas    Riguroso proceso de selección y evaluación de originales     ANECA JURID.     CNEAI Poseer ISBN (imprescindible) Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho) Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1  Reseñas en las revistas científicas especializadas CCSS Prestigio de la editorial, los editores, la colección en la que se publica la obra  Número de citas generadas (cantidad y calidad) ANEP Criterios

7. Indicios calidad revistas científicas CNEAI, ANECA, ANEP  Estar acreditada por la FECYT    Satisfacer criterios de calidad editorial  Clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF  ANECA  CNEAI  Inclusión de las revistas en bases de datos internacionales Preferentes: Arts and Humanities Citation Index y Social Science Citation Index Similares : FRANCIS, International Bibliography of the Social Sciences (IBSS), Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature , Library and Information Science Abstracts, Philosopher’s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography Podrán considerarse bases de datos a determinar por el comité asesor INRECS, LATINDEX, SCOPUS, DICE-CINDOC (siempre que cuenten con calidad similar a los JCR y satisfagan criterios calidad editorial Apéndice 1) ANEP Criterios

8. Criterios calidad editorial revistas científicas    Informa sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial, comité de selección, incluyendo los criterios, procedimiento y plan de revisión de los revisores o jueces    Periodicidad de las revistas y regularidad    Emplea el anonimato en la revisión de manuscritos   Comunica a los autores la decisión editorial de forma motivada    ANEP    ANECA    CNEAI Traduce el sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas y actas de Congresos Cuenta con Instrucciones a Autores detalladas Identifica los miembros de los Comités Editoriales y Científicos Criterios

9. Criterios calidad editorial revistas científicas   Cuenta con un Consejo de Redacción efectivo   Cuenta con un Consejo Asesor efectivo  Al menos el 75% de los autores son ajenos a los Comités Editoriales  Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista  La tasa de aceptación de trabajos es igual o menor al 60%   Al menos el 75% de los artículos son trabajos que comunican resultados de investigación originales ANEP ANECA CNEAI Criterios

10. Preguntemos a los científicos

11. Muestra: 1.294 Profesores TU y Catedráticos (181 de Humanidades) con al menos 2 sexenios Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369 1 Opinión científicos españoles 2 3 4

12. Encuesta calidad revistas españolas de Humanidades y Ciencias Sociales 2009 Muy idóneo 5 – Poco 1 Valore la idoneidad de los siguientes criterios para reflejar la calidad de una revista científica Muestra: 2.301 profesores e investigadores españoles de Humanidades

13. Las herramientas

14. RESH y DICE Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas Revistas Españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas UN MISMO PRODUCTO CON DIFERENTES CARAS. DICE ES UN SUBPRODUCTO ELABORADO A PARTIR DE RESH A PETICIÓN DE LA ANECA ± 1.000 revistas españolas

15. RESH y DICE ● BASES DE DATOS ● PERIODICIDAD ● EVALUADORES EXTERNOS ● APERTURA DEL CONSEJO EDITORIAL ● APERTURA EXTERIOR DE LOS AUTORES ● ÍNDICE DE VALORACIÓN A+B ● ÍNDICE DE IMPACTO MEDIO (sin actualizar) ● CRITERIOS LATINDEX Metodología de evaluación en RESH y DICE Citas 1999-2003

16. 1. Años de vida de la revista 20 años o más = 10 puntos de 10 a 19 años = 5 puntos de 5 a 9 años = 3 puntos 2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos 3. Criterios Latindex 25 criterios o más = 13 puntos de 20 a 24 criterios = 9 puntos de 15 a 19 criterios = 5 puntos menos de 15 criterios = 0 puntos 4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos 5. Índice A + B: encuesta opinión científicos (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos 7. Bases de Datos 100 Total 16 BBDD 7 16 IIM 6 16 Índice A + B 5 16 Revisores externos 4 13 Criterios Latindex 3 13 Cumplimiento de la periodicidad 2 10 Años vida de la revista 1 Puntuación máxima Parámetros de calidad 0,75 1,5 3 6 Multidisciplinar 0,35 0,75 1,5 3 Especializada en otra área 0,75 1,5 3 6 Especializada del área SD C B A Tipo de base de datos

17. El catálogo Latindex Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe España y Portugal OJO tiene dos productos - DIRECTORIO: 16.963 revistas. Información básica normalizada - CATÁLOGO: 3.381 revistas. Selección de revistas clasificadas según el cumplimiento de unos criterios de calidad ! !

18. Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista Mención de la Dirección 8 Mención del Director 7 Entidad editora 6 Lugar de edición 5 Identificación de los autores 4 Antigüedad mínima 1 año 3 Contenido 2 Mención del cuerpo Editorial 1 Características básicas Recepción y aceptación de originales 17 Afiliación de los autores 16 Afiliación institucional de los miembros del consejo editorial 15 Miembros del consejo editorial 14 Membrete bibliográfico en cada página 13 Membrete bibliográfico al inicio del artículo 12 Tabla de contenidos (Indice) 11 Mención de periodicidad 10 Páginas de presentación 9 Características de presentación de la revista Palabras clave en dos idiomas 33 Palabras clave 32 Resumen en dos idiomas 31 Resumen 30 Exigencia de originalidad 29 Elaboración de las referencias bibliográficas 28 Instrucciones a los autores 27 Contenido original 26 Características de los contenidos Cumplimiento de periodicidad 25 Servicios de información 24 Apertura editorial 23 Autores externos 22 Evaluadores externos 21 Sistema de arbitraje 20 Definición de la revista 19 ISSN 18 Características de gestión y política editorial

19. ÍNDICES DE IMPACTO REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS

21. ¿Qué son? Índices de impacto Índices de citas

22. Informa sobre la presencia o ausencia de una revista en bases de datos, repertorios bibliográficos y catálogos. A partir de ahí se establece un índice de difusión de la publicación, el ICDS (Índice Compuesto de Difusión Secundaria) 27.845 títulos de 16 ámbitos - antropología, artes, comunicación social, derecho, documentación, economía, educación, filología, filosofía, general / multidisciplinar, geografía humana, historia, política, psicología, religión, sociología

23. ICDS (Índice Compuesto de Difusión Secundaria)

24. Los procedimientos

27. Sus resultados no correlacionan con los producidos por recuentos de citas, encuestas de opinión o difusión Análisis calidad editorial

28. Análisis de la difusión y visibilidad Mide el grado en que una revista es visible (bases de datos / Internet ) y accesible (Biblioteca / Internet)

33. Las propuestas

34. Las revistas

35. Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI

36. Próximo futuro: noviembre 2010… Y después: el destino es incierto… Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI Sistema de evaluación integrada de revistas españolas OPINIÓN PARES CALIDAD EDITORIAL ÍNDICES DE IMPACTO CNEAI LATINDEX ANECA DIFUSIÓN

37. Las Libros

40. ¿Podemos buscar citas a libros y, a partir de ellas, construir sistemas de información? SÍ ¿dónde?

42. Torres-Salinas, D.; Ruiz-Pérez, R. ; Delgado López Cózar, E . Google Scholar como herramienta para la evaluación científica. El Profesional de la Información. Septiembre-Octubre 2009, vol. 18, núm. 5, p. 501-510

45. Una reflexión final

46. ¿Qué es la calidad de una publicación científica? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros Multidimensional No existen medidas absolutas y directas de la calidad sino indicadores parciales

48. Muchas gracias por su atención Emilio Delgado López-Cózar [email_address] ec3.ugr.es/emilio Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es ec 3