Presentación realizada en el contexto del Foro INCITES de Clarivate Analytics 22/09/2020. Se basa en un artículo publicado en Learned Publishing titulado If PLOS One were 101 differente specialized journals

1. Cómo InCites
ayuda a medir
mejor el impacto de
las Mega Journals
Rafael Repiso – Universidad Internacional de La Rioja

2. 2
¡Hola!
Encantado de
presentarme
2
Soy Rafael Repiso, profesor de la
Universidad Internacional de La Rioja
(UNIR). Co-editor de Revista
Comunicar. Socio de la Spin Off
EC3metrics (Universidad de Granada).
Contacta conmigo:
▪ www.rafaelrepiso.com
▪ rafael.repiso@gmail.com
▪ @repisogurru

3. “
3
Origen de la charla
Si PLOS ONE fuesen 101 revista

4. InCites,
una herramienta de
diagnóstico avanzada
• Análisis y estrategia para revistas
• Investigaciones científicas

5. Mega Journals Multidisciplinar Identificando
Áreas
Buscando
artículo y citas
Calculando
Métricas
Contextualizando
resultados

6. Mega Journals Multidisciplinar Identificando
Áreas
Buscando
artículos y citas
Calculando
Métricas
Contextualizando
resultados
Identificando
Áreas
Buscando
artículos y citas
Calculando
Métricas
Contextualizando
resultados

7. Megajournals
Características
▪ El término Mega-Journal fue acuñado en el año 2006 por la
revista Zootaxa para referirse a sí misma (Zhang, 2006).
▪ Revistas que surgen al amparo de la edición digital.
▪ Se caracterizan por la publicación masiva de trabajos.
▪ Priorizan la validez metodológica frente al interés del trabajo.
▪ Su principal modelo de gestión es la publicación en abierto
mediante cobro de APCs. El sueño de cualquier Predatory es
ser un megajournal.
Problemas
▪ Las métricas actuales de revistas se crearon ajustándose a
otros modelos de revistas.
▪ Hay revistas que publican más que el resto de revistas de su
categoría
7

8. Solomon (2014) descubrió que algo más del 52 por ciento de los trabajos
presentados en cuatro mega-revistas (BMJ Open, PeerJ, PLOS ONE y Sage
Open)
Por un lado, la incapacidad de contextualizar de forma relativa el valor de un
trabajo o un conjunto de trabajos en sus áreas concretas. En este sentido,
todo queda bajo el paraguas de la categoría Ciencia Multidisciplinar. Por
otra parte, el Factor de Impacto es un promedio y, como todo valor de
centralidad, es representativo en conjuntos homogéneos.
Megajournals• Un buen número de los trabajos que publican son
trabajos rechazados en otras revistas, según Solomon
(2014) hasta un 52%.
• No se tiene en cuenta la novedad, interés o
importancia de los artículos cuando se evalúa.
• Aspectos como la novedad, la importancia y el interés
pueden evaluarse mejor tras la publicación midiendo la
recepción y el uso de un artículo (Björk & Hedlund,
2015).
• No hay un número clauso de artículos que determine
las tasas de rechazo. Se publica todo lo que llega y
supere las revisiones de los evaluadores.
• Debido a las limitaciones conocidas de las métricas de
revistas, revistas como Plos One crean y promocionan
métricas a nivel de artículo.

9. “
9
Evolución de Plos One y Scientific Reports en la categoría Multidisciplinar de JCR

10. Multidisciplinariedad
10
▪ Incapacidad de contextualizar de forma relativa el valor de
un trabajo o un conjunto de trabajos en sus áreas
concretas. TODO SE CONTEXTUALIZA EN MULTIDISCPLINAR.
▪ El Factor de Impacto es un promedio y, como todo valor de
centralidad, es representativo en conjuntos homogéneos.
La multidisciplinariedad no es sinónimo de homogeneidad
precisamente…
¿Es lógico asociar el valor de un trabajo entre miles en una
revista muy heterogénea de acuerdo al Factor de Impacto y
cuartil que ocupa la revista en una categoría multidisciplinar?

11. 11
Repensando el
Factor de Impacto
¿Por qué se utiliza para evaluar
los trabajos individuales?
 Es un indicador que promedia las citas de
los trabajos de una revista en un tiempo
determinado. Pero sabemos que unos
pocos trabajos son los que atraen más
citas, es una distribución desigual
.
 Se utiliza también como indicador de
complejidad y dificultad. Si un trabajo es
capaz de hacerse un hueco en una revista
donde hay gran competitividad por
publicar, el Factor de Impacto representa
esa competitividad porque a mayor FI
suele haber mayores tasas de rechazo.
Pero ¿no hemos dicho que en las
Megajournals no se compite por un
espacio sino que crece conforme reciben
más artículos? Además en una
megajournal multidisciplinar hay diferentes
equipos de revisión con criterios
diferentes, unos serán más exigentes que
otros…

12. 12

13. “
Megajournals
El depredador definitivo
Al identificar las temáticas de los artículos y calcularles métricas a
esos grupos temáticos estamos homogeneizando lo que en
principio era heterogéneo, lo que nos permite:
a. Comparar con otras revistas similares.
b. Integrarse en categorías especializadas.
c. Estudiar las diferentes comunidades que participan en una
revista.
Objetivo.
Identificar grupos de artículos temáticos y evaluarlos por separado

14. Identificar áreas
Identificar Trabajos Totales
Identificar citas recibidas
Identificar docs
citables
Pasos para calcular el Impact Factor

16. ¿Qué opciones
marcar para
identificar los
trabajos? 1. Seleccionar la revista.
2. Seleccionar dos años previos (al
año que se quiere calcular).
3. Elegir la clasificación de Web of
Science.
Actualizar los resultados
1.
16

17. 17
18 opciones de clasificación temática,
13 clasificaciones temáticas, algunas con diferentes niveles de especificidad
Identificando
Áreas

18. “
18
¿Cuántas posibles áreas hay? 101
Nosotros entendimos que el mínimo para que haya un área representa una publicación de 20 artículos al año

19. Descargar en
CSV los
ficheros y
extraer los ID
de WOS

20. Búsqueda Avanzada por WOS ID

21. Búsqueda Avanzada por WOS ID
Buscando
artículo y citas

22. Búsqueda Avanzada por WOS ID

23. 23
Calculando
Métricas
Artículos Citables y Citas

24. 24
Contextualizando
resultados
Artículos Factor de Impacto, Percentiles y Cuartiles

25. Primer Cuartil

26. Solomon (2014) descubrió que algo más del 52 por ciento de los trabajos
presentados en cuatro mega-revistas (BMJ Open, PeerJ, PLOS ONE y Sage
Open)
Por un lado, la incapacidad de contextualizar de forma relativa el valor de un
trabajo o un conjunto de trabajos en sus áreas concretas. En este sentido,
todo queda bajo el paraguas de la categoría Ciencia Multidisciplinar. Por
otra parte, el Factor de Impacto es un promedio y, como todo valor de
centralidad, es representativo en conjuntos homogéneos.
Primer Cuartil de áreas de PLOSONE
Contextualizando
resultados

27. Conclusiones
▪ Reducir la producción a categorías convierte a una
revista Megajournal como PLOS One en un conjunto
de revistas ficticias de acuerdo a la pertenencia a
categorías de sus artículos. Esta medida permite
obtener métricas de manera separada y, así,
estudiar con mayor precisión qué aportaciones hace
esta revista a cada categoría científica y con qué
relevancia, permitiendo comparar en igualdad a
esta megarrevista con el resto de revistas
especializadas en el contexto de su categoría en
Web of Science.
27

28. Conclusiones
▪ En general, y de acuerdo con su target, PLOS publica
principalmente artículos sobre STEM, como la gran
mayoría de megajournals (Spezi et al., 2017). Si cada
categoría temática fuese una revista independiente,
la mayor parte (75,2%) se situaría en segundo y
tercer cuartil de JCR. Un 24% se posicionaría en
primer cuartil de su categoría y sólo una categoría,
“Psychology”, se situaría como cuarto cuartil.
28

29. Conclusiones
¿Es incompatible ser una revista especializada con ser
multidisciplinar?
▪ Si nos centramos en los artículos que PLOS One
publica sobre “Biochemistry & Molecular Biology”
resulta que, con 5.512 trabajos, se situaría como la
revista con mayor producción de esa categoría. Este
es un tipo de especialización que no se puede obviar
en los estudios del área y que se sustenta en una
gran estructura científica evaluativa especializada.
Cuando una revista muestre síntomas tan significativos
de especialización en un área debe ser tratada de forma
especial en esa área y no como una mera revista
multidisciplinar.
29

30. Bibliografía
 Björk, B. C., & Hedlund, T. (2015). Emerging new methods of peer
review in scholarly journals. Learned Publishing, 28(2), 85–91.
https://doi.org/10.1087/20150202
 Repiso, R., Moreno‐Delgado, A., & Torres‐Salinas, D. (2020). If
PLOS ONE were really 101 different specialized journals: A
proposed approach to the evaluation of multidisciplinary
megajournals. Learned Publishing, 33(2), 96-103.
 Solomon, D. J. (2014). A survey of authors publishing in four
megajournals. PeerJ, 2, e365.
 Spezi, V., Wakeling, S., Pinfield, S., Creaser, C., Fry, J., & Willett, P.
(2017). Open-access mega-journals: The future of scholarly
communication or academic dumping ground? A review. Journal
of Documentation, 73(2), 263–283. https://doi.org/10.1108/JD-
06-2016-0082
 Zhang, Z. Q. (2006). The making of a mega-journal in taxonomy.
Zootaxa, 1385(1), 67–68. 30