Es comúnmente aceptado por la comunidad científica internacional que las citas y los indicadores derivados (indicadores de impacto) no se pueden utilizar para comparar áreas temáticas o especialidades diferentes, por varios motivos. Por una parte, el tamaño del campo de investigación influye en el número de citas que un artículo (o una revista) es susceptible de recibir: en una comunidad de 500 investigadores, el número de citas que se reciben, en valores absolutos, es más pequeño que en una comunidad de 5.000 investigadores1,2. Por otra, cada área científica tiene unos hábitos de citación diferente; por ejemplo, mientras en bioquímica y en ciencias sociales se producen unas 30 referencias por artículo, en ingeniería solo se generan 10 referencias y en matemáticas 5, por lo que la probabilidad de ser citado en literatura bioquímica es 6 veces mayor que en matemáticas. Estas prácticas de citación se reproducen en las áreas médicas, sobre todo en las que tienen una menor «masa investigadora», o en las que predomina la práctica clínica sobre la investigación básica3–5.

Algunas agencias de evaluación no tienen en cuenta esta variabilidad entre especialidades y las sitúan todas ellas dentro del grupo común de la Medicina, utilizando indicadores de citación e impacto para compararlas entre sí y desencadenando, como consecuencia, serios e injustos agravios entre los investigadores de las áreas de tamaño pequeño o medio, que compiten en inferioridad de condiciones ya que los instrumentos que los evalúan no se ajustan a sus características.

Se han publicado numerosos estudios que analizan el estado actual, la evolución y las tendencias de la investigación pediátrica a nivel mundial6–8 y en España9, algunos centrados en subespecialidades de la Pediatría y otros en revistas específicas9–14. Una búsqueda sobre este tema realizada en la base de datos PubMed en octubre de 2019 con la estrategia («Pediatrics»[Mesh]) AND «Bibliometrics»[Mesh]) recuperaba 181 artículos. Sin embargo, no se han desarrollado estudios que comparen los indicadores bibliométricos de la Pediatría con los de otras especialidades médicas, un aspecto crucial que debe analizarse y discutirse siempre teniendo en cuenta las particularidades de cada área científica.

El objetivo de este trabajo es doble: por una parte, identificar y caracterizar los indicadores de producción, citación, impacto y colaboración del área Pediatrics del Journal Citation Reports (JCR), y por otra, caracterizar a la revista Anales de Pediatría en el contexto de las revistas españolas de otras 20 áreas y especialidades médicas.

Las fuentes de información utilizadas para la obtención de los indicadores de producción ha sido la base de datos Science Citation Index-Expanded (SCI) de la Web of Science (WoS), mientras que para la obtención de los indicadores de impacto se ha consultado la plataforma JCR, para los indicadores de colaboración se ha utilizado Scimago Journal & Country Rank (SJR), portales que ofrecen información de indicadores científicos de las revisas indexadas en las bases de datos SCI y Scopus, respectivamente. El periodo seleccionado para la presentación de los indicadores en distribuciones anuales o acumuladas fue la década 2009-2018 y se limitó a la tipología documental de artículos originales.

La selección de las áreas temáticas vinculadas con la Pediatría se obtuvo a partir de la web de la Asociación Española de Pediatría (AEP) https://www.aeped.es/especialidades, tomando como criterio las disciplinas médicas vinculadas a alguna de las 24 sociedades científicas por especialidad pediátrica. Finalmente se seleccionaron, además de la Pediatría, las 20 áreas temáticas que se detallan en la tabla 1.

El estudio se ha estructurado en 2 bloques. En el primero se ha analizado el área Pediatrics en el contexto de estas otras 20 especialidades médicas. En el segundo se ha analizado la revista Anales de Pediatría en el contexto de las revistas españolas indexadas en SCI.

Los indicadores se han clasificado en:

• 1.

  Indicadores de producción: número de artículos, número de revistas por área y número de artículos por revista.

• 2.

  Indicadores basados en las citas: número de citas, media de citas por revista, media de citas por artículo y artículos no citados.

• 3.

  Indicadores de impacto: factor de impacto (FI) medio y agregado e índice h. El FI medio se ha obtenido dividiendo los FI de todas las revistas de cada área en un año por el número de revistas del área. El FI agregado se calcula de la misma manera que el FI medio, pero computa solo el número de citas y el número de artículos de las revistas del área.

• 4.

  Indicadores de los artículos más citados por áreas temáticas.

• 5.

  Indicadores de colaboración internacional. Para el cálculo de los indicadores de colaboración se seleccionaron las 5 revistas con mayor FI en 2018 de cada área estudiada del JCR Science Edition de 2018 y se obtuvo en SJR el indicador de colaboración internacional de cada revista, que muestra la proporción de documentos firmados por investigadores de más de un país. A continuación, se ha computado la media para cada revista, atendiendo al conjunto de años en los que hay información, bien de toda la década 2009-2018, bien de los años a partir de la incorporación de la revista en la base de datos. Por último, se calculó la media de las 5 revistas para obtener el indicador para cada área temática. También se determinó el rango intercuartílico entre la revista con mayor y menor porcentaje de colaboración internacional.

Las revistas españolas se han obtenido a partir de la consulta realizada al JCR de 2018 de las 21 áreas temáticas (el área de Pediatrics y las 20 áreas consideradas en la tabla 1). Como resultado, se obtuvieron 24 revistas y se determinaron indicadores similares a los de las áreas temáticas, así como el número de artículos financiados. Las búsquedas se realizaron el 16/9/2019 desde terminales de la Universitat de València.

El estudio estadístico se ha realizado con el software Statgraphics Centurion XVI, y ha consistido en calcular las correlaciones de las variables. Además, se han aplicado logaritmos a los datos para normalizarlos y poder obtener las rectas de regresión, cuando ha sido necesario.

Este trabajo ha permitido identificar la posición de las publicaciones pediátricas mundiales y españolas en términos absolutos y en relación con otras áreas, a partir de una selección de indicadores de producción, citación, impacto y colaboración. Se han seleccionado como fuentes SCI de la WoS, JCR y, como fuente complementaria, SJR. Estas fuentes proporcionaron algunos de los indicadores que se presentan, mientras que otros se determinaron mediante cálculos. Como áreas de comparación, se seleccionaron las 20 que se incluyen en la AEP como «Sociedades de especialidades» (https://www.aeped.es/especialidades).

Como se ha observado, el área Pediatrics ocupa en términos absolutos una posición intermedia en relación con las otras, tanto en número medio de revistas como en producción científica (9.o lugar en ambos casos) y en citación (12.o lugar). Sin embargo, si se consideran otros indicadores relativos, como la media de citas por revista o el porcentaje de artículos que no han sido citados nunca, se sitúa en los puestos 17.o y 19.o, respectivamente. Algo similar ocurre con los FI medio y agregado, que sitúan a Pediatrics en las posiciones 18 y 17, respectivamente.

En la mayor parte de los indicadores relativos basados en las citas el área Pediatrics se sitúa habitualmente por delante de 2 áreas, Emergency Medicine y Primary Health Care, y en otros indicadores también por delante de otras 2 áreas, Dentistry, Oral Surgery & Medicine y Rehabilitation. El análisis de los trabajos más citados proporciona imágenes similares a las que han proporcionado los otros indicadores basados en las citas, situando al área Pediatrics de nuevo por encima de las mismas especialidades.

Un hecho que llama la atención es el índice h del área Pediatrics, ya que la sitúa en posiciones en las que supera no solo a las 4 áreas mencionadas antes, sino también a otras como Cardiac & Cardiovascular System, Allergy y Rheumatology. Sin embargo, este indicador no es del todo apropiado para comparar diferentes áreas científicas pues no tiene en cuenta los distintos hábitos de publicación y citación según el campo. El índice h es elevado en áreas que cuentan con una dilatada tradición investigadora15,16.

Un factor determinante en la investigación es la colaboración. La multidisciplinariedad y la naturaleza técnica y compleja de la investigación biomédica requiere el trabajo en equipo, y su máxima expresión es la conformación de equipos internacionales para el desarrollo de proyectos cooperativos internacionales como ensayos multicéntricos17–19. En el área Pediatrics la colaboración internacional se acerca al 18% de los trabajos, de nuevo por encima de Emergency Medicine y Primary Health Care, y también por encima de Oncology. Se ha publicado que los ensayos clínicos implementados en redes colaborativas producen artículos altamente citados y se publicaron en revistas de mayor impacto20,21. Como se ha comprobado en el análisis de regresión, la colaboración internacional aumenta el número medio de citas por artículo.

En relación con otras revistas españolas indexadas en SCI, Anales de Pediatría es una de las revistas españolas más productiva y ocupa una posición intermedia en número de citas. La media de citas por artículo no es muy alta, pero está por encima de especialidades como Urology & Nephrology, Endocrinology & Metabolism y Clinical Neurology.

Uno de los posibles motivos de la situación de Pediatrics en relación con otras áreas es la ausencia de ensayos clínicos controlados aleatorizados pediátricos publicados. Los ensayos clínicos con niños se ven afectados por numerosas barreras metodológicas, éticas y económicas para cumplir los estándares de calidad, lo que dificulta su realización. Por otra parte, menos del 30% de los medicamentos comercializados en Europa incluyen resultados de ensayos clínicos pediátricos22. Iniciativas como Global Research in Paediatric (GRiP) destinada al estudio y desarrollo de medicamentos seguros y efectivos para niños y auspiciada por el Séptimo Programa marco de la Unión Europea, pueden contribuir a este propósito. En este contexto, Salim et al. encuentran que, en consonancia con la tendencia de otras especialidades médicas, en los últimos años se ha producido un aumento significativo de la publicación de revisiones sistemáticas en cirugía pediátrica, aunque estas son de baja calidad23.

Las enfermedades pediátricas a menudo son raras y con escaso número de pacientes, lo que determina que, para obtener resultados determinantes en investigación, sea necesario trabajar en red, y realizar estudios multicéntricos. En este sentido, en los últimos años se han incrementado enormemente los trabajos colaborativos y la aparición de redes de investigación pediátricas, pero seguramente aún es pronto para ver resultados y es necesario profundizar en este tipo de iniciativas.

Por otra parte, un porcentaje muy alto de pediatras realizan ejercicio ambulatorio extrahospitalario con pocos medios y alejado de los grandes centros asistenciales mejor dotados de recursos, lo que se traduce en una menor investigación, pues los pediatras compiten en inferioridad de condiciones que otras áreas de eminente ejercicio hospitalario o de investigación básica.

Para mejorar la calidad de la investigación pediátrica y que esta redunde en mejores indicadores de citación e impacto sería deseable impulsar la formación en metodología de la investigación para capacitar a los especialistas en el diseño y participación en ensayos clínicos pediátricos24–26. Holland et al. encontraron que cada año adicional de formación en metodología de la investigación en institutos nacionales de salud infantil se asociaba con un aumento del 15% en el índice h27. Un punto clave en este proceso es propiciar la colaboración e intercambio de recursos entre académicos, profesionales de la salud, organismos reguladores y la industria, tanto a nivel nacional como internacional. Por otra parte, gobiernos e instituciones académicas deberían proporcionar el marco adecuado para recompensar a las empresas que inviertan en investigación pediátrica.

Seguro que ante este problema multicausal es difícil acotar todas las líneas de mejora para situar al área de Pediatrics en mejores posiciones frente a otras áreas temáticas. Hace años realizamos un análisis DAFO sobre la publicación pediátrica española (en base a un estudio cienciométrico de la AEP durante el periodo 2006-2010)9,28,29, y algunas de aquellas reflexiones sobre debilidades y amenazas, fortalezas y oportunidades, podrían trasladarse a esta reflexión.

Como limitaciones de este estudio, debe tenerse en cuenta que algunos indicadores utilizados, sobre todo el FI, tienen una serie de deficiencias cuando se utilizan como herramientas para la evaluación de la investigación y que han sido ampliamente discutidas en la literatura. Entre estas deficiencias destaca el hecho ya comentado de que está sujeto a variaciones según el campo, de que puede ser manipulado por los editores y que los datos de procedencia para su cálculo no son siempre transparentes30–32. En este contexto, la Declaración de San Francisco sobre la evaluación de la investigación recomienda no utilizar métricas basadas en revistas, como el FI, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación33.

Los indicadores de citación e impacto del área Pediatrics suelen situarse por debajo de los de otras áreas, con la excepción de Emergency Medicine, Primary Health Care, Dentistry, Oral Surgery & Medicine y Rehabilitation. A esta situación pueden contribuir los diversos factores previamente mencionados.

Sea como sea, la reflexión final es clara y forma parte de uno de los objetivos de este estudio: si las agencias de evaluación científica no tienen en cuenta esta variabilidad entre especialidades y las sitúan todas ellas dentro del grupo común de la Medicina, el área de Pediatrics (y, por tanto, los pediatras) compite en inferioridad de condiciones a la hora de optar a becas y financiaciones nacionales e internacionales competitivas, lo que supone un círculo vicioso difícil de vencer.

Los autores declaran no tener ningún conflicto de intereses.