Las revistas científicas en los entornos actuales de evaluación de la ciencia

Como portadoras de conocimiento, las revistas científicas, principalmente las de CSyH en Latinoamérica, tienen hoy un dilema en torno a la necesidad de inclusión y mejoramiento en corriente principal. La escasa cobertura en índices bibliográficos de citación y bases de datos de relevancia mundial, la tendencia a recibir pocas citas y a encontrarse en las últimas posiciones en sus categorías (25% inferior), entre otros aspectos, son algunas de las problemáticas a solucionar en un futuro próximo, sin olvidar la importancia e impacto en los procesos de evaluación de la actividad científica en diferentes niveles de agregación.

En esta dinámica que ralentiza y dificulta la normal integración de la investigación en la corriente internacional inciden muchos aspectos, tratados con rigor en la literatura (^{Borrego & Urbano, 2006}; ^{Cabezas-Clavijo & Delgado-López-Cózar, 2012}; Luna, 2015), entre los que se pueden señalar la orientación de las revistas nacionales de Ciencias Sociales y Humanas a la publicación de contenidos de corte local y por tanto la escasa presencia que tienen en estas fuentes (^{Aguado-López, Becerril-García, Arriola & Martínez-Domínguez, 2014}; ^{Cuartas, Arias, & Leydesdorff, 2016}; ^{Santa & Herrero, 2010}). Por ejemplo, Colombia solo cuenta con diecisiete revistas en el Journal Citation Report (JCR) 2017, de ellas cinco de Ciencias Sociales, lo que genera también sesgos en la evaluación, pues mientras se alcanzan datos bastante precisos de la investigación que se desarrolla en las Ciencias Exactas, en las Ciencias Sociales y Humanas es muy difícil la obtención de datos confiables y eficaces (^{Torres-Salinas, 2007}), situación observada además en la mayoría de nuestros países. Otros factores que inciden son el uso del libro y otras fuentes alternas como medios de comunicación en esta área, los procesos lentos de citación, la obsolescencia de la información y los enfoques locales de la investigación deben tenerse en cuenta (^{Moed, 2005}).

Como consecuencia de la escasez de clasificaciones que sirvan de insumo a la evaluación, más allá de los tradicionales WoS y Scopus, se hace necesario proponer nuevos modelos con miradas diferentes de los contextos específicos de cada país, que tengan en cuenta la importancia que merecen las fuentes regionales y ofrezcan un peso importante en la evaluación, la visibilidad e impacto, por los rigurosos criterios que estas aplican en la selección de revistas (ejemplo Redalyc, SciELO y Latindex). También la necesaria reflexión sobre la importancia que los consejos editoriales de países de la región le dan a la inclusión de las revistas en Scopus, siendo esta una base de datos que no siempre refleja calidad en la investigación y de las propias revistas. Dicha fuente, con una amplia cobertura de revistas en relación a WoS, cuenta en su listado, en especial muchas de las de Q4, con un mínimo de citas, lo cual hace que los propios indicadores no reflejen la realidad de la investigación en la región. Por ejemplo, indicadores como el CiteScore, donde un alto porcentaje de sus revistas no tienen citas o muy reducida cantidad, no aporta siempre información a la evaluación y gestión y por tanto a la calidad de la actividad científica.

Indicadores bibliométricos como medidas de evaluación de las revistas científicas: contexto de las Ciencias Sociales

Los indicadores permiten describir o evaluar fenómenos, su naturaleza, estado y evolución; miden las acciones relacionadas con la generación, difusión, transmisión y aplicación de conocimientos científicos y tecnológicos y representan una de las herramientas más utilizadas para la edición del producto de la investigación científica (^{Martínez & Albornoz, 1998}). Constituyen herramientas fundamentales para la aplicación de la bibliometría, especialmente en el análisis de las producciones científicas en diferentes dominios del conocimiento y de las comunidades de ciencia (^{Peralta, Frías & Gregorio, 2015}). En cuanto a su uso en la evaluación, lo cual impacta por supuesto en las revistas, cualquiera que sea la categoría de los mismos, presentan limitaciones y sesgos que plantean el debate en torno a la validez en diferentes escenarios. ^{Sancho (1990)} plantea que una de las principales limitaciones está dada, en su momento, por la no existencia de una base de datos que refleje toda la producción científica actual y que ofrezca una cobertura amplia desde el punto de vista geográfico. Por ejemplo, a pesar de la calidad e importancia de WoS en la evaluación de la ciencia y en menor medida de Scopus, además de otras fuentes de datos especializadas y multidisciplinares, los sesgos presentes en la propia estructura, contenidos y cobertura de las mismas, impide contar con la precisión deseada en la investigación. Dicha situación es necesario observarla con detenimiento, dado que, además de la necesidad de buscar bases de datos complementarias en la investigación bibliométrica y que estas no cubran la totalidad de la literatura científica, es una tendencia que la propia distribución teórica de Bradford plantea, lo cual lleva a que, por ejemplo, en el caso de WoS se encuentren las mejores revistas a nivel mundial como núcleos de las disciplinas.

Desde la perspectiva de la corriente principal de la ciencia, el sesgo anglosajón de WoS, pese a sus indicadores y a su calidad indiscutible, le impregna limitaciones como fuente para la evaluación de la investigación en las Ciencias Sociales y Humanidades. En el caso de Scopus, y aún cuando tiene mayor cobertura e incluye un significativo número de revistas regionales, sus sesgos y limitaciones son también visibles y necesarios a tener en cuenta en relación a la calidad tanto en la inclusión de revistas, como en la base, reflejado en que no excluye revistas, lo que se visualiza en la existencia de numerosas revistas sin aportes al debate actual y que no cuentan con citas. Un aspecto importante en cuanto a las divergencias en ambas fuentes es la diferencia en número de revistas y citas recibidas por estas en muchas de sus áreas y categorías, también, donde menos cantidad de revistas en WoS reciben más citas que Scopus, lo cual se puede constatar por medio del análisis de una categoría científica (gráfica 1).

Gráfica 1 Comparación de JCR-WoS y SJR-Scopus a partir de sus revistas de comunicación versión 2017 

De forma general, dentro de las limitaciones más conocidas y en las que las revistas deben trabajar, se encuentran la calidad y actualidad de contenidos lo cual ayuda al aumento de la citación, la novedad y aporte a la disciplina. También la tendencia desmesurada del síndrome Publicar o Perecer (PoP) al dividir investigaciones en varias publicaciones y que no siempre la productividad es sinónimo de excelencia en el progreso científico, son algunos de los aspectos necesarios a tener en cuenta en la gestión de la actividad científica (^{Camps, 2008}).

De otra parte, las críticas existentes a los procesos de evaluación de la ciencia, evidencian las limitaciones de los indicadores bibliométricos y cómo en su uso deben ser consideradas tanto sus fortalezas, como sus debilidades. Ejemplo de ello, es la necesidad de no efectuar comparaciones entre áreas temáticas, dado que los hábitos de publicación y citación de los autores son diferentes, no solo difieren entre áreas científicas, sino también en las propias disciplinas (^{Bordons & Zulueta, 1999}).

Mientras que en las Ciencias Exactas el uso de los indicadores mantiene cierta eficacia ya comprobada, en las Ciencias Sociales y Humanas no es proporcionalmente funcional (^{Camps, 2008}; ^{Torres-Salinas, 2007}). Aspectos ya mencionados como la obsolescencia de la información, los hábitos de citación, la tendencia a la publicación de contenidos locales, así como publicar en mayor medida recursos distintos al artículo científico, hacen que la implementación de indicadores bibliométricos en las Ciencias Sociales y Humanas deba ir acompañada de estrategias y métodos diferentes (^{Borrego & Urbano, 2006}).

En el caso de las revistas, su implementación tiene como principal insumo los índices de citación WoS y Scopus, dados los ranking y categorizaciones que ofrecen. Ahora bien, las limitaciones planteadas en cuanto a su funcionamiento como fuentes de evaluación en las CSyH (^{Archambault, Vignola-Gagne, Côté, Larivière & Gingras, 2006}; Mañana-^{Rodríguez, 2014}) es un aspecto que ha generado un amplio debate en relación a los diversos enfoques y aplicaciones de los mismos en revistas científicas, como por ejemplo el uso de datos para la obtención de indicadores que no proceden de la contabilización de las citas recibidas (Rodríguez, 2014).

Otros estudios aplicados a la obtención de indicadores se han realizado con éxito y son marco de referencia para la variedad de análisis enfocados a la procedencia de los autores (^{Rodríguez et al., 1993}), de coautoría (^{Liu, Bollen, Nelson & Van de Sompel, 2005}), o estudios descriptivos de revistas (^{Jiménez, 2007}), lo cual lleva a la conclusión que la obtención de indicadores, cualquiera que sea su campo de acción, debe realizarse de acuerdo a objetivos, necesidades, tendencias y casos específicos.

Al hacer referencia a los métodos de análisis en las revistas, es fundamental mencionar también la revisión por pares (peer review) como el modelo clásico y principal que determina de forma primaria la calidad de los contenidos, método que desde el comienzo de su aplicación funciona como mecanismo efectivo y uno de los más valorados y a su vez criticados (^{Codina, 2016}; ^{Wicherts, 2016}).

Este proceso representa en la ciencia actual el principal mecanismo de control y análisis de las disciplinas científicas (^{Bornmann & Daniel, 2008}), igualmente considerados como el instrumento primario de control y regulación (^{Cronin, 2005}) fundamental para el proceso de la integración y divulgación de los nuevos resultados de la investigación, que incluso tienen efectos positivos sobre la cita que a futuro reciben los trabajos y que produce conocimiento de calidad (^{Rigby, Cox & Julian, 2018}).

En conclusión, los indicadores bibliométricos, en revistas científicas como en los demás agregados, juegan un papel de control de la calidad de la investigación y aportan la información necesaria para el mejoramiento de la visibilidad y el impacto. De otra parte, son los que posibilitan la inclusión en fuentes de datos y sistemas y el mejoramiento dentro de los mismos (posición en cuartiles).

Los procesos científicos en Latinoamérica: corriente principal y periferia

La evaluación de la ciencia a través de indicadores bibliométricos y la revista donde se publica como indicador de calidad de la investigación, son aspectos en los cuales se basa hoy la calidad de la investigación (^{Sánchez, Delgado & Soria, 2007}). En la visibilidad de la ciencia intervienen varios actores como instituciones y grupos de investigación, sin embargo, las propias características de las revistas, los rigurosos métodos de evaluación a los que son sometidas, así como la segmentación de calidad de las mismas hace que se conviertan en protagonistas de la gestión y la evaluación.

^{Ortega (2006)} plantea la existencia de un núcleo reducido de revistas que concentran la mayor cantidad de artículos (main stream) el cual se focaliza especialmente en países desarrollados. En este sentido, existen amplios debates intentando dar respuesta a interrogantes como: ¿Las revistas latinoamericanas no son mejores depositarias en muchos casos de la ciencia que se hace en la región, básicamente en Ciencias Sociales y Humanas?, ¿Representan las necesidades y problemáticas de la investigación en la región? De igual forma, ¿La investigación regional publicada en revistas de corriente principal le puede aportar la visibilidad necesaria a la ciencia local? Dados estos interrogantes, el tema es necesario revisarlo con detenimiento y analizarlo en contexto.

Como se ha mencionado, la calidad de las revistas científicas está dada, entre otros indicadores indirectos, por los sistemas de indexación y registro en las que se encuentran insertas, las cuales también reflejan su visibilidad y prestigio, estableciendo dos niveles: revistas de corriente principal y periferia. La propia inclusión de ellas en estos servicios las divide en bases de datos generales y bases de datos con comité de selección. La internacionalización y visibilidad de la ciencia en Latinoamérica adquiere matices diversos dados por la escasa visibilidad y su carácter local o regional junto con las que son visibles internacionalmente y que representan una pequeña minoría, las cuales son las de mayor calidad científica (núcleos de Bradford). En relación con ello se observan factores como la escasa cantidad de países que cuentan con revistas indizadas en corriente principal, además de tener un número reducido en ellas y siendo mayor la cantidad de las que quedan por fuera de la élite, las cuales se deben tener presente también en la evaluación de la ciencia.

Es de destacar que el estudio de las fuentes periféricas latinoamericanas tiene una larga trayectoria. Autores como ^{Sánchez, Delgado y Soria (2007)}, exponen la existencia de un núcleo mínimo de la región presentes en WoS y Scopus sobre la cantidad total existente y en las cuales los contenidos publicados deben ser considerados y observados también desde los aportes que hacen a la ciencia regional a partir los temas tratados donde no siempre la cita es reflejo de su uso y aplicabilidad en la práctica. Otros han realizado estudios sobre la invalidez del Factor de Impacto (FI) (^{Monge-Naguera, 2014}), el uso del índice h para medir las revistas colombianas (^{Romero-Torres et al., 2013}), en cuanto a la visibilidad de las mismas (^{Vélez et al., 2016}), esta es contrastada con las de Latinoamérica en Scielo Citation Index (SCI) y Web of Science (WoS). Por su parte, ^{Gorbea-Portal y Suárez-Balseiro (2007)}, analizan la influencia de un grupo de revistas latinoamericanas de bibliotecología no incluidas en WoS por medio de indicadores no convencionales como el índice de influencia, el de importancia y el de posición relativa, como complemento a los tradicionales de WoS y de mayor uso en aquellas periféricas.

En conclusión, la ciencia regional, ante el dilema relacionado con la evaluación de la investigación por medio de indicadores bibliométricos como columna vertebral de los procesos relacionados con la búsqueda de la calidad, debe plantearse estrategias que posibiliten a mediano plazo mejorar la calidad en el contexto internacional (presencia en corriente principal), lo cual le aportaría mayor visibilidad y prestigio a la ciencia en la región. Por tanto, la estrategia de mejorar la visibilidad de las revistas nacionales (inclusión en WoS y Scopus), en especial las de CSyH debe ir acompañada también de la propuesta de metodologías, nuevos indicadores y clasificaciones que fortalezcan su calidad en el tiempo, como ya han hecho algunos países, dentro de los que deben mencionarse el caso de Brasil, Costa Rica y España. Teniendo en cuenta también que el concepto de visibilidad, a pesar de equipararlo a la presencia o no en WoS y Scopus, debe tener en cuenta otros aspectos como la internacionalidad de los comités, en los contenidos publicados, los revisores, entre otros aspectos (^{Alperin & Rozemblum, 2017}).

Criterios de calidad de las revistas científicas

Tanto la evaluación de revistas como la selección realizada para su inclusión en clasificaciones, índices de citación y bases de datos está marcada por criterios bibliométricos y de calidad (cualitativos). ^{Penkova (2011)} y ^{Packer (2009)} muestran la escasez de estudios sobre los modelos de evaluación mientras que ^{Giménez (2015)} y su estudio sobre su uso en la evaluación de las revistas científicas en el ámbito español es de vital importancia para el análisis integral de revistas. En relación a los cualitativos, numerosas investigaciones dan cuenta de la amplia cantidad de su empleo. Autores como ^{Rozemblum, Unzurrunzaga, Banzato y Pucacco (2015)}, los agrupan en criterios de calidad editorial, de contenido y visibilidad. Al hacer referencia a los métodos de evaluación en las revistas, es fundamental mencionar la revisión por pares (peer review) como el modelo clásico y principal que determina la calidad de los contenidos publicados en la revista. Ha sido desde el comienzo de su aplicación un mecanismo efectivo y que en la actualidad es uno de los más aclamados y a su vez criticados (^{Codina, 2016}, ^{Wicherts, 2016}).

Dada su importancia como criterio de evaluación y como proceso interno de las revistas, evalúa el contenido y habla de un grado de excelencia científica y editorial de la revista y, pese a sus críticas y desventajas, no se visualiza un mecanismo mejor de análisis de los artículos sometidos a publicación para asegurar su rigurosidad. Los juicios de expertos representan en la ciencia actual el principal mecanismo de control y análisis de las disciplinas científicas (^{Bornmann & Daniel, 2008}), de igual forma, son considerados como el instrumento primario de control y regulación (^{Cronin, 2005}) fundamental para el proceso de la integración y divulgación de los nuevos resultados de la investigación.

Otros elementos como el contenido (originalidad) y gestión editorial, así como la presencia en sistemas de indexación y registro son determinantes en la evaluación de revistas y su clasificación. El nivel de los contenidos incide en el uso, aceptación y posicionamiento que la revista alcance en la comunidad científica y, a su vez, es un indicador de la cantidad de citas que reciba (^{Rozemblum et al., 2015}), por lo que las revistas ofrecen especial atención a este aspecto. De igual forma, la gestión editorial está directamente relacionada con la visibilidad, toda vez que la normalización y correcta gestión de los procedimientos influye en el resultado del proceso de edición y repercute en la visibilidad (^{Giménez, 2014}). En la práctica, la correcta gestión editorial permite alcanzar el cumplimiento de los estándares científicos que definen los sistemas de indexación y registro (SIRES), lo cual se tiene en cuenta en la selección de revistas, incluso en clasificaciones (Rozemblum et al., 2015).

Como dato novedoso e importante en el análisis y clasificación de revistas, es preciso mencionar que la calidad de las mismas presenta dos enfoques fundamentales (^{Delgado-López-Cózar, Ruiz-Pérez & Jiménez-Contreras, 2006}) de una parte, la presencia de esta en los contenidos donde intervienen factores como la novedad científica, la normalización y la gestión editorial, visibilidad, indexación, entre otros y, de otra parte, el impacto alcanzado en la disciplina a través de la medición de indicadores, donde la cita participa como criterio fundamental y a partir de ella la obtención de indicadores bibliométricos.

Iniciativas sobre sistemas y metodologías de evaluación de revistas

Los sistemas y metodologías de clasificación de las revistas científicas tienen como principal objetivo asegurar el cumplimiento de estándares internacionales de calidad científica y editorial, así como integrar distintos productos con el fin de posicionar, según los niveles de excelencia, las revistas en ellas incluidas. Son también instrumentos que facilitan la evaluación de la actividad científica en diferentes agregados, sin que solo se tengan en cuenta los índices tradicionales de citación. En cuanto a la evaluación y al uso de clasificaciones y metodologías, se observa la existencia de numerosos productos a nivel mundial, los cuales las organizan mediante ranking siguiendo técnicas y objetivos precisos en función de las necesidades de evaluación y gestión de los países, como es el caso de Inrecs, Clasificación integrada de revistas, UCRIndex de Costa Rica, MIAR, entre otros.

Históricamente, las herramientas de Thomson (actualmente Clarivate Analitycs) y más recientemente Scopus de Elsevier y Google Académico, han sido fundamentales con amplia utilización y peso en la evaluación de la actividad científica y de las revistas, más allá de los sesgos y limitaciones ya descritos. Las mismas sirven, esencialmente a dos propósitos fundamentales, por una parte, mejorar el rendimiento de la asignación de fondos a la investigación y por otra, percibir el estado y perspectivas de las revistas analizadas a partir de la mayor cantidad de criterios, tanto cualitativos como cuantitativos (^{Auranen & Nieminen, 2010}). Tienen aciertos y desaciertos en cuanto a los criterios y productos empleados para su ejecución, entre ellos definición de categorías y áreas del conocimiento, la consulta a expertos en función de la selección de criterios, entre otros aspectos son algunos de los más distinguidos (^{Pontille & Torny, 2010}).

Uno de los modelos significativos es el caso australiano con el Proyecto de Investigación de Evaluación y Política, el cual realiza la clasificación de revistas en cuatro categorías o niveles (A*, A, B y C), con grupos de expertos para el trabajo de creación de las clasificaciones y donde elementos como la selección de las categorías, la utilización de listas preexistentes, la elección y análisis de revistas interdisciplinarias, transdisciplinarias y multidisciplinares juegan un papel protagónico (^{Pontille & Torny, 2010}). Por su parte, ERIH (European Reference Index for the Humanities and Social Sciences), recientemente transformado en ERIH PLUS, tiene como objetivo mejorar la visibilidad global de la investigación de calidad en las Ciencias Sociales y Humanidades en Europa, asimismo, facilitar acceso a revistas de investigación publicadas en todas las lenguas europeas. ERIH PLUS contiene no solo los listados originales de ERIH de Humanidades, sino también ha sido ampliado a Ciencias Sociales. Este índice actualmente no contiene la clasificación de revistas en diferentes niveles y ha realizado una nueva propuesta que elimina los elementos evaluadores (ERIH, 2017).

En el caso colombiano y similar a las propuestas anteriormente citadas, es pertinente realizar evaluaciones graduales y consultas a la propia comunidad científica sobre la validez de las propuestas, con el objetivo de mejorar los criterios y que sea un instrumento fiel a las necesidades nacionales. No solo Colombia, sino la región, debe crear propuestas propias, que posibiliten la evaluación y estratificación de revistas desde diferentes miradas y con la utilización de fuentes y sistemas que cubran la producción de la región, que tengan en cuenta la visibilidad y apuesten por nuevos métodos, fuentes e indicadores, similar a modelos como Inrecs, Clasificación Integrada de Revistas Científicas (CIRC), la Matriz de Información para el Análisis de Revistas (MIAR) en España, Qualis de Brasil y UCRIndex de la Universidad de Costa Rica. (Ver tabla 1).

Tabla 1 Principales iniciativas sobre evaluación de revistas científicas 

A continuación se exponen las principales iniciativas divididas en sistemas bibliométricos comerciales o no, así como sistemas formales empleados en la evaluación de revistas y la obtención de indicadores desde ellos para la evaluación y clasificación.

Evaluación y estratificación de revistas en Latinoamérica: análisis crítico

A pesar de la poca cantidad de clasificaciones nacionales existentes en Latinoamérica, es importante exponer y reflexionar sobre algunos referentes nacionales alternativos a los tradicionales WoS y Scopus, los cuales además de aportar no solo indicadores bibliométricos, utilizan diversos criterios que a falta de otros son fundamentales en nuestro entorno.

En todos los casos, los mencionados referentes estratifican las revistas por medio de diversos criterios que van desde la ponderación de la visibilidad, la creación de cuartiles y grupos, diferentes a los que tradicionalmente usan los índices de citación y igualmente ofreciendo un peso importante a fuentes y sistemas que tradicionalmente no se tienen en cuenta, aspecto que les aporta especial importancia, dado que no todos se basan en criterios WoS y Scopus (ejemplo Colombia).

Algunos países en la región evalúan sus revistas científicas, tanto con criterios propios como tomados de sistemas regionales o internacionales, los cuales se exponen en forma de resumen a continuación:

Muchos de estos países, más allá de crear clasificaciones y estratificaciones propias del contexto en el que se desarrolla su actividad científica se basan esencialmente en los criterios de corriente principal mientras que otros alternan criterios propios con los de las bases de citación. Sin embargo, la mayoría no estratifican con mayor énfasis en fuentes regionales e indicadores de acuerdo al contexto y se rigen mayormente por criterios WoS y Scopus. Dichas propuestas, como se ha explicado, utilizan criterios que van desde la ponderación de la visibilidad, la creación de cuartiles para indicadores diferentes a los que tradicionalmente usan los índices de citación, entre otros, donde España ha jugado un papel importante.

Un producto importante de reciente creación es el ranking de publicaciones científicas presentado por la Red Iberoamericana de Innovación y Conocimiento Científico (REDIB). Dicho ranking, a pesar de la importancia que tiene para el conjunto de revistas de la región, atendiendo a la ausencia ya mencionada de clasificaciones, presenta serias limitaciones. Aspectos como la falta de exhaustividad al no incluir muchas revistas de calidad indizadas en WoS, así como la utilización de una excesiva ventana de citación de seis años son dos de los principales. Sin embargo, es preciso reconocer lo acertado de su creación y la utilidad que a futuro puede significar su gradual inclusión en la evaluación de la actividad científica en diferentes niveles de agregación (^{Repiso, 2018}).

Analizando los sistemas anteriores, se concluye que la evaluación de revistas científicas en la región permite, de un lado observar la pequeña cantidad de países que cuentan con criterios propios para la evaluación de sus revistas y, de otro, evidenciar las debilidades de estos criterios en los países que los aplican, como se presenta en el caso de Colombia que se basan en metodologías mayoritariamente de corriente principal, lo que ha llevado a la formulación de numerosas críticas al modelo. Se visualiza también una correlación entre la cantidad de revistas en sistemas especialmente regionales y los países que utilizan alguna forma de estratificación (España, Brasil, Costa Rica y Colombia) lo cual es un aspecto importante para el mejoramiento de las revistas de la región. En los casos específicos de los sistemas de Argentina, Cuba y México, aunque no implementan estratificación y categorías en la evaluación de sus revistas, cuentan con una importante cantidad tanto en Scielo como en Redalyc, lo que es de por sí un importante criterio de calidad.

El caso colombiano (Publindex)

El estudio de las revistas colombianas y la validez de su actual clasificación se ha visto reflejado en escasas ocasiones en los canales formales de comunicación científica de mayor visibilidad internacional, incluso las propuestas latinoamericanas han sido poco estudiadas, el caso español es el que más tratamiento y visibilidad ha recibido a nivel mundial.

En Colombia, el único acercamiento existente, sin contar con los reportes de prensa, presentaciones en congresos y seminarios, son las propuestas de Publindex (^{Charum, 2004}; ^{Vélez, Lucio-Arias, Hurtado, Rodríguez & Castellanos, 2016}). En el caso del primero se explica el diseño del Sistema Nacional de Indexación, tanto en la propuesta conceptual y de justificación, como en la metodología. Sin embargo, para el caso de la propuesta del año 2016, se expone la necesidad de cambios al índice y se muestra el nuevo sistema y los indicadores a tener en cuenta, dadas las falencias y teniendo en cuenta las diferentes tendencias en las revistas nacionales.

En relación con la investigación realizada a las mismas en el país, en especial las de Ciencias Sociales y Humanas, área menos representada tanto en número de documentos como de citas recibidas y los ya referidos comportamientos diferentes, se ha investigado desde la perspectiva bibliométrica en las revistas de psicología (^{Ávila-Toscano, Marenco-Escuderos & Madariaga, 2014}) , el índice h como indicador de rendimiento (^{Romero-Torres, Acosta-Moreno & Tejada-Gómez, 2013}), de igual forma la visibilidad de las revistas latinoamericanas en Scielo y WoS (^{Vélez-Cuartas, Lucio-Arias & Leydesdorff, 2015}) y un primer acercamiento comparando las revistas colombianas en WoS y Scielo Citation Index (SCI) (^{Gregorio-Chaviano, Méndez-Rátiva & Peralta, 2015}) , todo lo cual significa una acertada mirada a la situación actual.

De acuerdo a los anteriores referentes, sus enfoques y alcances, el análisis a las revistas nacionales debe realizarse no solo evaluando la calidad de las mismas por medio de la presencia en WoS y Scopus, sino también tener en cuenta el comportamiento de la actividad científica nacional, la cual presenta diferencias entre las CSyH con respecto a las exactas. De acuerdo a los análisis realizados por especialistas en el país (Colciencias, 2016), las causas principales de la limitada contribución científica a nivel nacional en cuanto a la generación de conocimiento están dadas principalmente por el bajo número de publicaciones en revistas científicas de alto impacto realizadas por investigadores nacionales, un limitado impacto de las publicaciones científicas de los investigadores nacionales (citas recibidas) y revistas científicas nacionales con escasa visibilidad, bajo impacto, al igual que problemas asociados a la calidad de la gestión editorial.

Sin embargo, en 2016 Colciencias presentó la nueva clasificación con el objetivo de realizar mejoras al anterior modelo y de esta forma, fortalecer la visibilidad de las revistas nacionales, así como la investigación en general. La propuesta desagrega los Q1, Q2, Q3 y Q4 de JCR y SJR de acuerdo a las categorías A1, A2, B y C quedando al mismo nivel respectivamente, mientras que los cuartiles Q1 y Q2 del h5 fueron incorporados únicamente para las categorías B y C en el marco de la Fase III de Impacto de la revista científica (Colciencias, 2016). La crítica al modelo radica en la homologación de la calidad WoS y Scopus en los criterios de clasificación, es decir revistas de Q1 y Q2 de Scopus al mismo nivel de las de WoS, su principal falencia metodológica, así como el cálculo del Índice h (h5) por las grandes áreas y no por categorías específicas, aspecto que no permite una mirada real de la situación de las revistas.

La realización del ranking y la homologación de revistas colombianas (^{Romero-Torres et al., 2013}), refleja cambios al emplear como indicador principal el índice h, modificación importante como criterio alterno en la evaluación y clasificación, sin embargo, algunas limitaciones tanto técnicas como metodológicas del cálculo deben ser consideradas. Por ejemplo, la comparación de áreas científicas con comportamientos diversos y valores h diferentes, son factores a considerar también en la evaluación mediante el índice. La propia calidad y los filtros de los contenidos, su historia, liderazgo en el campo científico, son aspectos a tenerse en cuenta (^{Van Raan, 2006}). Por ello, la inclusión del índice h como criterio de evaluación en la actual clasificación de Publindex, debe incluir las limitaciones y sesgos de la fuente utilizada (Google Académico) y la necesidad de normalización y análisis de los resultados de la misma, además que evaluar áreas del conocimiento con tendencias diferentes para la creación de cuartiles, es un factor que ha generado amplio debate tanto en la comunidad científica como de editores.

De acuerdo a la estratificación de Publindex (tabla 2), la mayor cantidad de revistas se encuentran en la categoría C (revistas de escasa visibilidad) lo que lleva a la necesidad de proponer políticas y estrategias de mejoramiento de las revistas nacionales del área, la inclusión de nuevos criterios que permitan una distribución más equitativa de las revistas en las categorías con criterios que incluyan tanto la calidad editorial como el impacto que aportan las distintas bases de datos y sistemas indexación sin excluir los sistemas regionales.

Tabla 2 Categorías y criterios de la nueva clasificación de revistas científicas de Publindex 

Fuente: Elaborado por el autor a partir de Publindex, 2016

Partiendo de la existencia de una única propuesta de clasificación de revistas a nivel nacional en Colombia, al igual que en la mayoría de los países y las insuficiencias que arrastra, se hacen necesarias alternativas de clasificación para las revistas científicas nacionales, aunque han aparecido propuestas como la de ^{Gregorio-Chaviano, 2017} y de ^{Pérez-Anaya, 2017}, los cuales ayudan a realizar mediciones y estratificaciones más integrales de las revistas.

La insuficiente cantidad de revistas del área incluidas en WoS y Scopus, la evaluación de las mismas por parte de Publindex a partir de criterios que no siempre reflejan la calidad y el contexto en el que se desarrollan las investigaciones (criterios cualitativos y cuantitativos), lleva a la necesidad de nuevas propuestas, cuyo aporte radique en la utilización de fuentes de carácter regional, las cuales concentran gran parte de la producción científica del país, combinadas con indicadores bibliométricos que ofrecen mayor información de las revistas nacionales. Como resultado de la aplicación de la actual clasificación, muchas de las revistas nacionales, a pesar de estar indexadas en WoS y Scopus, descienden en la categoría. En general, revistas de posiciones inferiores en Scopus son categorizadas de forma similar a indexadas en WoS, algunas incluidas en WoS han quedado clasificadas similar a otras que ni siquiera se encuentran en los dos índices de citación más importantes, lo cual es un síntoma que demuestra las deficiencias de la actual clasificación, sin analizar otras variables, criterios y uso de indicadores.