Resultados generales por Gran área

Los resultados generales de la convocatoria 768-2016 (Tabla 2) evidencian la clasificación de 244 revistas y la exclusión de 378 (equivalentes al 61 %), esto representa una gran pérdida de los espacios de publicación en cada gran área, pero también se argumenta como la oportunidad para generar una mayor selectividad del material publicado y, por esta línea, mejorar la calidad de los contenidos de las revistas. También pretende que los investigadores nacionales salgan a postular sus artículos en ámbitos internaciones y, en particular, en revistas presentes en índices bibliográficos citacionales (IBC); asimismo, permitió ver el índice Hc para cada Gran área (fase de diagnóstico), el cual se puede catalogar como bajo, en concreto los de humanidades, pues de la producción total de las revistas solo 11 artículos recibieron al menos 11 citas (H5 = 11).

Tabla 2 Síntesis de los resultados oficiales Publindex por gran área. 

Fuente: elaboración propia, 2017, basado en Colciencias (2017c) y Dirección de Fomento a la Investigación (2017).

Por otra parte se muestra que, adicional a la cantidad de revistas excluidas, la gran mayoría presentó un descenso en la clasificación nacional, quedando solo una revista en A1, 14 en A2, 104 en B y las 125 restantes en C, lo que muestra un panorama muy desalentador ya que solo el 6,4 % se ubicó en las categorías superiores y el 51 % se localizó en la categoría inferior, lo cual indica debilidades en el posicionamiento internacional o una baja citación de los documentos publicados, hecho que indica la gran dificultad para acceder a las categorías superiores.

Resultados por gran área: Humanidades - Área: 6.D Arte

Las revistas de humanidades (Tabla 3) corresponden al 16,4 % de las 244 clasificadas, y, aunque esta participación es significativa frente al universo total, es preocupante que el índice H5 = 11, junto con ciencias naturales (H5 = 10), sean los más bajos, esto manifiesta que, aunque el número de revista puede ser aceptable, no se evidencia una comunidad académica que use y soporte su conocimiento en el material divulgado por las revistas (por lo menos a nivel de citas), esto también se puede comprender ya que tradicionalmente han estado concentradas más en la publicación de libros como medio de divulgación del conocimiento.

Tabla 3 Desglose de las revistas por gran área, Humanidades, y categoría obtenida. 

Fuente: elaboración propia a partir de la interpretación de la posible clasificación, 2017.

Respecto a las humanidades, las revistas de arte solo representan el 15 % de la gran área y solo un 2,5 % del total de las clasificadas, siendo esto una muestra de la dificultad de participación de este campo de conocimiento en las dinámicas actuales de publicación en revistas.

El estado de las publicaciones de 6D07- Arquitectura y urbanismo

El desglose de los resultados en las disciplinas, en este caso las adscritas a arquitectura y urbanismo (Tabla 4), permite evidenciar que solo tres publicaciones mantienen la indexación, una en categoría B (Revista de Arquitectura) y dos en C, pero también muestra que anteriormente todas estaban en categoría B, lo que implicó un descenso (Tabla 5). Este fenómeno pone de manifiesto algunas debilidades del modelo de medición Publindex, ya que las dos que descendieron se puede decir que fueron "castigadas" por estar en el IBC, ya que el H que le permite ascender de cuartil es más difícil de lograr en comunidades cerradas (SJR), que en comunidades abiertas a diferentes tipos de documentos como lo hace el Google Scholar (GS).

Tabla 4 Desglose de las revistas de humanidades por área, Arte, y categoría obtenida. Se resalta la participación de las revistas de arquitectura y urbanismo. 

^* Una revista abarca estos campos

Fuente: elaboración propia a partir de la interpretación de la posible clasificación temática, 2017.

Tabla 5 Revistas clasificadas por arquitectura y urbanismo 

Fuente: elaboración propia con base en los resultados de la convocatoria.

Las revistas de arquitectura y urbanismo que no lograron la indexación (Tabla 6) corresponden al 79 %, y las tres clasificadas (Tabla 5) solo corresponden al 1,2 % de total de las revistas indexadas. Es importante destacar que la pérdida de indexación es mucho mayor al promedio de las publicaciones en general, el cual está en el 61 %, a pesar de que en la Gran área de humanidades es donde menos revistas perdieron la indexación (55 %). También es importante resaltar que las revistas quedaron concentradas en la ciudad de Bogotá, dos en universidades privadas y una pública.

Tabla 6 Revistas que no lograron la indexación, organizadas por la última categoría obtenida y la fecha de la última indexación. 

Fuente: elaboración propia, 2018, a partir de la información registrada en el aplicativo Publindex y filtrada por Gran área y Área de conocimiento.

Al revisar cuáles revistas estaban indexadas (Tabla 6), hasta el 15 de septiembre de 2017 se encontraban 8 revistas más, de las cuales dos tenían un buen posicionamiento (A2 y B), y se extraña la inclusión en el nuevo listado de las revistas Apuntes y Nodo; es de aclarar que ninguna de las dos hacía parte de ningún IBC; es posible que un índice H bajo o temas de gestión editorial no les permitió renovar la clasificación nacional.

Dos más ya habían perdido la indexación en junio de 2015 (una que había logrado la categoría B - Dearq), una más en 2012 y dos más que, aunque están registradas en Publindex, no reportan haber tenido ninguna clasificación previa.

Esto representa la existencia en el país de 16 revistas de arquitectura orientadas a la divulgación de la investigación nacional e internacional, pero que tienen un trabajo muy grande al tratar de continuar con su posicionamiento nacional e internacional al no tener la clasificación Publindex, lo que margina de participar en ellas a los investigadores nacionales, pero que pueden continuar incluyendo material de investigadores extranjeros y posicionándose en el contexto internacional, lo que a veces parece ser más útil e importante frente a los beneficios ofrecidos por Publindex.

Participación de las revistas de arquitectura y urbanismo en algunos sistemas de indexación y resumen

La clasificación temática de las revistas de arquitectura en los sistemas de indexación y resumen (SIR) es muy diversa, en algunos están en las humanidades, en otros en ciencias sociales y en otros están en ingeniería, esto dificulta visualizar un panorama comparable entre revistas y hace que la participación de estas sea dispersa (como se evidencia en las tablas 1 y 7).

Tabla 7 Revistas de arquitectura y disciplinas afines en diferentes SIR (Clasificación Publindex) [clasificación en el SJR]  

^* A pesar del posicionamiento internacional, las revistas resaltadas no fueron clasificadas en Publindex

Fuente: elaboración propia con datos recuperados de cada SIR, febrero de 2018.

En el escenario internacional, los resultados del cálculo del factor de impacto de las revistas en Web of Science (WOS) presentan un panorama diferente para las revistas de arquitectura, según la colección "Arts & Humanities Citation Index (AHCI), [...] en artes y humanidades el nivel de citación es mucho menor, no se calcula el factor de impacto de esas revistas, sino simplemente se emite un listado de las mismas" (^{Vasen y Lujano, 2017}, pp. 201-202). Esto es un gran diferencial que pone en evidencia la dinámica al interior de las humanidades y muestra una participación significativa de las revistas de arquitectura, las cuales cubren el 25,8 % del total de la colección (51 de 198), pero en el cual no participa ninguna revista colombiana. Es de anotar que algunas también pueden estar clasificadas en el Science Citation Index Expanded (SCIE) y Social Science Citation Index (SSCI).

En el Emerging Sources Citation Index (ESCI), la participación de las revistas de arquitectura es del 5,2 % y cuenta con 3 revistas nacionales de las cuales solo una está clasificada en Publindex. Este hecho se puede interpretar como otra debilidad del modelo nacional, ya que las revistas que se encuentran en proceso de lograr una mejor visibilidad internacional no fueron clasificadas.

Al revisar el Journal Citation Report (JCR) en la categoría Architecture, ya no evidencia la presencia de ninguna colombiana, y las latinoamericanas están en Q2 con índices H entre 1 y 4 y Q3 (H 1< 3). En el caso de Estudios urbanos, las colombianas se posicionan así, 2 en Q4 con H = 2, y en Artes visuales y Artes escénicas hay tres colombianas, 2 en Q2 (H = 2) y una en Q4 (H = 1). Para Ingeniera-Misceláneos hay cuatro revistas colombianas en Q2 y Q3, pero ninguna con un perfil ligado de manera directa a la arquitectura.

Este panorama presenta otro escenario en el cual se puede afirmar que las revistas de arquitectura no deberían ser únicamente valoradas por la citación; en el SJR se observa un nivel bajo de índice H, pero a la vez es una gran oportunidad para lograr un buen posicionamiento ya que, como se observa, algunas han alcanzado a ser incluidas en los cuartiles superiores con H de 1 o 2.

En el contexto regional, la Red Iberoamericana de Innovación y Conocimiento Científico (Redib), como agregador de revistas y contenidos, acopia el mayor número de publicaciones de arquitectura y afines, allí se pueden reconocer 24 publicaciones nacionales, esto puede generar dudas sobre la selectividad de las revistas pero, a su vez, el convenio con Clarivate Analytics permite incorporar algunos indicadores de calidad científica que proporcionan información bibliométrica de Web of Science (artículos citantes), que por ahora está visible en cada artículo, lo cual es una buena oportunidad para valorar las revistas integradas y su contribución en la "corriente principal", esto permitirá a futuro la elaboración de un ranking del impacto de las publicaciones iberoamericanas.

En el caso SciELO, la búsqueda no se puede realizar de manera eficiente ya que solo presenta resultados por gran área. Redalyc, como proyecto de gran crecimiento y rigor en la selección de publicaciones, incluye solo 9 revistas de arquitectura, de las cuales tres son de reciente inclusión, y del total solo dos son colombianas, Revista de Arquitectura y DeArq, esta última no clasificada por Publindex. En los campos afines se pueden sumar otras 5 nacionales, pero frente a un universo mucho más amplio, lo que significa una participación menor. Como parte de Redalyc 3,0 se están construyendo indicadores alternativos que pueden dar otro panorama, entre estos se destacan: publicación (procedencia de los artículos, externa, interna e interna institucional); coautoría (escritos por más de un autor); internacionalización (proporción de autores extranjeros, número de países extranjeros y proporción de artículos con al menos un autor extranjero); esfuerzo editorial (promedio de trabajos que genera la revista, tomando como base el promedio de la disciplina a la que se adscribe) y descargas, estos indicadores permiten reconocer otras fortalezas de las revistas más allá de la citación.

En contraste con el escenario de selección y exclusión, la Asociación de Revistas Latinoamericanas de Arquitectura (ARLA) está realizando grandes esfuerzos por incluir las revistas de arquitectura en tres grandes colecciones: Directorio, Catálogo e Históricas (estas revistas no son solo de carácter investigativo). Esto con el fin de fomentar la búsqueda y consulta del material publicado en las revistas de la región y, también, de construir una comunidad académica de lectores, autores y evaluadores que permita mejorar el posicionamiento y reconocimiento de la investigación y las obras realizadas en Latinoamérica.

Publindex y el fomento de las publicaciones

Luego de este recorrido queda la duda sobre cuál es el papel de Publindex, si su labor es la de homologar la clasificación nacional según criterios internacionales de los IBC. ¿Es necesaria la existencia de Publindex?, ¿quién reconoce a Publindex en el ámbito internacional? Son muchos los interrogantes que surgen de este proceso y continuarán en relación con la dirección y las acciones que tome Publindex.

Si uno de los posibles escenarios es que Publindex, como parte de su compromiso con el fomento, incorpore una plataforma de divulgación (a nivel de repositorio) que promueva la producción investigativa nacional, esto es poco alentador, la gran mayoría de SIR ya implementan nuevas tecnologías, y el seguimiento y la captura de información se realiza mediante la interoperabilidad y comunicación interna entre plataformas de computación; en el caso de Publindex, todos los editores se ven abocados a realizar una carga de información poco útil, lo que duplica trabajo que podría hacerse de manera semiautomática entre plataformas. ¿Qué pasa con la interoperabilidad en Publindex?, ¿quién está consultando la información integrada en el aplicativo Publindex?, ¿Publindex hace seguimiento a la información incorporada?, ¿los motores de búsqueda rastrean los contenidos integrados en Publindex?, o solo es un requisito para validar la existencia y veracidad de la información del proceso de gestión editorial, pero a partir de un principio de desconfianza en el cual se puede auditar y verificar lo allí integrado.

Los resultados de Publindex y el análisis de los SIR ponen de manifiesto algunas debilidades del modelo de clasificación nacional. La dinámica de los cuartiles, los índices H y el factor de impacto permiten la clasificación de revistas con H muy bajos. Algunas publicaciones lograron mantenerse en Publindex gracias a los cuartiles, pero con H5-POP (Publish or Perish) bajos, y otras que no estaban en cuartiles se clasificaron gracias a H5-POP altos, por lo cual es importante nuevamente cuestionar: ¿realmente las citas y el cuartil son reflejo de la calidad de una publicación?, ¿cuáles pueden ser otros indicadores que permitan valorar la calidad y el impacto de las revistas?

Mantener un número mayor de publicaciones también puede ser un escenario favorable si se mira desde la formación y el fomento de investigadores, ya que unos espacios amplios pueden servir de plataforma de entrenamiento para que quienes inician su carrera afiancen sus aportes, se den a conocer y gradualmente vayan escalando en los diferentes niveles de la comunicación científica.

Otro aspecto tiene que ver con los objetivos de la convocatoria y es lo relacionado con la "visibilidad e impacto de las publicaciones [... e] inserción de esta producción a nivel internacional", ya que la producción nacional y algunas revistas ya tenían cierto nivel de posicionamiento en el medio internacional y esto no fue debidamente valorado por el modelo Publindex. Es el caso de revistas de arquitectura como Dearq, Nodo, Iconofacto, que quedaron por fuera de la clasificación, pero en las que es indudable su compromiso, calidad de contenidos y adopción de los actuales lineamientos de publicación. También sucede lo mismo con revistas afines como Calle 14 en el campo del arte, la cual es una de las más recocidas en el medio, y que sigue comprometida pese a los resultados nacionales.

Si Publindex quiere ser reconocido como un sistema de evaluación de la calidad y no solo de homologación, debería elaborar un procedimiento de valoración que mire las revistas en la multidimensionalidad de una publicación, con valoración de diferentes categorías y ponderaciones, y que al final determine umbrales que permitan ver el estado real de las publicaciones en el contexto nacional. En este proceso también es importante valorar la calidad de la evaluación y el reconocimiento de la actividad de pares revisores, así como el reconocimiento a la labor de los editores y de los equipos editoriales en las instituciones y en el modelo de ciencia y tecnología.

Por otra parte, como lo expresan ^{Vasen y Lujano (2017, p. 202)}, el modelo actual, basado en indicadores bibliométricos, fomenta "una 'doble periferia': disciplinaria y lingüístico-geográfica" que no atiende la realidad de las publicaciones en humanidades y en ciencias sociales, y que tampoco da crédito a la producción realizada en idiomas diferentes al inglés y en las cuales la posición geográfica también es una barrera, entonces ¿tiene sentido seguir publicando en el contexto regional? Y si esto no es viable ¿la solución es solo publicar en revistas internacionales? Esto quiere decir que si hay investigación nacional, esta debe ser consultada en publicaciones extranjeras y en un idioma diferente, ¿no debería ser al contrario?, que las respuestas a nuestros problemas de investigación hagan que se consulten más nuestras propias revistas y de esta manera posicionar, no solo los artículos, sino también las publicaciones del país y al país mismo. Entonces la propuesta que se hace desde Publindex es entregar la producción nacional a un círculo cerrado y de acceso restringido para que otros se beneficien de la investigación nacional a cambio de la expectativa de un número indefinido de citas (en el mejor de los casos).

Los resultados también muestran la baja participación de las revistas colombianas y de la región en los cuartiles principales; esta es una posición que hay que mirar con cuidado, ya que el nuevo conocimiento que se produce en el país y la región se ve diluido entre tantos artículos, lo que puede generar que cada vez más, en lugar de ganar espacio, se pierda la posibilidad de figurar como país o región con publicaciones y problemas investigativos propios.

Si la ruta es seguir la "corriente principal" de los IBC, entonces como parte de los programas de fomento el Gobierno debería financiar el acceso a las bases de datos y los artículos pagos, para que los investigadores de la gran mayoría de universidades puedan tener acceso a la información, y también debería contemplar apoyos para los pagos de Article Processing Charge (APC), ya que de lo contrario un alto porcentaje de los presupuestos de investigación destinados por las universidades y sus aliados ya no se destinarían a la investigación en sí misma, sino a la publicación, lo cual carece de sentido en un mundo donde los canales de comunicación son cada vez más amplios y diversos y, por tanto, el acceso a la información no debería ser restrictivo. Acaso no tiene más sentido invertir el dinero en la investigación misma y en la consolidación de las publicaciones, bajo un modelo sostenible de acceso abierto en el cual muchas de las universidades, como entidades editoras, tendrían mucho más interés ya que les traería más beneficios y reconocimiento.

¿Qué camino seguir?

Para el caso particular de las revistas de arquitectura es importante pensar qué implicaciones tiene que solo existan unas pocas y que estén concentradas en Bogotá; qué posibilidades tienen los investigadores de las regiones de acceder a contenidos pagos y a divulgar los contenidos locales, si en muchos casos estos temas son de poco interés para las revistas internacionales, y el espacio nacional ahora es escaso, lo cual orienta la producción investigativa hacia una unidireccionalidad del contenido y la supuesta calidad internacional, tal como lo expresan Vasen y Lujano:

En la medida en que se incentive a los investigadores a publicar en espacios en los que las agendas de investigación locales no son de particular interés, se verán forzados a modificar sus temas de investigación para adecuarlos a una agenda global. Esto podría implicar un mayor distanciamiento de los problemas locales (2017, p. 206).

Es tal el afán de publicación y el prestigio que se busca en las publicaciones, que las prioridades parece que se invirtieron, ya a los investigadores no se les pregunta cuáles son los resultados y hallazgos, sino en dónde los van a publicar y en qué cuartil; el conocimiento se volvió un indicador que no refleja de manera directa lo que aporta la investigación y, ante esto, cabe reflexionar si la cantidad de citas que recibe un artículo refleja de manera correcta la calidad de este. Juan Carlos Pérgolis y Jairo Valenzuela expresaron la dinámica entre nuevo conocimiento y los indicadores de la siguiente manera:

...el nuevo conocimiento no se encuentra en frases ni en párrafos del informe de la investigación, sino en la capacidad de esta para que el nuevo conocimiento se produzca en el lector a través de su reflexión. De esta manera, el valor de una investigación está mucho más allá de sus aparentes resultados o de la cuantificación de sus productos [...] (esos que dan puntos) [...] El juego de los puntos en investigación no es el juego del rating de los programas de televisión, aunque por momentos pueden parecerse demasiado (2013, p. 5).

En este sentido, el llamado es a recuperar el verdadero valor de las cosas, no debemos confundir el fin de la investigación con algunos mecanismos de legitimación que en muchos casos tienden a alejarse de la realidad.

Por otra parte, "la arquitectura, como disciplina teórica y práctica, supone muchas maneras de ser estudiada" (Fierro y Corral, 2016, p. 64), y es importante reconciliar lo discursivo con lo proyectual o la relación investigación-creación (Colciencias 2017a, p. 45). En el pasado, las revistas eran los medios de difusión del oficio profesional y eran verdadero ejemplo y referente de su quehacer; con el tiempo se convirtieron en memoria del pensamiento y de la obra arquitectónica de un país, esto permitió ver las diferencias y los avances del saber local. Bajo estos nuevos escenarios, en muchos casos la investigación se dispersa sin criterios claros y parece alejarse cada vez más de lo proyectual, ¿o será que los edificios y las ciudades serán mejores si se publican más artículos en revistas indexadas en un cuar-til superior? Mejores ciudades y una arquitectura más acorde con su contexto y las necesidades de los usuarios debería ser un indicador más confiable del verdadero impacto de la investigación disciplinar.