Desde uno de los principios de la racionalidad administrativa se repite la conocida frase: "Lo que no se mide, no se administra; lo que no se administra no se mejora", que señala el inusitado afán por la medición. De manera parecida se dice que si no se mide lo que se hace, no se puede controlar y si no se puede controlar, no se puede dirigir y si no se puede dirigir, no se puede mejorar. En fin, es a Peter Drucker a quien se le atribuye esta manera de explicar un aspecto clave de la administración, que ha terminado por aplicarse también a la investigación, a las publicaciones y, en general, a toda la vida académica.

El acto de medir se realiza con base en la comparación, para lo cual se necesita una referencia que haga posible contrarrestar el resultado del indicador. Esto es precisamente lo que hacen los rankings. Hoy todo tiende a ser medido (rank): se mide la calidad de las Instituciones de Educación Superior, se mide la investigación y los grupos de investigación, se miden las publicaciones, se miden los investigadores, etc. Si bien cada uno de los rankings pretende utilizar una combinación de indicadores que considera como "objetivos" para la medición, aunque en muchas ocasiones puede ser que las opiniones "subjetivas" en relación con la calidad o el prestigio institucional sean de mayor peso.

El hecho de querer medir, la necesidad de establecer los rankings, es algo que tiene una larga historia, con antecedentes desde 1888, difundiéndose cada vez más su uso, sobre todo a partir de la década de 1980 (^{Webster, 1986}). Existe actualmente una gran cantidad de rankings (el de Shanghai, el del Times Higher Education Suplement y el de las universidades en la web, que se contrastan con el sistema del Center for Higher Education Development alemán) que terminan por confundir a las mismas instituciones de educación superior. "La primera edición de la guía America's Best Colleges, que publica la revista US News and World Report, aparece anualmente desde 1983. Time y Newsweek comenzaron a publicar listas semejantes en 1996" (Martínez, 2011). En ocasiones los rankings son producidos por instituciones especializadas y con alguna relación con un medio de comunicación (ranking del THE y el del CHE con Die Zeit), que resulta ser una ocasión para vender más. También los publican algunas instituciones académicas (ranking de Shanghai), o universidades en la web del Laboratorio de Cibermetría (CSIC-Consejo Superior de Investigación Científica de España).

Si se hiciera un análisis y juicio detallado de cada uno de los rankings, sin lugar a dudas se encontrarían enormes deficiencias y dificultades en cada uno de ellos. Por ejemplo, algunos rankings son de metodología pobre, aunque de gran impacto mediático (como el ranking de Shanghai y del Times Higher Education Suplement). El problema se agrava cuando las instituciones toman decisiones a partir de los rankings, pues:

[...] las mediciones en que se basan suelen carecer de las cualidades de validez, confiabilidad y comparabilidad que son indispensables para sustentar juicios de valor objetivos sobre la calidad de las instituciones evaluadas. La conclusión es que el uso de este tipo de ordenamientos llevará fácilmente a cometer injusticias graves, al no identificar verdaderamente las instituciones o programas que sobresalen realmente por su calidad y merecen estímulo; los que, pese a no tener aún resultados excelentes, hacen esfuerzos meritorios en situación desfavorable y necesitan apoyo para despegar; y los que manifiestan fallas graves reiteradas e injustificadas, que justificarían medidas correctivas (Martínez, 2011, p. 92).

En todos los casos depende de quién elabore el ranking, de qué es lo que se quiera comparar, o medir, y con quién, qué tan legítimos son los intereses de quienes miden y pretenden evaluar, lo que siempre responde a oscuros intereses. Por eso, no es fácil evaluar la calidad de la educación cuando en un mismo ranking aparecen, por ejemplo, universidades privadas y universidades públicas, cuando cada una es muy diferente, con posibilidades de recursos y dimensiones distintas. Para algunos una "universidad de clase mundial" es la que tiene mucha investigación; pero esto siempre es relativo, porque la investigación no es lo único en la universidad y depende de muchos factores, pues están las demás actividades que llamamos sustantivas.

En definitiva, parece que todo se puede medir, por tanto se puede controlar y supuestamente mejorar: "Lo que no se mide no existe, y por tanto no se puede mejorar". El que se esté midiendo ¿ha hecho que mejore la educación superior?, ¿la medición ha conseguido mejorar la investigación?, el afán de medir, ¿ha conseguido mejorar la calidad de la educación en Colombia?, ¿se tienen mejores docentes con una mayor productividad?

Además de la preocupación de las universidades por aparecer en los rankings, por ocupar los primeros lugares, para el posicionamiento de la marca y fortalecer la reputación de las instituciones de Educación Superior, en la investigación hay que contar con la informetría, palabra que se le atribuye al alemán Otto Nacke (1979), comenzándose a utilizar en el campo de las ciencias de la información a partir de 1980.

La informetría hace referencia tanto a la bibliometría como a la cienciometría. Cuando se habla de la bibliometría y de la cienciometría en general, se hace referencia a la producción científica, entendida como el número de artículos producidos por un autor, grupo de investigación, institución o país, y su impacto, entendido como el número de citas a cada uno de los artículos publicados. Tague Sutcliff, citado por ^{Macías-Chapula (2001}), p. 35, definió en 1992 la bibliometría como el "estudio de los aspectos cuantitativos de la producción, diseminación y utilización de la información registrada. Desarrolla modelos y mediciones matemáticas para estos procesos y utiliza sus resultados para elaborar pronósticos y tomar decisiones. Pritchard 1a utilizó por primera vez en 1969". Por su parte, la "cienciometría es el estudio de los aspectos cuantitativos de la ciencia como disciplina o actividad económica. Forma parte de la sociología de la ciencia y se aplica en la elaboración de las políticas científicas; comprende estudios cuantitativos de las actividades científicas, incluidas las publicaciones y de esa forma se superpone a la bibliometría" (Macías-Chapula, 2001, p. 36). Finalmente, la informetría "es el estudio de los aspectos cuantitativos de la información en cualquier forma, no sólo a partir de registros catalográficos o bibliografías, y abarca cualquier grupo social, por lo que no se limita sólo al científico" (Macías-Chapula (2001, p. 36).

Si bien existen grandes críticas a la bibliometría por las inexatitudes y por considerar solo la posibilidad de medición cuantitativa, la bibliometría presta una gran utilidad a las revisiones sistemáticas de literatura y a la elaboración de los estados del arte, dos técnicas distintas que coinciden en algunos aspectos. Principalmente los estudios que se refieren a las revisiones sistemáticas de literatura son muy útiles y necesarias por ejemplo para la construcción de problemas de investigación y la identificación de gaps en la investigación (^{Lozano, 2005}; ^{Beltrán, 2005}; ^{Tranfield, Denyer, y Smart, 2003}).

La investigación en los últimos años, y el número de investigadores y de publicaciones, ha crecido de manera exponencial. Cada vez se tiene la necesidad de publicar con más rapidez los avances o resultados de la investigación. "También hay que recordar el enorme impacto en la producción y difusión del conocimiento científico que han supuesto las Tecnologías de la Información y de las Comunicaciones (TIC) y el movimiento orientado al acceso abierto (Open Access) de los documentos" (^{Arguimbau-Vivó, et al, 2013}, p. 2). Además, es un hecho que "la evaluación de las revistas constituye un factor determinante en los procesos de valoración de la actividad investigadora de individuos e instituciones" (^{Borrego y Urbano, 22006}, p. 12).

En general, en el campo de las ciencias sociales, y en particular en Teología, el campo de las publicaciones tiene sus propias características y dinámicas. Una de las grandes dificultades que se tiene es la de equiparar la calidad y los aportes de un artículo con la calidad y el reconocimiento que se tiene de la publicación. Si en Teología existen pocas publicaciones de alto impacto, entonces ¿lo que se publica en Teología es de escasa calidad?

Además, en la práctica, no todos los artículos publicados en una revista tienen la misma calidad.

Hoy, los autores están más preocupados por decidir dónde publicar más que por dar a conocer los resultados de sus trabajos e investigaciones. Incluso, lo que antes era un medio ahora se ha convertido en un fin: siempre se tuvo como fin de la actividad académica la investigación y la publicación de resultados era un medio. Pero hoy, el afán de tener que publicar, la exigencia que se hace a los académicos de tener que publicar, y la medición que se hace de los investigadores, por parte de Colciencias por ejemplo, ha hecho que la actividad de publicar se convierta en la finalidad de la actividad académica, incluso predicando el principio, que se acepta sin más, de: publicar o perecer. Quien no publica no existe, no importa si se trata de un gran investigador y dedicado académico.

Pero, ¿dónde publicar? La pregunta se ha convertido en lo más complejo de la actividad académica. En unos casos el acceso a ciertas publicaciones exige algo más que tener una buena investigación y buenos resultados. En razón de lo anterior, la gran preocupación para ciertas revistas está en mantener o mejorar su Factor de Impacto. De ahí las grandes dificultades para ciertas publicaciones que no pueden mejorar su Factor de Impacto y el reconocimiento si no reciben excelentes artículos resultado de investigaciones; pero si la revista no está bien rankeada, difícilmente recibirá excelentes artículos. Las revistas con mayor reconocimiento recibirán mejores artículos y podrán hacer selección de los mismos. En el caso particular de las publicaciones en Teología, puede darse el caso que se tengan excelentes trabajos académicos, pero no existen muchas publicaciones bien rankeadas. Además, no solo la decisión de dónde publicar dependerá del reconocimiento que se tenga de la revista sino que también los evaluadores harán su trabajo dependiendo de la calidad de la publicación.

La dificultad mayor no solamente dónde publicar, sino también qué es lo que se publica en Teología, pues las publicaciones de alto impacto privilegian artículos de investigación científica, que responden a una determinada estructura y escritura del artículo. "El documento científico tiene que responder a unas determinadas formalidades en su estructura y contenido" (Lancaster y Pinto, 2001). En este sentido, se caracteriza por una serie de rasgos específicos: accesibilidad, certificación, cientificidad, pericia, especialización, estructuración, objetividad y relevancia. (^{Arguimbau-Vivó, et al, 2013}, p. 2). Si bien, en general, "la publicación de los resultados de una investigación tiene tres objetivos: divulgar los descubrimientos científicos, proteger la propiedad intelectual y lograr un reconocimiento" (^{Macías-Chapula, 2001}, p. 35), en Teología la tendencia que se tiene es publicar artículos de reflexión, y escasamente se cuentan como artículos de investigación científica, según la tipología de Colciencias.

El modelo de medición basado en el número de citas y citaciones es cada vez más aceptado. En relación con este asunto se tiene una gran dificultad, especialmente en Colombia, pues por lo regular un autor colombiano no cita ni referencia a otros autores colombianos, pues esto no le da prestigio ni reconocimiento. Los autores colombianos preferimos citar y referenciar a autores extranjeros, y mientras más difícil sea escribirlos y pronunciar su nombre mayor peso e importancia les damos. Para llevar a cabo este tipo de análisis a partir de las citas, por lo general "se recurre a las bases de datos de citas del Institute for Scientific Information (actualmente Thomson Scientific): Science Citation Index (SCI), Social Sciences Citation Index (SSCI) y Arts & Humanities Citation Index (AHCI). A estas bases de datos hay que añadir el Journal Citation Reports (JCR), que anualmente publica dos ediciones con los datos de factor de impacto de una selección de revistas de Ciencias Exactas y Naturales, por un lado, y de Ciencias Sociales, por otro" (^{Borrego y Urbano, 22006}, p. 13).

Este modelo de evaluación ha tenido muchas críticas, que "se refieren a tres cuestiones fundamentales: las limitaciones de cobertura y exactitud de las bases de datos del ISI, la metodología empleada para el cálculo del factor impacto, y la incorrecta interpretación de este indicador (^{Borrego y Urbano, 2006}, p. 13)

El tema de las citas es un asunto bastante complejo, por ejemplo por qué citar y a quién citar. La finalidad de la cita no siempre es la misma y en este sentido existe una gran cantidad de razones por las que se debe citar, y no necesariamente porque el texto o autor que se cita sea de gran calidad y por los aportes que hace. Un autor que ha publicado un trabajo de muy mala calidad, incluso en una revista prestigiosa, puede tener una gran cantidad de citas, precisamente para hacer referencia a la mala calidad del artículo, o a los errores que ha publicado, etc. También los autores que han ganado más reconocimiento en un cierto campo tienden a ser más citados, de esta manera un autor muy reconocido podrá recibir un mayor número de citas, lo que se vuelve una "bola de nieve": se cita a un autor solo porque es muy citado. Es a lo que ^{Borrego y Urbano (2006)}, p. 15 denominan citaciones que se ven afectadas por el "efecto Mateo": "Las citaciones se ven afectadas por fenómenos como el que Merton denominó "efecto Mateo", la tendencia a citar a los investigadores y revistas más prestigiosos que, de esta manera, tienden a recibir más citas y, por consiguiente, a incrementar en un círculo vicioso su prestigio y las citas que reciben". También existen otras razones de por qué citar más un determinado artículo, por ejemplo por el tipo de trabajo que presenta: la mayoría de publicaciones de alto impacto favorecen la publicación de artículos que traen trabajos de campo y discusión y análisis de resultados con aportes estadísticos.

Los análisis bibliométricos para las ciencias sociales y humanas son diferentes a los que se hacen en las ciencias naturales. ^{Borrego y Urbano (2006)}, p. 16, citando un trabajo de Anton J. Nederhof, "Bibliometric monitoring of research performance in the Social Sciences and the Humanities", publicado en la revista Scientometrics, recogen "las principales características de la investigación en Ciencias Sociales y Humanidades que dificultan la aplicación directa de métodos bibliométricos para la evaluación del conocimiento producido en estas disciplinas".

Algunas de estas características explican la situación de las publicaciones en Teología. En primer lugar, respecto al alcance de la investigación y al impacto. Metodológicamente la manera de definir el alcance y el impacto de una investigación han ido cambiando, principalmente en lo que se refiere a las ciencias sociales y humanas, precisamente por la necesidad de que las publicaciones en ciencias sociales y humanas tengan una mayor repercusión e impacto. En muchos casos los trabajos que se publican en Teología, particularmente en ciertas áreas, se refieren a asuntos muy puntuales, que solo tienen interés para ciertas personas, como es en el caso, por ejemplo, de la investigación en Sagrada Escritura. Se pueden encontrar extensas investigaciones que solo abordan una perícopa o el sentido y significado de una palabra o concepto. Algunas de estas publicaciones llegan a ser tan "rebuscadas" y sofisticadas que solo terminan por interesar a muy pocos académicos.

En segundo lugar, si bien existe una amplia tipología de documentos (libros, capítulos de libros, artículos de revistas, tesis doctorales, patentes, contribuciones a congresos, etc.), en los que se pueden presentar los resultados de la investigación y en distintos tipos de soportes, principalmente el físico y cada vez más lo electrónico, con múltiples posibilidades de consulta (bases de datos, bibliotecas electrónicas, abiertas o de pago), siendo cada vez más Open Access (^{Arguimbau-Vivó, et al, 2013}), tradicionalmente en Teología ha tenido un mayor peso la publicación de libros y capítulos de libros de carácter monográfico. Por esta misma razón, la investigación en Teología tiende a ser más bibliográfica debido a la escasa publicación de artículos. Es difícil conseguir buenos artículos publicados en las grandes bases de datos científicas.

Una Revisión Sistemática de Literatura (^{Lozano, 2005}) ayuda a ubicar aquellas publicaciones que tienen un mayor peso en las bases de datos. Scopus, de Elsevier, ofrece principalmente, revistas científicas arbitradas, libros y actas de congresos; Web of Science, antes conocida como Web of Knowledge, ofrece el servicio de indexación de citas científicas con base en suscripciones en línea producido por el Institute for Scientific Information (ISI), ahora mantenido por Clarivate Analytics (antes Propiedad Intelectual y Ciencia de Thomson Reuters), con acceso a múltiples bases de datos que hacen referencia a la investigación interdisciplinaria, y Redalyc, una base de datos de acceso abierto a la producción científica del mundo en revistas iberoamericanas, que contempla todas las áreas del conocimiento.

Un ejemplo de trabajo bibliométrico en Teología, en comparación con otras áreas de conocimiento, muestra el escaso número de publicaciones de alto impacto que recojan artículos de Teología. En el Cuadro 1 se muestran aquellas revistas de Teología o, en general de religión, que pueden ser consultadas en Scopus:

En el Cuadro 2 se muestran las revistas de Teología y religión de la base de datos Web of Science:

En el Cuadro 3 se muestran las publicaciones en Teología y religión en Redalyc:

En tercer lugar, la investigación en ciencias sociales y humanas requiere más tiempo, la utilización de la metodología y métodos cualitativos en ocasiones es dispendiosa e implica tiempo, lo mismo que el análisis de los resultados. En cuarto lugar, al ser los libros y capítulos de libros lo más utilizado hace que las referencias y citas sean más antiguas, advirtiendo, sin embargo, que las citas y referencias en ciencias sociales tienen una mayor vigencia que en ciencias naturales.

Finalmente, incide sobre manera la tendencia en ciencias sociales a investigar menos en equipo y más de forma individual, lo que repercute en la productividad de los autores, pues en equipos y grupos de investigación potentes, como puede suceder en las ciencias naturales, se llega más rápidamente a resultados. Todas estas características y particularidades de la investigación en Teología deben tenerse en cuenta al momento de hacer estudios bibliométricos, o también considerar la posibilidad de hacer análisis no cuantitativos que sirvan para analizar los resultados de la investigación cualitativa (^{Borrego y Urbano, 2006}).

Finalmente, agradezco a todos los autores que han colaborado en este número de la revista Cuestiones Teológicas.