Usos y abusos de la bibliometría¹

YURI JACK GÓMEZ-MORALES
Universidad Nacional de Colombia, Bogotá, Colombia
yjgomezm@unal.edu.co

Hace seis meses el profesor Jon Elster nos visitó en Bogotá para presentarnos sus ideas en torno a lo que él consideraba como nuevos oscurantismos en las ciencias sociales². Para Elster y para el grupo de cinco distinguidos académicos que lo escoltaban³, toda la teoría social producida en los últimos cincuenta años, desde Foucault hasta Latour, desde la genealogía hasta el constructivismo, eran, en resumen, basura. Bullshit fue, para ser más precisos, la expresión utilizada por estos refinados académicos. Toda la diatriba de Elster derivaba en realidad de las consecuencias que los sistemas de incentivos a la productividad y la presión por escalar en los rankings internacionales vienen ejerciendo sobre el sistema universitario europeo. Aunque no he estudiado la manera como estos incentivos funcionan en Europa, para mí era claro que lo que los colegas de la reunión de marras percibían como problemático era el hecho de la proliferación de artículos en ciencias sociales y humanas, y la consiguiente inducción de una estructura de oportunidades desigual en la que los científicos de las ciencias básicas no encuentran las mismas posibilidades que antes. Este escenario resultó muy sugestivo para pensar en lo que ocurre aquí en Colombia que, por comparación, resulta ser una especie de mundo al revés.

Lo que Elster y sus colegas llaman oscurantismos resultan ser, a mi modo de ver, un conjunto de consecuencias perversas derivadas de pasar por alto las dificultades metodológicas no resueltas de la bibliometría, en procura de estructurar políticas públicas en ciencia y tecnología de corte neoliberal, como las que hemos presenciado desde finales de la década de los años ochenta en América Latina. Estas políticas comprometen seriamente la función social de la universidad, y especialmente la de la universidad pública, como lo analizaré en este texto.

Regresando a los colegas europeos, lo que resultó molesto no fueron tanto los términos escatológicos que emplearon para plantear el problema sino, sobre todo, la intención profiláctica subyacente, a mi juicio, en varias de las intervenciones. Una intención que recuerda el programa del positivismo lógico, que propuso como único objetivo válido para la filosofía el de constituirse como la herramienta que permitía distinguir entre las buenas proposiciones, aquellas bien formadas, con sentido y significado, y las malas proposiciones, las que tienen sentido pero no significado o, peor aún, aquellas que no tienen ni sentido ni significado, como la famosísima "la nada nadea", del metafísico alemán Martin Heidegger. Este es un ejemplo que por generaciones ha hecho las delicias de positivistas duros y blandos, que comparten el mismo credo de limpieza y pureza de la ciencia, y la firme creencia en su capacidad para distinguir, al menos, a aquellos argumentos, estilos, obras, escuelas, campos e incluso colegas que no gozan de estos preciados atributos, que no hacen ciencia, que ni siquiera hacen mala ciencia, sino que solo producen desperdicio, basura, bullshit.

En la cada vez más aguda crisis institucional en la que se sume la educación superior pública en Colombia, por poner la discusión en un contexto específico, una perspectiva como esta no hace más que auspiciar una guerra de las ciencias, que busca hacer de nuestras instituciones meros politécnicos en los que solo la buena ciencia tendrá un espacio. Al final, en ese escenario posible, ni siquiera un seminario sobre los nuevos oscurantismos podría tener lugar porque seguramente sería catalogado como mala ciencia o como pseudociencia. Y es que justamente la tradición bibliométrica estuvo asociada en sus orígenes a una de las instituciones que muchos caracterizarían como oscurantista. Me refiero a la Iglesia católica romana, que diseñó una de las primeras herramientas de control bibliográfico, el Index librorum prohibitorum (que entre 1564 y 1948 alcanzó las cuarenta ediciones), o Índice de los libros prohibidos, una herramienta que permitía identificar obras heréticas, autores heréticos y, en sus versiones más sofisticadas de mediados del siglo XVII, incluso párrafos heréticos en el material que circulaba por todos los talleres de impresión de una Europa ávida de conocimiento nuevo, de una nueva prosa, de nuevas formas literarias, de una nueva subjetividad que hoy asociamos con esa gran revolución cultural que fue el Renacimiento. Junto a este proyecto oscurantista, la historia del control bibliográfico destaca también otro proyecto importante y que, al igual que el índice, continúa vigente en nuestros días. Se trata de un proyecto utópico, sin duda, pero al mismo tiempo incluyente y quizás hasta democrático; inauguró todo un "género" y le granjeó al polímata Matías Gesner el título de padre o precursor del control bibliográfico. Su utopía consistía en hacer el registro de todos los textos impresos en Europa, un proyecto al que denominó Bibliotheca universalis (1545), y que fue publicado en cuatro volúmenes entre 1545 y 1549.

Esta tensión entre exhaustividad y selectividad ha acompañado no solamente al desarrollo del control bibliográfico sino que también subsiste como un problema técnico hoy, y pocas veces suele ser reconocido por los usuarios contemporáneos de herramientas como el Science Citation Index, por ejemplo. Los servicios informativos del ISI Web of Knowledge se debaten en esta tensión: desde una perspectiva ingenieril, el proyecto de poder hacer el cubrimiento de todas las revistas especializadas que se publican sigue siendo utópico. El Directorio Ulrich, uno de los más comprehensivos que se puede conseguir hoy, sigue en la línea de Gesner e incluye un poco más de trescientos mil registros de publicaciones seriadas de todo tipo: desde Cosmopolitan hasta Scientometrics, desde Cromos hasta Scientific American. Ciertamente, para los servicios informativos del ISI, Cosmopolitan o Cromos son publicaciones por fuera de su scope, o alcance, y en esa medida justifican su exclusión. Pero justificar que solo ocho mil de las trescientas mil revistas que registra Ulrich sean seleccionadas por el ISI requiere más que este criterio del scope, pues muchas de esas revistas son también, o claman serlo, publicaciones especializadas que siguen altos estándares editoriales. De hecho, en el reciente Congreso Iberoamericano de Indicadores de Ciencia y Tecnología conocimos un trabajo muy interesante en el que se sugería que no hay una relación directa entre estar indexado en servicios como el ISI y tener altos estándares editoriales (Chavarro 2013).

La citación como medida de significancia es una de las cajas negras⁵ (Latour 1987) sobre las cuales se ha instaurado hoy la práctica bibliométrica. No obstante, esta caja negra ha sido cuestionada muchas veces y por diferentes razones. De hecho, algunos de los primeros trabajos en Science and Technology Studies (STS) estuvieron críticamente orientados a exponer los problemas conceptuales de la bibliometría: MacRoberts y MacRoberts (1982) mostraron, justamente, que la manera como fue construida la ley de Lotka (1926) afecta significativamente la naturaleza de la distribución; Gilbert y Woolgar (1974) realizaron la más temprana crítica a la ley del crecimiento exponencial de la ciencia de Price (1951, 1964); Edge (1980), en una demoledora crítica, explica por qué él no es un cocitacionista; incluso la propia crítica internalista de Cronin (1981)⁶ deja claro que la citación como recurso metodológico carece de una teoría que la sustente.

Ahora bien, si en el Reino Unido de los años setenta la crítica a la bibliometría rápidamente se transformó en una nueva apreciación de la citación, ya no como medida de significancia sino como recurso retórico en la argumentación científica, en los Estados Unidos, donde el funcionalismo tenía su bastión, la crítica gravitó en torno a los usos de la citación con fines de evaluación del personal científico y de la asignación de recursos. Las páginas editoriales de Science y muchos artículos de fondo en The American Sociologist son testimonio de esto⁷.

En América Latina, sin embargo, la discusión llegó de manera tardía, a finales de la década de los ochenta, a través de otros conductos y en otros términos, como cabe esperar cuando se entiende que el conocimiento, o que todo conocimiento, es situado.

Durante la segunda mitad del siglo XX, buena parte de la investigación científica y tecnológica en América Latina se realizó con dinero prestado por el Banco Interamericano de Desarrollo (BID). Estos préstamos para el desarrollo tienen condiciones y mecanismos de seguimiento y evaluación. Pues bien, como parte de los compromisos con la banca multilateral, a finales de la década de los ochenta se inició el proceso de evaluación de la segunda fase de los préstamos BID para ciencia y tecnología.

Los consultores contratados para la realización de esta evaluación siguieron una tradición inaugurada por Dereck de Solla Price, en su clásico de 1965 Big Science, Little Science, según el cual ciencia es igual a ciencia publicada, y ciencia publicada es igual a ciencia de revistas. Los consultores extendieron esta cadena de traducciones al proponer que la medida por excelencia del impacto del préstamo BID sobre el desarrollo de la ciencia y la tecnología colombiana era el número de artículos internacionales. Por artículo internacional entendían artículos publicados en alguna de las ocho mil revistas cubiertas por los servicios informativos del ISI (McLauchlan de Arregui 1988). Esta manera de concebir la ciencia nacional resultaba problemática, pues implicaba un desconocimiento, una invisibilización de sus componentes locales y regionales. Me refiero, por supuesto, a la ciencia publicada en los medios locales y regionales de circulación.

Muy rápidamente, este informe y esta manera de evaluar la ciencia dieron lugar a un debate sobre la falta de representatividad de los servicios informativos del ISI para evaluar la ciencia latinoamericana. Ese debate dejó al descubierto que la selección de ocho mil revistas tiene sesgos asociados a la proveniencia geográfica y al idioma de dichas publicaciones. Los colegas de ciencias de la información en México y España fueron particularmente activos en realizar esta campaña. Este debate tuvo su punto más alto en las páginas de Scientific American, que inaugura su primera edición en español con el artículo que lleva el intrigante título de "La ciencia perdida del Tercer Mundo" (Gibbs 1995). Con un estilo periodístico, Gibbs conduce al lector a través de diferentes puntos de vista recogidos entre científicos, editores y expertos bibliómetras sobre los problemas asociados a la edición científica en el Tercer Mundo. El artículo ofrece el mapa centro/periferia de la ciencia mundial, la cartografía de las naciones que son más representativas en la literatura científica de corriente principal (mainstream) y de las que son prácticamente invisibles pese a tener comunidades científicas de tamaño considerable y una actividad de investigación significativa, como pueden ser las de México, Brasil o India. No tengo espacio para presentar los argumentos expresados por los actores entrevistados (Gómez Morales 2005), pero sí quiero llamar la atención sobre la asimetría en la forma como se explica la invisibilidad de la ciencia periférica. Dicha invisibilidad tiene, para los actores, una explicación social, sea porque se trata de ciencia hecha a la antigua, porque es mala ciencia, es decir, ciencia oscurantista, por un asunto de atraso cultural, o por problemas con la inmadura estructura editorial en América Latina, entre otros factores. Pero en cambio, la calidad de la ciencia de corriente principal (mainstream) es incuestionable, autoevidente y por tanto no requiere ninguna explicación. No es mi intención presentar un caso de ricos contra pobres o de "¡abajo el imperialismo yanqui!". No. El argumento ha sido previa y sofisticadamente elaborado en el campo STS, particularmente por el programa fuerte del relativismo empírico formulado por David Bloor a mediados de los setenta (Bloor 1994); si el error tiene una explicación social, la verdad también necesita una. Eso es hacer sociología simétrica. Hacer bibliometría simétrica significaría entonces buscar una explicación social para la alta visibilidad y la significancia de la ciencia mainstream⁸.

Cuando el BID entra en juego, lo sabemos bien en América Latina, se ponen también en juego un conjunto de reformas estructurales. En efecto, para mediados de la década de los noventa, y como consecuencia de las reformas neoliberales en el subcontinente, se imponían dos agendas de política pública. La primera, que ya hemos mencionado, aunque no por su nombre, es la agenda de internacionalización de la ciencia (nacional), que puso un acento muy importante en la promoción de la publicación internacional. La segunda es la agenda de aseguramiento de la calidad de la educación superior, que movilizaba la idea de universidad de calidad como sinónimo de universidad de investigación. El modelo arquetípico de universidad de investigación que propone esta agenda es el modelo de universidad norteamericana de élite. Este proceso de creciente competencia por el mercado de la educación superior y de la investigación científica en la era del conocimiento ha sido caracterizado como de hegemonía por Marginson y Ordorika (2010) en la reciente reunión de rectores de universidades latinoamericanas de 2015⁹. En Colombia, estas dos agendas fueron articuladas en el marco del sistema nacional de acreditación de instituciones de educación superior, y a través del sistema nacional de ciencia y tecnología. Ambos sistemas fueron creados o reconfigurados a principios de la década de los noventa.

Lo que me interesa rescatar de todo este arreglo institucional, que se crea como parte de una estrategia regional impulsada por organismos multilaterales, es la historia de un desarrollo legislativo, el Decreto 1279 de 2002, en el cual se contempla un conjunto de incentivos directos para los investigadores. Al final del día, el último eslabón de la cadena global, el agente efectivo de las reformas neoliberales es el profesor/investigador universitario.

En efecto, el sistema de incentivos trajo un conjunto de consecuencias perversas. En primer lugar, la agenda de internacionalización ha llevado a incurrir en un conjunto de costos institucionales que han sido documentados, en sus aspectos formales, en términos de isomorfismo estructural (Shenhav 1987; Shenhav y Kamens 1991); es decir, en términos de la adquisición de patrones de consumo y producción de información idénticos a los de los científicos mainstream. Las implicaciones cognitivas de esta transformación han comenzado a ser documentadas a partir de la idea de la integración subordinada (Kreimer 2013). Se trata de un rasgo importante de la ciencia que se produce en la periferia. Como resultado directo de la modalidad de relación con los científicos mainstream, los grupos más integrados tienden a desarrollar actividades rutinarias: controles, pruebas, test de conocimientos que han sido bien establecidos por los equipos que asumen la coordinación de las redes internacionales.

Otro efecto perverso es que lo que construimos como proyecto colectivo contrahegemónico en América Latina, al calor del debate sobre la falta de representatividad de los servicios informativos del ISI o de Scopus, se pone en peligro con una política de incentivos que hace énfasis en la publicación internacional. En efecto, a lo largo y ancho de nuestro subcontinente y como resultado del mencionado debate sobre la ciencia perdida del Tercer Mundo, los organismos de ciencia y tecnología adoptaron por un tiempo una política de fomento a la publicación local, orientada hacia el mejoramiento de las prácticas editoriales de las revistas nacionales. Esa fue sin duda una medida necesaria que arrojó interesantes resultados, pues tenía como objetivo, a la par que la mera internacionalización de la producción, la de los medios de circulación locales de la producción científica, esto es, las revistas nacionales. Así mismo, durante el segundo quinquenio de los años noventa, se pusieron en marcha importantes iniciativas regionales para construir servicios de información científica alternativos. Fue en el marco de las guerras por los mercados de la información científica, entre los carteles editoriales de Thomson Corporation y Elsevier Publishers, que vimos surgir iniciativas como Publindex, en el contexto nacional, Latindex y Scielo, y más recientemente Redalyc, en el contexto regional. El sistema de incentivos perversos, que promueve la publicación orientada internacionalmente, y saluda y fomenta procesos de integración subordinada con los centros científicos, pone en peligro los logros alcanzados por estos servicios. Scielo, por ejemplo, fue recientemente adquirido por Thomson Corporation, que es la casa editora del ISI, y mientras tanto Scopus viene adelantando una agresiva campaña de marketing con cada uno de los editores, en la que ha negociado los derechos sobre sus publicaciones. Por su parte, las revistas locales se van quedando sin científicos que quieran escribir en ellas porque, para ellos, como resultado de la penetración del proyecto hegemónico de universidad, lo que da prestigio es la publicación internacional indexada y la coautoría internacional. De esta manera se reconfigura la identidad de las comunidades científicas locales, no solo desde el punto de vista cognitivo, como ya lo mencioné a propósito de la integración subordinada, sino también en términos culturales.

Finalmente, sobre este último asunto, son justamente estos científicos de élite, internacionalizados, los que perciben la mayor cantidad de recompensas dentro del sistema de ciencia y tecnología, y dentro del sistema universitario. Esta asociación entre los incentivos monetarios directos a los investigadores para que publiquen y el capital social necesario para publicar internacionalmente es lo que ha comenzado a transfigurarlos a ellos y a sus grupos en una suerte de buscadores de rentas, lo cual produce una enorme inequidad en la distribución de recursos por áreas, pues no todas tienen las mismas posibilidades de integración subordinada. Esto genera una dinámica perversa entre modestos profesores, que no pertenecen a la élite y que reportan pocos hallazgos, enfrentados a ambiciosos científicos que buscan maximizar sus beneficios a costa incluso de su función, o de una parte importante de ella: la de ser docentes universitarios. Estos científicos de élite ya no quieren enseñar, ya no quieren formar en valores ciudadanos en el aula de clase y en valores democráticos en foros. Para la universidad hegemónica que se quiere construir, este tipo de funciones no cuentan. Por eso, entre otras cosas, es que salimos tan abajo en los rankings internacionales, pero este es otro asunto.

Coda: la Revista Colombiana de Antropología y el análisis bibliométrico

Ahora bien, para ilustrar con algún detalle las consecuencias perversas de ese mundo al revés que experimentan las ciencias sociales y humanas en América Latina, vamos a aprovechar el interesante diálogo sostenido con los antropólogos invitados a la conmemoración de los sesenta años de la Revista Colombiana de Antropología (RCA)¹³.

En primer lugar, quiero hacer un reconocimiento al esfuerzo del equipo editorial por recuperar la memoria de la RCA, vista a través de sus sesenta años de publicación. Estos levantamientos bibliográficos son claves, particularmente en el contexto local, donde la estructura editorial apenas ha concluido un primer tránsito entre la edición amateur y la edición profesional. Como lo mencioné en el Primer Coloquio de Estudios Sociales de la Ciencia, realizado el pasado abril en Bogotá, una bibliometría histórica crítica es básica y fundamental a la hora de escribir la historia de las disciplinas científicas en el país. Así, por ejemplo, la emergencia de la antropología social como tendencia predominante en la RCA (19531971) es una hipótesis que una bibliometría histórica crítica podría y tendría que especificar mediante el análisis, no solo de la estructura de la producción, sino de su dinámica temporal y de la literatura que nutrió este proceso. Los datos de enfoque regional de los artículos de la RCA, por su parte, necesariamente le plantean al historiador la pregunta que hace el arqueólogo Wilhelm Londoño por las razones para que Magdalena, Cauca y Cundinamarca predominen como focos de atención de la antropología durante el periodo. Como mencioné atrás, originalmente la bibliometría fue una metodología diseñada para entender los procesos de institucionalización de las ciencias y, en este sentido, constituía una herramienta heurística. El dato bibliométrico que elaboró Carlos Meza nos propone este cruce interesante y hace surgir las siguientes preguntas: ¿por qué la antropología social y por qué en esas localidades particulares se concentró el foco de atención de la disciplina?, ¿están relacionados el foco de atención y las regiones?, ¿qué aspectos institucionales ayudan a explicar la existencia o inexistencia de esa relación?, ¿qué papel jugó el ICANH en esta configuración?, ¿cómo explicar que, pese a su desarrollo relativo, el proceso de institucionalización de la antropología en el Magdalena no se consolidó, como lo afirma Wilhelm Londoño?, ¿qué nos sugieren los datos a propósito de los programas de formación —por ejemplo, en el caso de la Universidad del Magdalena—, de la agenda de investigación de dichos programas y del papel del ICANH como orientador de la antropología nacional? El punto es que, en cualquier caso, la evidencia bibliométrica es algo que cualquier interpretación del desarrollo de la disciplina tiene que explicar.

La importancia de estos levantamientos bibliométricos para la historia social de la ciencia nacional es que pueden ofrecer a las instituciones que adelantan investigación, en este caso el ICANH, una plataforma como la del Sistema de Información Bibliográfica y Bibliométrica (SIByB), construida a partir de un software de acceso abierto que puede operarse on-line y tiene capacidad para ocho operadores simultáneos¹⁴. Esta plataforma permite la construcción automática de reportes, tanto de producción como de citación, gracias a las consultas preconstruidas con las que cuenta actualmente el sistema.

Entre los varios temas presentados por el antropólogo Jairo Tocancipá durante sus diferentes intervenciones, hubo uno que resulta particularmente interesante: la caracterización de la RCA como archivo. En efecto, en sus orígenes, las publicaciones seriadas funcionaron como archivo y en ese sentido la RCA es quizás, por su antigüedad, uno de los más importantes para la historia de la disciplina antropológica en el país. Este valor lo ilustra muy bien Hernando Pulido, participante también del conversatorio, cuando historiza los orígenes de la afrocolombianidad en el trabajo de la antropóloga Nina Sánchez de Friedemann, quien a su vez realizó, para el efecto, un balance de la RCA en el marco del trámite por el que pasó el Proyecto de Ley 329 en el Congreso de Colombia, que dio origen a la Ley 70 de 1993. Este trabajo, destaca el colega Pulido, criticó el desinterés académico y humanístico de la antropología colombiana hacia el estudio de la gente negra en la producción de la Revista Colombiana de Antropología, entre 1953 y 1992. Ese desinterés era palpable en el desconocimiento demográfico, socioeconómico, histórico y cultural que enfrentaba el entonces Instituto Colombiano de Antropología, como actor clave dentro de la comisión que elaboró la mencionada ley, y de cara a las cuestiones políticas inmediatas que estaban en juego durante el desarrollo del artículo transitorio 55 de la Constitución de 1991. Sería interesante ver la manera en que las aseveraciones de Friedemann se documentan bibliométricamente.

Sorprendentemente, Jairo Tocancipá afirma que el uso que se hace de este valioso archivo es poco. Las razones pueden ser de muy diverso tipo, algunas tan simples y triviales como las dificultades de acceso físico a la colección; los costos de convertir a formatos electrónicos una producción considerable, así como los asociados al diseño de herramientas para la accesibilidad de tales archivos; la elaboración de índices temáticos, por autor, por año, etc. Pero, independientemente de estos aspectos de accesibilidad y de formato, que de ser ciertos deberían solucionarse a la mayor brevedad, hay otras posibles causas para la falta de uso de este importante archivo y, en ese sentido, la afirmación de Tocancipá según la cual la antropología nacional tiene una orientación colonial es tan sugerente como inquietante. Así, por ejemplo, este autor afirma que, en materia de método, prácticamente todo lo que se publica en Colombia no es producción nacional sino traducción. Bibliométricamente sería muy interesante poder sustentar esta afirmación contra datos de citación y relacionarlos con la estructura de la producción que presentó el editor Meza y que comentamos hace un momento.

En otra de sus intervenciones, el profesor Tocancipá abordó el tema de los procesos de acreditación de revistas nacionales en un conjunto de observaciones que, de manera sintética y tratando de ser fiel a lo dicho, resumo a continuación. La política de indexación propuesta por Colciencias impone unos criterios que afectan el contenido y terminan generando obstáculos estructurales a procesos integradores de la antropología nacional. Esta política tiene unos criterios ambivalentes y poco claros, como por ejemplo medir la competitividad a partir de la citación, y otros difíciles de entender, como las razones por las cuales solo algunas de las nueve revistas colombianas están escalafonadas, mientras que otras no. Finalmente, el profesor Tocancipá sostiene que la política nacional de indexación es el resultado de la incapacidad para generar un ranking alternativo.

Pero aún más, frente a la situación previamente existente (1992-2002), regida por el Decreto 1444 de 1992, en el que se valora la publicación internacional con el doble de puntos que la nacional solo por el hecho de ser internacional.

Al respecto, decía, la nueva legislación, por medio del Decreto 1279 de 2002, reconoce la publicación nacional en "igualdad" de condiciones frente a la internacional a condición de que se someta a un conjunto de criterios, formales en su mayoría, que buscan establecer la calidad de las publicaciones seriadas, sean ellas nacionales (indexación) o internacionales (homologación). Publindex fue el dispositivo mediante el cual el Decreto 1279 logró su implementación práctica, y es ese decreto el que ahora se encuentra en la mira de los reformadores oscurantistas, con el argumento explícito de que la calidad de la publicación nacional no es comparable a la de la publicación internacional. En la práctica, esta nueva definición de calidad en realidad sirve de vehículo para otro recorte presupuestal a la educación superior pública.

En tal contexto, cobra sentido otra de las afirmaciones del profesor Tocancipá en torno a la citación como medida de la calidad. Durante los veinte años transcurridos entre la propuesta del modelo de evaluación de revistas (Gómez-Morales, Anduckia y Rincón 1998) y los recientes documentos de política de Colciencias, en la práctica, el sistema Publindex se desmontó al no ser considerado como el novísimo modelo de evaluación de grupos. La idea predominante en materia de valoración de la actividad científica estaba asociada a la productividad científica; el foco de atención de la evaluación estaba puesto sobre los artículos, los productos. Hoy en cambio, como resultado de otros procesos de cualificación de la publicación nacional, pero también de aquellos enmarcados en las guerras por los mercados de la información que ahora se libran en América Latina, entre los carteles de Thomson Corporation y Elsevier Publishers, el nuevo foco de atención de la evaluación es la citación. Pero es aquí donde de la pregunta del profesor o el cuestionamiento de la citación tiene sentido, pues los políticos de la ciencia y la tecnología acríticamente consideran la caja negra de la citación como una genuina e incontrovertible medida del impacto de una publicación y, ultimadamente, como una prueba de su calidad. Esta transformación en el foco de atención de la evaluación tiene dos problemas: uno teórico, que más bien poco les importa a los políticos pero que las comunidades deberían saber, y es que la citación, o mejor, el análisis de citaciones, fue en sus orígenes una metodología para la documentación científica que se sostenía en la idea de que esa operación retórica que un autor realiza cuando hace una referencia a otro escrito dentro del propio tiene, cognitivamente, un valor muy grande, pues establece una relación entre textos que comparten una idea en común; esta es más o menos la definición clásica de Garfield (1955). Pero pasar de esta idea metodológica a su operacionalización, como simple suma de citas, y sobre esta base afirmar que cuantas más citas gana un texto tanto mayor es su calidad científica, es otra cosa.

Durante las décadas de los años setenta y ochenta del siglo pasado, como ya lo mencioné, no fueron pocos los debates en relación con esta interpretación y con su uso pragmático en procesos de evaluación de personal científico. Este no es el espacio para contar esta historia —a eso le dediqué todo un capítulo en mi disertación doctoral—. Sobre lo que quiero llamar la atención es que este debate dejó en claro que la citación entendida como medida del impacto o de la calidad no es una propuesta sustentada teóricamente; no hay una teoría de citaciones que avale esa interpretación (Cronin 1981; Edge 1980) y el hecho de que exista la medida no quiere decir que signifique lo que los políticos de la ciencia alegan. A lo sumo, la medida nos habla del consumo, pero es claro que no necesariamente porque algo se consuma es bueno. Con este punto ya nos adentramos en temas de la economía política del conocimiento en la época de la producción industrial de la ciencia o ciencia modo 2 (Gibbons et al. 1994).

Este tema también lo intuye bien el profesor Tocancipá cuando se pregunta por las consecuencias de fondo que conlleva seguir a ciegas las indicaciones de forma de Colciencias para las revistas. Pero antes de entrar en este último punto, quiero desarrollar la segunda consecuencia que se deriva de asumir colonial y acríticamente el concepto de citación como medida de calidad. El problema tiene que ver con las herramientas utilizadas para realizar esta medición; y aquí son varias las cosas que hay para decir, por ejemplo, que en cierto punto al Sistema Nacional de Ciencia y Tecnonología, y a Colciencias en particular, no le interesó más desarrollar Publindex para que desplegara todo su potencial, no solamente como mecanismo de evaluación, como se lo pensó en 1996, sino como sistema de información sobre la ciencia nacional, como se planeó que fuera mientras estuvo en el Observatorio Colombiano de Ciencia y Tecnología (OCyT). Entonces, el sistema de información nacional no se desarrolló, los sistemas regionales que prometieron cumplir con su tarea no estuvieron a la altura del reto y hoy, tristemente, le vendieron el alma al diablo. Tomaron el bien común que era la producción nacional y la información sobre su consumo y se lo vendieron, en una operación privatizadora, al cartel gringo de la información, con el argumento de que eso aumentaría la visibilidad internacional de la ciencia colombiana, cosa que dudo que vaya a suceder; me refiero, claro, al servicio Scielo.

Así, no logramos ni construir localmente ni integrarnos regionalmente al proceso de construcción de un mercado regional de la información; y, por otra parte, ante esta falencia informativa, los políticos colombianos tomaron la decisión de adoptar de manera acrítica e ingenua las herramientas de análisis de citación ofrecidas por el mercado internacional, que es un mercado cartelizado. Me refiero a los servicios informativos de Thomson Corporation y de Elsevier Publishers, con sus índices de citaciones (Science, Social Science y Art and Humanities), y al servicio Scopus. Sin embargo, estas no son necesariamente las herramientas más idóneas para medir la ciencia nacional. Este es un debate que ya hicimos, pero como no tenemos memoria —y tenemos pésimos archivos— repetimos la historia y nos devolvimos veinte años. En efecto, a finales de los noventa, la revista Scientific American inauguraba su versión en español con el artículo sobre "La ciencia perdida del Tercer Mundo" (Gibbs 1995), en el que, entre varias otras cosas, se discutía hasta qué punto estas herramientas del por entonces Instituto para la Información Científica (ISI), es decir, los indíces de citaciones para las ciencias, las artes y las humanidades, eran idóneas para construir una representación adecuada de la ciencia del "Tercer Mundo". Este fue el origen de las iniciativas regionales de construir sistemas de información local y regional (Scielo, Latindex y Redalyc), que pudieran compensar la debilidad de aquellos sistemas pretendidamente globales, y de las iniciativas orientadas hacia el fortalecimiento de la publicación nacional en toda América Latina. Pero olvidamos muy rápido en Colombia.

Hoy la pregunta sigue vigente: si aceptamos que la medida de citaciones, con todo y sus vacíos teóricos, puede darnos una idea del consumo de la publicación nacional, aunque no necesariamente del impacto, entonces ¿los servicios de la Thomson o de Elsevier son idóneos? ¿Representan de manera adecuada la situación de la publicación y el consumo a nivel nacional y regional? Yo no lo creo, pero los políticos de la ciencia sí y por eso están desmontando a Publindex. Entonces, yo pregunto, y aquí retomo algunos de los puntos que Wilhelm Londoño planteó, pero extiendo la pregunta no solo a los colegas antropólogos, sino también a los sociólogos, psicólogos, trabajadores sociales y arqueólogos: ¿cuánto publican en revistas internacionales de alto impacto?, es más, ¿qué tanto de lo que publican está en formato de artículo? ¿Acaso no tenemos cierto gusto que es, al mismo tiempo, una necesidad cognitiva de publicar más bien libros o de realizar esfuerzos colectivos escribiendo capítulos en libros editados, o de hacer radio o televisión cultural o comunitaria, o de hacer prensa y opinión? Pero, ¿cuál es el valor de eso hoy en los modelos de medición de los políticos de la ciencia? ¡Ninguno! Claro, existe una minoría, una élite científica que accede a estos circuitos internacionales de la producción científica, pero están por evaluarse las consecuencias de asumir un patrón subordinado de publicación promovido por políticos de la ciencia y por administradores universitarios oscurantistas (Kreimer 2013) para definir la agenda nacional de investigación.

Pie de página

Referencias

Bloor, David. 1994. "El programa fuerte en la sociología del conocimiento". En La explicación social del conocimiento, editado por León Olivé, 91-117. México D. F.: Universidad Nacional Autónoma de México.         [ Links ]

Bradford, Samuel Clement. 1934. "Sources of Information on Specific Subjects". Engineering 137: 85-86.         [ Links ]

Chavarro, Diego. 2013. "¿Son los sistemas de indexación y resumen un indicador de la buena calidad editorial de las revistas académicas?". Ponencia presentada en el IX Congreso Iberoamericano de Indicadores de Ciencia y Tecnología "Balance de los indicadores en Iberoamérica. Panorama actual y mirada al futuro". 9 al 11 de octubre, Bogotá         [ Links ].

Cole, Jonathan y Harriet Zuckerman. 1984. "The Productivity Puzzle: Persistence and Change in Patterns of Publication of Men and Women Scientists". Advances in Motivation and Achievement 2: 217-258.         [ Links ]

Cronin, Blaise. 1981. "The Need for a Theory of Citing". Journal of Documentation 37: 16-24.         [ Links ]

Edge, David. 1980. "Why I Am not a CoCitationist". En Essays of an Information Scientist (1977-1978), 240-246. Filadelfia: ISI Press.         [ Links ]

Garfield, Eugene. 1955. "Citation Index for Science". Science 122 (3159): 108-111.         [ Links ]

Gesner, Conrad. 1545-1549. Bibliotheca universalis, sive catalogus omnium scriptorum, in tribus linguis, Latina, Graeca, & Hebraica: extantium & non extantium, veterum & recentiorum, doctorum & indoctorum, publicatorum & in bibliothecis latentium. Zurich: Christoph Froschauer.         [ Links ]

Gibbons, Michael, Camile Limoges, Helga Nowotny, Simon Schwartzman, Scott Trow y Martin Peter. 1994. The New Production of Knowledge: The Dynamics of Science and Research in Contemporary Societies. Londres: Sage Publications.         [ Links ]

Gibbs, Wayt W. 1995. "Lost Science in the Third World". Scientific American 273 (2): 76-83.         [ Links ]

Gilbert, G. Nigel y Stephen William Woolgar. 1974. "The Quantitative Study of Science: An Examination of the Literature". Science Studies 4 (3): 279-294.         [ Links ]

Gómez-Morales, Yuri Jack. 2005. "Política científica colombiana y bibliometría: usos". Nómadas 22: 241-254.         [ Links ]

______. 2007. "Revisiting the 'Heroic' Age: From Externalism to Internalism in Serial History of Science". Ponencia presentada en la 11th International Conference of the International Society for Scientometrics and Informetrics. 25-27 de junio, Madrid, España.         [ Links ]

Gómez Morales, Yuri Jack, Juan Anduckia y Nadeyda Rincón. 1998. "Publicaciones seriadas cientificas colombianas". Interciencia 23 (4): 208-217.         [ Links ]

Gómez-Morales, Yuri Jack, Bruno Jaraba Barrios, Javier Guerrero y Willson López-López. 2012. "Entre internacionalización y consolidación de comunidades académicas locales: sobre la Revista Latinoamericana de Psicología". Revista Colombiana de Psicologia 21 (1): 97-110.         [ Links ]

Harding, Sandra. 1986. The Science Question in Feminism. Ithaca: Cornell University Press.         [ Links ]

Keller, Evelin Fox. 1985. Reflections on Gender and Science. New Haven: Yale University Press.         [ Links ]

Kreimer, Pablo. 2013. "Internacionalización y tensiones para un uso social". En Proyecto ensamblado en Colombia: ensamblando estado, editado por Olga Restrepo Forero, 437-452. Bogotá: Centro de Estudios Sociales; Universidad Nacional de Colombia.         [ Links ]

Latour, Bruno. 1987. Science in Action. How to Follow Scientists and Engineers through Society. Cambridge: Harvard University Press.         [ Links ]

Lotka, Alfred. 1926. "The Frequency Distribution of Scientific Productivity". Journal of the Washington Academy of Sciences 16 (12): 317-323.         [ Links ]

MacRoberts, Michael y Barbara MacRoberts. 1982. "A ReEvaluation of Lotka's Law of Scientific Productivity". Social Studies of Science 12 (3): 443-450.         [ Links ]

Marginson, Simon e Imanol Ordorika. 2010. Hegemonía en la era del conocimiento: competencia global en la educación superior y la investigación científica. México D. F.: Universidad Nacional Autónoma de México (UNAM).         [ Links ]

McLauchlan de Arregui, Patricia. 1988. Indicadores comparativos de los resultados de la investigación científica y tecnológica en América Latina. Documentos de Trabajo. Lima: Grade.         [ Links ]

Price, Derek J. de Solla. 1951. "Quantitative Measures of the Development of Science". Archives Internationales d'Histoire des Sciences 14: 85-93.         [ Links ]

______. 1964. "The Science of Science". In The Science of Science. Society in the Technological Age, editado por Maurice Goldsmith y Alan Mackay, 195-208. Londres: Souvenir Press.         [ Links ]

"El promedio de publicación de un científico es 10 artículos por año". 2013. El Espectador, 25 de octubre. http://www.elespectador.com.         [ Links ]

Rossiter, Margaret. 1993. "The Matthew/ Matilda Effect in Science". Social Studies of Science 23 (2): 325-341.         [ Links ]

Shenhav, Yehouda. 1987. "Science in LDCs: Connectedness versus Universalism". Science and Technology Studies 5: 34.         [ Links ]

Shenhav, Yehouda y David H. Kamens. 1991. "The 'Costs' of Institutional Isomorphism: Science in NonWestern Countries". Social Studies of Science 21: 527-545.         [ Links ]