1. Introducción

Las bases bibliométricas internacionales en las que se basa la evaluación de la productividad científica (particularmente Web of Science y Scopus) presentan un sesgo muy marcado en contra de la producción científica en idiomas distintos al inglés (^{Archambault et al. 2006}; ^{Giménez-Toledo, Román-Román y Alcain-Partearroyo, 2007}; ^{Narvaez-Berthelemot y Russell, 2001}; ^{Van Leeuwen, Moed, Tijssen, Visser y Van Raan., 2001}). Esto representa un indudable problema para la evaluación de la investigación en ciencias sociales y humanidades en países no anglófonos. En rigor, dos problemas son evidentes en este sentido: (1) el sesgo lingüístico y (2) la falta de cobertura de documentación académica no difundida a través del formato de artículo científico (por ejemplo, libros, ponencias en congresos y capítulos de libro). Si bien ambos aspectos pueden carecer de relevancia en algunas ciencias duras, donde el formato dominante a partir del cual se construye la reputación científica es el artículo publicado en revistas con referato en idioma inglés, resultan de importancia en las ciencias sociales. El advenimiento de Google Scholar ha sido reconocido en la literatura de ciencias de la información como una alternativa más adecuada que Scopus y la Web of Science para evaluar la producción de conocimiento generado en las ciencias sociales y las humanidades (^{Harzing y Van der Wal, 2007}; ^{Harzing y Alakangas, 2015}; ^{López-Cózar, Orduña-Malea y Martín-Martín, 2019}; ^{Orduña-Malea, Martín-Martín, Ayllón y López-Cózar, 2016}), no sólo por democratizar el acceso a la información debido a su gratuidad sino a su superior cobertura de documentación, que morigera notablemente los dos problemas planteados anteriormente.

En este trabajo, utilizaremos tanto Scopus como Google Scholar como bases de datos para obtener información que nos permita examinar en detalle la producción e impacto de la investigación en ciencias sociales en la República Argentina. Concretamente, en un contexto en el cual la dimensión local/regional y la dimensión “internacional” (término engañoso, ya que sólo toma como internacional a la producción difundida en idioma inglés y publicada en revistas académicas indexadas) conforman circuitos de publicación separados (^{Beigel, 2014}, 2015; ^{Beigel y Salatino, 2015}), nuestro interés radica es responder en qué medida la participación de los investigadores en uno u otro circuito contribuye a construir su reputación y prestigio académicos. ¿Nos encontrarnos con poblaciones diferenciadas de científicos, unos que apuntan su producción a la arena científica internacional y otros que privilegian la producción nacional o regional (^{Hanafi, 2011})? ¿En qué medida el grado de internacionalización de la producción, en sus diferentes formatos, contribuye más a aumentar el prestigio general de los académicos, operacioanalizado a través de métricas corrientes en cientometría como el índice h de ^{Hirsch (2005)}. Esta investigación procurará responder a estos interrogantes. El análisis tomará las disciplinas de la administración y la economía, por un lado, y la sociología, por el otro, que podrían mostrar características distintas en términos de los determinantes del prestigio y la productividad científica. El objetivo central del trabajo es examinar la diferencia existente el nivel de productividad científica y el impacto de la misma, tal cual se registran en bases científicas internacionales como Scopus, y ambos aspectos pero evaluados a partir de Google Scholar. Analizaremos, además, si ambas variables (productividad e impacto) están asociadas a otras características de los investigadores individuales (duración de la trayectoria académica, nivel de trayectoria alcanzado y grado de internacionalización de la producción).

2. Datos y métodos

A los efectos de analizar la productividad y el impacto de investigadores en ciencias sociales argentinas, hemos tomado las disciplinas de la economía y la sociología y seleccionado la totalidad de los investigadores que se desempeñan en las mismas en el Consejo Nacional de Investigaciones Científicas y Tecnológicas (CONICET). Ello obedece a que dicha institución concentra a los principales y más productivos científicos del país, quienes si bien pertenecen formalmente a la misma también mantienen lazos institucionales con las principales universidades públicas y privadas argentinas en las cuales también ejercen docencia y mantienen una sede de investigación (^{Pitta, 2021}). Este criterio permite que la muestra de investigadores corresponda efectivamente a personal que se dedica a tiempo completo a la investigación, algo que no es lo más común entre los planteles de docencia de las universidades argentinas.

Los datos de los investigadores fueron obtenidos de la página web del CONICET (www.conicet.gob.ar) a partir de una búsqueda de personal de investigación, tomando todas las categorías de revista del escalafón de la carrera de investigador científico, quienes típicamente tienen un doctorado y experiencia de investigación previa a su incorporación a dicha carrera (^{Pitta, 2021}). El número de investigadores por disciplina es de 148 en economía y administración, a la que nos referiremos en adelante sólo como economía porque los representantes de las disciplinas de contabilidad, administración pública y administración de empresas corresponden a una minoría muy reducida, y 497 en sociología , con lo cual se elaboró una base de datos de 645 investigadores en ciencias sociales.

De cada investigador se obtuvieron los siguientes datos: número de documentos, citas recibidas por cada documento e índice h de la base bibliométrica Scopus, la cual presenta una mayor cobertura de publicaciones en revistas de idiomas distintos al inglés que el Social Sciences Citation Index de la Web of Knowledge, y de Google Scholar, en este último caso utilizando el programa “Publish or Perish” versión 4 (^{Harzing, 2010}). Al respecto, es importante señalar que debió llevarse a cabo un extenso proceso de depuración de datos ya que la información de los investigadores obtenida de Google Scholar presenta problemas de homonimia y de duplicación de documentos (^{Jacsó, 2005}; ^{López-Cózar et al., 2019}; ^{Orduña Malea, Martín-Martín y López-Cózar, 2017}). En este sentido, hay que tener en cuenta que los artículos de algunas revistas suelen aparecer como artículos independientes por tener títulos en inglés y en castellano, lo cual debió ser corregido para evitar la duplicación. De los 645 investigadores de la base de datos, no fue posible obtener información de siete de ellos en Google Scholar por problemas de homonimia. Además, se relevó información de los siguientes indicadores por investigador: antigüedad en la profesión en base a la diferencia entre el año 2021 y el año de su primer documento obtenido en la base Google Scholar, categoría de revista en la carrera de investigador científico (que contempla las de asistente, adjunto, independiente, principal y superior), y visibilidad de su producción en Scopus, que surge como el cociente de la totalidad de sus documentos en Scopus sobre el total de documentos en Google Scholar. El extenso proceso de recopilación de datos se desarrolló entre los meses de febrero de 2020 y enero de 2022.

A los efectos de estudiar los determinantes de la productividad (número de documentos) y el impacto o prestigio individual (evaluado a través del índice h) se realizaron análisis de regresión binomial negativa, debido a la naturaleza discreta de las variables dependientes, utilizando el programa Stata 12.

3. Resultados

En primer lugar, brindamos algunos resultados de índole descriptiva de acuerdo a la información obtenida de nuestra base de datos. La Tabla 1 presenta los datos por categoría y disciplina. Se observa un marcado predominio del número de sociólogos por sobre el de economistas, quizás ello obedezca a que la formación en economía tenga una orientación más profesionalizar en Argentina y que la investigación científica no sea una vía de desarrollo personal muy buscada por quienes provienen de esa disciplina, mientras que no ocurriría lo mismo en el caso de la sociología. Alternativamente, podría también existir una preferencia por la sociología frente a la economía por parte de quienes definen las políticas de reclutamiento del CONICET. En ambas disciplinas, la distribución por categoría es similar, con mayor peso de las categorías iniciales (asistente y adjunto) que representan en conjunto el 66% en economía y el 76% en sociología. En cambio, las categorías más altas (principal y superior), reservadas a la élite de la jerarquía de la carrera de investigador científico de la institución, sólo corresponden al 11% en el caso de economía y el 7% para sociología.

A continuación, presentamos los datos de la productividad e impacto de los investigadores en las disciplinas analizadas. Comenzamos por la economía, cuyas medias se informan en la Tabla 2. Cabe señalar que el número de investigadores con datos en Scopus es superior al número de los mismos con datos en Google Scholar, simplemente porque debido a razones de homonimia no fue posible calcular este último en dos casos particulares. Las tres primeras columnas contienen los datos de la base Scopus. Puede observarse que tanto en el caso de la productividad en términos de documentos indexados como del impacto, medido por las citas y el índice h de los investigadores, hay mejores indicadores en el caso de los investigadores de las categorías independiente y principal. En parte, esto se explica por el hecho de que sus carreras (indicador de antigüedad) han sido en promedio más extensas. Sin embargo, en la clase superior, aunque en promedio existe mayor antigüedad, hay menos documentos en Scopus y citas, posiblemente porque su producción más relevante no se encuentre registrada en dicha base de datos. Además, comparando las categorías adjunto y asistente, vemos que con sólo cuatro años y medio promedio de mayor antigüedad se verifica un mayor número de citas, de documentos publicados, y un modesto aumento del índice h. El impacto académico en términos de citas e índice h es mayor, en promedio, en el caso de los investigadores independientes. Comparando estos resultados con los obtenidos utilizando Google Scholar observamos, en cambio, que los promedios de citas, índice h y documentos aumenta progresivamente con la categoría, correspondiendo las cifras más destacadas a la categoría de investigación superior. Esto apoya la idea de que la producción de estos últimos no está adecuadamente reflejada en Scopus, quizás por su fecha de publicación. Adicionalmente, este hallazgo sería indicativo de que la posición en la jerarquía de investigadores está en cierta medida, y en promedio, sostenida por la noción meritocrática de productividad e impacto. Efectivamente, al analizar la proporción numérica del número de citas y documentos de Scopus sobre el número de Google Scholar, resulta claro que la producción de los investigadores superiores está recogida en mucha menor medida en Scopus que aquella efectuada por investigadores de otras categorías. Entre estas últimas, la que parece recogerse en mayor proporción en Scopus es la realizada por los investigadores adjuntos.

El caso de la sociología es analizado en la Tabla 3. Vale la misma aclaración sobre el número de investigadores que la realizada para el caso de los investigadores en economía, aunque en este caso los problemas de homonimia se produjeron para cinco investigadores. A diferencia de lo que encontramos en el caso de la economía, se verifica una tendencia de incremento de los valores promedios en Scopus de citas, documentos e índice h, a medida que ascendemos en el escalafón de categorías. Lo mismo ocurre para los datos provenientes de Google Scholar, algo que sí es similar a lo observado para la economía. Nuevamente, podemos verificar una cierta tendencia al productivismo académico como base meritocrática de ascenso y permanencia en las distintas categorías. Esto parece bastante marcado para el caso de la categoría de investigador superior. Por último, los datos sugieren que la proporción de los números de citas y documentos obtenidos en Scopus sobre aquellos provenientes de Google Scholar parece similar en todas las categorías, siendo más elevada en la categoría de investigador principal. Esta proporción es, sin embargo, bastante inferior a la que se registra en el caso de la economía. Aquí podemos señalar una diferencia importante entre ambas disciplinas: la productividad, y consecuente impacto, en términos de publicaciones en Scopus es mayor en el caso de la economía. Esto se verifica en todas las categorías del escalafón. Por ejemplo, en el caso de los investigadores independientes en sociología habría en promedio 5.57 documentos en Scopus, contra 16.66 de la categoría respectiva en economía. La diferencia en las citas es de 46.59 en sociología contra 176.11 en economía. Esto se refleja igualmente para dicha categoría en el índice h: 1.83 en promedio en sociología contra 5.22 en economía.

El hallazgo anterior es indicativo de una interesante diferencia en los patrones de publicación de los investigadores de ambas disciplinas. Mientras que en economía, los investigadores publican en revistas indexadas en bases internacionales, que preferentemente recogen aquellas publicaciones periódicas escritas en inglés, quienes se dedican a la sociología publican en menor proporción en tales destinos. Quizás ello obedezca a que existe un mayor abanico de publicaciones en castellano en las cuales resulta más deseable o, al menos, posible ubicar su producción a los sociólogos. Este resultado sugiere que la economía es una disciplina más internacionalizada que la sociología en términos de ubicar su producción en revistas indexadas en bases bibliométricas internacionales.

Por otra parte, al comparar las cifras de citas y publicaciones de economistas y sociólogos en Google Scholar vemos que, excepto las categorías de asistente y superior, el número promedio de documentos por investigador es mayor para el caso de la economía. Por cierto, no se trata de diferencias muy importantes si las consideramos en términos percentuales. Ocurre algo similar en el caso de las citas promedio recibidas, verificándose una mayor preponderancia para el caso de la economía en algunas categorías (718 contra 313 para investigadores adjuntos y 1384 contra 770 para independientes) y menor en otras (160 para investigadores asistentes en sociología contra 150 en economía, 1920 contra 1536 para principales y 6283 contra 2750 para superiores). Esto refuerza la idea anterior de que el predominio de los economistas se da principalmente en el caso de las publicaciones recogidas en bases bibliométricas internacionales como Scopus, mientras que los hallazgos de Google Scholar, que tienden a ser más abarcativos de la totalidad de la producción de los investigadores, arrojan resultados no tan disímiles entre investigadores de las dos disciplinas.

A continuación, presentamos las correlaciones para un conjunto de variables en ambas disciplinas (Tablas 4 y 5). Se observa que existe una elevada correlación entre el índice h de Scopus y el número de citas en Scopus (0.83 en economía y 0.70 en sociología), lo cual es esperable ya que se trata de dos indicadores que miden el impacto. Lo propio ocurre cuando ambos indicadores son obtenidos de Google Scholar (0.88 en economía y 0.83 en sociología). También hay alta correlación entre los indicadores de productividad (número de documentos) e impacto. En Scopus, la correlación entre documentos e índice h es 0.77 para economía y 0.86 para sociología, mientras que en Google Scholar, estas correlaciones son de 0.82 en economía y 0.77 en sociología. Los índices de correlación son algo menores entre documentos y citas (en Scopus: 0.66 en economía y 0.58 en sociología, en Google Scholar: 0.70 en economía y 0.73 en sociología). Otro valor de correlación alto y ciertamente anticipable es el que se da entre la antigüedad de los investigadores y la categoría de los mismos, operacionalizada en forma de escala numérica ascendente (con valor igual a 1 para la categoría menor de asistente, valor 2 para adjunto, valor 3 para independiente y valor 4 para las categorías de principal y superior, que se consolidan ya que esta última tiene muy pocos integrantes). Esto se produce porque la antigüedad es uno de los factores más relevantes en los ascensos de categoría. Es particularmente interesante notar que no se observan correlaciones muy elevadas entre la categoría de los investigadores, por un lado, y el índice h, la productividad y las citas en Scopus, por el otro. Sí son evidentes valores indicativos de una correlación positiva relevante en el caso de Google Scholar. (en economía, el mayor valor se da en el caso del número de documentos con 0.70 y en sociología del índice h con 0.64). Algo similar ocurre con la variable antigüedad, que tiene una correlación positiva de 0.61 con el número de documentos en Google Scholar, tanto en economía como en sociología. Por último, la variable visibilidad en Scopus (estimada como la proporción de documentos en Scopus sobre el total de documentos en Google Scholar, que por su mayor cobertura se presume como abarcativa de la casi totalidad de la producción relevante de los investigadores) se asocia con mayor fuerza, y como es previsible, tanto a la productividad como al índice h en Scopus en ambas disciplinas. Si bien algunos valores de correlación entre ciertas variables son altos, ello no implica problemas de multicolinearidad que invaliden el análisis de regresión binomial negativa realizado para precisar mejor las relaciones entre las variables y cómo afectan en conjunto a variables dependientes particulares.

La Tabla 6 toma como variable dependiente el prestigio total, una variable de impacto individual operacionalizada mediante el índice h de Google Scholar. En el caso de la sociología, vemos en el modelo 1 que tanto la productividad total en Google Scholar como la antigüedad afectan positivamente y en forma estadísticamente significativa al prestigio. La introducción de esta última variable tiene una obvia intención de control, ya que es esperable un incremento de variables dependientes como productividad e impacto de acuerdo a los años acumulados en actividades de investigación por parte de los académicos. El modelo 2 agrega la variable visibilidad en Scopus, como proporción del total de documentos de cada investigador que aparecen en dicha base. La variable incorporada también impacta con significatividad estadística al prestigio en Google Scholar e incluso mejora el ajuste estadístico del modelo, de acuerdo a test de likelihood ratio (con p < 0.05). Las otras dos variables mantienen sus efectos. Al considerar la economía, los resultados cambian. En primer lugar la antigüedad no tiene efecto estadísticamente significativo. Sólo la productividad en Google Scholar afecta el prestigio en dicha base. En el modelo 2 el hecho de que los investigadores orientan en mayor medida su producción a publicaciones visibles en Scopus no parece afectar su prestigio medido en Google Scholar. Además, este modelo debe ser rechazado porque no comporta un ajuste más adecuado a los datos según el test de likelihood ratio.

Cuando el prestigio se operacionaliza mediante el índice h obtenido de la base Scopus, hay interesantes cambios en los resultados, que se detallan en la Tabla 7 . En el caso de la sociología, la antigüedad deja de tener un efecto positivo y estadísticamente significativo en el modelo 2. Este último presenta una mejor bondad de ajuste, de acuerdo al test de likelihood ratio, y la variable visibilidad en Scopus que incorpora ejerce, como sería esperable, un efecto estadísticamente significativo sobre el prestigio dado que este último es calculado precisamente de dicha base. En el caso de la economía, la antigüedad muestra un efecto negativo sobre el prestigio, que es estadísticamente significativo en los modelos 1 y 2 (que ofrece mejor bondad de ajuste que el primero). Esto no es sorprendente. Posiblemente aquellos investigadores con carreras más dilatadas hayan producido en los años iniciales de las mismas un número importante de documentos que no se encuentren indexados en esta base o, simplemente, que el imperativo del publish or perish en bases internacionales no represente una serie presión para publicar en revistas indexadas en Scopus por haber cimentado su trayectoria antes de que el mismo fuese considerado relevante dentro de la comunidad nacional en la disciplina. La visibilidad en Scopus tiene, nuevamente, un efecto positivo, estadísticamente significativo, sobre el prestigio

La Tabla 8 ofrece los resultados de la regresión binomial negativa tomando como variable dependiente la productividad en Google Scholar (número total de documentos). En el caso de la sociología, el análisis es sencillo ya que tomamos una variable independiente de interés, la visibilidad en Scopus, y la antigüedad como variable necesaria de control, que aparece con el previsible efecto positivo y estadísticamente significativo. Lo que no resulta esperable es que la visibilidad en Scopus, también con significatividad estadística, presente un efecto negativo. Esto podría indicar que los investigadores que orientan más su producción a publicaciones indexadas en Scopus parecen tener un menor nivel de productividad total en la disciplina, tal cual surge de Google Scholar. En economía, los resultados son distintos. Si bien la variable visibilidad en Scopus tiene signo negativo, su efecto no resulta estadísticamente significativo.

Cuando la variable dependiente de interés es la productividad en Scopus (Tabla 9), los resultados difieren de los obtenidos con Google Scholar. Se observan, en rigor, efectos similares en economía y sociología. La antigüedad obviamente tiene un efecto positivo sobre la productividad, y la visibilidad en Scopus tiene un efecto positivo y estadísticamente significativo en ambas disciplinas, en línea con lo que cabría esperar ya que lo que privilegian los investigadores aquí en la visibilidad en esta base de datos.

4. Conclusión

El presente trabajo analiza la productividad e impacto de los científicos sociales argentinos en economía y sociología, a partir de una extensa base de datos que comprende la totalidad de los investigadores del CONICET en las mencionadas disciplinas. El objetivo central de la investigación ha sido, por un lado, examinar el efecto de la orientación de los investigadores hacia una mayor visibilidad de su producción en bases internacionales, que hemos operacionalizado como el total de documentos indexados en nuestra base bibliométrica de elección, Scopus, sobre el total de documentos obtenidos de la base de datos Google Scholar, sobre la productividad y prestigio académico de los mismos y, por el otro, ver si este efecto difiere según la disciplina académica considerada.

Los resultados indican que el prestigio académico de los investigadores evaluados considerando su índice h en Google Scholar es afectado positivamente y en forma estadísticamente significativa por su antigüedad, su productividad y su visibilidad en Scopus en sociología, mientras que en economía sólo resulta afectado por su productividad. Cuando se mide el prestigio utilizando el índice h de Scopus, los resultados son similares en ambas disciplinas: tanto la productividad total como la visibilidad en Scopus influyen en forma positiva y estadísticamente significativa sobre el prestigio. Cuando la variable dependiente es la productividad total obtenida en Google Scholar, la visibilidad en Scopus afecta negativa y en forma estadísticamente significativa a la misma únicamente en sociología, sugiriendo que en esta disciplina priorizar publicaciones en bases bibliométricas internacionales parece asociarse a una menor productividad general, controlando naturalmente el efecto de la antigüedad en la dedicación a la investigación. Por último, y como es previsible, la visibilidad en Scopus sí afecta a la productividad obtenida en dicha base en ambas disciplinas. Por último, cabe destacar que, en promedio, los investigadores en economía presentan mejores niveles de productividad e impacto (citas recibidas e índice h) en Scopus que sus pares de sociología, lo que podría indicar que la economía es una disciplina que privilegia más la internacionalización de la producción a través de artículos en bases científicas que la sociología, lo cual últimamente podría haberse convertido en un patrón de evaluación académica más similar al existente en las ciencias duras.