Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Cited by Google 
Similars in
SciELO 
Similars in Google 
Permalink
La producción científica como indicador de evaluación del trabajo de los investigadores ha sido de gran interés y controversia. Estudios previos han considerado la producción académica en ciencias básicas como un predictor importante del crecimiento económico de las naciones (Jaffe et al, 2013; Jaffe, Ríos, & Flórez, 2013). En el caso de las ciencias sociales, entre ellas la psicología, la productividad muestra una fuerte asociación con menores índices de corrupción y mayores índices de calidad de vida en países europeos desarrollados (Correa & Jaffe, 2015). Estas evidencias muestran la importancia que tiene el logro de condiciones que incrementen la productividad y calidad de la investigación para el desarrollo de los países. Por ello, los esfuerzos orientados a comprender las fortalezas y debilidades de la productividad científica en general y de la psicología en particular resultan claramente estratégicos.
El hecho de tomar en cuenta los artículos publicados en la Web of Science (WoS) para medir la producción científica ha generado diversas críticas, una de ellas relativa a la cantidad de publicaciones debido a que se han detectado errores en el etiquetado de los registros los cuales no siempre corresponden a artículos propiamente dichos, sino a otro tipo de documentos (Olivas-Ávila & Musi-Lechuga, 2012b, 2013, 2014). Por otra parte, referente a la calidad y a sus atributos, se ha encontrado que el idioma de publicación así como la palabra internacional dentro del título de la revista no necesariamente representa un indicador de su calidad ni de internacionalidad (Buela-Casal, Gutiérrez-Martínez, Bermúdez-Sánchez, & Vadillo-Muñoz, 2007; Buela-Casal, Perakakis, Taylor, & Checa, 2006; Zych & Buela-Casal, 2007).
Al comparar la Web of Science, Scopus y Google Scholar con la producción académica de un staff de profesores de la Universidad de Indiana, Meho y Yang (2006) observaron que Google Scholar fue el servicio de recuperación de información científica más robusta, aunque menos precisa en sus citas, pues no proveía el tipo de documentos desde donde aparece la información (libros, resúmenes de congresos, artículos, etc.). Scopus también mostró inconsistencias en las citas en comparación con la WoS, aunque en esta última sí se recuperaban las citas relevantes a los trabajos buscados, con una sobrerrepresentación de contenidos provenientes de Norte América, y un número reducido y selecto de revistas que además no contabilizan las citas de libros. Existe una tendencia en el uso de programas y herramientas para contabilizar las citas e información bibliográfica para estudios cuantitativos de la ciencia, como lo son los perfiles online de investigadores (e.g., Researcher Id Researchgate, Google Scholar Citations) que agrupan la información por investigador, pero muestran algunas imprecisiones (Olivas-Ávila & Musi-Lechuga, 2014). Algunas aplicaciones como el CITAN tienen la cualidad de ser objetivas y permiten la replicabilidad de sus resultados. Sin embargo, aún tienen algunas imprecisiones, por ejemplo, no tienen la capacidad de corregir la ambigüedad en la captura de los nombres para identificar a un solo autor y también requiere un alto nivel de capacitación para su correcto uso (Gagolewski, 2011).
La inclusión de las revistas al Journal Citation Reports (JCR) y por consiguiente el análisis de su Factor de Impacto (FI) pueden hacerlas atractivas para publicar en ellas a pesar de la polémica que puede suscitar (Buela-Casal & Zych, 2012). Los criterios internacionales de publicación que deben de poseer estas revistas son lectores, autores y comités editoriales internacionales, diseminación y alcance amplios, contar con el aval de expertos del área en la que se encuentre inscrita, revisión por pares exhaustiva, entre otros criterios que pueden revisarse en el artículo teórico de Ruiz-Pérez, Delgado López-Cozar y Jiménez-Contreras (2006) y la clasificación de su grado de internacionalidad en el área de psicología (Olivas-Ávila, Musi-Lechuga, Quevedo-Blasco & Luna-Hernández, 2012).
También existen otros indicadores que buscan ser un poco más completos ya que no solo se cuantifica la producción, sino que también se toma en cuenta el número de citas que recibe cada trabajo, ponderando las citas que recibe cada artículo publicado (Hirsh, 2005; Hirsh & Buela-Casal, 2014; Imperial & Rodríguez-Navarro, 2005). Además, se ha analizado la interacción en cuanto al tipo de artículos, teóricos y aplicados, con el número de citas que reciben (Buela-Casal, Zych, Medina, Viedma de Jesús, Lozano, & Torres, 2009). Desde otra óptica, existen trabajos que analizan la productividad científica por países (Navarrete-Cortés, Quevedo-Blasco, Chaichio-Moreno, Ríos & Buela-Casal, 2009; Vera-Villarroel, López-López, Lillo, & Silva, 2011) o a través de un país en concreto utilizando como fuente la base de datos REDALYC (López Castañares, Druténit Bielous, Tinoco García, & Aguado López, 2013). También se calculan los rankings de universidades públicas españolas a través de su financiación (Buela-Casal, Bermúdez, Sierra, Guillen-Riquelme, & Quevedo-Blasco, 2015; Buela-Casal, Guillen-Riquelme, Ramiro-Sánchez, & Quevedo-Blasco, 2017), a través de los programas de doctorado en Psicología con mención de calidad (Musi-Lechuga, Olivas-Ávila, & Buela-Casal, 2009) o según la mención de excelencia (Olivas-Ávila & Musi-Lechuga, 2012a) y su relación con la financiación que reciben (Musi-Lechuga, Olivas-Ávila, Guillén-Riquelme, & Castro, 2011). Algunos de los trabajos previos y directamente relacionados con el presente estudio, han sido sobre la producción científica de la psicología en España a través de sus profesores (Musi-Lechuga, Olivas-Ávila, Portillo-Reyes, & Villalobos-Galvis, 2005; Olivas-Ávila & Musi-Lechuga, 2010), o de instituciones en concreto (Musi-Lechuga, Olivas-Ávila, Ochoa-Meza, Espinoza Ornelas, & Caraveo Camarena, 2015) que ponen de manifiesto que la evaluación de la ciencia representa una tarea compleja, y que si no se tiene conocimiento de las peculiaridades de las revistas para entender la calidad atribuida de acuerdo a sus indicadores bibliométricos, y por ende a los artículos incluidos, difícilmente se podrá llegar a una comprensión correcta (véase Buela-Casal, 2010). El indicador de producción de artículos es relevante para la promoción de los investigadores (Buela-Casal, 2010) y como consecuencia las implicaciones de publicar en revistas con FI se vuelven importantes (Fernández-Ríos & Rodríguez-Díaz, 2014), esto lleva a la posibilidad de que algunos investigadores realicen ciertas prácticas para visibilizar sus productos (Buela-Casal, 2014).
En las últimas décadas, la actividad de investigación científica de los profesores en instituciones de educación superior y centros de investigación, ha ido cobrando una mayor relevancia en cuanto al impacto de su comunicación. Dado que las instancias de evaluación, ya sean internas (instituciones en las que se encuentran adscritos los investigadores) o externas, principalmente el Consejo Nacional de Ciencia y Tecnología- CONACYT (s. f. a), se han centrado en la calidad de los canales de comunicación de la investigación.
En México, el Sistema Nacional de Investigadores (SNI) fue implementado para reconocer el trabajo científico y tecnológico, con el propósito de otorgar el nombramiento de investigador nacional, distinción que simboliza la calidad y prestigio de las contribuciones científicas realizadas, misma en la que están representadas todas las disciplinas científicas que se practican en el país. La publicación de los trabajos de investigación constituye uno de los indicadores más objetivos que se ha utilizado para medir el rendimiento de los profesores. Los incentivos económicos y el reconocimiento académico a los cuales los investigadores pueden aspirar a través de su pertenencia al SNI han sido parte sustancial del avance científico en las universidades mexicanas y quizás alguna de las motivaciones para consolidarse, de acuerdo a los criterios y estándares del CONACYT (s. f. a).
Los criterios que se establecen en términos generales para la evaluación de los aspirantes al área de Humanidades y ciencias de la conducta, contemplan los avances científicos y académicos de los investigadores mexicanos a través de su producción publicada de calidad, la cual refleja la trascendencia de sus hallazgos a nivel nacional e internacional. Los resultados de dicha evaluación ubican a los participantes en uno de cuatro niveles (Candidato, Nivel I, Nivel II y Nivel III). Para que un investigador pueda ser considerado como Candidato se solicita que posea el grado de Doctor y haber publicado por lo menos un artículo o un capítulo de libro como autor principal, en ambos casos es importante el arbitraje y el alcance de la publicación. Para el Nivel I, debe poseer cinco trabajos publicados ya sea en formato de artículo, capítulo de libro, libro en editoriales que tengan reconocimiento y prestigio, y que garanticen su arbitraje, durante los últimos 3 años, además de haber participado en actividades propiamente docentes.
Existe una serie de requisitos más que han de cumplirse, dependiendo del nivel que las correspondientes comisiones dictaminadoras consideren para promover a un investigador. Por ejemplo, para el Nivel II, además de lo antes mencionado se evalúa la dirección de tesis de posgrado concluidas, el impacto de la investigación a través de las citas recibidas en las obras y la originalidad y relevancia de la contribución. Además, el investigador deberá mostrar liderazgo académico a través de la consolidación de líneas de investigación y formación de investigadores, entre otros (CONACYT, s. f. b). Finalmente, para el nivel III es muy preciado que el investigador posea prestigio nacional e internacional a través de obras de destacada contribución y trascendencia, citas de calidad en sus obras, reconocimientos o distinciones académicas y una formación de recursos humanos ejemplar a través de la dirección de tesis de doctorado y de la integración de grupos de investigación.
Dicha evaluación recae en un grupo pequeño de investigadores con una vasta trayectoria (Nivel III en el SNI), esta resulta en una tarea compleja, ya que realizar los dictámenes a la luz de las evidencias que envía cada investigador implica una evaluación que considera múltiples aspectos. Uno de los asuntos que no están especificados en los criterios de evaluación, que pudiera llevar a la confusión tanto al novel investigador que participa en las convocatorias para su ingreso al SNI, así como a los miembros de las comisiones revisoras y dictaminadoras, es establecer qué se entiende por "editorial de reconocido prestigio científico y académico" o "revistas científicas con arbitraje estricto y circulación nacional e internacional".
En este sentido puede llegar a pensarse que se trata de canales de comunicación de calidad, el problema surge cuando se intenta establecer bajo qué parámetro se está interpretando lo que significa calidad. Para evitar esto, en la actualidad se cuenta con sistemas de agrupación de la información científica, que establecen criterios formales y sistemáticos los cuales deberán cumplir las revistas para ser indizadas en bases de datos, que de manera implícita garantizan la calidad relativa de los hallazgos científicos publicados en ellas.
Por lo tanto, resulta de alto interés el caracterizar descriptivamente la actividad científica de los miembros del SNI a través de la WoS, siendo que los investigadores con esta característica tienen mayores probabilidades de contar con productos científicos de calidad, debido a la consolidación de su carrera académica y como investigadores.
El objetivo general de este estudio es examinar la producción científica de la Psicología en México a través de los miembros del SNI a través de los registros de artículos en la Web of Science. Los objetivos específicos son; (a) realizar un análisis de la producción de artículos incluidos en la Web of Science por miembros del SNI y sus niveles; (b) realizar un análisis de la productividad de artículos incluidos en la Web of Science por universidades y (c) realizar una comparación por sexo.
Método
Diseño
Estudio descriptivo de análisis de documentos de acuerdo a la clasificación propuesta por Montero y León (2007) y con base en la estructura del trabajo de investigación propuesta por Ramos-Álvarez, Moreno-Fernández, Valdés-Conroy y Catena (2008).
Unidades de análisis y materiales
Registros de artículos en la base de datos Web of Science, la cual se encuentra disponible en la plataforma ISI Web of Knowledge, esta base de datos contiene índices de citaciones, así como investigaciones multidisciplinarias en revistas en donde el Jornal Citation Reports calcula su factor de impacto.
Miembros del Sistema Nacional de Investigadores del 2015 del área de Psicología. Bases de datos Web of Science. Lista de los miembros del SNI del 2015 del área de psicología.
Procedimiento
Al momento de realizar las búsquedas es imprescindible tomar en cuenta las observaciones realizadas sobre el manejo de los nombres de los investigadores en la base de datos WoS como lo señalan Ruiz-Pérez, Delgado López-Cozar y Jiménez-Contreras (2002), por lo tanto, es necesario con el objetivo de recuperar el total de los registros hacer combinaciones de los nombres ya que el orden puede variar, este aspecto también lo señalan Musi-Lechuga et al. (2005).
La selección de la muestra se realizó a través de la lista publicada de los miembros del SNI en el 2015 que comprendía a todos miembros en las seis áreas, de los cuales se seleccionó aquellos que estuvieran identificados en el área IV Humanidades y ciencias de la conducta y más en concreto en el campo de psicología dando como resultado a 479 investigadores, por lo que aquellos que no estuvieran en la clasificación no se tomaron en cuenta para la muestra.
Para la recolección de datos se realizó un análisis de los registros de artículos publicados en revistas con factor de impacto incluidas en la base de datos WoS incluyendo todas las colecciones. En primer lugar, se dividieron a los investigadores según su institución de adscripción y las búsquedas se iniciaron en orden alfabético de la adscripción. Posteriormente se ingresó a búsqueda básica seleccionando la opción de autor y se ingresaron las combinaciones posibles del nombre del investigador (véase, Musi-Lechuga et al., 2005; Osca-Lluch, Cirvera Mollá & Peñaranda Ortega, 2009; Ruiz-Pérez et al., 2002), la identificación del autor se consideró el nombre completo como aparece en el listado del SNI. No se limitó el tiempo de búsqueda por lo que se incluyen registros de artículos desde el año 1966 hasta la fecha, esto debido a que es el periodo de tiempo al que se tiene acceso a través de la licencia obtenida por la Universidad Autónoma de Ciudad Juárez para la WoS. Solo se contabilizaron aquellos registros identificados como artículos y revisiones para ello se acotó la búsqueda en el apartado de tipos de documento, a su vez también se consideraron las categorías de no especificado y otros ya que en algunos casos se identificaron algunos registros de artículos en estas categorías. Las búsquedas se realizaron por dos investigadores de manera simultánea e independiente para comparar los resultados y garantizar la mayor fiabilidad de los mismos. Las búsquedas se realizaron a partir de febrero a noviembre del 2016.
Los datos se manejaron bajo un estricto control; sin embargo, existen diversos factores que pueden afectar los resultados de las búsquedas, uno de ellos es la falla que se pudiera presentar en el registro de nombres y apellidos en la base de datos, otro factor es el que alguna revista hubiera perdido su FI en algunos años por lo que no aparece en la WoS y los artículos publicados durante esos años no se pueden contabilizar. Es necesario tomar en cuenta que es una base de datos dinámica, es decir, que se encuentra cargando información de manera constante por lo que los resultados pueden variar de un día a otro.
Resultados
Se analizó un total de 167,484 registros de artículos, de los cuales 3,523 corresponden a los 479 miembros del SNI del área de psicología del 2015 en la WoS.
En la tabla 1 se muestran a los diez investigadores miembros del SNI del área de la psicología con mayor producción en artículos en la WoS, así como la universidad a la que pertenecen, el número de registros de artículos y el nivel de SNI con el que cuentan. En esta tabla el primer lugar lo ocupa Benjet Corina L. con 82 artículos, existe una amplia diferencia entre el primer y segundo puesto de 20 artículos y la diferencia entre el primer y último lugar es de 46 artículos. Los 10 primeros puestos están distribuidos entre miembros de cuatro instituciones.
Tabla 1 Miembros del SNI del área de psicología del 2015 con mayor producción de artículos en la WoS.
Las 10 instituciones con mayor producción en artículos WoS se muestran en la tabla 2, para obtener este ranking se realizó una proporción, tomando en cuenta el número de registros de artículos entre el número de investigadores miembros del SNI adscritos a cada institución.
Tabla 2 Orden jerárquico de instituciones mexicanas de acuerdo a la proporción de artículos e investigadores.
Proporción= número de artículos/ número de investigadores miembros del SNI adscritos a la institución.
La producción científica en artículos WoS también se analizó según el nivel con el que se cuenta en el SNI. La tabla 3 muestra a los investigadores de nivel 3 con mayor producción, en donde la cantidad de artículos publicados oscila entre 82 y 27, los miembros con nivel 2 de 41 a 22 (tabla 4), los miembros con nivel 1 de 32 a 18 (tabla 5) y los candidatos a ser miembros del SNI publican entre ocho y cuatro artículos (tabla 5).
En la tabla 7 se muestra la distribución de la producción en artículos WoS por sexo, en donde se observa que las mujeres cuentan con una mayor producción con una proporción de 7.72 artículos por investigadora, mientras que los hombres cuentan con una proporción de 6.82 artículos por investigador. Los miembros del SNI 2015 cuentan con una proporción general de 7.35 artículos por investigador.
Discusión
La presente investigación permitió aproximarse a un panorama distinto ya que visibiliza la producción de publicaciones de miembros del SNI del área de psicología, así como por nivel (candidato, I, II y III), por institución y un análisis por sexo. Por lo tanto, teniendo en cuenta este matiz, se puede conjeturar que quienes no figuran en estos resultados, utilizan otros canales de comunicación, ya sea libros, capítulos de libros, y en definitiva, revistas no incluidas en la WoS. Además, se debe considerar que la muestra ha sido consultada a través de una lista que se publica en la web del CONACYT, en donde aparecen los investigadores vigentes distribuidos en las seis áreas de conocimiento, nivel, disciplina, datos de adscripción, entre otros. Por lo tanto, no se pretendía consultar otra fuente para aclarar las adscripciones de cada investigador y las omisiones pueden deberse a lo anterior.
Al comparar los resultados del presente estudio con investigaciones realizadas en España (Musi-Lechuga, et al., 2005, Olivas-Ávila & Musi-Lechuga, 2010) se encontró que el número de registros de artículos de los profesores con mayor producción fue de 168 a 64, mientras que en México fue de 82 a 36 artículos publicados. Con relación a la producción de artículos por institución de adscripción se muestra que un número reducido de profesores concentra un gran porcentaje de la productividad, así se cumple la ley de Zipf-Pareto (Liming & Lithua, 1993), en este caso se destacan dos; la Universidad Nacional Autónoma de México y el Instituto Nacional de Psiquiatría Ramón de la Fuente Muñiz.
De acuerdo con los resultados de las tablas 3, 4 y 5, se observó que el tiempo de pertenencia como miembro del SNI explicaría la razón por la cual los miembros del nivel III tienen el mismo número de artículos que algunos miembros del nivel II y estos últimos igual número de artículos que algunos miembros del nivel I, esto se puede atribuir a que, además del número de publicaciones, es necesario contar con una línea de investigación consolidada, por lo que la variedad en temas de publicación puede postergar su promoción al siguiente nivel.
A diferencia de otros estudios en los cuales las mujeres se ven subrepresentadas, y presentan un nivel de producción inferior al de los hombres (Didou Aupetit & Gérard, 2011; Olivas-Ávila, Musi-Lechuga, Guillen-Riquelme & Castro, 2012; Velasco, Vilariño, Amado & Fariña, 2014) en el presente estudio se ha constatado que en el área de Humanidades y Ciencias de la Conducta, la membresía de mujeres en el SNI casi llega al 60%, además de que de manera proporcional las investigadoras publican casi un artículo más que los hombres.
Como resultado de esta investigación, se concluye que la descripción de la actividad científica de los miembros del SNI a través de artículos en la WoS, nos ha dejado ver el panorama cuantitativo de la actividad científica de productos que pueden ser considerados de relevancia internacional por estar indexados en dicha base de datos. Los retos a futuro podrían ser que se establezcan criterios de evaluación para el ingreso al SNI más claros en lo referente a la categoría de las publicaciones en revistas de reconocido prestigio. Este tipo de estudios es de utilidad para establecer los parámetros de acuerdo a las dinámicas de publicación según cada área científica y en cada subdisciplina de la psicología, como se observó en Musi-Lechuga et al., (2005). Finalmente, algunos de los factores que puede también influir en la publicación son el contexto laboral, acceso a la financiación de proyectos de investigación y tradiciones de investigación dentro del área de estudio, estas condiciones pueden afectar y predecir su futuro como investigadores (Prpic, 2000).
