1. Introducción

La investigación como simple proceso de comprobación o refutación de los supuestos, teorías y fenómenos, es imprescindible, ya que permite situar un área del conocimiento a la vanguardia demostrando lo que tiene utilidad y lo que no. Estos hallazgos por sí solos no tienen relevancia si no se comunican, por lo tanto, la publicación de artículos es una actividad fundamental principalmente en las universidades y centros de investigación (^{Olivas-Ávila & Musi-Lechuga, 2010}). El fenómeno de la globalización se ha visto beneficiado por los avances en la comunicación, razón que ha permitido un desarrollo más acelerado en la ciencia. Las revistas de gran prestigio y, por ejemplo, las incluidas en la Web of Science (WoS), son consideradas por la comunidad científica de referencia en calidad académica para cada campo de conocimiento (Olivas-Ávila & Musi-Lechuga, 2010; ^{Buela-Casal, Bermúdez, Sierra, Quevedo-Blasco & Castro, 2009}; Musi-Lechuga, Olivas-Ávila, Portillo-Reyes & Villalobos-Galvis, 2005).

La WoS es una herramienta muy útil, utilizada y respetada por la comunidad científica, sin embargo, también tiene ciertas limitaciones e inconvenientes (Granda, 2003). Ante estas circunstancias, desde hace unos años a la WoS le ha salido un competidor importante: Scopus, base de datos fundada en 2004 (^{Burham, 2006}). Ambas bases de datos han supuesto la popularización del acceso a la información científica y de la evaluación de la investigación (^{Cabezas-Clavijo & Delgado-López-Cózar, 2013}).

La evaluación de la productividad científica es un ejercicio necesario, ya que de esta manera los investigadores y de manera global las universidades reciben ciertos beneficios a través de las evaluaciones de los organismos institucionales (Agencia Nacional de Evaluación y Prospectiva ANEP, Comisión Nacional Evaluadora de la Actividad Investigadora CNEAI o la Agencia Nacional de Evaluación de la Calidad y Acreditación ANECA). Por ello es muy importante que existan indicadores para cada área del conocimiento (^{Carbonell & Calvó, 2009}). Por lo tanto, en algunos campos del conocimiento y, especialmente en el ámbito de las ciencias sociales (^{Torres-Salinas & Jiménez-Contreras, 2010}), surge la pregunta ¿qué bases de datos se deben emplear para nuestros análisis bibliográficos? Esta pregunta ha sido tema de estudio para algunos investigadores, sin embargo, no se ha llegado a un consenso (^{Granda-Orive et al., 2013}). ^{Escalona Fernández, Lagar Barbosa y Pulgarín Guerrero (2010}) llegaron a la conclusión de que existe una alta semejanza entre WoS y Scopus, resultando complementarias pero no excluyentes. Sin embargo, otros estudios no han llegado a la misma conclusión, remarcando que la utilización de cada base de datos dependerá de un conjunto de factores, entre ellos la disciplina de estudio (^{Bakkalbasi, Bauer, Glover & Wang, 2006}; Carbonell & Calvo, 2009).

Dos aspectos, primordiales, de la actividad investigadora son tenidos en cuenta por agencias y comisiones de evaluación: la cantidad y la calidad de lo producido. No siempre los indicadores de estos dos aspectos han confluido, dando lugar a numerosos debates y posiciones encontradas al respecto (^{Salgado & Páez, 2007}). Los dos criterios fundamentales utilizados en España son, además de la cantidad de artículos publicados (criterio de producción) en revistas indexadas en WoS o Scopus, el número de citas que el trabajo de investigación ha recibido y el índice de impacto de la revista en la que se ha publicado el trabajo de investigación (criterio de calidad). Para calcular este último criterio, en el año 2005, Jorge Hirsch presentó el llamado h-index, con el que sugería que se podía evaluar la actividad científica de los investigadores y que superaba las limitaciones de otros índices ampliamente utilizados de clasificación de la productividad científica (Hirsch, 2005). La novedosa propuesta del físico Hirsch condensa en un solo indicador las dimensiones cuantitativa (producción) y cualitativa (citas) de la investigación, el h-index se ha convertido en el patrón oro de la evaluación científica (^{Cabezas-Clavijo & Delgado-López-Cózar, 2013}).

Por ello, es importante establecer indicadores claros de la cantidad y calidad de lo producido, especialmente en aquellas áreas de conocimiento que han sido poco estudiadas y analizadas, como son el área de Educación Física (EF) y el área de Didáctica de la Expresión Corporal (DEC) (Reverter-Masià, Hernández-González, Jové-Deltell, De Jesus Fonseca & Legaz-Arrese, 2013a). Así pues, la escasez de análisis de las disciplinas mencionadas justifica la realización de este estudio.

El presente trabajo tiene como objetivo hacer un análisis comparativo de la producción de todos los profesores funcionarios con sexenio¹ de las áreas de EF y DEC por medio de artículos en revistas en las bases de datos WoS y Scopus. Además se realizó un análisis por universidades, revistas, así como por años de publicación de los diferentes trabajos de cada uno de los autores de la muestra de las dos áreas analizadas y, por último, se analizó el h-index de Hirsch.

2. Metodo

3. Resultados

Se analizó un total de 124 profesores, de los cuales 35 corresponden al área de DEC y 89 al área de EF. En la base de datos de WoS, de los 35 profesores del área de DEC, 30 tenían artículos en la base de datos WoS (85,71 %) y de los 89 profesores del área de EF, 83 tenían artículos en la base de datos WoS (93,25 %). En la base de datos Scopus, un total de 29 profesores de DEC tenían artículos, es decir un 82,85 %, mientras que en el área de EF un total de 80 profesores tenían como mínimo un artículo en dicha base, lo que supone un 89,88 %.

3.1. Profesores con mayor producción por áreas académicas

En la Figura 1 se muestra por áreas el número de registros de artículos con el que cuentan los profesores y el Índice h que tienen. Cabe resaltar que en las dos áreas de conocimiento se produce la relación mayor producción en artículos mayor Índice h. En cuanto a la producción de artículos en DEC se observa que hay prácticamente el mismo número de artículos tanto en WoS como en Scopus. En el área de EF se observa mayor producción de artículos en Scopus (Tabla 1).

Figura 1 N.º de artículos, n.º de revistas e Índice h en las áreas de DEC y EF en las bases de datos WoS y Scopus. 

3.2. Producción por universidad

Los datos recabados en la Tabla 1 muestran que en el área de DEC, la Universidad de Cádiz es la que mayor producción media de artículos tiene en las dos bases de datos, seguida de la Universidad de Canarias y la Universidad de Extremadura; estas ocupan el segundo y tercer lugar a nivel de producción. Por otra parte, cabe destacar que las Universidades de Valencia, Autónoma de Madrid, Castilla la Mancha, País Vasco y Granada son las que tienen más profesorado con sexenio que publica en revistas de impacto en WoS y Scopus.

Tabla 1 Producción por universidades en artículos de revistas registradas en la base de datos WoS y Scopus. 

En el área de EF son la Universidad de Canarias, la Universidad de Zaragoza y la Politécnica de Madrid las que ocupan las primeras posiciones en cuanto a producción, mientras que las que tienen más profesorado que publica en revistas de impacto en WoS y Scopus son Granada, León y Valencia. De manera general, se observa que a mayor número de artículos, mayor Índice h medio, observándose correlaciones muy altas en el área de EF, no ocurriendo igual en DEC (Tabla 1).

3.3. Revistas con mayor número de registros de artículos por áreas

Tabla 2 Revistas registradas en la base de WoS y Scopus con mayor número de registros. 

En cuanto al área EF más de la mitad de profesores publica sus artículos en revistas del primer y segundo cuartil en Scopus (65 %) y prácticamente ocurre igual en WoS (Tabla 2).

3.4 Producción total por áreas académicas

Para el cálculo de la producción media de registros por área analizada, se tomó en cuenta el número total del profesorado que ha publicado en WoS y Scopus y también el número total de registros identificados como artículos. Como se observa en la Tabla 3, el área de EF tiene una media de 13,33 artículos en WoS, mientras que en Scopus la media es de 15,97 artículos. El área de DEC cuenta con una media de 6,20 artículos tanto en WoS como en Scopus. El número de autores firmantes por artículo en el área de EF es de 5,71 en WoS y 7,16 en Scopus y en el área de DEC es de 4,78 en WoS por los 4,51 de Scopus (Tabla 3).

Tabla 3 Producción en artículos de revistas registradas en la base de datos WoS y Scopus y correlaciones. 

Como se observa en la Figura 2, las áreas académicas objeto de estudio han tenido una evolución muy pareja en cuanto a producción de artículos se refiere, se puede ver claramente como las dos áreas tienen un crecimiento exponencial a partir del 2005.

Figura 2 Evolución de la producción de artículos en revistas registradas en la base de datos WoS y Scopus. 

4. Discusión

Este es el primer estudio, del que se tenga conocimiento, que analiza las producciones científicas en las áreas de EF y DEC en WoS y Scopus en profesores funcionarios con sexenio en España. El presente trabajo pone de manifiesto que existen importantes diferencias en la producción de los profesores del área de EF y DEC en artículos de revistas con factor de impacto tanto en WoS como en Scopus. En nuestro artículo se ha podido comprobar que en general los profesores publican más trabajos en Scopus que en WoS. También se ha podido observar que los trabajos en Scopus son más citados que en WoS; este hecho queda patente en los Índices h de ambas bases de datos, siendo mayores en Scopus. Estos resultados coinciden con lo comunicado por otros autores, Granada et al. (2013) y ^{López-Illescas, Moya-Anegón y Moed (2008}). Estos últimos, al analizar la cobertura y el impacto en ambas bases de datos sobre revistas en oncología, encontraron que Scopus cubre un mayor número de ellas. Según dichos autores, estas revistas de oncología, indexadas en Scopus, fueron predominantemente españolas, orientadas a un lector nacional, no incluidas completamente en bases de datos internacionales, escritas en idiomas diferentes al inglés y con un menor factor de impacto (López-Illescas et al., 2008). Podemos comprobar que en nuestro trabajo no ocurre lo mismo, la mayoría de revistas presentes en Scopus se encuentran en WoS, aunque sean españolas, por ejemplo, Psicothema. Sin embargo, el estudio de López-Illescas et al. fue realizado en el 2008 y muchas de las revistas durante los últimos años han realizado un esfuerzo considerable para aumentar su visibilidad, publicando sus trabajos en inglés (por ejemplo, Revista Internacional de Medicina y Ciencias de la Actividad Física y del Deporte) y ampliando su cobertura en diferentes bases de datos.

Por otra parte, al igual que en ^{López-Illescas et al. (2008}), en nuestro trabajo sí se observa un menor factor de impacto de las revistas en la base de datos WoS versus Scopus, probablemente debido a un mayor número de revistas fuente registradas en la base de datos Scopus respecto a la base de datos WoS (^{Santa & Herrero-Solana, 2010}). Por otra parte, también se observa que en las dos áreas analizadas la publicación de artículos en el primer cuartil es muy escasa, con lo cual se aprecia que existe mayor cantidad que calidad en la producción científica. Si comparamos los resultados con otros estudios a nivel nacional se observa que las áreas analizadas se encuentran muy por debajo de la media nacional, donde el 50 % de las publicaciones se realiza en revistas del primer cuartil (^{Torres-Salinas, Delgado-López-Cózar, García-Moreno-Torres & Herrera, 2011}).

En nuestro trabajo también se constata la relación existente entre la cantidad de artículos y el Índice h. En este trabajo, hemos tratado de examinar la potencia del Índice h como un indicador de la calidad de la producción, los datos indican que la mayor productividad de un investigador va ligada a la calidad de la investigación, las correlaciones muestran que este hecho ocurre tanto en WoS como en Scopus. El Índice h es ante todo un indicador a emplear para valorar la trayectoria científica de un investigador, midiendo su regularidad en cuanto a su productividad e impacto científicos, asimismo, puede emplearse para medir el rendimiento de las revistas e instituciones (^{Cabezas-Clavijo & Delgado-López-Cózar, 2013}). Su enorme facilidad de cálculo y uso, y su robustez y tolerancia a las desviaciones estadísticas, le hacen un indicador interesantísimo (Cabezas-Clavijo & Delgado-López-Cózar, 2013). Ahora bien, como afirman diferentes autores (Bar-Ilan, Levene & Lin, 2010; ^{Meho & Yang, 2007}) es necesario, para evitar sesgos, medir el rendimiento de un investigador o institución con diferentes bases de datos; nuestro estudio contribuye a poder analizar un campo poco estudiado bibliométricamente y por consiguiente a que las valoraciones a profesores e instituciones sean más rigurosas y justas.

No obstante, debe quedar claro que el empleo de Índice h no excluye que el factor de impacto deba seguir usándose como indicador de calidad científica. Es requisito inexcusable para los investigadores publicar sus trabajos en revistas que cuenten con factor de impacto, ya que este sigue siendo el patrón oro para evaluar el desempeño de las revistas científicas (^{Fernandez-Mondéjar, Hugo-Ceraso, Gordo-Vidal, Guerrero-López & Comenero-Ruiz, 2010}). Las revistas con mayores factores de impacto reciben un gran número de manuscritos, viéndose obligadas a rechazar una gran parte, por lo que los autores deben competir entre sí para acabar publicando en ellas. Es por ello que el factor de impacto se puede considerar como un indicador de competitividad (^{Delgado-López-Cózar, 2010}).

Si tenemos en cuenta la producción de las dos áreas, observamos que los profesores del área de EF producen más artículos que los profesores del área de DEC. Esto puede deberse a que el área de DEC siempre estuvo ligada a las Escuelas Universitarias de Magisterio, donde a los profesores no se les exigía investigar, mientras que el área de EF siembre ha estado ligada a Facultades y por lo tanto los profesores siempre han tenido competencias docentes e investigadoras (Reverter-Masià et al., 2013b). En los resultados que aquí se presentan se tiene que tener en cuenta el tipo de muestra utilizada, es decir, sus características; ya que se trata de la selección de profesores elegidos de acuerdo a la posesión de sexenio, por lo tanto resultaría difícil hacer una comparación con otros estudios, por ejemplo, (Reverter-Masià et al., 2013b), donde solo el 20 % del profesorado publica en revistas indexadas en WoS. Otro aspecto a tener en cuenta son las revistas, en los últimos años se ha incrementado el número de estas en las bases de datos analizadas, con lo cual muy probablemente en los próximos años aumente la frecuencia, por lo que corresponde a los profesores publicar en revistas indexadas en WoS o Scopus.

En cuanto a la producción por universidad se observan resultados diferentes en las áreas de conocimiento analizadas. Así, por ejemplo, la Universidad de Canarias ocupa el primer puesto en EF y el segundo en DEC. En cambio, la Universidad de Cádiz, ocupa el primer puesto en DEC y el catorce en EF. Estos resultados coinciden básicamente con los publicados por Rankings I-UGR de Universidades Españolas según Campos y Disciplinas Científicas (3.ª Ed., 2012), exceptuando la Universidad Europea de Madrid que al ser privada los autores del ranking no la tuvieron en cuenta. Los resultados entre Scopus y WoS coinciden en identificar a las universidades más productivas, las únicas diferencias son de escala y tamaño.

La evaluación de las universidades se pone de manifestó en los famosos rankings de Universidades como Times Higher Education Ranking, Scimago Institutions Rankings o Ranking Web of World Universities. Muchos de estos rankings son criticados por la evaluación científica debido a los indicadores escogidos, así como por el valor que estos indicadores tienen para establecer criterios de calidad, también por los errores de toma y procesamiento de datos o los métodos en algunos casos opacos y por la replicabilidad de sus resultados (^{Torres-Salinas et al., 2011}; ^{Bordons, Sancho, Morillo & Gómez, 2010}; ^{Liu & Cheng, 2005}; ^{Van-Raan, 2005}). Este trabajo estudia la realidad de campos de conocimiento poco analizados, en este contexto, el trabajo permite mapear las áreas de conocimiento relacionadas con las Ciencias del deporte, con el propósito de racionalizar los beneficios a través de las evaluaciones de los organismos institucionales. En los países nórdicos, Canadá y Hungría, desde hace años, utilizar los artículos con factor de impacto para avaluar a las universidades es una de las premisas para la obtención de recursos económicos (^{Seglen, 1997}).

En las áreas objeto de estudio se observa que Scopus tiene más visibilidad que WoS. Es un hecho que cada investigador es juzgado en alguna medida por el número de trabajos y el prestigio de las revistas que utiliza para publicar sus investigaciones. De hecho, la difusión y la influencia que sus trabajos puedan tener, depende en buena medida de los medios empleados para su publicación (^{Román Román & Giménez Toledo, 2000}). Durante más de 40 años las bases de datos del Institute for Scientific Information (ISI) fueron las únicas que permitían el trabajo bibliométrico. No cabe duda de que la invención del Science Citation Index marca un hito en el modo de evaluar la ciencia y supone el nacimiento de la evaluación, no solo de corte cuantitativo sino también cualitativo a través del análisis de citación. Por otra parte, Elsevier puso en marcha Scopus, una base de datos que hoy indexa alrededor de 16 500 revistas peer-reviewed, frente a las 11 500 del ISI (Thomson Reuters, 2010). Por tanto, Scopus es actualmente la mayor base de datos multidisciplinar existente (^{López-Illescas et al., 2008}). Como Scopus contiene también referencias bibliográficas, su mayor cantidad de revistas fuente permite identificar a priori un mayor número de citas. Los trabajos de ^{Bar-Ilan et al. (2007}); ^{Bakkalbasi et al. (2006}); ^{Neuhaus y Daniel (2008}) se han centrado en comparar los conteos de citación y concluyen que los datos de citación están fuertemente influidos por la cobertura, el área temática y el periodo de estudio. Con la aparición de Scopus aumenta la posibilidad de comparación, una característica crucial en la evaluación de la ciencia, que permite además los estudios complementarios que hasta ahora se habían realizado sobre los datos WoS. En nuestro estudio se ha demostrado que los profesores, en general, publican y citan más trabajos en Scopus. Por lo tanto Scopus, más allá de haber demostrado una amplia cobertura, puede resultar una herramienta muy útil para la evaluación del impacto científico de los artículos y revistas científicas en las áreas analizadas.

Por otra parte, el análisis de la coautoría de artículos científicos ofrece una efectiva forma de estudiar las relaciones científicas (Granda et al., 2009). La colaboración en la publicación de un artículo científico genera vínculos o relaciones que sirven a los científicos para conseguir sus objetivos. Desde una perspectiva amplia, la participación de autores diferentes en la elaboración de un artículo de investigación es la consecuencia de la profesionalización de la comunidad científica. En la actualidad, la media del número de firmas por estudio varía dependiendo de la temática del trabajo en cuestión, pero se encuentra en un intervalo de autores entre 3 y 5 (en la ciencias experimentales) lo que indica que la mayoría de los trabajos están realizados por un grupo multidisciplinar de científicos (^{González de Dios & Aleixandre, 2007}). Al inicio del siglo XX el 80 % de los trabajos estaban firmados por un único autor, en la actualidad el 80 % de los estudios tiene varios firmantes (^{Herranz, 1985}). En general, la existencia de varios autores en un trabajo indicaría que más científicos quieren comunicar sus investigaciones, lo que aumentaría seguramente su eficacia formando grupos de colaboración que seguramente mejorarán la calidad del producto final (Granda et al. 2009).

La evolución temporal de la producción científica, tanto en WoS como en Scopus, de los profesores españoles de EF y DEC tiene un crecimiento exponencial año tras año, posiblemente este incremento sea debido a las políticas de las distintas agencias evaluadoras como ANECA, CNEAI y ANEP. La calidad y la financiación universitaria están íntimamente relacionadas. Es la sociedad, a través de las administraciones públicas, la que financia las actividades de las universidades en España, el sistema universitario se financia en más de un 80 % con fondos públicos (^{Buela-Casal et al., 2010}), requiriéndose de estudios que aporten mayor transparencia a los modelos de financiación.

Este estudio puede resultar de gran utilidad desde distintas perspectivas. En primer lugar, es útil para los profesores, pues tienen un patrón de comparación con el que pueden evaluar, con un criterio real, su producción en artículos con factor de impacto, pero sirve además para establecer y guiar sus metas de promoción a mediano y largo plazo. En segundo lugar, resultará especialmente útil a las distintas comisiones y comités que tienen que evaluar la productividad o la selección y promoción de los profesores en el ámbito de las ciencias del deporte. En tercer lugar, estudios de este tipo permiten a los legisladores establecer políticas científicas equitativas. Y por último, este trabajo permite conocer bases de datos complementarias a WoS que nos proporcionan de forma rápida información bibliométrica muy valiosa tanto del desempeño de investigadores individuales como de revistas científicas e instituciones.

CONFLICTO DE INTERESES: Los autores declaran no tener ningún conflicto de intereses