Introdução

O fator de impacto (FI) tem se destacado como um indicador bibliométrico bastante utilizado na avaliação do impacto e visibilidade das investigações disseminadas pelas revistas³ científicas (^{Spinak; 1998}; ^{Glänzel, 2003}; ^{Garfield, 2005}). Este indicador é importante para o subsídio da tomada de decisão em relação à alocação de recursos por instituições e agências de fomento e também na avaliação da produção de cientistas e instituições (^{Kaltenborn, 2004}; ^{Silva, 2010}; ^{Marchlewski, Silva e Soriano, 2011}). O FI é definido como o número médio das citações recebidas por uma revista científica em um determinado ano, relativas aos artigos publicados em um período. Apesar do seu prestígio, em especial junto às agências de fomento e de avaliação científica, estudiosos têm apontado críticas e limitações relativas a sua utilização (^{Seglen, 1997}; ^{Glänzel & Moed, 2002}; ^{Fernandes-Llimós, 2003}; ^{Kaltenborn, 2004}).

Originalmente, o FI foi desenvolvido por Ingrid Sher e Eugene Garfield, em 1955, no Institute of Scientific Information (ISI), para medição do impacto das revistas e calculado a partir da base de dados Science Citation Index (SCI) (^{Garfield; Sher, 1963}), mais tarde o consolidado Journal Citation Reports (JCR). Com a criação do FI, a base de dados Web of Science (WoS), de responsabilidade da Thomson Reuters (ISI), foi precursora no subsídio para a avaliação da produção científica, com a expansão das bases de dados multidisciplinares e de abrangência mundial. Atualmente, WoS é composta por grandes bases de dados (Citation Index Science Social (SSCI), Science Citation Index Expanded (SCI Expandido), Conference Proceedings Citation Index Science (CPCI-S), Artes e Humanidades Citation Index (A & HCI) e Conference Proceedings Citation Index-Science Social and Humanidades (CPCI-SSH), Index Chemicus e Current Chemical Reactions (CCR-Expanded), entre outras), constituindo a mais antiga e de ampla co- bertura de dados de citação e dados bibliográficos (^{Boyle; Sherman, 2006}).

Proprietário do indicador Fator de Impacto, durante anos o ISI foi a única fonte de consulta deste indicador. Atualmente, por conta dos direitos autorais do ISI, em- bora não apresentem o valor do FI, outras bases de dados fornecem dados para o seu cálculo e outros indicadores de avaliação científica. Neste cenário, a base de dados Scopus, criada em 2004 e de propriedade da Elsevier Science, tornou-se se uma alternativa de bases de dados existente no mercado da literatura científica, multidisciplinar e de relevância mundial (^{Chadegani et al., 2013}). O surgimen- to da Scopus permitiu o aumento de estudos adicionais e de comparação que são características fundamentais na avaliação da Ciência, realizados antes em dados do ISI (^{Santa & Herrero-Solana, 2010})

Essas grandes bases de dados, reconhecidas mundialmente, indexam a ciência mainstream,⁴ enquanto a ciência periférica é menos visível na ciência internacional (^{Velho, 1985}). Nesse sentido, vários esforços são realizados para a indexação das revistas dos países considerados periféricos nas bases de dados internacionais. Durante muitos anos, vários estudiosos têm mostrado a escassa presença de revistas latinoamericanas nas bases de dados WoS (^{Garfield, 1983}; ^{Sancho, 1992}; ^{Miguel, 2011}), dificultando a presença e a visibilidade da produção científica desses países no cenário internacional da ciência. Por outro lado, estudos apontam o aumento e o impacto das revistas lationoamericanas na base de dados WoS, além de iniciativas de projetos e estudos para indexar essas revistas em outras bases de dados internacionais, como a Scopus, com a finalidade de contribuir para inserção, visibilidade e impacto da produção científica no âmbito internacional (^{González-Molina & Herrero-Solana, 2007}; ^{Santa & Herrero-Solana, 2010}).

Destaca-se, todavia, que apesar da importância dessas bases, existem bases de dados especializadas e de grande relevância nacional e regional em países considerados periféricos, como são os casos dos países da América Latina, tais como: Scientific Electronic Library On-Line (SciELO), mantida em parceria pela Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp) (Brasil), Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde (Bireme) e Conselho Nacional de Desenvolvimento Científico e Tecnológico - CNPq (Brasil); Sistema Regional de Información em Línea para revistas científicas da América Latina, Caribe, Espanha e Portugal (Latindex), mantida pela Universidad Nacional Autónoma do México; Clacso e RedAlyC, mantido pela Universidade Autónoma do Estado do México, Sistema de Informação Científica RedAlyC e Conselho Latinoamericano de Ciências Sociais (^{Babini, 2010}).

Neste contexto, visto a magnitude das grandes bases de dados, o cenário de visibilidade científica internacional e a importância do FI como um indicador utilizado para classificação de revistas científicas, este estudo tem como objetivo comparar o FI das revistas da América Latina, presentes simultaneamente nas bases de dados Scopus e WoS, com o propósito de contribuir para discussão da utilização do FI, como um indicador que infere a qualidade das revistas científicas da ciência denominada periférica.

Metodologia

Inicialmente selecionou-se como universo de estudo a área de Ciências Sociais, uma área com baixo reconhecimento relativo na ciência mainstream, segundo o estudo de (^{Grácio & Oliveira, 2014}). Por meio de consulta ao portal SCImago Journal & Country Rankings, levantou-se uma lista de 179 revistas da América Latina indexadas em todo o período de 2012 - 2014 na base Scopus. A seguir, verificou-se quais destas revistas estavam indexa- das também na base WoS. A partir deste procedimento, encontraram-se 34 revistas presentes nas bases Scopus e WoS, ao mesmo tempo. Para cada uma das 34 revistas indexadas em ambas as bases, buscou-se o valor do FI no Journal of Citation Report (JRC) referente ao ano de 2015. A seguir, com os dados da Scopus, fornecidos pelo portal SCImago Journal & Country Rankings, referentes ao ano de 2015, calculou-se o FI para cada uma das 34 revistas.

Para cada conjunto de FI, obtidos a partir das bases de dados Scopus e WoS, foram calculadas suas estatísticas descritivas (média, mediana, mínimo, máximo, desvio padrão e coeficiente de variação). Calculou-se a correlação linear de Pearson a fim de se verificar se há uma correlação significativa entre estes dois índices, ou seja, entre o FI obtido na base WoS e o calculado a partir da base Scopus.

Por fim, para verificar a existência de diferença estatis- ticamente significante entre os FI das revistas presentes, ao mesmo tempo, nas duas bases, aplicou-se o teste não paramétrico Wilcoxon (^{Conover, 1998}), com nível de significância de 5 % para todos dos testes estatísticos. Os dados foram analisados no software SPSS, versão 21.0.

Resultados e discussões

A Tabela 1 apresenta os FI calculados para as revistas da área de Ciência Sociais, presentes nas bases Scopus e WoS, ao mesmo tempo, relativos ao ano de 2015, em que se observa que a revista chilena de acesso aberto “EURE. Revista Latinoamericana de Estudios Urbano Regionales” apresentou o maior valor de FI (0,303) na base WoS e a revista colombiana de acesso aberto “Revista Latinoamericana de Psicología” apresentou o maior valor de FI (0,481) na base Scopus. Apenas a revista brasileira “Calidoscopio” obteve FI igual a zero, na base WoS. As revistas mexicanas de acesso aberto “Andamios: Revista de Investigacion Social e Convergencia” foram aquelas que apresentaram os valores mais semelhantes em ambas as bases analisadas.

Dessas revistas analisadas que estão presentes simultaneamente em ambas, 94 % são revistas de acesso aberto. Além disso, 82,4% dessas revistas são também indexadas na base SciELO. A presença de revistas em fontes de dados regionais e internacionais pode ser uma forma de aumentar a oportunidade de visibilidade da produção científica dos países (^{Miguel, 2011}). Por conseguinte, amplia-se a possibilidade de a ciência gerada, em especial em países periféricos, ser alcançada e reconhecida por um maior número de investigadores, ampliando seu impacto junto à comunidade científica, este identificado, usualmente, pelo número de citações recebidas (^{Lópes-Piñero & Terrada, 1992}).

Observa-se que a maioria (71 %) das revistas analisadas apresenta FI na Scopus acima do FI obtido na base WoS. A maior diferença de valor de FI ocorre para a revista brasileira de acesso aberto “Dados”, com o valor na base Scopus aproximadamente 2,6 vezes acima do valor obtido na WoS. Por outro lado, entre as dez revistas com FI maior na WoS que na base Scopus, destaca-se a revista colombiana “Cuadernos de Economia” com FI na Web 3,1 vezes maior que o valor calculado para a base Scopus. Um aspecto a considerar quanto aos FI na base da Scopus, pode ser o fato de os investigadores da área de Ciências Sociais preferirem publicar em revistas nacionais e livros (^{Meneghini, 2003}), uma vez que, muitas vezes, seus estudos tratam de questões de interesse mais regional do que mundial. Além disso, em geral, as revistas não são o principal meio de comunicação científica na área de Ciências Sociais e Humanidades (^{Moed et al., 1998}).

Para verificar a existência de relação entre os FI de ambas as bases, a partir do cálculo de correlação linear de Pearson, observa-se que há uma fraca (0,43) tendência de correlação positiva entre os valores do FI das bases Scopus e WoS, indicando uma tendência de independência de valor para este indicador nestas duas bases, ou seja, há uma fraca associação positiva entre o valor do FI obtido para uma revista na base Scopus e o valor obtido na base WoS para a mesma revista. Este fato sugere a necessidade de se observar o desempenho da revista em ambas as bases, a fim de se obter uma visualização mais ampla da sua visibilidade internacional, medida por bases de dados da ciência mainstream.

A Tabela 2 apresenta a distribuição das revistas por países da America Latina, identificadas nas bases Scopus e WoS.

Destaca-se que dos países da América Latina, somente 10 países possuem revistas indexadas na área de Ciências Sociais na base de dados Scopus (universo de 179 revistas) de baixo percentual de participação, a saber: Argentina (5 %), Brasil (38,5 %), Chile (16,7 %), Colombia (14 %), Cuba (0,5 %), Equador (0,5 %), México (14,5 %), Perú (1,3 %), Venezuela (6,7 %) e Caribe (2,3 %). No entanto, apenas os 6 países descrito na tabela 2, têm revistas presentes simultaneamente nas bases Scopus e WoS. Esse fato pode evidenciar a falta de visibilidade das revistas lationoamericanas no contexto internacional da Ciência. A Tabela 3 apresenta as estatísticas descritivas dos FI das revistas das bases analisadas.

Os FI da base Scopus variaram entre 0,033 e 0,481, com uma amplitude total inferior àquela da WoS, que variou de 0,000 a 0,303. As medidas de posições (média e mediana) dos FI foram menores para WoS em relação a Scopus. Como exemplo dessa tendência, “Transinformação” (FI_WoS=0,115) com FI abaixo da mediana na WoS, sua posição foi muito próxima da mediana na Scopus. A maior dispersão nos FI ocorreu na base Scopus, com coeficiente de variação igual a 63%. Por outro lado, tem-se vários exemplos de diferenças nos valores de FI da mesma revista para as bases Scopus e WoS, como os casos: “Intersecciones en Antropología” (FI_WoS=0,268 e FI_Scopus=0,366); “Gestión y Política Pública” (FI_ WoS=0,098 e FI_Scopus=0,205) e “Revista Chilena de Derecho” (FI_WoS=0,050 e FI_Scopus=0,104).

Um outro aspecto a considerar na base WoS diz respeito ao fato de as revistas de línguas inglesas poderem ser privilegiadas, dada a facilidade do idioma para seu público principal, em função da origem americana da base, contribuindo para os valores altos de FI destas revistas, ao passo que as revistas de língua não inglesa alcançam FI mais baixos, em função de muitas vezes seus artigos estarem escritos em seu idioma nativo, o que dificultaria a leitura por uma comunidade científica mais ampla e levando essa base a não indexar toda a produção em língua não inglesa (^{Seglen; 1997};^{Simons, 2008}).

Os figuras 1 e 2 mostram o comportamento da distribuição dos FI das revistas analisadas.

Fonte: elaboração própria

Figura 1 Distribuição dos FI das revistas da Scopus 

Fonte: elaboração própria

Figura 2 Distribuição dos FI das revistas da WoS 

Neste contexto de diferenças encontradas dos FI entre as duas bases, dentro do esperado (as bases computam números de citações e documentos diferentes), ressaltase a importância para que sejam realizados estudos discutam essas diferenças, uma vez que não existem critérios de “conversão” de uma base para outra. Nesse contexto, alguns estudos evidenciam que os algoritmos utilizados para classificação e contagem de documentos (materiais editoriais, artigos originais, artigos de revisão, notas, cartas, etc) do banco de dados do ISI podem computar diferentes números de citações, refletindo no cálculo do FI (^{Moed &Van Leeuwen; 1996}; ^{Seglen; 1997}; ^{Simon, 2008}). Em contrapartida, o banco de dados da Scopus pode ter adotado critérios diferentes para computar documentos e o número de citações.

Dessa forma, diversas investigações identificam e comparam as diferenças e semelhanças nessas duas bases (^{Chadegani et al., 2013}). Neste sentido, é necessário ter cautela ao desenvolver estudos comparativos usando as duas bases. Neste estudo, verificou-se que a distribuição dos FI apresentou assimetria em ambas as bases de dados. Por consequência desse comportamento, a partir do teste de Wilcoxon, observou-se uma diferença estatisticamente significante entre os FI obtidos nas bases Scopus e WoS.

Conclusão

Neste estudo, mostrou as evidências de que a comparação e mudança do FI de revistas para bases distintas podem apresentam dificuldades de comparação e resultados diferentes. Dessa forma, diversos estudos na literatura apontam as inconsistências, divergências e críticas nas bases de dados que indexam as revistas científicas, podendo influenciar no cálculo do FI. Os resultados obtidos indicaram que a área de Ciências Sociais, em especial da América Latina, necessita de maior cobertura na base de dados do ISI, reconhecimento e visibilidade internacional na ciência mainstream. Considerando que o FI é um indicador utilizado para a classificação de revistas, financiamento de projetos de investigação científica e avaliação de investigadores e instituições, evidencia-se a necessidade de levar em consideração as diferenças dos fatores de impacto em distintas bases de dados. Desse modo, no momento da utilização desse indicador é necessário levar em consideração a fonte de dados adotada. A avaliação do impacto científico das revistas não deve ser sustentada por um único indicador, dado o risco de obter uma visualização parcial ou distorcida do seu com- portamento científico.