Português (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Enviar este artigo por email
Citado por SciELO 
Citado por Google 
Similares em
SciELO 
Similares em Google 
Permalink
1. Introdução
O presente artigo constitui parte de pesquisa macro cadastrada junto ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), sob o título “Sistema de Open Peer Review no campo das revistas de Ciência da Informação” classificadas pelo Sistema Qualis da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). A seleção da ciência da informação (CI) se justifica por seu próprio objeto de estudo, a informação, e, portanto, por enfatizar a comunicação científica, de início na esfera da comunidade científica, e, a posteriori, em meio às coletividades, para valorização dos saberes recém-gerados. Ademais, há certo ineditismo no estudo, tendo em vista que as pesquisas até então realizadas sobre a open peer review (OPR) focam as ciências da saúde e os títulos internacionais (Mora, 2015; Walsh, Rooney, Applely & Wilkinson, 2000).
A este respeito, é preciso retomar a ciência, na condição de processo dinâmico e evolutivo, o qual atravessa etapas não necessariamente excludentes e que variam segundo a ótica dos teóricos. Como processo dinâmico e evolutivo, a ciência não segue linearidade e suas fases e mutações diferem segundo a natureza do campo do estudo, do objetivo de estudo per se e da finalidade da pesquisa, dentre outros elementos. A este respeito, para David e Spence (2003), além da primeira fase, marcadamente movida pelo ensaio-e-erro, segue-se um segundo modelo de ciência que privilegia a consolidação de leis e teorias e, num terceiro momento, é nítida a intervenção do avanço tecnológico nas práticas científicas, como está ocorrendo com todos os segmentos da vida cotidiana, como Kern (2017) acresce ao tratar do papel dos softwares na revisão por pares. O quarto paradigma, por sua vez, refere-se a eScience ou enhanced science, expressão atribuída, em 1999, a John Taylor, Diretor dos Research Councils in the United Kingdom Office of Science and Technology, para definir a colaboração ampla entre diferentes áreas do saber, mediante o investimento em infraestrutura computacional para a ciência (Hey & Trefethen, 2003). Para Curty (2016), eis uma ciência otimizada que reside num “[…] tipo de pesquisa colaborativa e sem fronteiras, possível pela vasta quantidade de dados compartilhados via rede de dados e pela internet” (p. 80).
Para a efetivação da eScience, são imprescindíveis três elementos interdependentes: (1) ciberinfraestrutura, que nomeia a arquitetura tecnológica capaz de favorecer as práticas da eScience; (2) ciência aberta, que atua no delineamento de políticas e mecanismos com o intuito de definir parâmetros com vistas ao acesso amplo aos achados científicos; (3) colaboração alusiva à participação de pesquisadores e sociedade civil em geral, além do apoio do Estado, visando à construção de novos saberes científicos e ao seu compartilhamento.
Os conceitos de eScience e ciência aberta estão, pois, intrinsecamente interligados. Como decorrência, a avaliação dos conhecimentos recém-gerados para sua validação pela comunidade científica, segue, inevitavelmente, a tendência de maior transparência, como proposto, ainda no século XVIII, pelo filósofo Robert Boyle, e evidenciado via normas estabelecidas pelo sociólogo norte-americano Robert K. Merton, de início, em 1937, até maior detalhamento, ano 1957. O sistema de avaliação a que são submetidos os originais propostos à publicação, o julgamento de solicitações junto às agências de fomento e a formação de bancas para trabalhos de pós-graduação confirmam a premissa de que é ele elemento essencial à ciência e tecnologia (C&T).
É neste contexto de ciência aberta, de maior acessibilidade aos novos conhecimentos e de maior colaboração entre as áreas, que se registra tendência crescente (mas lenta) de substituir a blind review, ou seja, a avalia ção cega, seletiva e confidencial, com pareceristas selecionados pelos editores, seja ela simples (quando o parecerista conhece o autor do manuscrito sujeito à avaliação), seja ela dupla, quando autores e pareceristas não se reconhecem, pelo sistema OPR ou avaliação por pares aberta. Neste sentido, em etapa anterior, Garcia e Targino (2017) desenvolvem estudo, cujo foco recai na aceitação ou rejeição dos editores de periódicos da CI, publicados no Brasil, com conceitos A e B, designados pelo Qualis da Capes, cuja síntese consta de post de Scielo em Perspectiva (Targino & Garcia, 2018).
Isto porque, a blind review, ao longo do tempo, vem despertando polêmicas em ritmo continuum. Dentre seus aspectos negativos, teóricos, à semelhança de Spinak (2018) e Walsh et al. (2000) citam o quão pouco fidedigna a blind review tende a ser, aliado ao fato de que demanda muito tempo, haja vista que os originais, com frequência, são revistos várias vezes, e, portanto, submetidos a envios / reenvios, revisões, reprovações, às vezes, injustificadas. Esses teóricos registram, ainda, inconsistências profundas entre os pareceres, o que permite distorções que afetam autores e publicações; além de que, os árbitros nem recebem crédito nem remuneração por seu complexo trabalho.
Nessa linha, mesmo cientes de que o processo de avaliação é polêmico e difuso, com múltiplas e variadas possibilidades, com métodos ortodoxos ou heterodoxos, de tal forma que nenhum recurso avaliativo é capaz de suprir as expectativas de todos, sobretudo, na comunidade científica, que figura como campo que comporta uma malha intrincada de relações e conflitos, os autores vêm efetivando estudos para avaliar a viabilidade da adoção da OPR por revistas científicas em CI. Quer dizer, ainda que frágil e complexa, a avaliação de originais pelos pares assegura a qualidade da ciência, o que per se justifica o tema do artigo - a OPR.
Sob esta ótica, é objetivo macro do paper avaliar a viabilidade da OPR dentre avaliadores em CI, a partir da hipótese sustentada por cientistas, como Walsh et al. (2000), segundo a qual, apesar de a maioria dos periódicos de diferentes áreas adotar a avaliação cega, inexistem evidências de que é ela mais eficiente do que a avaliação aberta, da mesma forma que esta, cujos modelos emergem, desde a década de 80 do século passado, de forma esparsa e descontínua, também mantém (des) vantagens. A partir daí, são objetivos operacionais deste estudo: (1) analisar a perspectiva de utilização da OPR no âmbito das revistas de CI classificadas pelo sistema Qualis / Capes; (2) avaliar o nível de conhecimento da revisão aberta sob a ótica dos avaliadores; (3) delinear as (des)vantagens que os pesquisadores-avaliadores percebem, em especial, quanto ao sistema open review.
2. Fundamentação teórica
Estudos sobre a OPR têm início em editorial de 2006 da renomada publicação Nature, originária do Reino Unido, o qual divulga sondagem realizada com 64 cientistas, em que 42% se prontificam a experimentar o sistema aberto. No entanto, apesar do entusiasmo frente à perspectiva da nova modalidade, na realidade, nem autores nem cientistas convidados detêm conhecimento suficiente sobre a temática (Overview, 2006).
Na contemporaneidade, porém, Spinak (2018) apresenta ao público 22 definições alusivas à OPR, em contraposição a Ross-Hellawer (2017), com 122 acepções que comportam características e inovações singulares, demonstrando tanto a ampliação de concepções ao longo das décadas, ênfase para os anos 80 (século XX) até 2010 (século XXI), quanto a amplitude de combinações que o novo sistema permite e, por conseguinte, a utopia de defender um conceito definitivo e fechado. Esse último autor, aponta a OPR como o mais relevante pilar da ciência aberta. Dentre algumas de suas múltiplas conformações, menciona: identidades de autor e avaliador conhecidas por cada um; parecer publicado junto ao artigo; identidades não anônimas e sugestões acompanhando o artigo (conjunção das duas condições); expertos convidados para arbitrar; troca de ideias por certo tempo entre autores e referees; divulgação da opinião do grande público, independentemente da titulação do interlocutor. Aliás, o próprio Ross-Hellauer (2017) utiliza como exemplo um de seus artigos, no qual constam os nomes dos referees e respectivos pareceres.
Reiterando o autor supracitado, para Ford (2013), Spinak (2018), Tennant, Grazziotin e Kearns (2017), são esses níveis de inovação e de múltiplas variações que conduzem à tendência de maior crescimento e aceitação da OPR, ainda que, até o momento, haja constatação efetiva de que ela, como antes citado, consegue maior penetração na área da saúde e dentre as revistas internacionais, além de atrair os pesquisadores juniores. De fato, se o campo das ciências médicas, no século XVIII, apresenta maior resistência à avaliação no campo editorial, hoje, são as revistas médicas que mais têm contribuído para a substituição gradativa dos padrões fechados pelos abertos, possivelmente, face ao avanço tecnológico mais visível nessas áreas (Kern, 2017). Títulos, como British Medical Journal ou BMJ (Hopewell et al., 2014); Nature (Csiszar, 2016; DeCoursey, 2006; Overview, 2006); Journal of Negative Results in BioMedicine (Shanahan & Olsen, 2014) e Revista de Ciencias del Ejercicio y la Salud (Mora, 2015), têm se manifestado a favor, no momento em que têm publicado artigos sobre o tema como ora referendado. The British Journal of Psychiatry relata interessante pesquisa sobre experiência do British Medical Journal, a cargo de Walsh et al. (2000), o que significa dizer que há transformações a caminho, embora conceitos e características da OPR estejam em plena construção, como a vasta bibliografia sobre a temática constata, exemplificada pela listagem não exaustiva de fontes que acompanha o artigo.
Isto é, à medida em que os conflitos de interesse se acirram ou são contornados via diálogos abertos, cujas recomendações visam subsidiar a melhoria dos originais, é inegável que C&T tendem a evoluir com maior rapidez e transparência, não importa se no suporte impresso ou eletrônico, se na condição de pré-publicação (preprint) ou pós-publicação (posprint). Como o clássico no campo da ciência e da comunicação, o inglês John Michael Ziman reconhece, desde 1979 (século XX), assegurar padrões críticos elevados e rígidos por parte dos atores responsáveis pela editoração - autores, editores e árbitros - é impraticável, a não ser que tais padrões passem a integrar a consciência intelectual de cada um.
Isto porque, objetividade e precisão de julgamento correspondem ao repúdio consciente da ideologização subjacente ao cotidiano dos árbitros, como seres humanos. Afora os aspectos intrínsecos a cada indivíduo, contrariando as normas apregoadas por Merton (1957) e que assumem, até os dias de hoje, a posição consensual de ethos científico, há a presença ostensiva de critérios externos ou subjacentes à avaliação. Estes privilegiam correntes teóricas, áreas, países, instituições e até indivíduos, que detêm o argumento da autoridade, em determinada época, o que requer maior rigor e cuidado por parte dos editores dos títulos científicos.
Porém, em que pesem as fragilidades de qualquer modalidade de avaliação, é ela indispensável, uma vez que serve como filtro de qualidade, selecionando contribuições originais e relevantes ao avanço da ciência, e, no caso da OPR, fornecendo aos autores retorno transparente que lhes permite aperfeiçoar e rever os trabalhos em andamento. Logo, atores da produção científica são convocados a adotarem atitudes receptivas, admitindo que o olhar do outro e a reflexão integram o universo da eScience. No contexto desse quarto paradigma, infraestruturas de informação e de comunicação com potencialidades infinitas delineiam o modus operandi da práxis acadêmica e científica “[...] como resposta aos desafios impostos pelo crescente dilúvio de dados (data deluge) e pela era de dados em larga escala (big data)” (Curty, 2016, p. 77).
A explosão de dados e informações contradizem, por completo, os argumentos de teóricos consagrados, como Ziman (1979), para quem, como os filtros nunca são totalmente eficazes, “[...] o procedimento normal [consistiria] em permitir que todo trabalho aparentemente válido seja publicado; o tempo e pesquisas posteriores [separariam], no final, o que é verdadeiro do falso” (p. 69). A este respeito, Stumpf (2005) contra-argumenta, com veemência: responsabilizar os leitores pelo encargo de seleção do que possui (ou não) valor acarreta o sério risco de deixar a comunidade científica e a coletividade mergulharem em megatons de lixo.
Evidente que inexiste formato único quanto à operacionalização da avaliação tendo em vista a quantidade quase infinita de títulos de revistas e de publicações ora existentes, justificando a afirmativa de Le Coadic (1996) para quem “a ‘taxa de natalidade’ das revistas continua a ser [...] mais elevada do que a ‘taxa de óbitos’ dos seres humanos” (p. 7). Ademais, as modalidades avaliativas variam a depender da singularidade de áreas, subáreas e especialidades, mas, também, da forma de atuação e de visão de mundo dos atores, sem contar o fato de que o incremento das tecnologias de informação e de comunicação (TIC) vêm causando mudanças drásticas no universo da C&T. Por exemplo, autores lançam mão de tecnologias para disseminar os resultados de suas pesquisas no espaço virtual, em redes sociais e/ou grupos de discussão via WhatsApp, sem o aval da comunidade científica ou de um título científico. De imediato, há quem alerte, tal como o fazem Crawford e Stucki (1990), para a não confiabilidade de resultados divulgados sem o devido imprimatur da comunidade científica.
Em oposição, existe a prática de publicizar os pareceres dos referees em plataformas específicas como a Publons (https://publons.com). Criada na Nova Zelândia, em 2012, registra na web a contribuição de pareceristas e encoraja pesquisadores a postarem on-line suas experiências. Como plataforma de mídia acadêmica, fornece a seus membros várias métricas e uma pontuação geral, o que traz a público sua atuação e produção em qualquer título de periódico do mundo, mediante dados inseridos em seu perfil e adotados para atividades acadêmicas paralelas exercidas pelos avaliadores. Financeiramente, a Publons continua a não recompensar os usuários pelo número e/ou impacto dos papers publicados, porém, classifica indivíduos e instituições pelo total de artigos revisados e quanto mais o pesquisador acumular, maior será sua pontuação.
Kern (2017), por sua vez, discute o papel dos softwares que ganham espaço na editoração, mas a simples menção de substituir o trabalho humano pela automação perde espaço, porquanto as TIC devem estar a favor do homem e não o contrário. De qualquer modo, as sucessivas transformações ocorridas na esfera da avaliação científica desde os séculos precedentes e suas significativas variações conduzem, pouco a pouco, a um modelo cogitado há muito tempo - o adversary model. É o “modelo de adversários” que, ao menos por enquanto, tem como representante maior a OPR. Apesar do mencionado editorial de 2006 da Nature, a OPR nem tem data exata de criação nem tampouco “paternidade” inconteste, apesar da tentativa de Mora (2015) e Ranalli (2011) de delinearem sua pré-história e evolução.
Diante do exposto até então, vê-se que a OPR mantém (des)vantagens. Dentre os pontos fortes, Amsen (2014), DeCoursey (2006) e Ford (2013) enfatizam transparência e democratização dos procedimentos. Em se tratando de autores e leitores, eis outros pontos positivos: o autor sabe quem revisou seu trabalho, o que propicia interlocução; os comentários dos avaliadores contextualizam o paper, gerando informação adicional para o público; os relatórios dos árbitros auxiliam os pesquisadores juniores. No caso dos referees, também há vantagens: a tendência são comentários mais construtivos e menos destrutivos; a divulgação de sua identidade possibilita o crédito que acompanha cada artigo, estimulando a excelência das análises e, por conseguinte, o reconhecimento de sua atuação na elaboração do artigo na íntegra; o sistema inibe árbitros que, eventualmente, vetam artigos de qualidade com o intuito de se apropriarem das ideias autorais, como antevisto em estudo de Garcia e Targino (2017) junto a editores de revistas no campo da CI, em linha similar de pesquisa.
E há outro elemento bastante relevante - a OPR favorece distribuição mais equitativa. A seleção dos avaliadores pode seguir um plano abrangente e universal, reafirmando a norma mertoniana da universalidade. Esta prescreve o aceite na esfera científica, como autor ou editor ou árbitro, de pesquisadores segundo seus méritos intrínsecos, sem considerar nacionalidade ou regionalidade, vinculação a centros de excelência, prestígio científico e outros itens, o que amplia as chances de participação dos pesquisadores vinculados a instituições periféricas.
Quanto aos pontos frágeis, Amsen (2014), DeCoursey (2006) e Ford (2013) citam desvantagens, como: lentidão; complexidade no processo avaliativo; desavença entre autores, editores e referees, com possíveis retaliações em situações futuras, como torpedear manuscritos, negar pedidos de subvenção, etc. contra o árbitro. No entanto, parece inevitável. Nassi-Calò (2015), 2017 sinaliza que tornar públicos os relatórios dos pareceristas é um caminho sem volta. Menciona que Csiszar (2016), em artigo “Peer review: troubled from the start”, na Nature, ressalta que a ciência pode assumir mecanismos de autorregulação em busca de consenso, mas sempre em meio à incerteza acerca da postura conceptual dos árbitros.
No que diz respeito a questionamentos acerca de tecnologias disponíveis capazes de suprir as condições exigidas pela OPR, para Tennant et al. (2017), basta que as comunidades científicas se disponham a implementá-las. Nesse momento, indicam fundamentos básicos a qualquer sistema de revisão por pares: (1) controle de qualidade e moderação - fundamentado na confiança quanto à qualidade dos periódicos e num moderador também habilitado que vete feedbacks frágeis, o que demanda o engajamento da comunidade científica para validar ou rejeitar novos achados; (2) incentivo contínuo de desempenho - cultivo a verdadeiro envolvimento na avaliação como respeito à comunidade acadêmica e às coletividades; (3) reconhecimento - incentivo à participação transparente com certificação e reputação atribuída ao referee com base em sua inter-relação com o autor.
3. Eixos metodológicos
Para a consecução dos objetivos enunciados, a pesquisa, de cunho quantitativo e qualitativo, utiliza como método de pesquisa o survey, recomendado quando se pretende investigar o quê, o porquê, como ou quanto ocorre determinada situação em busca da obtenção de dados científicos, no caso, a viabilidade de adoção da OPR em periódicos brasileiros no campo da CI, solidificando-se na possibilidade de sua aceitação (ou não) por parte dos avaliadores.
Como primeira etapa, atualizam-se os títulos nacionais na área classificados pelo sistema Qualis com os conceitos mais elevados (de A1 a B5), por intermédio da Plataforma Sucupira, ferramenta de coleta de dados da Capes destinada a efetivar análises do Sistema Nacional de Pós-Graduação. São identificados 34 títulos. Com conceito A1 e A2, três cada, respectivamente: Informação e Sociedade: Estudos; Perspectivas em CI; Transinformação; Informação e Informação; Em questão; Encontros Bibli. Com conceito B1, registram-se 15 títulos: Ponto de Acesso; Revista Digital Biblioteconomia e Ciência da Informação; LIINC em Revista; Revista Brasileira de Biblioteconomia e Documentação; Ciência da Informação; Revista Ibero-Americana de Ciência da Informação; Tendências da Pesquisa Brasileira em Ciência da Informação; Brazilian Journal of Information Science: Research Trends; Perspectivas em Gestão e Conhecimento; Perspectivas em Gestão e Conhecimento; Ágora; Intexto; Anais do Museu Paulista; Revista Eletrônica de Comunicação, Informação e Inovação em Saúde; Museologia e Patrimônio. Três títulos, conceito B2: Comunicação e Informação; Revista ACB; AtoZ: Novas Práticas em Informação e Conhecimento. Três deles, conceito B3: Biblos; Informação, Memória e Tecnologia (IRIS); Cadernos de Biblioteconomia, Arquivística e Documentação, enquanto apenas um, está com conceito B4: Archeion Online. Por fim, Com B5, são seis periódicos: Múltiplos Olhares em Ciência da Informação; Revista Analisando em Ciência da Informação (RACIn); Ciência da Informação em Revista; Biblionline; Informação@Profissões; Percursos.
Revistos os periódicos em CI, a etapa seguinte é identificar, em cada um dos 34 títulos, o universo de avaliadores, mediante consulta à página eletrônica de cada um deles, especificamente, no link contendo a listagem do corpo editorial. O passo adiante é suprimir, cuidadosamente, os árbitros que atuam em mais de um título selecionado. Ao final, o total corresponde a 709 referees e a amostra incorpora 189 indivíduos, brasileiros e de outras nacionalidades, o que corresponde à amostra de 26,6%, um pouco acima do previsto por Marconi e Lakatos (2010) para quem, “[...] em média, os questionários expedidos pelo pesquisador alcançam 25% de devolução” (p. 88), com vistas à representatividade estatística.
Para a coleta de dados, recorre-se à técnica de questionário que se adapta ao survey e tem o aval dos metodólogos supra. No caso específico, trata-se de questionário semiestruturado, no sentido de que, dentre suas 11 perguntas, há questões abertas, fechadas e mistas, seguindo-se instruções do aplicativo Google Docs e submetendo-se à rotina do pré-teste dentre avaliadores não contemplados na amostra final, com vistas ao aprimoramento do instrumento de coleta.
Tomando como parâmetro o instrumento de coleta adotado por Ford (2013), em estudo antes citado, mediante adaptação à realidade brasileira, além de itens alusivos ao perfil dos respondentes (gênero; faixa etária; titulação; tempo de exercício na função de editor), o roteiro de coleta, sem perder de vista os objetivos antes enunciados, busca informações sobre: 1. características da OPR (dentre listagem apresentada ao depoente); 2. listagem de (des)vantagens que os avaliadores percebem quanto ao sistema open review; 3. interesse em atuar (ou não) com a modalidade de avaliação em discussão; 4. opinião sobre a chance de a OPR contribuir para a melhor qualidade das revistas; 5. dificuldades para implantação do sistema aberto na realidade editorial brasileira quanto às revistas científicas em CI; 6. opinião sobre a disponibilidade de tecnologia no Brasil para adotar e expandir a avaliação aberta; 7. comentários adicionais.
A coleta final se dá entre 10 de outubro de 2017 a 8 de março de 2018, mediante contato via electronic-mail (e-mail) com os avaliadores, com reenvio sistemático a cada 20 dias, a fim de reforçar a importância da participação. Por fim, após organização e tabulação dos dados obtidos, utiliza-se como estratégia central a análise e a interpretação dos dados, seguindo os moldes previstos por Marconi e Lakatos (2010), para quem, a elaboração da análise propriamente dita, em estudos desta natureza, se dá em três níveis: interpretação (verificação dos elementos de estudo para entender suas inter-relações); explicação (esclarecimento sobre os achados); especificação ou explicitação acerca dos conhecimentos recém-gerados acerca do fenômeno estudado, ou seja, os elementos subjacentes à viabilidade da adoção da OPR na esfera da CI.
4. Resultados
Os resultados ora apresentados seguem as variáveis contidas nos objetivos da pesquisa mediante linha de informações norteadoras. De início, o perfil dos referees, perpassando por características; pontos fortes ou frágeis da OPR; e interesse em sua adoção, mediante a crença de que a inovação possa incrementar a C&T em termos de qualidade; apesar de existir entraves que dificultem sua utilização (como se dá com a avaliação em geral); e questionamentos em aberto sobre o statu quo tecnológico do país que garanta seus procedimentos.
4.1 Perfil dos avaliadores
Quando da análise do perfil dos pesquisados, um fato chamou atenção: alguns contatados responderam aos autores alegando desconhecer sua condição de referee daquele título. Trata-se da inserção de nomes de cientistas / pesquisadores renomados sem aquiescência, como estratégia de assegurar o prestígio da revista, o que confirma a relevância do ethos científico (Merton, 1957) em oposição a critérios aéticos que teimam em sobreviver à avaliação. No caso, confirmada a atuação do referee em outros títulos selecionados, os questionários foram computados.
Após esse adendo, no que respeita à faixa etária dos respondentes, Spinak (2018) é um dos teóricos para quem a aceitação da OPR é mais fácil dentre os jovens. Mas, como não explica sua concepção do termo - jovem - recorre-se a dados da Organização Mundial de Saúde (OMS) (2018), que estabelece a faixa de 19 a 44 anos para adultos jovens e de 45 a 59 para adul tos ou o que denomina “meia idade.” De fato, 64% dos avaliadores estão com 49 anos ou mais, seguidos do percentual de 19%, entre 41 e 48; 14%, entre 33 e 40 e, por fim, uma ala bem jovem, embora restrita a 3%, com 25 a 32 anos de idade.
Os dados permitem inferir que os avaliadores das revistas em CI (prevalência do sexo feminino (115=61%) em oposição a 74 (39%) avaliadores, numa prova inconteste da inserção da mulher no mercado de trabalho, incorporam, majoritariamente, adultos em contraposição aos adultos jovens que somam juntos 36%, o que permite inferir que estão eles em plena produtividade, não obstante a não remuneração ou crédito pelo trabalho efetivado (Spinak, 2018; Walsh et al., 2000). Ademais, em decorrência da faixa etária e da provável inserção no universo acadêmico e científico há algum tempo, a titulação prevalecente é o doutorado (93%) e índice significativo (46%) exerce a função de referee há mais de 10 anos; 34%, entre cinco e 10; e 20%, até cinco anos, o que consiste indício revelador de maturidade intelectual, e, portanto, portador de condições essenciais à função de “juiz” no universo editorial.
4.2 Características da open peer review
A priori, os avaliadores foram solicitados para assinalar um número livre de características (244 menções) pertinentes à OPR dentre a listagem constante do instrumento de coleta, acrescentando-se que as opções traziam explicação detalhada sobre sua concepção.
Eis os itens fundamentados em diferentes autores constantes do referencial teórico, a exemplo de Ford (2013), Ross-Hellauer (2017) e Spinak (2018): 1. signed review/ avaliação assinada; 2. disclosed review/avaliação tornada pública; 3. editor-mediated review/avaliação mediada pelo editor; 4. transparent review/avaliação transparente; 5. crowdsourced review/ avaliação por grupo ampliado de juízes; 6. pre-publication review/avaliação pré-publicação; 7. synchronous review/avaliação síncrona; 8. post-publication/ avaliação pós-publicação (Gráfico 1).
Fonte: dados da pesquisa, 2018
Grafico 1 Características da open peer review. Legenda: cada respondente podia assinalar mais de uma opção: pergunta com resposta múltipla, não soma 100%.
Como o Gráfico 1 sintetiza, os três itens com maior incidência são: avaliação mediada pelo editor (119 pontos, 63%); avaliação assinada (70=37%); e avaliação transparente (64=34%), enquanto os menos citados referem-se à avaliação síncrona, isto é, simultânea à edição do artigo, com 14 pontos ou 7%; à avaliação por grupo ampliado de juízes (22=12%); e avaliação pós-publicação (36=19%). A supremacia da editor-mediated review sinaliza o quão forte prossegue a interferência do editor como ator do processo de comunicação científica, tal qual ocorre na esfera das diferentes facetas da blind review, ainda em voga na maioria dos títulos.
Na realidade, todas as alternativas são mencionadas, ainda que comportem combinação entre elas. Trata-se de indicativo de que os pesquisados acompanham os avanços da eScience e da ciência aberta, dentre dos atuais paradigmas que norteiam os rumos da C&T. Por exemplo, destaca-se a aceitação de submissão dos originais a uma plataforma de preprints (avaliação pré-publicação, com 53 menções, 28%) para que a comunidade científica se pronuncie e oportunize ao autor aperfeiçoar seu texto antes da submissão ao periódico, tal como a avaliação tornada pública (38 menções, 20%), isto é, abertura da versão final para comentários do público e, a seguir, dos pares.
4.3Vantagens e desvantagens da open peer review
A partir das características, parece mais fácil apontar as (des)vantagens do sistema aberto. Em se tratando das vantagens, ao tempo em que os sujeitos da pesquisa poderiam arrolar mais de um item, totalizando 198 alternativas, 30 destas expressam “não” respostas: 15 (50%) nada apontam de positivo na OPR; 13 (43%) são omissões e dois (7%) confessam desconhecimento. No caso da maioria (168=85%) que se posiciona diante da questão, ainda que utilizando terminologias distintas (mas não antagônicas), há visível proximidade com o marco teórico (Amsen, 2014; DeCoursey, 2006; Ford, 2013). Quer dizer, como consta da Tabela 1, as opções prevalecentes são: transparência (47=28%); construção colaborativa da ciência (44=26%) e qualidade de avaliação, com 37 menções (22%).
A transparência do processo refere-se à divulgação de todas as etapas da avaliação, lhe assegurando confiabilidade, ao tempo em que proporciona aprendizadomútuo para avaliado x avaliador, face à troca de ideias, concorrendo para um produto final de maior qualidade. Como decorrência, tem-se a construção colaborativa rumo a uma ciência otimizada e sem fronteiras, o que significa que a OPR fortalece a ciência como sistema social, confrontando, abalizando pontos de vista, escolas, correntes de pensamento e comportamentos vigentes entre os cientistas. Decerto, ao tomar conhecimento de que seu nome virá à tona, o árbitro tende a manter maior cuidado em expor seu julgamento, o que conduz à emissão de pareceres mais sólidos, coerentes e consistentes, ao tempo em que permite, também aos autores a chance de distinguir, com detalhes, os critérios de análise. Em outras palavras, o conhecimento mútuo dos envolvidos na publicação do manuscrito facilita a apreensão do olhar do outro, perfazendo críticas de compreensão mais fácil e criativa. Eis alguns depoimentos que ilustram os resultados ora sumarizados:
A OPR deixa tudo às claras. Quem submete um artigo passa a saber que a avaliação será divulgada publicamente. Diante de críticas desfavoráveis, aprendemos [...] a gerar produtos que caracterizem as áreas profissionais científicas, com revisão, inclusive, de questões de linguagem [...]. (A91)
Há validação do conhecimento em construção; troca acadêmica; crescimento do pesquisador; amadurecimento da área de conhecimento. Chance maior de reconhecimento internacional, não obstante possíveis críticas de submissão aos países dominantes. Transparência na avaliação para justificar as queixas que fazemos contra os julgamentos das agências públicas brasileiras de fomento [...]. (A176)
Tabela 1 Vantagens da open peer review
| Vantagens da open peer review | Quantidade | % |
|---|---|---|
| Transparência do processo | 47 | 28 |
| Construção colaborativa da ciência | 44 | 26 |
| Qualidade de avaliação | 37 | 22 |
| Responsabilidade dos avaliadores na emissão de pareceres | 29 | 17 |
| Possibilidade de conhecer o avaliador | 11 | 7 |
| Total | 168 | 100 |
Fonte: dados da pesquisa, 2018.
Quanto às desvantagens (também múltiplas escolhas) da OPR, registra-se a abstenção de seis (3%) sujeitos e 23 (12%) que não reconhecem pontos negativos. No entanto, dentre os 160 (85%) respondentes a essa questão do instrumento de coleta há um número um pouco maior de alternativas desfavoráveis (Tabela 2) em confronto com as favoráveis.
Tabela 2 Desvantagens da open peer review
| Desvantagens da open peer review | Quantidade | % |
|---|---|---|
| Incremento de conflitos pessoais | 29 | 19 |
| Influência dos autores nas avaliações | 25 | 16 |
| Avaliações tendenciosas | 19 | 12 |
| Apego à cultura da blind review | 17 | 11 |
| Indisponibilidade dos atores (autores e avaliadores) | 15 | 9 |
| Resistência dos autores às avaliações | 12 | 8 |
| Retaliação aos avaliadores | 10 | 6 |
| Exposição das identidades | 9 | 6 |
| Prevalência do papel do editor | 8 | 5 |
| Carência de recursos que incentivem a open peer review | 6 | 3 |
| Avaliações demoradas | 4 | 3 |
| Desconhecimento da essência da open peer review | 3 | 2 |
| Total | 157 | 100% |
Fonte: dados da pesquisa, 2018.
Como natural dentre os teóricos, Csiszar (2016) discute a dificuldade de se manter um clima pacífico no universo avaliativo. Logo, a alternativa - incremento de conflitos pessoais - conquista o primeiro posto, com 19%. Afinal, inclui questões de diferentes naturezas que podem afetar ambos os segmentos sociais - autores e avaliadores -, sem contar que o contato entre eles, ao tempo em que promove diálogo, pode impor o ponto de vista dos autores (16%). Exemplificando: desconforto, constrangimento, resistência dos autores a qualquer tipo de julgamento (8%), não aceitação de argumentos e/ou contra-argumentos, chance de retaliação por parte de quem se sente injustiçado, julgamentos tendenciosos, com 12%, etc.
Neste último caso, por vezes, há incompreensão por parte dos referees frente aos objetivos, às premissas e ao recorte teórico, mas, também, há dificuldade em acatar linhas de pensamento com as quais não lidam bem, sem contar possíveis efeitos de lobbies ostensivos ou implícitos e o risco de troca de favores. Aliás, o árbitro pode, sim, discordar do arcabouço teórico, mas não é ético recusar com base tão somente nessa condição. Se nem a ciência é dogma, nem a verdade científica existe de forma perene, lhe compete analisar os fundamentos do autor; validar a exatidão das observações; verificar o eixo metodológico; analisar o nível de ineditismo e pioneirismo.
Como decorrência dos itens até então mencionados, com frequência, registra-se maior indisponibilidade de atores (autores e avaliadores) intelectualmente preparados para enfrentar críticas dos pares. Como afirmam 15 (9%) depoentes, os editores enfrentam, agora, maior dificuldade para encontrar pessoas disponíveis para se expor, seja como autor ou avaliador, o que reforça a exposição da identidade (6%) como entrave e corrobora depoimentos como este: “A exposição dos avaliadores acarreta retaliações por parte de autores com artigos recusados” (A110), ainda que essa possibilidade conste como elemento isolado, 6%, Tabela 2.
E é preciso reconhecer que a OPR ainda demanda não apenas TIC mais acessíveis a instituições das diferentes regiões do Brasil, como alguém faz menção, como também recursos que incentivem a avaliação aberta (3%), mediante estudos e discussões para a adoção desse sistema inovador. Caso contrário, o desconhecimento ou o domínio irrisório da essência da OPR persistirá. Na verdade, ao longo da coleta de dados, em diferentes momentos, é visível o desconhecimento declarado ou implícito, em torno de 2% no que tange à nova revisão por pares, justificando o apego à cultura da avaliação às cegas, que recebe 17 pontos ou 11%, Tabela 2.
É interessante acrescentar que, repetindo teóricos, como Spinak (2018) e Walsh et al. (2000), pontos negativos da blind review são mencionados pelos pesquisados, haja vista que a OPR também pode se estender com idas e vindas, réplicas e tréplicas (avaliações demoradas, 3%), e, como inevitável, em que pesem as queixas dos avaliadores-pesquisadores, o editor continua a ocupar papel central (5%), graças ao antigo argumento de autoridade.
Na realidade, confirmando teóricos revisitados, a exemplo de Hopewell et al. (2014), é evidente que a avaliação é, sempre, um processo polêmico, e como, consensual, todos os sistemas possuem contradições ou fragilidades. No estudo, na íntegra, verifica-se que um mesmo respondente tanto aponta vantagens quanto desvantagens da OPR, ora por desconhecimento, ora por temor de assumir inovações, ora por medo de enfrentar conflitos.
4.4 Interesse em atuar com a open peer review como recurso para a melhoria da ciência
Apesar de o instrumento de coleta trazer tais questões em separado - você tem disposição / interesse em trabalhar com a OPR? / você acredita que a OPR pode melhorar as revistas científicas brasileiras? - estão elas intrinsecamente relacionadas, haja vista que é natural à adesão de novos instrumentos de trabalho quando se nutre confiança e certo nível de interesse ou curiosidade. Mesmo assim, enquanto 137 (72,5%) avaliadores admitem empenho em experienciar a nova modalidade de avaliação, um índice um pouco menor (69%) considera que a OPR representa, de fato, oportunidade de qualificar as revistas científicas no campo da CI e, portanto, de assegurar o avanço da área.
Dentre o total dos 137 simpatizantes da avaliação aberta, cinco afirmam que já participam do processo assistematicamente. Num panorama de definições e indefinições, entre 1999 e 2011, Amsen (2014) contextualiza a evolução da OPR com ações diferenciadas. No caso de títulos eletrônicos, a proposta mais comum é a de Stumpf (2005), a qual sugere a disponibilização de artigos por cerca de três meses num servidor web, com chance de o autor receber e intercambiar sugestões advindas de estudiosos ou de leigos, haja vista que não há como selecionar os comentaristas e, com frequência, é ideal retomar a posição do grande público, como financiador das pesquisas empreendidas.
No caso de Kern (2017), a ênfase vai para os preprints, instrumentos por excelência para o aperfeiçoamento dos estudos em andamento antes da avaliação e da publicação formal. Exemplifica com o repositório arXiv. org, que posta artigos de matemática, física, astronomia, computação, biologia, estatística e finanças, com a variante de os textos estarem à disposição tão somente de especialistas e estudiosos, tornando-se mecanismo de qualidade através da crítica permanente e mais sólida. Nassi-Calò (2015) reitera a iniciativa, porquanto, apesar de não terem passado por avaliação formal, os artigos, ao receberem críticas e sugestões, conduzem seus autores ao aperfeiçoamento dos trabalhos em curso e quiçá, adiante, lhe façam aderir ao posprint.
Em contraposição, 11 (6%) sujeitos dentre a população de 189 unidades amostrais confessam ser contrários à OPR porque preferem a blind review. Acreditam que apesar de suas imperfeições, vem sendo testada há anos a fio, o que traz consigo a chance de aperfeiçoamento mais veloz, reiterando o citado apego às culturas consagradas ou usuais e o consequente temor de enveredar por novos caminhos, até porque, a OPR também possui inconsistências e pontos indefinidos (DeCoursey, 2006). Portanto, é incontestável que as modalidades de procedimentos avaliativos podem conviver num mesmo espaço e num mesmo tempo, a depender das singularidades das nações, das áreas com suas múltiplas especialidades, haja vista que a ruptura de paradigmas e a convivência com o novo demandam tempo.
4.5 Dificuldades para adoção da open peer review e nível de disponibilização de tecnologias
Reafirmando as controvérsias que cercam o status quo da ciberinfraestrutura capaz de otimizar as práticas da eScience e a expansão da ciência aberta, como Curty (2016) disserta, as duas perguntas que se entrecruzam ao se referirem aos tópicos - que dificuldades você aponta para uso da OPR, em termos de Brasil? / em sua opinião, o país dispõe de tecnologia suficiente para adotar a OPR? - trazem respostas díspares. Dentre os 189 pesquisados, a maior parcela (105=55%) acredita que o país dispõe de inovações tecnológicas que assegurem o uso da avaliação aberta. Alguns citam o Sistema Eletrônico de Editoração de Revistas (SEER) do Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT), como adaptação do Open Journal Systems (OJS), software de gerenciamento e de edição de revistas eletrônicas.
Do outro lado, há quem afirme (35, 19%) ignorar a resposta para os questionamentos ao lado dos que negam (25, 13%) a possibilidade tecnológica efetiva da nação e seis (3%) que se abstêm. Porém, 18 (10%) dizem que a questão central que ronda a ciência / a comunicação e a produção científica nacional não reside nos artefatos tecnológicos, mas, sim, no refúgio do anonimato que protege os mais inseguros na esfera das instituições de ensino superior (IES). Eis significativos depoimentos que põem em xeque a importância do avaliador:
Não sei se se trata de uma questão de tecnologia ou de uma tradição de pareceres anônimos que protegem os avaliadores. O maior problema seria a aceitação dos avaliadores, que teriam que trabalhar seus pareceres com muito mais rigor, já que estes também serão avaliados. (A117)
Suponho que com a OPR, os avaliadores embasarão seus julgamentos com argumentos acadêmicos e científicos, o que contribuirá para melhorar o nível dos artigos, uma vez que a prática, muitas vezes, tem sido marcada por julgamentos baseados em opinião ou interesses a respeito de determinado tema, de forma de abordagem, de grupos de pesquisa e / ou de ideologias, sem que se concretize um debate acadêmico impulsionador do avanço do conhecimento. (A189)
5. Conclusão
O exposto até então permite inferir que a viabilidade da OPR dentre avaliadores em CI consiste em tarefa imprescindível diante das mudanças que se impõem à sociedade e à comunidade científica em particular (Shanahan & Olsen, 2014). Apesar da vasta bibliografia pertinente ao tema, ainda paira clima de indecisão dentre editores e avaliadores. As razões são múltiplas e variadas, incluindo desconhecimento, temor do elemento novo e do enfrentamento de conflitos num ambiente tradicionalmente competitivo, como institutos de pesquisa e IES, afora o culto à prática da blind review, que representa certa zona de conforto.
De qualquer forma, o perfil favorável dos pesquisadores-avaliadores, cuja titulação (93%, doutores) e ampla experiência na função (46% são referees há mais de 10 anos), decerto, os creditam como árbitros. As características da OPR por eles citadas aproximam-se ou coincidem com as apontadas no referencial teórico. Quer dizer, os traços marcantes propostos por teóricos, à semelhança de Ford (2013), Ross-Hellauer (2017) e Spinak (2018) são reconhecidos pelos pesquisados, ainda que, com 119 (63%) menções, a primeira posição vá para a avaliação mediada pelo editor, numa prova inconteste de que traços da blind review, como a onipotência do editor, prosseguem. Afinal, são paradigmas mutáveis a longo prazo.
Seguem a avaliação assinada (37%) e a avaliação transparente (34%), características em sintonia com as vantagens mais citadas da OPR, as quais são quase sempre consensuais até entre os críticos do novo sistema avaliativo. De fato, os depoentes acordam com os teóricos revisitados acerca dos pontos positivos da OPR, quais sejam, transparência do processo (25%); e construção colaborativa da ciência (23%). Estes itens reafirmam David e Spence (2003), quando tratam do quarto paradigma prevalecente na contemporaneidade, quando se busca, além da transparência dos procedimentos, a otimização da ciência.
Não obstante a impossibilidade de conclusões atemporais em pesquisas desta natureza que lida com dados voláteis, no momento, é essencial retomar a avaliação aberta como um dos três pilares interdependentes da ciência aberta, constituídos pelo: acesso aberto, dados abertos e avaliação aberta. O acesso aberto possibilita que resultados de pesquisa sejam disponibilizados em larga escala, podendo ser reusados pela comunidade em geral. Tal possibilidade necessita que eles - os resultados - sejam submetidos à avaliação, porquanto é ela que garante a qualidade científica, condição sine qua para que sejam divulgados, utilizados e ampliem o cabedal de conhecimentos, o que justifica a conclusão final de que, apesar de todos os entraves postos pelos depoentes, significativa parcela (137 ou 72,4%) demonstra disposição em adotar a OPR, embora reconhecendo que possui desvantagens, além de indefinições quanto ao gerenciamento e à operacionalização cotidiana, o que requer inovações emergentes. (Kern, 2017).
