Qualidade de Conteúdo, o Grande Desafio para os Editores Científicos

Calidad del Contenido, el Gran Desafío para los Editores Científicos

Quality of Content, the Great Challenge for Scientific Editors

PIOTR TRZESNIAK
Universidade Federal de Itajubá, Itajubá, Brasil

TATIANA PLATA-CAVIEDES
Universidad de los Andes, Bogotá, Colombia

OSCAR ALEJANDRO CÓRDOBA-SALGADO
Horizontes ABA Terapia Integral, Bogotá, Colombia

ARTÍCULO DE REFLEXIÓN
RECIBIDO: 6 de marzo de 2012 - ACEPTADO: 25 de abril de 2012

Resumo

Discutem-se alguns problemas que atualmente afetam a qualidade do conteúdo das revistas científicas e ressalta-se o papel dos editores como responsáveis pela definição tanto da direção (o que se fará) como da profundidade (até que ponto se avançará) das pesquisas. Propõe-se que a relação ótima entre ambas se alcança a partir de um equilíbrio entre as três logias: terminologia, epistemologia e metodologia. Sob esta fundamentação, apresenta-se uma taxonomia para avaliação e análise de projetos de pesquisa, artigos e pareceres científicos. Conclui-se com propostas de ação específicas para todos os atores envolvidos na geração e difusão do conhecimento (autores, revisores, agências de fomento, instituições que publicam revistas e editores científicos), orientadas a melhorar a qualidade do conteúdo das publicações.

Palavras-chave: taxonomia, pareceres científicos, mérito científico, avaliação de trabalhos científicos, papel do editor científico, revistas científicas, editoração científica.

Resumen

]]> El artículo discute algunos de los problemas que actualmente afectan a la calidad del contenido de las revistas científicas y se resalta el rol de los editores como los responsables de definir tanto la direc-ción (lo qué se hará) como la profundidad (cuánto se llevará a cabo) de la investigación en una determinada área. Se propone que la relación óptima entre dirección y profundidad se logra a partir de un equilibrio entre las tres logías: la terminología, la epistemología y la metodología. Partiendo de esta premisa, el artículo presenta una taxonomía para el análisis de proyectos de investigación, artículos y dictámenes científicos. Se concluye con propuestas de acción específicas dirigidas a todos los actores involucrados en la generación y difusión del conocimiento (autores, dictaminadores, organismos de financiación, instituciones que publican revistas y editores científicos), orientadas a mejorar la calidad del contenido de las publicaciones.

Palabras clave: taxonomía, dictámenes científicos, mérito científico, evaluación de trabajos científicos, papel del editor científico, revistas científicas, edición científica.

Abstract

The article discusses some of the problems that currently affect the quality of content of journals and highlights the role of editors as those responsible for defining both the direction (what will be done) and depth (how far it will go) of research in a certain area. The optimal relationship between direction and depth is proposed to be achieved through a balance among the three logies: terminology, epistemology and methodology. Based on this premise, the article presents a taxonomy for the analysis of research projects, scientific papers and referee reports, and suggests specific actions aimed at improving the content quality of journals, targeted at all those involved in the generation and dissemination of knowledge (authors, reviewers, funding agencies, publishers, and, last but not least, scientific editors).

Keywords: taxonomy, referee reports, scientific merit, evaluation of scientific works, scientific editor: roles, scientific journals, scientific editing.

OS DESAFIOS para os editores científicos, especialmente os da América Latina, vêm mudando ao longo do tempo. Se em 1960-1980 era simplesmente lançar algo parecido com uma revista capaz de escoar a produção científica de uma determinada área ou instituição, em 1990 passou a ser normalizar e, nos anos 2000, indexar.

E atualmente, em 2012? São ainda os mesmos de 1990 e 2000 os desafios da publicação científica? Nossa resposta é não. Esses desafios já estão superados ou em fase de superação. Propomos, para os próximos dez ou vinte anos, um mesmo, novo, único desafio para todos os segmentos e atores envolvidos na construção do conhecimento: a qualidade de conteúdo.

Neste artigo, discorremos brevemente sobre a superação dos desafios passados para, na terceira seção, apontar as mudanças comportamentais e ambientais que vêm prejudicando seriamente a qualidade de conteúdo, bem como as respectivas consequências sobre a literatura científica. Exemplificamos com alguns tipos de trabalhos apenas aparentemente científicos e justificamos a razão de eles não o serem. Apresentamos, então, os aspectos a serem levados em conta para a recuperação da qualidade, a saber, um atendimento equilibrado a três logias: terminologia, a pureza, rigor e compartilhamento dos conceitos; epistemologia, para que sejam feitas as pesquisas corretas, visando a maximizar o avanço do conhecimento relativamente ao esforço e custo respectivamente despendidos; e metodologia, a maneira de fazer corretamente as pesquisas (sistematicamente e com rigor).

Com base nessa proposta, elaboramos uma taxionomia para a análise de conteúdo de pareceres científicos, com três grandes dimensões e quatro níveis hierárquicos. O que caracteriza essencialmente as dimensões é o tipo de qualificação exigida da pessoa que os avalia: técnicos, na primeira, forma/norma; um conhecedor da área com experiência em preparação de textos científicos; na segunda, aspectos editoriais; e um pesquisador ativo na subárea focada no manuscrito; na terceira, mérito científico. Estritamente falando, a parte de fato científica do parecer está totalmente compreendida nesta última dimensão.

Desafio Superado: Aspectos Técnico-normativos

Não há dúvida de que as revistas científicas da América Latina cresceram significativamente em vários aspectos nas últimas décadas, especialmente a partir de 1995. Crescer em qualquer dimensão positiva é certamente importante, embora o esforço exigido e a repercussão de cada avanço sejam variáveis. O mais simples, sem dúvida, é crescer em quantidade. Considerando apenas a área de psicologia, observa-se, na Colômbia, o lançamento de cinco revistas e a publicação de 595 artigos (dos quais 62% científicos) no período de 1991 a 1997; já de 1998 a 2008, criaram-se 22 revistas e se publicaram 3,052 artigos, dos quais 80% científicos (Guerrero & Jaraba, n. d.). O número total de artigos cresceu 412%, e, mais notável, o de artigos científicos: 562%. Outra ilustração, também da psicologia, vem do Brasil: em 1998, a base Qualis, mantida pela Capes (Coordenação de Aperfeiçoamento do Pessoal do Ensino Superior), registrava 47 revistas (Yamamoto et al., 1999); em 2012, o total chega a 128, dos quais 107 nos estratos A e B¹,².

Um segundo aspecto que apresentou melhoras expressivas foi o do atendimento às normas de estruturação das revistas e da apresentação dos artigos. Os pesquisadores que se tornavam editores aprenderam, entre outras coisas, a estabelecer e publicar sua política editorial e suas instruções aos autores, a incluir sumários, resumos e palavras-chave em pelo menos dois idiomas e a padronizar referências. Aprenderam mais a conduzir o processo editorial, especialmente a revisão pelos pares. E, já mais recentemente, passaram a empregar sistemas gerenciais eletrônicos para esse processo, com destaque para o Open Journal System/Sistema Eletrônico de Editoração de Revistas (OJS/SEER) e a sua adaptação para o Sistema Scientific Electronic Library Online (SciELO) de Publicação (http://submission.scielo.br).

É preciso ressaltar que o aperfeiçoamento normativo ocorreu sob forte influência (a) dos sistemas de avaliação de docentes e/ou de programas de pós-graduação (e. g. Capes e CNPq, no Brasil, e Colciencias, na Colômbia), e (b) das bases de dados de texto completo online (como SciELO e REDALYC, ver adiante).

Iniciando pelo efeito dos sistemas de avaliação, os órgãos de fomento sentiram necessidade de qualificar as revistas que recebiam os artigos dos pesquisadores e dos programas. Para isso, criaram classificações hierárquicas baseadas essencialmente em aspectos técnico-normativos, com inclusão de alguns critérios indiretos relativos à qualidade de conteúdo (Trzesniak, 2006; Yamamoto et al., 1999; Yamamoto et al., 2002). Várias áreas no Brasil, entre as quais a psicologia, seguiram esse paradigma por cerca de dez anos. Obviamente, as revistas bem classificadas (i. e. bem normalizadas) passaram a receber a quase totalidade das submissões, o que ameaçava a existência das demais, que ou se aperfeiçoavam ou desapareceriam. Percebe-se claramente esse processo no caso da psicologia brasileira. Na primeira avaliação, eram 47 revistas, das quais 11 foram enquadradas como A e 20 como B, totalizando 31, ou 66% (Yamamoto et al., 1999). Apenas dois anos depois, na segunda avaliação, a quantidade de revistas A dobrou, atingindo 22 entre as 50 analisadas. Outras 18 foram enquadradas como B, totalizando 40 (80%) nas duas categorias superiores (Yamamoto et al., 2002). Em ambas as avaliações, os critérios utilizados e praticamente todo o conjunto de revistas foram os mesmos.

Enquanto os órgãos de fomento e comitês de área atuavam didaticamente com relação às revistas, promovendo o atendimento progressivo a critérios técnico-normativos, cumpri-los praticamente todos era – e segue sendo – uma exigência básica para inclusão em bases de dados (os chamados indexadores). Quando estas se tornaram online e passaram a oferecer o texto completo dos artigos em acesso livre (open access), converteram-se na aspiração máxima de todos os editores da América Latina e do Caribe que eram cônscios de sua responsabilidade com o avanço do conhecimento: ser admitido nessas bases representava ampliar a visibilidade dos trabalhos publicados de um modo antes nunca sequer sonhado. A criação, em 1997, da SciELO no Brasil, executada pela Bireme (Centro Latino-americano e do Caribe de Informação em Ciência da Saúde) e financiada pela Fapesp (Fundação da Amparo à Pesquisa do Estado de São Paulo), deve ser considerada o marco inicial dessa movimentação. Os critérios de admissão, que correspondem às metas a serem atingidas pelos editores, podem ser encontrados no respectivo portal (http://www.scielo.br/avaliacao/avaliacao_pt.htm). A busca do atendimento a esses critérios reflete-se em um benefício enorme para a qualidade das revistas, benefício esse que a expansão da SciELO pela Ibero-américa e pelo Caribe repercutiu em todas essas regiões.

A Bireme trabalha em estreita cooperação com a Organização Pan-americana de Saúde (o "me" final no seu acrônimo vem de "medicina"). Não é surpreendente, então, que fora do Brasil, a SciELO tenha contemplado preferencialmente a área de ciências da saúde. Sentindo a necessidade de promover a visibilidade do conhecimento produzido em ciências sociais, um grupo de pesquisadores da Universidade Autônoma do Estado do México criou a REDALYC (Red de Revistas Científicas de América Latina y el Caribe, España y Portugal). A exemplo do que ocorre com a SciELO, a REDALYC mantém acessíveis em seu portal (http://www.redalyc.org/media/principal/proyecto/guiaPostulacion.html) os rigorosos requisitos que as revistas devem cumprir para fazerem jus à indexação. Já que o foco temático em ciências sociais há muito deixou de existir, publicações de todas as áreas do conhecimento acabam sendo beneficiadas. Outro aspecto muito positivo da REDALYC é sua política de encarar a seleção para ingresso como uma maneira de construir a qualidade das revistas, visando a aceitá-las, e não como uma forma de impedir sua inclusão (o que, até há poucos anos, era a tônica dos indexadores comerciais do hemisfério norte).

Todo este contexto é importante para que sejam produzidas boas revistas. Há um material farto, generoso e acessível, gerado por pesquisadores, órgãos de fomento e indexadores, que ensinam como fazê-lo (ver o primeiro parágrafo da seção Conclusão). Há, ainda, os sistemas eletrônicos de gerenciamento que garantem os aspectos formais do processo. Certamente, não está mais no atendimento de requisitos formais e gerenciais o desafio dos editores científicos neste terceiro milênio.

Por outro lado, o mesmo contexto possibilita que, com um mínimo de esforço e alguma dedicação, se façam revistas que são apenas técnico-normativamente corretas, que tenham a aparência de científicas, mas cujo conteúdo seja absolutamente inútil, sem trazer qualquer tipo de contribuição. Infelizmente, muitas destas têm surgido recentemente, e apenas a indiferença da própria comunidade científica, não as consultando, não as recomendando e não as citando, irá resolver o problema: que pereçam o mais rapidamente possível.

Faz mais de 50 anos que o número de revistas científicas (no hemisfério norte) aproximou-se do limite que uma pesquisadora (ou um pesquisador) podia acompanhar regularmente. Atento a essa oportunidade, Eugene Garfield criou os primeiros indexadores, essencialmente boletins (Garfield, 1998), cujo conteúdo eram partes selecionadas do conteúdo de outras revistas (apenas autores e títulos, no que ficou conhecido como indexer; e incluindo resumos, nos abstracters). A pesquisadora, então, não precisava consultar uma grande quantidade de publicações separadamente, bastava percorrer o indexador para inteirar-se de tudo o que ocorria de mais recente em sua área. Ao encontrar um artigo de interesse, ia buscá-lo diretamente na fonte, economizando significativamente seu tempo e seu esforço.

Os propósitos de um indexador são, então, os de oferecer visibilidade aos trabalhos e de auxiliar pesquisadores a se manterem atualizados em suas áreas de interesse. Porém, até mesmo os indexadores foram incapazes de dar conta do crescimento no número de revistas, o que os levou a praticar a seleção das publicações a serem acompanhados. Isso criou a casta das revistas indexadas, que passaram a ser especialmente valorizadas – tanto que a visibilidade, sua finalidade primária, é muitas vezes esquecida, superada pela aura de prestígio que lhes é atribuída.

A construção aura de prestígio que lhes é atribuída é intencional. As revistas, em si, nunca tiveram nada de excepcional, além de terem superado um processo seletivo, baseado em critérios técnico-normativos, e serem conhecidas pelos pesquisadores integrantes do comitê científico do indexador, quando tal existia. A indexação não agrega valor diretamente à qualidade dos artigos publicados. Seu efeito é, no máximo, indireto. Primeiro, porque as boas práticas técnico-normativas, especialmente a seriedade do processo editorial, permitem inferir que efetivamente se selecionem os melhores artigos. Segundo, revistas indexadas, pela larga visibilidade que propiciam, (a) têm a preferência dos autores para o envio dos seus melhores manuscritos, o que favorece diretamente a qualidade das submissões, e (b) são sempre a primeira opção para o envio de qualquer manuscrito, o que amplia o número total de submissões e, portanto, favorece também estatisticamente a qualidade do que acaba sendo publicado. Especialmente esta última circunstância implica taxas de rejeição consideráveis, e a maior dificuldade de ter o artigo aceito é, provavelmente, o que leva a comunidade científica a supervalorizar e, muitas vezes, encarar de modo quase místico as revistas indexadas.

Porém, se há quinze, vinte anos, ainda se poderia entender essa supervalorização, o panorama atual a desautoriza totalmente. Apareceram os indexadores de texto integral e acesso livre, de que são exemplos o pioneiro SciELO e o REDALYC. Paralelamente, surgiram e multiplicam-se repositórios e revistas eletrônicas independentes, baseados na tecnologia interoperável desenvolvida pela open archives initiative, portanto, oferecendo uma visibilidade que nada deixa a desejar àquela dos indexadores. Isso quebrou o monopólio da difusão ampla que, de certa forma, sai do esquema comercial e retorna ao controle dos pesquisadores. Reconhecemos que, pela conjuntura do intercâmbio do conhecimento, algumas áreas, especialmente as "duras", são quase reféns dos indexadores comerciais, como Scopus e Thomson-Reuters. Porém, outras, e mais especificamente as ciências humanas, sociais e, em parte, também as agrárias, muitas vezes se fazem reféns desses indexadores, aceitam submeter-se a eles voluntariamente, numa subserviência que já não se justifica mais. O propósito de avanço do conhecimento científico de um artigo é mais bem atingido quando ele está em acesso livre do que se apenas quem tem condições de pagar puder estudá-lo. Não há nenhum sentido em reduzir desnecessariamente a audiência de um artigo científico.

Evidentemente, os indexadores comerciais não se empenham em modificar a perspectiva de quem os supervaloriza, mas também não perdem de vista o fato de que este paradigma pode mudar. Ao facilitar sobremaneira a construção de bases de dados e de oferecimento de conteúdo, a moderna informática quebrou os limites de número de títulos que um indexador é capaz de cobrir. O negócio passou a ser, então, a venda da base de dados de artigos e revistas e, aí, a tendência é de que, quanto mais títulos estiverem na base, melhor. Além disso, é óbvio que facilita muito a venda de uma base para países cientificamente emergentes se algumas publicações desses países estiverem a elas integrados. É bastante razoável admitir que essas duas condições levaram a que, em anos recentes, a quantidade de revistas do hemisfério sul nas bases comerciais de acesso restrito do hemisfério norte apresentasse um crescimento expressivo, da ordem de centenas por cento. Exemplificando com o Brasil, em 2007, havia 30 e 147 revistas indexadas, respectivamente, no Web of Science e na Scopus. Os números correspondentes em 2010 são aproximadamente 200 (+ 570%) e 310 (+ 110%). Apesar desse crescimento, o total, em termos absolutos, continua sendo irrisório, situação que se estende a toda a América Latina e Caribe (Strehl, 2011).

É com base em todo o contexto até aqui descrito que nos permitimos considerar o desafio da indexação como em fase de superação pelas revistas do hemisfério sul. Por um lado, há as iniciativas autóctones, open access, como SciELO e REDALYC, com critérios de admissão claros e transparentes, cujo atendimento está sob controle do editor. Por outro, os indexadores comerciais do hemisfério norte vêm apresentando uma postura mais receptiva. Antes, os editores, por mais sérios e dedicados, eram confrontados com exigências adicionais a cada passo do processo de aceitação. Agora, o trabalho desses editores (sérios e dedicados) é avaliado numa medida mais justa, há mais reconhecimento, há mais interesse em incluir revistas de países com pouca presença nas bases. No entanto, os indexadores comerciais ainda resistem bastante e, nas áreas que classificamos como não-reféns deles (humanas, sociais e parte das agrárias), acreditamos que o caminho mais promissor e efetivo não é atrelar a qualidade das revistas ao fato de serem neles aceitas. Deve-se, sim, fortalecer REDALYC e SciELO (e outras iniciativas de igual seriedade e porte que venham a surgir), valorizando-os tanto ou mais que os comerciais. Com tal apoio, é uma questão de poucos anos para que os primeiros atinjam os mesmos patamares dos últimos, que têm, como diferencial, apenas as consequências de serem mais antigos e tradicionais. Aceitar o contrário seria admitir que, para produzir e indexar conhecimento, ser nativo do hemisfério norte significa ter mais competência, capacidade e criatividade do que sê-lo do hemisfério sul.

O Desafio para o Terceiro Milênio: Qualidade de Conteúdo

O que Compromete a Qualidade do Conteúdo

Há de ter sido percebido que, em todas as considerações feitas até aqui, não foi mencionada a qualidade intrínseca de conteúdo, o valor e o mérito científico dos trabalhos publicados. A principal razão para isso é que não compete a órgãos de fomento ou indexadores avaliarem diretamente os artigos. Não é sua função, não é sua responsabilidade. Não lhes cabe, nem é razoável, replicar o processo editorial, algo já realizado. Também não é seu interesse: eles visam a, respectivamente, distribuir recursos e promover a visibilidade. Nem eles (e também não as editoras que publicam as revistas) têm qualquer efeito direto sobre o valor científico agregado ao conhecimento humano por uma pesquisa e seu relato em forma de artigo.

Infelizmente, os tempos mudaram. O pressuposto de que apenas o que tem qualidade é processado e publicado com aparência de sério não é mais verdadeiro. Sem uma mobilização consciente da comunidade científica, em poucos anos teremos uma inversão do que consta no parágrafo anterior: artigos de boa qualidade serão tão poucos e raros que, rapidamente, se tornarão assunto de discussão e, por serem minoria, talvez até de repúdio.

Como razões que contribuem para abalar o princípio de que tudo o que editorialmente processado é bom, identificamos:

1. entidades e indexadores fixaram números mínimos de artigos publicados por ano para financiar revistas ou para incluí-las em seu acervo, respectivamente;

2. entidades de fomento à pesquisa, em suas avaliações de produtividade de pesquisadores e de programas de pós-graduação, passaram a levar predominantemente em conta a quantidade de artigos publicados em revistas;

3. surgiram e tornaram se populares poderosos programas para processamento de textos: é fácil deixar qualquer informação com aparência profissional (gerando artigos e revistas corretos apenas na aparência ou na normalização);

4. surgiram poderosos programas para análise estatística computadorizada, amigáveis a ponto de possibilitar seu emprego por quem apenas domine o uso do mouse ou aprenda a acionar teclas em uma determinada sequência. Não é, então, muito difícil revestir de credibilidade uma informação inconsequente, absurda, ou até mesmo falsa por meio de uma pseudorretaguarda estatística.

Como a Qualidade é Comprometida I:
a Discussão das Três Primeiras Razões

A primeira razão é requerer dos editores a veiculação de um número mínimo de artigos por ano. Isso os induz a publicar artigos de qualidade discutível para ter sua revista financiada e/ou indexada, condições praticamente indispensáveis para a sua sobrevivência. Entre deixar a revista morrer e publicar artigos de qualidade discutível, o editor acabará escolhendo a segunda opção. Uma solução imediata seria levar também em consideração os totais bruto e líquido de submissões, isto é, respectivamente, quantos artigos são recebidos e quantos superam a revisão de conformidade (o desk review) e efetivamente ingressam na revisão por pares. A qualidade de conteúdo de duas revistas que publicam anualmente 60 artigos acaba sendo bastante diferente se uma recebe 300 e a outra 80 submissões por ano. Outro aspecto que tem de ser levado em conta, também, é o grau de especialização temática da revista: quanto mais estreito, menor é o número de submissões, quando comparado ao das revistas de amplo espectro. A construção da efetiva qualidade de conteúdo exige que esses aspectos sejam seriamente considerados nas avaliações.

O problema associado à terceira razão, a assunção tácita de que tudo o que tem boa aparência formal (como livros e artigos científicos impressos) é material confiável (o efeito Gutenberg), já foi mencionado anteriormente nesta seção. A comunidade científica habituou-se a isso, era preciso que a inconsistência fosse efetivamente muito grande para gerar o descrédito. Atualmente, qualquer pessoa pode preparar textos e contextos capazes de explorar em seu benefício a credulidade das pessoas. Tal ocorre na vida comum, por exemplo, através de sites e e-mails falsos e gera prejuízos pessoais e financeiros. Contudo, acontece também na ciência, mediante publicação, sob um visual atraente e sem qualquer processo de validação, resultados de pesquisa tendenciosos, manipulados ou obtidos sem qualquer rigor e seriedade. Esta última situação representa um desafio tanto para as pesquisadoras e pesquisadores como para os docentes e orientadores que os formam: é necessário aprender e ensinar a utilizar e constantemente aperfeiçoar o senso crítico, para identificar o entulho pseudocientífico, apontá-lo e desprezá-lo, para que desapareça.

Como a Qualidade é Comprometida II:
a Supervalorização da Metodologia (ou: Três Logias para a Qualidade)

Chegamos finalmente à quarta razão, a dos programas estatísticos, cuja discussão exige uma seção específica. Eles são amigáveis, fáceis de usar, e muito raramente não permitem identificar algum tipo de relação ou influência de variáveis entre si. Mas apenas relacionar variáveis não é ciência: é uma parte da metodologia que, por sua vez, é somente uma das logias indispensáveis para o efetivo avanço do conhecimento. A metodologia, que ensina a fazer corretamente as pesquisas, deve ser subordinada à epistemologia, que ensina a fazer as pesquisas corretas. É observando o desenvolvimento da área e identificando o seu momento epistemológico³ que os pesquisadores devem decidir qual o próximo passo de investigação, qual o mais relevante e promissor problema a ser atacado, de modo a maximizar a obtenção de resultados significativos relativamente ao esforço despendido.

Em geral, estes trabalhos pretensamente científicos, que se iniciam meramente relacionando variáveis, escolhem um construto em evidência ("da moda"), não o definem ou o delimitam com um mínimo de clareza conceitual, mas elaboram para ele um questionário apressado que, supostamente, o mediria ou avaliaria. São características de questionários desse tipo:

1. ser criado rapidamente, sem muita reflexão, ponderação e/ou sistematização relativamente ao que se pretende observar – daí o nome apressado;

2. apresentar em torno de 20 itens, um número de variáveis que tem boa possibilidade de gerar algum "resultado", mas que não exige demasiado esforço para ser digitado na base de dados.

Aí, basta apertar as teclas certas ou manipular adequadamente o mouse para que o programa de computador gere a "pesquisa", na forma de várias tabelas com símbolos e números que a pessoa não sabe exatamente como e de onde surgem, mas que o manual diz que, quando se tem uma hipótese, eventualmente podem significar algo. Como não existe a hipótese, essa lógica é invertida: já que apareceu algo significativo, basta criá-la e, na redação, inseri-la na formulação do problema. Parece científico, mas a validade é totalmente questionável, para não dizer inexistente.

O desserviço que esse tipo de artigo (que denominaremos metodologicamente correto⁴) presta à ciência é enorme, e isso ocorre por ao menos duas razões:

2. O trabalho é preparado para usar um programa de computador, o que se torna, então, um objetivo; porém programas de computador são parte de uma metodologia, são ferramentas, que somente devem ser selecionadas depois que, respeitando as duas primeiras logias, o objetivo científico, o problema a ser resolvido, for definido com clareza e rigor. É completamente sem cabimento fazer de uma parte da metodologia a motivação principal de uma pesquisa.

A existência de uma base de dados empíricos, as tabelas e os resultados extraídos do computador fazem o artigo parecer científico, o que leva revisores a recomendá-lo, e editores a publicá-lo. Encontramos, assim, atualmente, nas revistas e nos congressos, os monstros ou aberrações: artigos sem corpo, pois não usam terminologia adequada, e sem cérebro, porque não têm uma inserção na epistemologia, não agregam valor ao acervo de conhecimentos da humanidade. Mas têm braços e pernas enormes e completamente desproporcionais, por se estruturarem apenas na metodologia, no modo de fazer as coisas. E este é mais um elemento do desafio da qualidade dos editores: exercendo o poder de publicar ou não e a responsabilidade de somente publicar o que efetivamente se constitua em um verdadeiro avanço do conhecimento, promover pesquisas que se preocupem equilibradamente com as três logias.

As Três Logias nos Pareceres Científicos

Quem Deve Atuar em Favor da Qualidade de Conteúdo, e Como?

Segundo Trzesniak (2009b), a primeira e principal preocupação de uma publicação cien- tífica deve ser levar aos seus leitores-pesquisadores (e pesquisadoras) o conhecimento novo e relevante dentro de sua área temática. Nas seções anteriores, apontamos vários casos em que tal objetivo não é atendido, apesar de o produto oferecido ter todos os requisitos formais de uma revista. Seria, porém, inadequado apenas apontar problemas, é preciso também encaminhar soluções. Quem e o que pode ser feito para reduzir significativamente a publicação de pseudoartigos e maximizar a de artigos com elevada qualidade de conteúdo?

Ainda em Trzesniak (2009b), encontramos que "o editor científico é a pessoa responsável pela execução da política editorial e pelo conteúdo científico da revista, e corresponde à posição mais elevada na sua hierarquia" (p. 97). E, mais adiante, "a decisão final de aceitar ou não uma submissão é do editor" (p. 100).

Quanto a quem cabe melhorar o conteúdo científico do que é publicado nas revistas, não resta dúvida, então, de que é dos editores o papel principal na missão. No entanto, eles jamais poderão cumpri-la sozinhos: dependem de uma cooperação séria e dedicada dos avaliadores e dos autores dos artigos.

Relativamente a o que fazer, a chave está no processamento editorial. Frequentemente, avaliadores não cobrem todos os requisitos necessários para atingir a efetiva qualidade de conteúdo, satisfazendo-se em observar aspectos secundários (embora indispensáveis) de forma ou redação, e não indo aos mais profundos, de mérito científico. Editores, por sua vez, recebem esses pareceres deficientes e, encarando a revisão por pares (peer review) apenas como uma etapa da qual "ficar livre", acatam e incorporam as sugestões menores e publicam o trabalho.

Para contornar esses problemas, os dois seguintes aspectos devem ser levados em:

2. grande parte da comunidade científica é jovem, e muitas das áreas, embora fortemente consolidadas como profissão (conhecimento aplicado), são emergentes como ciência (conhecimento abstrato, sintético, estruturado). No papel de condutores do processo editorial, compete aos editores científicos atuar de forma didática sobre a comunidade, auxiliando autores e revisores a identificar todos e cada um dos requisitos que um artigo deve atender para atingir a qualidade plena.

Uma Taxionomia Para a Análise de Textos e Pareceres Científicos

Com forte inspiração nas três logias e tendo em conta o parágrafo que encerra a seção anterior, elaboramos uma taxionomia para os requisitos da qualidade dos artigos científicos, enquadrando-os em três macrocategorias, subdivididas em subcategorias e microcategorias, as quais se distribuem em quatro níveis hierárquicos. O trabalho convergiu a partir de duas frentes: por um lado, com base na longa experiência dos autores na condução e execução do processo editorial, foram estabelecidas versões preliminares das macro e das subcategorias. Simultaneamente, foi realizada uma análise de conteúdo de 95 pareceres, relativos a 38 artigos submetidos à Revista Colombiana de Psicologia em 2010 e 2011 (Plata- Caviedes, Córdoba-Salgado & Trzesniak, 2012, neste volume), o que permitiu definir microcategorias, também em versão preliminar. Foram então efetuadas modificações e ajustes de um e de outro lado, até que todas as microcategorias estivessem enquadradas em alguma das macro.

A taxionomia, apresentada a seguir, é útil para atender a interesses de, pelo menos, quatro segmentos da comunidade envolvida com a publicação científica:

1. editores: criação de rotinas e de instrumentos de avaliação de artigos;

2. revisores (técnicos, editoriais e científicos): orientação acerca do que observar em geral e em que prestar uma atenção especial;

3. autores: auxílio para efetuar uma autoavaliação abrangente e completa dos próprios textos;

4. pesquisadores de ciência da informação e de comunicação científica: provimento de um referencial para estudo e análise de artigos e de pareceres científicos (como o de Plata- Caviedes et al., 2012).

A Taxionomia

Nesta seção, apresentaremos as macrocategorias (divididas em subcategorias) e as microcategorias respectivamente associadas a cada uma, e discutiremos algumas alternativas acerca de seu emprego em pesquisas. Por terem as primeiras sido obtidas a partir da análise de conteúdo de pareceres efetivamente dados para uma revista da área da psicologia, não se deve assumir que se trate de uma lista exaustiva: expandindo o número de pareceres e, especialmente, estudando outras áreas do conhecimento, é praticamente certo que a lista se amplie. Aliás, não se pode excluir que tal extensão modifique até mesmo as subcategorias.

Para cada macrocategoria, foi construída uma tabela, com as subcategorias ocupando sempre uma linha completa. A esta, seguem-se: (a) as denominações sucintas das microcategorias, na primeira coluna, e (b) os respectivos conceitos, necessários para identificar a presença destas últimas nos pareceres e nos artigos, na segunda (ver Tabelas 1, 2 e 3).

Taxionomia, Nível 1: Forma/Norma

A característica da macrocategoria norma/forma (Tabela 1) é conter itens a serem examinados na revisão de conformidade ou pré-análise (desk review) do manuscrito, a qual pode ser realizada por pessoal técnico não-especializado na área temática da publicação (revisores de texto, bibliotecários, arte-finalistas gráficos, secretários editoriais); apenas o item 1.4 exigiria um profissional com alguma familiaridade com a área, mas sem ter que ser necessariamente um pesquisador. Os manuscritos devolvidos aos autores, nesta fase, serão computados apenas como submissões brutas.

Observações:

1. Inadequabilidades nas subcategorias 1.1 e 1.3 podem ser eventualmente corrigidas sem retorno aos autores, desde que em quantidade não excessiva. Se o manuscrito for retornado e reapresentado, será computado como uma nova submissão.

2. O não-atendimento aos itens da subcategoria 1.2. implica o retorno do manuscrito aos autores para ajustes, podendo ser reapresentado; será então computado como uma nova submissão.

3. Manuscritos em desacordo com 1.4. devem ser definitivamente rejeitados.

Taxionomia, Nível 2: Aspectos Editoriais

Observações:

1. A ausência de um seção ou parte da macroestrutura acessória somente caracterizará uma falha no manuscrito se for devidamente justificada pelo (a) parecerista. Sem isso, deverá ser considerado apenas um comentário neutro (nem crítica, nem elogio).

2. O foco, na subcategoria 2.4, é o editorial, o da comunicação, o da execução das partes do manuscrito; não é a execução da pesquisa que está sendo relatada, aspecto que se analisa nas subcategorias 3.3, 3.4 e 3.5.

3. Inclui a utilização adequada de ilustrações como elementos de comunicação (ver microcategorias 2.4.n.2 a 2.4.n.4).

Taxionomia, Nível 3: Mérito Científico

Os itens deste nível são a essência da revisão por pares e devem ser avaliados por um pesquisador ativo no tema específico do artigo.

Observações:

1. Caso inadequadamente atendidos, 3.1, 3.2.1, 3.2.2.2 e 3.5.1 podem eventualmente ser corrigidos; o artigo retorna a autoras e autores sem sair do processo editorial.

2. Não atender plenamente 3.5.2 pode ser aceito, desde que justificado pelos autores, com indicação das respectivas limitações (por exemplo, foi feito o melhor possível dentro dos recursos à disposição, ainda que não o melhor disponível no planeta).

O Emprego da Taxionomia em Pesquisas

Objetos de Interesse

A par de, obviamente, artigos, identificam-se, desde logo, pelo menos dois tipos de documento que se podem analisar à luz da taxionomia: pareceres singulares, emitidos por uma só pessoa, e pareceres consolidados, em que aparecem, combinadas, as observações de mais de um avaliador. Admitindo-se que todas as virtudes e falhas do manuscrito estejam no consolidado, a comparação com os singulares que o originaram pode permitir traçar um perfil de preferências e de argúcia dos pesquisadores responsáveis. Nisso já se tem uma primeira oportunidade de emprego da taxionomia em pesquisas.

Como a Taxionomia Auxilia na Pesquisa

O emprego da taxionomia em pesquisas se dá analisando o conteúdo do parecer de interesse e comparando os comentários nele feitos com os conceitos das microcategorias (ver as segundas colunas das Tabelas 1, 2 e 3). Registram- se então:

1. o próprio comentário;

2. a respectiva microcategoria;

3. o atributo (+), (-) ou (=), conforme o comentário, respectivamente, destaque uma qualidade ou falha no respectivo manuscrito, ou apenas faça a ele uma referência vaga, indefinida.

Um cuidado a ser tomado é não registrar duas vezes a mesma microcategoria com o mesmo atributo, o que poderia ocorrer se o parecer mencionasse um dado aspecto, tratasse de outros e aí retornasse ao primeiro, sob a mesma anterior. No entanto, parece razoável que, no mesmo parecer, mas com focos distintos, uma determinada microcategoria possa aparecer tanto com o atributo (+) quanto com o (-).

1. quantidade total de atributos (+), (-), (=), independentemente de microcategoria: pode caracterizar o parecer como benevolente, rigoroso ou neutro;

2. quantidade de ocorrências em cada grande categoria, caracterizando o parecer como normativo/formal, editorial ou de mérito científico;

3. quantidade de ocorrência em cada sub- categoria;

4. quantidades relativas (percentuais) de ocorrências de cada microcategoria na respectiva macro ou subcategoria, ou no documento todo;

5. efetuando-se somas adequadamente ponderadas em lugar de simples, pode-se diferenciar a importância de microcategorias, escolher algumas para serem predominantes em caso de finalidade específicas ou apenas fazer o conjunto delas todas apresentar um resultado geral mais equilibrado.

Um segundo conjunto de variáveis é obtido contando-se o número total de palavras dedicadas a cada microcategoria e transformando os valores apurados (e suas somas) em percentuais, relativamente aos números de palavras (a) das subcategorias, (b) das grandes categorias, e (c) do parecer todo. Um exemplo dessa abordagem está em Plata-Caviedes et al. (2012).

Finalmente, pode ser interessante examinar as microcategorias que recebem maior número de referências positivas e as respectivas causas. Intuitivamente, é razoável supor que uma falha, mesmo de pequena monta, receba de imediato uma qualificação (-); uma virtude, no entanto, deve ser muito expressiva para ser referida como (+). Em outras palavras, é de se esperar que o limiar de atribuição de (-) seja bem mais baixo do que o de (+). Qual o significado e o peso relativo, então, de um e de outro?

Os Resultados Que se Podem Obter

Pareceres podem ser pesquisados individualmente, mas a riqueza surge de agrupá-los segundo critérios diversos. A questão geral de pesquisa será sempre a mesma: quais são os pontos fortes e quais os que podem ser melhorados dentro do universo dos pareceres estudados?

Conclusão: Desafios à Comunidade Científica Para Atingir a Qualidade de Conteúdo

Reunimos, a seguir, os desafios à comunidade científica rumo a uma melhoria da qualidade dos artigos publicados nas revistas. Não entraremos nos aspectos técnico-normativos, como fixação e atendimento de prazos, estruturação administrativa de revistas, política editorial e sua execução, instruções aos autores e similares, que não se constituem mais em desafios. Sua superação já ocorreu ou, para os editores iniciantes, pode ser aprendida da literatura existente. Para não deixar de apontar um caminho para tanto, sugerimos o estudo do livro Publicar em psicologia (Sabadini, Sampaio & Koller, 2009 ver resenha em Serrano, 2012, neste número), bem como a busca, na internet, de outros textos dos autores dos seus capítulos. Estudar também as referências desses capítulos. Ler as Boas práticas da editoração científica (ANPAd, 2010) e suas referências. E explorar o enlace Eventos no site da Abec, a Associação Brasileira de Editores Científicos (http://www.abecbrasil.org.br/).

Desafiando Autores, Revisores e Órgãos de Fomento

Desafio a autoras e autores. O objetivo não pode ser publicar mais um artigo, porém avançar o conhecimento. Os autores têm que estar absolutamente certos de que o conteúdo do que estão submetendo é bom, construtivo e consequente, e de que colocaram seu melhor esforço na preparação do manuscrito. Caso submetam originais aventureiros (incompletos ou mal-acabados), preparem-se para uma recusa contundente já na revisão de conformidade, pois cometeram uma grave infração ética. Caso submetam trabalhos reaproveitando substancialmente partes de outros, já publicados e, obviamente, seus (pois o plágio não é um problema de artigo, mas de integridade pessoal), estarão igualmente infringindo a ética científica; se o manuscrito superar a revisão de conformidade, não passará por uma revisão por pares séria e atenta. Igual destino terão os abusos metodológicos, isto é, trabalhos que parecem científicos, mas em que a metodologia é a "estrela", a única parte razoavelmente bem desenvolvida, enquanto o problema abordado é irrelevante e/ou a terminologia está maldefinida ou é inconsistente. Repetimos: autoras e autores têm que estar absolutamente certos de que o conteúdo do que estão submetendo é bom, construtivo e consequente, e que colocaram seu melhor esforço na preparação do artigo.

Desafio a revisoras e revisores. Antes de se engajar dedicadamente na avaliação do trabalho propriamente dita, verificar se não se trata de um aventureiro, um mosaico, ou um apenas metodologicamente correto, mas cientificamente inconsequente (devido à questão investigada ou à falta de rigor terminológico). Identificando qualquer dessas três possibilidades, devolva-o sumariamente, mencionando em qual delas ele se enquadra. Nos casos mais acintosos, cabe inclusive um comentário duro (mas cortês), ao editor, de que o original em questão não deveria ter sido admitido no processo editorial. Porém, ultrapassados esses aspectos e, portanto, estando ao menos razoavelmente estabelecidas a pertinência e a validade científica do trabalho, o parecer deve ser elaborado de modo consciente, objetivo, construtivo e útil para o editor e para os autores. Cada ponderação deve, portanto, ser justificada e ter um encaminhamento das melhorias a serem introduzidas. Observar com atenção e cuidado os aspectos conceituais (terminológicos), epistemológicos e metodológicos antes descritos. Responder de modo claro, completo, objetivo e construtivo os quesitos colocados pelo editor. Elaborar bons pareceres é parte integrante da construção do conhecimento e é uma responsabilidade que se assume ao decidir dedicar-se à pesquisa científica. Não fazê-lo bem é faltar à responsabilidade profissional. Elaborar bons pareceres é um pagamento que pesquisadores efetuam para adquirir o direito de receber bons pareceres: o trabalho que hoje serve para melhorar o artigo de outrem retornará amanhã, para ampliar a eficácia científica do seu próprio. O maior e mais nobre objetivo alcançado, nos dois casos, é que o acervo do conhecimento dominado pela humanidade cresceu de modo correto, completo e otimizado.

Desafios aos órgãos de fomento. Em suas avaliações de revistas, levar em consideração não apenas o número de artigos publicados, mas também os totais bruto e líquido de submissões. É preciso liberar os editores da obrigação de publicar quantidade, pois tal exigência acaba incentivando a aceitação de trabalhos de qualidade duvidosa. Preocupação similar deve existir na avaliação de projetos, de pesquisadores e de programas de pós-graduação, que precisa urgentemente relativizar a quantidade e privilegiar a qualidade⁵. Trabalhar com contagens é um caminho fácil e confortável, e parece avaliar. Aprofundar-se em questões de qualidade intrínseca não é fácil, mas é necessário. Fosse fácil, não seria um desafio.

Um segundo desafio para os órgãos de fomento, se bem que já saindo da direção da qualidade de conteúdo, é compreender que, nas áreas não reféns dos indexadores comerciais do hemisfério norte (ciências humanas, sociais e parte das agrárias), estar incluído em uma base autóctone importante (SciELO ou REDALYC) é tão significativo e eficaz quanto fazer parte daqueles. A forte dependência cultural dessas áreas faz com que revistas do hemisfério norte (e lá indexadas) não sejam os veículos mais adequados para divulgar o que se produz no hemisfério sul. Então os indexadores especializados desse hemisfério não são de segunda linha, como muitos querem acreditar ou se permitem ser induzidos a acreditar. Pelo contrário, nessas áreas, a rigor, SciELO e REDALYC deveriam ser preferenciais na América Latina e no Caribe.

Finalmente, um terceiro desafio (igualmente não focado em conteúdo) é compreender que o financiamento da pesquisa precisa incluir os custos de sua publicação em revistas. Urge fortalecer o modelo do acesso livre a preço justo, cujo custo é pago uma só vez e que favorece o avanço do conhecimento, em lugar do acesso pago, cujo custo é eterno e que é pernicioso à pesquisa. No open access, paga-se para publicar, e o artigo fica disponível para todos os pesquisadores do planeta, ampliando os estudos do tema em qualidade e quantidade. No modelo tradicional, paga-se para sempre pelo mesmo artigo, ainda que o custo já tenha sido coberto há muito, e somente quem paga tem o privilégio de usar a informação para pesquisar. Qual é o modelo mais saudável?

Desafios às instituições que publicam revistas. Paradoxalmente, o que uma instituição que publica uma revista científica pode fazer para melhorar a qualidade de conteúdo é deixar de fazê-lo. Pelo menos, deixar de ser a única instituição que respalda a revista. Ela deve buscar parcerias com outras instituições e, especialmente, de associações científicas, e estabelecer um consórcio de entidades que garanta a retaguarda da revista. Assim, publicará uma revista forte, com seis ou mais fascículos por ano, e com um fluxo significativo de submissões, por envolver desde logo múltiplas instituições. Certamente, uma revista desse tipo não terá problemas para atingir com qualidade de conteúdo a quantidade mínima de artigos exigida pelos órgãos de fomento e de avaliação. Outras vantagens das parcerias são a divisão de custos e a superação do problema de publicar um número elevado de artigos da própria instituição (que é um aspecto muito prejudicial a uma boa avaliação).

Desafiando Editoras e Editores

Os editores devem desencorajar com firmeza e severidade (porém, sempre de modo cortês) a "submissão aventureira", aquela que deixa evidente que o autor não se empenhou, transferindo sua responsabilidade para revisores e editores. Tais submissões devem ser retornadas na revisão de conformidade. Se apresentá-los é falta de ética do autor, tramitá-los, onerando os revisores, é falta de ética do editor.

Para tomar a decisão editorial final, os editores precisam estar respaldados por pareceres objetivos e solidamente fundamentados, desconsiderando os levianos e superficiais. O processo editorial não é um estágio pro forma da divulgação da pesquisa, mas uma parte da própria, a parte em que ela é criticada, partilhada, refinada ou até reconstruída. Os editores são os maestros desse processo, o resultado final bom ou mau é sua inteira responsabilidade. A propósito, a esse respeito, não é pertinente uma revista científica estampar que a responsabilidade pelo conteúdo é exclusivamente dos autores. Não é ou, no máximo, essa afirmação pode ser usada relativamente a aspectos legais. Cientificamente, a revista é tão ou mais responsável pelo que publica como os próprios autores.

Não conseguindo sistematicamente bons pareceres, induzi-los mediante quesitos específicos, cobrando, para cada um, posicionamento e justificativa. Não usar escores numéricos ou médias. A avaliação de artigos científicos é uma tarefa intrinsecamente qualitativa.

Os editores têm que estar absolutamente certos de que, ao decidirem veicular um artigo, o conteúdo do que estão publicando é bom, construtivo e consequente, de que de fato é (e não apenas parece ser) científico. Além disso, o artigo tem que ser sólido e consistente com o conhecimento existente em termos de nomes e conceitos (terminologia), acrescentar a esse conhecimento (epistemologia) e apresentar metodologia (argumentação teórica, abordagem qualitativa ou quantitativa) mais adequada para atacar o problema de que trata. Esse é o grande desafio de fato: o equilíbrio, não de extensão de texto, mas de grandeza de ideias entre as três logias, possibilitando alcançar a pesquisa eficaz, o avanço do conhecimento e a qualidade de conteúdo.

¹ A Capes classifica as revistas científicas em oito níveis: A1, A2 (os melhores), B1 até B5 e C.

² Dados elaborados a partir do site da Associação Nacional de Pesquisa e Pós-graduação em Psicologia, acessado em http://www.anpepp.org.br/3-Qualis_Period/revistas-edit_psi.htm.

³ A identificação do momento epistemológico vem de comparar a área do conhecimento em que se trabalha com outras que já se encontram em um estágio mais avançado de abstração e estruturação lógica (ver Osada, 1972 e Trzesniak, 2009a).

⁴ A rigor, esse tipo artigo deveria ser denominado estatisticamente correto, pois a estatística pode ser a única parte (mais ou menos) adequadamente desenvolvida da metodologia, que incluiria mais, por exemplo, a preparação e a aplicação do instrumento. Mas optamos pela denominação ampla, metodologicamente correto, para enfatizar o aspecto das três logias.

Referências

ANPAd - Associação Nacional dos Programas de Pós-graduação e Pesquisa em Administração (2010). Boas práticas da publicação científica: um manual para autores, revisores, editores e integrantes de corpos editoriais. Recuperado de: http://www.anpad.org.br/publicacoes_informativo_noticias.php?cod_informativo=46        [ Links ]

Bianchetti, L. & Machado, A. M. N. (2007). Reféns da produtividade: sobre produção do conhecimento, saúde dos pesquisadores e intensificação do trabalho na pós-graduação. Anais da 30ª Reunião Anual da ANPEd, Rio de Janeiro, Brasil. Recuperado de: www.anped.org.br/reunioes/30ra/trabalhos/GT09-3503--Int.pdf        [ Links ]

Bianchetti, L. & Valle, I. R. (2011). Produtivismo acadêmico e condições de vida/trabalho de pesquisadores brasileiros e europeus. Anais do XXV Simpósio Brasileiro e II Congresso Ibero-americano de Política e Administração da Educação, São Paulo, 1, 1-12. Recuperado de http://www.anpae.org.br/simposio2011/cdrom2011/PDFs/trabalhosCompletos/comunicacoesRelatos/0301.pdf.        [ Links ]

Garfield, E. (abril, 1998). On the origins of current contents and ISI. Trabalho apresentado na Association of Independent Information Professionals (12th Annual Meeting), Philadelphia. Recuperado de http://www.garfield.library.upenn.edu/papers/origins_cc_isi.html        [ Links ]

Guerrero, J. & Jaraba, B. (n. d.). La producción científica de la psicología colombiana: un análisis bibliométrico de las revistas académicas, 1949-2008. Recuperado de http://www.ascofapsi.org.co/observatorio/documentos/2011/Estudio_Bibliometria.pdf        [ Links ]

Osada, J. (1972). Evolução das ideias da física. São Paulo: Edgard Blücher.        [ Links ]

Plata-Caviedes, T., Córdoba-Salgado, O. A. & Trzesniak, P. (2012). Dictámenes en revistas científicas: lo que necesitan los editores, lo que hacen los evaluadores.        [ Links ]

Sabadini, A. A. Z. P., Sampaio, M. I. C. & Koller, S. H. (2009). Publicar em psicologia: um enfoque para a revista científica. Recuperado de http://www.ip.usp.br/portal/images/stories/biblioteca/Publicar-em-Psicologia.pdf        [ Links ]

Serrano, C. (2012). Resenha livro "Publicar em psicologia: um enfoque para a revista científica". Revista Colombiana de Psicología, 21 (1), 165-167.        [ Links ]

Strehl, L. (2011). Indicadores de produção e impacto das revistas científicas. Palestra proferida na Faculdade de Medicina da Universidade Federal do Rio Grande do Sul - transparências. Recuperado de http://www.biblioteca.ufrgs.br/indicadores_hcpa2.pdf        [ Links ]

Trzesniak, P. (2006). As dimensões da qualidade dos periódicos científicos e sua presença em um instrumento da área da educação. Revista Brasileira de Educação, 11 (32), 346-361. Recuperado de http://dx.doi.org/10.1590/S1413-24782006000200013        [ Links ]

Trzesniak, P. (2009a). A epistemologia de Taketani- Osada. En V. F. Oliveira, V. Cavenagui & F. S. Másculo (Coords.), Tópicos emergentes e desafios metodológicos em engenharia de produção: casos, experiências e proposições (pp. 199-204). Rio de Janeiro: Editora da Associação Brasileira de Engenharia de Produção.        [ Links ]

Trzesniak, P. (2009b). A estrutura editorial de um periódico científico. Em A. A. Z. P. Sabadini, M. I. C. Sampaio & S. H. Koller (Coords.), Publicar em psicologia: um enfoque para a revista científica (pp. 87-102). São Paulo: Associação Brasileira de Editores Científicos de Psicologia e Instituto de Psicologia da Universidade de São Paulo. Recuperado de http://www.ip.usp.br/portal/images/stories/biblioteca/Publicar-em-Psicologia.pdf        [ Links ]

Trzesniak, P. (2012). A questão do livre acesso aos artigos publicados em periódicos científicos. Em aberto (Brasília), 25 (87), 77-112. Recuperado de http://emaberto.inep.gov.br/index.php/emaberto/article/view/2620/1802        [ Links ]

Yamamoto, O. H., Koller, S. H., Guedes M. C., LoBianco, A. C., Sá, C. P., Hutz, C. S., . . . Menandro, P. R. M. (1999). Periódicos científicos em psicologia: uma proposta de avaliação. Infocapes, 7 (3), 7-13. Recuperado de http://www.capes.gov.br/images/stories/download/bolsas/Info3_99.pdf.        [ Links ]

Yamamoto, O. H., Menandro, P. R. M., Koller, S. H., LoBianco, A. C., Hutz, C. S., Bueno, J. L. O. & Guedes, M. C. (2002). Avaliação de periódicos científicos brasileiros da área da psicologia. Ciência da Informação, 31(2), 163-177. Recuperado de http://dx.doi.org/10.1590/S0100-19652002000200017        [ Links ] ]]> ANPAd - Associação Nacional dos Programas de Pós-graduação e Pesquisa em Administração 2010 2007 Rio de Janeiro 2011 1 São Paulo 1-12 abri l, 1 Philadelphia 1972 2012 2009 2012 21 1 1 165-167 2011 2006 11 32 346-361 2009 199-204 2009 87-102 2012 25 87 87 77-112http://emaberto.inep.gov.br/index.php/emaberto/article/view/2620/1802 1999 7 3 3 7-13 2002 31 2 2 163-177