La Revisión por Pares y la Selección de Artículos para Publicación
Peer review and Selection of Articles for Publishing
A Revisão por Pares e a Seleção de Artigos para Publicação
GLADYS S. MARTÍNEZ*
Centro de Investigaciones en Biomodelos, Bogotá, Colombia
La correspondencia relacionada con este artículo puede dirigirse a Gladys Martínez, e-mail: gsmartinme@gmail.com.
Centro de Investigaciones en Biomodelos, carrera 81 n.o 68B-40, Bogotá, Colombia.
ARTÍCULO DE REFLEXIÓN
RECIBIDO: 25 de noviembre de 2011 - ACEPTADO: 13 de marzo de 2012
Resumen
La revisión de manuscritos científicos por pares evaluadores pretende evaluar la originalidad, calidad y pertinencia de datos asociados a una investigación. Con algunas variaciones, este sistema se ha institucionalizado, ha sido parte central en la validación de publicaciones científicas y es aceptado por la mayoría de científicos como la mejor opción de evaluación entre las disponibles. En este artículo se describen brevemente las fortalezas y debilidades de este sistema de evaluación y se reflexiona sobre algunas alternativas para su mejoramiento, lo cual es valioso para revistas de habla española.
Palabras clave: revisión por pares, doble ciego, alternativas a la evaluación por pares, sesgo, publicación científica.
Abstract
Peer review of scientific manuscripts aims to evaluate the originality, quality, and relevance of research data. Although with some variations, this system has been institutionalized, is still a central part in the validation of scientific publications, and is accepted by most scientists as the best evaluation option available. The article briefly describes this evaluation system's strengths and weaknesses, and reflects on alternatives for its improvement, some of which may prove to be useful for journals published in Spanish.
Keywords: peer review, blind peer review, alternatives to peer review, bias, scientific publication.
Resumo
]]> A revisão de manuscritos científicos por pares avaliadores pretende examinar a originalidade, qualidade e pertinência de dados associados a uma pesquisa. Com algumas variações, este sistema se institucionalizou e é parte central na validação de publicações científicas e é aceito pela maioria dos cientistas como a melhor opção de avaliação entre as disponíveis. Neste artigo, descrevem-se brevemente as fortalezas e debilidades desse sistema de avaliação e se reflete sobre algumas alternativas para seu melhoramento, o que é valioso para revistas de língua espanhola.Palavras-chave: revisão por pares, avaliação duplo-cega, alternativas para a avaliação por pares, viés, publicação científica.
LA REVISIÓN de manuscritos científicos por pares evaluadores pretende evaluar la originalidad, calidad y pertinencia de datos asociados a una investigación. El proceso fue aplicado por primera vez en 1731, por la Sociedad Real de Edimburgo en su revista Medical Essays and Observations, con el envío de los artículos sometidos a publicación, a individuos considerados por el editor como los más versados en el tema (Kronick, 1990). Aunque con algunas variaciones, este sistema se ha institucionalizado, sigue siendo parte central en la validación de publicaciones científicas y es aceptado por la mayoría de científicos como la mejor alternativa entre todas las disponibles.
En su forma más generalizada, el proceso de evaluación de un artículo científico supone una evaluación inicial del manuscrito por parte del editor, que decide si este puede ser publicado en su versión original, si solicita modificaciones que serán luego enviadas a evaluación, o si lo rechaza inmediatamente. La decisión del editor usualmente se basa en comentarios y recomendaciones hechas por expertos, cuyo rol es evaluar de manera independiente, imparcial y sin sesgos los manuscritos que le son remitidos. En la práctica, sin embargo, los editores de revistas se ven obligados a desarrollar métodos que se aproximan a este ideal, debido a la falta de un cuerpo relativamente grande de evaluadores, especialmente cuando se habla de la evaluación de artículos en comunidades académicas en proceso de consolidación, como es el caso de las comunidades hispanohablantes (Red de Editores de Revistas de Psicología, comunicación personal, 22 de septiembre, 2010).
Para implementar la evaluación por pares, el editor puede llevar a cabo dos estrategias. Por un lado, el editor puede seleccionar los evaluadores eligiendo aquellos que conoce personalmente, o revisar una base de datos en la que se incluyan expertos en diferentes campos y elegir, entre ellos, a aquellos cuyas anotaciones en revisiones previas hayan contribuido de manera significativa a aumentar la calidad de lo que se ha publicado en la revista; pero también debe tener en cuenta la rapidez con que dichos pares responden. El Open Journal System, un sistema diseñado para facilitar la tarea editorial, resulta una herramienta valiosa en la medida en que dispone de un mecanismo en el que es posible asignar una calificación (de 1 a 5) a las evaluaciones que se reciben y que, además, permite llevar un registro de las evaluaciones solicitadas y el tiempo tomado por cada uno de los revisores para la entrega de las mismas. Esta estrategia de selección de revisores, aunque ideal, suele generar problemas cuando el manuscrito pertenece a un campo relativamente pequeño, y especialmente en ciencias básicas, por cuanto la lista de potenciales expertos suele ser reducida, lo que hace difícil encontrar un revisor (Riss, 2011).
Una segunda opción es solicitar a los autores nominar posibles evaluadores para el artículo que someten. Aunque comparaciones entre la evaluación y las recomendaciones de revisores sugeridos por los autores y de revisores elegidos por el editor no muestran diferencias significativas en la calidad o en el tono de la revisión, sí evidencian una mayor frecuencia en la aceptación del manuscrito cuando los revisores son propuestos por los autores (Wager, Parkin & Tamber, 2006). La falta de anonimato en el sistema de evaluación por pares tiene así el potencial de reducir la tendencia a evadir responsabilidades, al tiempo que ofrece al evaluador el refuerzo asociado al reconocimiento social por su trabajo (Armstrong, 1982; Leek, Taub & Pineda, 2011; Suls & Martin, 2009).
Un elemento adicional a tener en cuenta al elegir revisores tiene que ver con la posibilidad de que el revisor, elegido por el editor, pueda pertenecer a un grupo que compite con el de los autores del manuscrito y puede, por tanto, sesgar sus comentarios. Aunque los revisores están obligados a declarar conflictos de intereses, quizás convendría incluir la posibilidad de que los autores nominen evaluadores a los que el manuscrito no debería ser remitido, práctica que ya ha sido implementada en algunas revistas (Rossdale, 2010). Quizás sea necesario señalar que estudios que han evaluado esta estrategia han encontrado que las probabilidades de que un manuscrito sea aceptado son el doble cuando el autor ha eliminado ciertos revisores (Goldsmith, Blalock, Bobkova & Hall, 2006; Grimm, 2005).
¿Revisión Abierta o Revisión Ciega?
La revisión por pares puede ser de doble ciego, ciega en una sola dirección o abierta. La principal razón de ser de la revisión a ciegas está en la suposición de que hay alguna forma de sesgo asociada a los autores o a las instituciones a las cuales están afiliados. Un estudio famoso confirmó, de hecho, esta tendencia: artículos publicados en revistas de psicología por autores ampliamente reconocidos provenientes de universidades prestigiosas fueron re-escritos con algunos pequeños cambios al título, el resumen y la introducción, y fueron luego sometidos a evaluación ciega en las mismas revistas en que habían sido previamente publicados; solo tres de los 12 artículos fueron reconocidos como ya publicados, los otros nueve fueron rechazados debido a su baja calidad (Ceci & Peters, 1982).
La revisión de doble ciego supone que la identidad de los revisores no es revelada a los autores y que los revisores desconocen los autores del manuscrito. El segundo caso, es decir la revisión ciega en una sola dirección, permite que los revisores conozcan el nombre de los autores, pero la identidad de los revisores no es revelada a los autores. En el tercer caso, la revisión no ciega, la identidad de los revisores y de los autores es conocida por unos y otros. Ello implica que los revisores son responsables de sus comentarios y recomendaciones, e incluso puede pedírseles que sus revisiones estén disponibles al público (Stichler, 2011). Aunque esta última práctica suele estar presente en otros campos, la prohibición de la APA (American Psychological Association) de que los revisores sean conocidos por los autores, obliga a revistas en esta área a asegurar siempre el anonimato de los revisores y evitar la revisión abierta.
]]> La experiencia ha mostrado que con frecuencia los revisores pueden deducir la identidad de los autores por el tema discutido en el manuscrito o por las referencias usadas en el mismo. Ocultar la identidad de los autores obliga a omitir del texto información sobre el origen de los sujetos experimentales, referencias a comités de ética que aprobaron el trabajo y referencias a trabajos previos realizados por el grupo al cual pertenecen los autores. Aunque existe la opción de que sea el editor el encargado de omitir esta información, que es vital en el manuscrito, es claro que su omisión puede generar comentarios negativos del revisor debido, precisamente, a la falta de esta información.Sumado a ello, varios estudios sugieren que el uso del doble ciego no tiene efectos importantes en la calidad del proceso de revisión, en la detección de errores en los manuscritos, en las recomendaciones, en la extensión de la revisión (medida en el número de palabras usadas) o en el tiempo tomado para revisar el manuscrito (Alam et al., 2011; Godlee, Gale & Martyn, 1998; Schroter, Tite, Hutchings & Black, 2006; van Rooyen, Godlee, Evans, Smith & Black, 1998, 1999), argumentos que, de alguna manera, generan dudas sobre la necesidad de ocultar la identidad de revisores y autores. Estudios subsecuentes han encontrado datos contradictorios que muestran efectos del uso del doble ciego en la aceptación o rechazo del manuscrito; uno de ellos ha sugerido, incluso, que el uso de la evaluación de doble ciego reduce en parte el sesgo hacia autores extranjeros (Ross et al., 2006). Estudios que usan el factor de impacto (cuántas veces es citado un artículo) como indicador de la calidad del artículo, muestran, sin embargo, una clara relación entre la evaluación por doble ciego e indicadores bibliométricos como el índice H (Bornmann & Daniel, 2008a, 2008b, 2009; Laband & Piette, 1994; Triaridis & Kyrgidis, 2010; van Raan, 2006; Waltman, van Eck, van Leeuwen, Visser & van Raan, 2011). Aunque se reconoce la imposibilidad de ocultar el nombre de los autores, hay dudas sobre los efectos del conocimiento de la identidad de los autores en el revisor. Un proceso de revisión anónimo puede dar mayor libertad al revisor para expresar sus ideas y para criticar abiertamente el manuscrito.
La evaluación de doble ciego o ciego en una sola dirección, aunque ofrece mayores garantías para evitar sesgos en la evaluación asociados a los autores de los manuscritos o la institución a la cual están afiliados, no es una garantía para evitar sesgos asociados al tipo de metodología, a la orientación teórica que lo subyace, a resultados negativos o incluso a nuevas ideas. En este sentido, la respuesta de los autores a los comentarios de los evaluadores se convierte en una herramienta importante en la solución de conflictos originados en este tipo de sesgos, aunque deja la decisión final en el editor.
Algunas otras revistas han implementado una versión modificada en la cual la revisión o pre-selección preliminar está a cargo del editor. Aunque puede disminuir la carga de los revisores, queda sin embargo la duda sobre la experticia del editor en todas las áreas cubiertas por los manuscritos sometidos a publicación, especialmente si, como ocurre con un gran número de revistas en español, el alcance de la revista no es especializado sino que cubre una multiplicidad de áreas.
Críticas a la Revisión por Pares
Además de las críticas antes mencionadas, la revisión por pares es con frecuencia atacada por los autores que se quejan de la falta de familiaridad de los revisores con el tema específico reseñado en la investigación. Si en el mejor de los casos el revisor efectivamente trabaja en el mismo campo, existe siempre el riesgo de que compita de manera directa con los autores del artículo revisado.
El anonimato promovido por la revisión por pares es también fuente de conflicto con los autores que consideran que esta práctica hace posible que se envíen evaluaciones subjetivas, con errores y con comentarios no científicos que en nada benefician la calidad del manuscrito y que demuestran una lectura con poca profundidad por parte de los revisores (Bradley, 1981).
La evaluación anónima es también asociada a revisiones más fuertes, usualmente negativas, de manuscritos que reportan innovaciones o datos que se salen de la tendencia generalizada, caso en el que los evaluadores se enfocan en los puntos débiles más que en las fortalezas del manuscrito (Armstrong, 1997; Horrobin, 1990).
Adicionalmente, estudios sugieren una alta frecuencia de falta de acuerdo entre evaluadores (Rothwell & Martyn, 2000). Cicchetti (1993), por ejemplo, reporta un acuerdo inter-evaluadores de solo .4, mientras que otros autores reportan coeficientes de correlación que fluctúan entre .19-.28 para elementos de la evaluación tan importantes como el diseño del estudio, el análisis de los datos y su relevancia (Marsh, Jayasinghe & Bond, 2008; Scott, 1974).
Como editora de revistas científicas, he encontrado casos en los cuales la opinión de los dos revisores con relación a un manuscrito es completamente opuesta: mientras que uno sugiere su publicación y lo considera un artículo relevante, el otro lo califica negativamente y sugiere no publicarlo. En casos como este, es función del editor resolver estas discrepancias; una comprensión clara de cada uno de los roles por cada uno de los actores contribuye a minimizar, aunque no a eliminar, los potenciales efectos negativos sobre la publicación de los mejores trabajos en cualquier área de la ciencia.
]]> Finalmente, autores en áreas biomédicas critican el proceso de evaluación por pares y su habitual recomendación para que se realicen nuevos experimentos, trabajo que aunque puede dar apoyo a los resultados encontrados, no aporta usualmente nada nuevo y requiere en cambio la planeación y ejecución de una nueva fase que genera costos adicionales no justificados (Ploegh, 2011).¿Cómo Mejorar la Revisión por Pares?
A pesar de las objeciones y quejas respecto al sistema de evaluación por pares, es claro que el proceso tiene fortalezas que lo hacen una buena elección. Entre estas fortalezas hay que reconocer que en general los evaluadores toman en serio su responsabilidad, le asignan una considerable cantidad de tiempo a la tarea, hacen contribuciones sustanciales que hacen más fácil la lectura de los manuscritos y mejoran la calidad de los reportes científicos (Snell & Spencer, 2005; Weller, 1996). En general, tanto autores como revisores reportan una visión positiva de la evaluación por pares, aunque la opinión de los autores varía dependiendo de la decisión final sobre su manuscrito, es decir su aceptación o rechazo (Thomas, 2011; Weber, Katz, Waeckerle & Callaham, 2002). Sin embargo, este no es un sistema perfecto y se requieren revisiones profundas para su mejoramiento.
La búsqueda de un sistema de evaluación que reduzca el sesgo, promueva la discusión en la comunidad científica y contribuya a mejorar la calidad de los manuscritos ha estado presente desde hace mucho tiempo. Aunque es claro que el sistema de evaluación por pares es por ahora la estrategia más viable, conviene hacer modificaciones que mejoren el proceso y que aseguren una mayor calidad de los artículos que se publican. A continuación se señalan algunas de las opciones que se han considerado para ello.
Entrenamiento a Revisores
Varias revistas han implementado programas de entrenamiento a revisores que ofrecen información sobre cómo revisar un manuscrito y cómo presentar las críticas a los autores, definiendo criterios y señalando errores a evitar; aunque los datos no sugieren un efecto significativo, muestran alguna evidencia de mejora en comparación con revisores que no han recibido entrenamiento (Schroter et al., 2004). Algunos autores sugieren, además, el envío de artículos de prueba para evaluar calidad de las revisiones y evaluaciones regulares para enfatizar puntos relevantes (Benos et al., 2007).
Pre-selección de Artículos
Esta estrategia, implementada por algunas revistas europeas, implica el establecimiento de un sistema previo de selección que funciona de forma tal que el proceso total de evaluación solo se hace con artículos que tienen un buen potencial. Para ello, se solicita a los revisores evaluar de manera general el artículo, en términos de su contribución al progreso científico, la validez de los métodos utilizados, la discusión apropiada de los resultados, el uso de referencias pertinentes y la calidad de la presentación. Solo después de que un manuscrito ha pasado esta evaluación preliminar es enviado a los revisores para una evaluación completa que incluya comentarios y recomendaciones para mejorarlo (Bornmann & Daniel, 2009).
En una modificación a este modelo, en la revista Atmospheric Chemistry and Physics, el editor solicita a miembros del equipo editorial una revisión preliminar para detectar problemas de tipo técnico y, si se cumplen estándares básicos, el manuscrito es publicado en la página web de la revista. Autores registrados pueden entonces emitir comentarios (evaluación por pares pública) a los cuales pueden responder los autores y con base en los cuales pueden hacer modificaciones (Suls & Martin, 2009).
Evaluación Abierta con Revisores Seleccionados por los Autores
]]> Una primera opción es la propuesta de la revista Biology Direct. En esta revista, los editores organizan un panel de revisores potenciales por áreas y conforman un equipo editorial. Al someter los artículos, los autores deben sugerir miembros de ese equipo editorial para evaluar su manuscrito. Si tres de esos miembros aceptan formalmente evaluarlo, el artículo es elegible para publicación. Al final del proceso, los revisores pueden elegir si sus comentarios se publican junto con el artículo o no. Adicionalmente, el autor puede optar por retirar el artículo si no desea que las revisiones recibidas sean publicadas junto con el artículo (Biology Direct, 2012).Evaluación a Cargo de una Cohorte de Revisores
En este caso se da acceso a manuscritos a una cohorte de revisores y estos evalúan aquellos que atraen su interés, aunque la evaluación formal debe ser hecha por tres revisores elegidos por el editor. A pesar de que todos los evaluadores pueden ser anónimos, sus comentarios están disponibles para todo el grupo de evaluadores y para los autores. Estos últimos pueden responder a los comentarios de los revisores si lo consideran necesario o pertinente (Benos et al., 2007).
Consorcios para la Evaluación de Artículos
Esta propuesta no va orientada específicamente a modificar el proceso de evaluación por pares, sino a mejorarlo y hacerlo más expedito. La propuesta incluye la creación de un consorcio de revistas que se acojan a la misma serie de reglas y que compartan revisores, aunque mantengan la independencia para aceptar o rechazar los manuscritos. Los autores someterían el manuscrito al consorcio y anexarían una lista ordenada de las revistas en las que preferirían que el manuscrito fuera publicado (Black, 2011). El ejemplo más desarrollado de este tipo de consorcios es el Consorcio de Evaluación por Pares en Neurociencias, en funcionamiento desde el 2008. En este consorcio, si el manuscrito no es aceptado en una revista, el autor puede someterlo nuevamente a una de las revistas que hacen parte del consorcio y solicitar que las evaluaciones ya hechas sean reenviadas a esta nueva revista.
El uso de esta nueva modalidad puede reducir de manera dramática el tiempo transcurrido entre el envío del manuscrito y su aceptación final: reduce significativamente la carga sobre los revisores, pues en muchas ocasiones solamente tienen que revisar en segunda ronda un artículo; aumenta la base de datos de revisores disponibles al permitir que sean compartidos entre revistas y con ello permite que los revisores se especialicen en temas específicos. Lo que resulta un poco sorprendente es el hecho de que, un año después de su implementación, el sistema parece no estar funcionando: solamente entre el 1% y el 2% de los manuscritos recibidos por las revistas del consorcio fueron reenviados a otra revista del consorcio y los autores optaron por reenviar el manuscrito a revistas por fuera del consorcio, tema que podría ser explicado por la corta vida del sistema y el desconocimiento por parte de los autores sobre el funcionamiento de este modelo (Saper & Maunsell, 2009).
A pesar de este hecho, es claro que el uso de esta modalidad sería ampliamente útil para revistas que se publican en español, que en su mayoría son de carácter general y que por serlo tienen dificultades para obtener respuestas positivas de revisores potenciales que usualmente están sobrecargados con solicitudes de otras revistas. La posibilidad de reunir las bases de datos disponibles en cada revista y organizarse en un consorcio permitiría, además, tener acceso a información sobre evaluadores especializados en la temática de los manuscritos recibidos que ofrecen una perspectiva menos general.
Comentarios Finales: la Evaluación por Pares en Revistas de Psicología Iberoamericanas
Aunque en Iberoamérica hay una tradición editorial amplia, el tema de la inclusión de revistas en bases de datos e índices internacionales es relativamente reciente. Y es quizás este uno de los elementos importantes en la adopción e institucionalización de la revisión por pares. De hecho, este requisito hace parte importante del proceso de evaluación de revistas implementado por bases de datos o sistemas de indexación tan importantes como ISI, SCOPUS, SciELO, LILACS, LATINDEX, REDALYC, PsycINFO y PUBLINDEX, y es también considerado un elemento importante de calidad al interior de las revistas, especialmente si los evaluadores son externos al consejo de redacción o la institución que edita la revista (Alcain & Román, 2005).
El proceso de revisión por pares supone la existencia de una muy buena base de datos de evaluadores especialistas en las áreas cubiertas por la revista, suposición que genera serios problemas para revistas generalistas, que son la mayoría en Iberoamérica (26 de las 44 revistas de psicología en Iberoamérica registradas en SCOPUS no son especializadas). El problema es más grave aún si el evaluador debe dominar el español. Esto se traduce generalmente en la dificultad de encontrar evaluadores disponibles; usualmente los pocos especialistas interesados en colaborar con el proceso de evaluación están sobrecargados con solicitudes de diferentes revistas. El editor se ve obligado entonces a intentarlo una y otra vez hasta conseguir una respuesta positiva, lo que incrementa de manera negativa los tiempos requeridos para la toma de una decisión. El limitado número de posibles evaluadores hace también difícil el anonimato de la revisión y la certeza de ausencia de conflictos de interés, especialmente cuando el área cubierta por el manuscrito es bastante especializada. En estos casos, el papel del editor en la selección de los evaluadores es esencial.
]]> Un segundo problema está asociado al insuficiente entrenamiento en el proceso editorial, tanto de los editores en jefe como de los editores de sección. El reconocimiento de esta problemática ha obligado a la creación de redes de editores en las que se discuten estas temáticas, pero también debería obligar a la generación de programas de entrenamiento en evaluación de manuscritos dirigidos a potenciales evaluadores (estudiantes de posgrado en formación1), entrenamiento en selección de pares evaluadores (uso apropiado de bases de datos como ISI, SCOPUS, DIALNET y DOAJ) y entrenamiento en el uso de plataformas, como la del Open Journal System, que pueden contribuir a la sistematización de la información y con ello a la disminución en los tiempos de evaluación. Igualmente, obliga a desarrollar protocolos de evaluación con criterios claros y que incluyan instrucciones específicas para la evaluación de aspectos técnicos, de contenido y de presentación formal, que se conviertan en instrumentos auxiliares en el entrenamiento de evaluadores (Ruiz-Pérez, Emilio & Jiménez-Contreras, 2006).Como editora de revistas no especializadas, creo importante empezar a generar consorcios que permitan la movilidad de artículos (con sus evaluaciones) entre revistas, mecanismo que disminuiría las demandas excesivas sobre los evaluadores disponibles y que podría servir como primer paso en la especialización de nuestras revistas, un paso indispensable si se busca aumentar las citaciones de los trabajos que publicamos.
* La autora ha sido editora/directora de las revistas Suma Psicológica y Revista Latinoamericana de Psicología, y ha actuado como editora asociada en la revista Avances en Psicología Latinoamericana.
1 El entrenamiento orientado a potenciales evaluadores es especialmente relevante si se tienen en cuenta estudios que sugieren que la edad (<40 años) está asociada a la calidad de la revisión (Black, van Rooyen, Godlee, Smith & Evans, 1988; Evans, McNutt, Fletcher & Fletcher, 1993).
Referencias
Alam, M., Kim, N. A., Havey, J., Rademaker, A., Ratner, D., Tregre, B., . . . Coleman, W. P. (2011). Blinded vs. unblinded peer review of manuscripts submitted to a dermatology journal: A randomized multi-rater study. The British Journal of Dermatology, 165 (3), 563-567. [ Links ]
Alcain, M. D. & Román, A. (2005). Hacia una valoración integrada de las revistas españolas de ciencias sociales y humanas: las revistas de psicología. Psicothema, 17 (2), 179-189. [ Links ]
Armstrong, J. S. (1982). Barriers to scientific contributions: The author's formula. Behavioral and Brain Sciences, 5, 197-199. [ Links ]
Armstrong, J. S. (1997). Peer review for journals: Evidence on quality control, fairness, and innovation. Science and Engineering Ethics, 3, 63-84. [ Links ]
Benos, D. J., Bashari, E., Chaves, J. M., Gaggar, A., Kapoor, N., LaFrance, M., . . . Zotov, A. (2007). The ups and downs of peer review. Advances in Physiology Education, 31 (2), 145-152. [ Links ]
Biology Direct (2012). Guide for Biology Direct reviewers. Recuperado de http://www.biology-direct.com/about/reviewers. [ Links ]
Black, H. R. (2011). It is time to fix the peer-review system. Journal of Clinical Hypertension (Greenwich), 13 (10), 708-709. [ Links ]
Black, N., van Rooyen, S., Godlee, F., Smith, R. & Evans, S. (1988). What makes a good reviewer and a good review for a general medical journal? Journal of the American Medical Association, 280 (3), 231-233. [ Links ]
Bornmann, L. & Daniel, H-D. (2008a). Selecting manuscripts for a high-impact journal through peer review: A citation analysis of communications that were accepted by Angewandte Chemie International Edition, or rejected but published elsewhere. Journal of the American Society for Information Science and Technology, 59 (11), 1841-1852. [ Links ]
Bornmann, L. & Daniel, H.-D. (2008b). The effectiveness of the peer review process: Inter-referee agreement and predictive validity of manuscript refereeing at Angewandte Chemie. Angewandte Chemie International Edition, 47 (38), 7173-7178. [ Links ]
Bornmann, L. & Daniel, H.-D. (2009). Extent of type I and type II errors in editorial decisions: A case study on Angewandte Chemie International Edition. Journal of Informetrics, 3, 348-352. [ Links ]
Bradley, J. V. (1981). Pernicious publication practices. Bulletin of the Psychonomic Society, 18 (1), 31-34. [ Links ]
Ceci, S. J. & Peters, D. P. (1982). Peer review: A study of reliability. Change, 14 (6), 44-48. [ Links ]
Cicchetti, D. V. (1993). The reliability of peer review for manuscript and grant submissions: "It's like déjà vu all over again!". Behavioral and Brain Sciences, 16 (02), 401-403. [ Links ]
Evans, A. T., McNutt, R. A., Fletcher, S. W. & Fletcher, R. H. (1993). The characteristics of peer reviewers who produce good-quality reviews. Journal of General Internal Medicine, 8 (8), 422-428. [ Links ]
Godlee, F., Gale, C. R. & Martyn, C. N. (1998). Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: A randomized controlled trial. Journal of the American Medical Association, 280 (3), 237-240. [ Links ]
Goldsmith, L. A., Blalock, E. N., Bobkova, H. & Hall, R. P. (2006). Picking your peers. Journal of Investigative Dermatology, 126 (7), 1429-1430. [ Links ]
Grimm, D. (2005). Suggesting or excluding reviewers can help get your paper published. Science, 309, 1974. [ Links ]
Horrobin, D. F. (1990). The philosophical basis of peer review and the suppression of innovation. Journal of the American Medical Association, 263 (10), 1438-1441. [ Links ]
Kronick, D. A. (1990). Peer review in 18th-century scientific journalism. Journal of the American Medical Association, 263 (10), 1321-1322. [ Links ]
Laband, D. N. & Piette, M. J. (1994). A citation analysis of the impact of blinded peer review. Journal of the American Medical Association, 272 (2), 147-149. [ Links ]
Leek, J. T., Taub, M. A. & Pineda, F. J. (2011). Cooperation between referees and authors increases peer review accuracy. PLoS One, 6 (11), e26895. [ Links ]
Marsh, H. W., Jayasinghe, U. W. & Bond, N. W. (2008). Improving the peer-review process for grant applications: Reliability, validity, bias, and generalizability. American Psychologist, 63 (3), 160-168. [ Links ]
Ploegh, H. (2011). End the wasteful tyranny of reviewer experiments. Nature, 472 (7344), 391. [ Links ]
Riss, P. (2011). The peer review process II: To review and be reviewed. International Urogynecology Journal, 1-2. doi: 10.1007/s00192-011-1560-7. doi: 10.1007/s00192-011-1560-7 [ Links ]
Ross, J. S., Gross, C. P., Desai, M. M., Hong, Y., Grant, A. O., Daniels, S. R., . . . Krumholz, H. M. (2006). Effect of blinded peer review on abstract acceptance. Journal of the American Medical Association, 295 (14), 1675-1680. [ Links ]
Rossdale, P. D. (2010). When the blind lead the blind: In the pit of peer review. Equine Veterinary Journal, 42 (4), 283. [ Links ]
Rothwell, P. M. & Martyn, C. N. (2000). Reproducibility of peer review in clinical neuroscience. Is agreement between reviewers any greater than would be expected by chance alone? Brain, 123 (Pt 9), 1964-1969. [ Links ]
Ruiz-Pérez, R., Emilio, D-L-C. & Jiménez-Contreras, E. (2006). Criterios del Institute for Scientific Information para la selección de revistas científicas. Su aplicación a las revistas españolas: metodologías e indicadores. International Journal of Clinical and Health Psychology, 6 (2), 401-424. [ Links ]
Saper, C. B. & Maunsell, J. H. (2009). The neuroscience peer review consortium. European Journal of Neuroscience, 29 (3), 435-436. [ Links ]
Schroter, S., Black, N., Evans, S., Carpenter, J., Godlee, F. & Smith, R. (2004). Effects of training on quality of peer review: Randomised controlled trial. BMJ, 328 (7441), 673. [ Links ]
Schroter, S., Tite, L., Hutchings, A. & Black, N. (2006). Differences in review quality and recommendations for publication between peer reviewers suggested by authors or by editors. Journal of the American Medical Association, 295 (3), 314-317. [ Links ]
Scott, W. A. (1974). Interreferee agreement on some characteristics of manuscripts submitted to the Journal of Personality and Social Psychology. American Psychologist, 29 (9), 698-702. [ Links ]
Snell, L. & Spencer, J. (2005). Reviewers' perceptions of the peer review process for a medical education journal. Med Educ, 39 (1), 90-97. [ Links ]
Stichler, J. F. (2011). Peer review and the development of a science. Health Environments Research and Design Journal, 4 (3), 44-49. [ Links ]
Suls, J. & Martin, R. (2009). The air we breathe: A critical look at practices and alternatives in the peer-review process. Perspectives on Psychological Science, 4 (1), 40-50. [ Links ]
Thomas, S. P. (2011). Conceptual debates and empirical evidence about the peer review process for scholarly journals. Journal of Professional Nursing, 27 (3), 168-173. [ Links ]
Triaridis, S. & Kyrgidis, A. (2010). Peer review and journal impact factor: The two pillars of contemporary medical publishing. Hippokratia, 14 (Suppl 1), 5-12. [ Links ]
Van Raan, A. (2006). Comparison of the hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups. Scientometrics, 67 (3), 491-502. [ Links ]
Van Rooyen, S., Godlee, F., Evans, S., Smith, R. & Black, N. (1998). Effect of blinding and unmasking on the quality of peer review: A randomized trial. Journal of the American Medical Association, 280 (3), 234-237. [ Links ]
Van Rooyen, S., Godlee, F., Evans, S., Smith, R. & Black, N. (1999). Effect of blinding and unmasking on the quality of peer review. Journal of General Internal Medicine, 14 (10), 622-624. [ Links ]
Wager, E., Parkin, E. C. & Tamber, P. S. (2006). Are reviewers suggested by authors as good as those chosen by editors? Results of a rater-blinded, retrospective study. BMC Medicine, 4, 13. [ Links ]
Waltman, L., van Eck, N. J., van Leeuwen, T. N., Visser, M. S. & van Raan, A. F. (2011). On the correlation between bibliometric indicators and peer review: Reply to Opthof and Leydesdorff. Scientometrics, 88 (3), 1017-1022. [ Links ]
Weber, E. J., Katz, P. P., Waeckerle, J. F. & Callaham, M. L. (2002). Author perception of peer review: Impact of review quality and acceptance on satisfaction. Journal of the American Medical Association, 287 (21), 2790-2793. [ Links ]
Weller, A. C. (1996). A comparison of authors publishing in two groups of U.S. medical journals. Bull Med Libr Assoc, 84 (3), 359-366. [ Links ] ]]>