REFLEXIÓN

Usos, limitaciones y prospectiva de la evaluación por pares

Peer Review: Usages, Shortages and Prospectiva

Faustino Moreno Ceja*; José de Jesús Cortés Vera**; Maria del Rocio Zumaya Leal***

* Doctor Universidad Carlos III de Madrid Profesor Investigador, Jefe de la Unidad de Bibliotecas Centro Universitario de Ciencias Biológicas y Agropecuarias, Universidad de Guadalajara, México fmoreno@cucba.udg.mx

** Doctor Universidad Nacional Autónoma de México Profesor Investigador, Departamento de Ciencias Sociales Universidad, Autónoma de Ciudad Juárez jcortes@uacj.mx

*** Doctora, Universidad Carlos III de Madrid Auxiliar de Jefatura, Centro Universitario de Ciencias Biológicas y Agropecuarias, Universidad de Guadalajara México rzumaya@cucba.udg.mx

Resumen

La evaluación por pares, o peer review, es un mecanismo establecido por las comunidades académicas y científicas del mundo para garantizar la calidad de los artículos publicados en revistas. En este trabajo, a partir de una investigación documental, se analizan los fundamentos generales de esta práctica y los principales aspectos identificados como fortalezas y debilidades en la misma. Además, se revisan algunas propuestas para mejorar esta práctica, principalmente enfocadas en la reducción de sesgos y de los tiempos requeridos actualmente.

Palabras clave: evaluación de revistas, evaluación científica, revisión por pares, revistas científicas, producción bibliográfica.

Cómo citar este artículo:: MORENO CEJA, Faustino, CORTÉSVERA. José de Jesús, y ZUMAYA LEAL, María del Rocío. Usos, limitaciones y prospectiva de la evaluación por pares. Revista Interamericana de Bibliotecología, 2012, vol. 35, n°2. pp. 201–210.

Abstract

The peer review process is a mechanism instituted by the academic and scientific communities around the world to guarantee the quality of the articles published in journals. In this paper, the general foundations of this practice are analyzed along with some of its aspects identified as strengths and weakness having as a starting point the results of a documental research. Some proposals to improve the process are also analyzed; these are mainly focused in reducing the bias and the time that the process currently takes.

Keywords: journal review, Peer review, scientific journals, scientific research evaluation, scholarly publishing.

How to cite this article: MORENO CEJA, Faustino, CORTÉS VERA. José de Jesús, y ZUMAYA LEAL, María del Rocío. Peer Review: Usages, Shortages and Prospectiva Revista Interamericana de Bibliotecología, 2012, vol. 35, n°2. pp. 201–210.

1. Introducción

Este documento tiene como propósito principal hacer un análisis crítico de lo que significa actualmente la evaluación por pares en la producción y divulgación del conocimiento científico, así como de las perspectivas que se contemplan en el corto plazo para esta práctica en el ámbito académico y científico internacional. La visión aquí presentada surge desde las ciencias de la información.

El proceso de evaluación de los artículos académicos enviados por sus autores para que sean considerados para su posible publicación es llamado también arbitraje, evaluación por pares, revisión por expertos, o peer review en inglés. El proceso consiste regularmente en que dos o más revisores, expertos en la materia, leen y analizan los artículos para determinar la validez de las ideas expresadas y de los resultados de las investigaciones, así como el impacto potencial del documento en el mundo de la ciencia. A lo largo de este trabajo se estará utilizando preferentemente el término ''evaluación por pares'' (EP).

La evaluación externa por profesionales expertos de la misma disciplina, también llamados pares, ha sido igualmente uno de los mecanismos más utilizados en las últimas décadas para fortalecer la calidad de la educación, principalmente en el nivel superior. Se utiliza internacionalmente para evaluar proyectos, programas académicos e incluso instituciones completas. Se parte de considerar que una evaluación realizada por colegas que tienen su adscripción en instituciones diferentes a la evaluada produce resultados más objetivos.

La evaluación de documentos académicos por parte de pares, antes de su publicación, se fundamenta en el mismo principio y es en este sentido en el que se estará hablando en el presente artículo; es decir, se hace referencia a la evaluación de trabajos escritos presentados por sus autores para su posible publicación en revistas académicas y científicas, escritos que el editor de la revista turnará a dos o más expertos para que expresen su opinión sobre la calidad del trabajo y la conveniencia de publicarlo.

Es oportuno analizar este tema, pues ante la necesidad de fortalecer los sistemas nacionales de investigación y producción de conocimiento científico, algunos países latinoamericanos están estableciendo o redefiniendo criterios e indicadores que puedan dejar constancia de calidad. Entre estos, la publicación de artículos que hayan pasado por un proceso de evaluación por pares es un indicador al que la comunidad académica y científica, así como quienes administran estas tareas, han puesto una creciente atención.

En lo que resta del documento, el lector encontrará un poco de información sobre los antecedentes de esta práctica, una sección destinada a explicar el alcance del concepto de evaluación por pares y sus sinónimos, así como la relación de este proceso con la calidad; pero lo más extenso del artículo se dedica a describir las limitaciones que los expertos observan, lo que ha llevado a diferentes autores a plantear algunas propuestas para mejorarla. El artículo termina con algunas conclusiones generales.

2. Breves antecedentes de la evaluación por pares

Sancho (1990), citado por Moreno (2010), asegura que el sistema de revisión por expertos surgió a comienzos del Siglo XX, cuando se presentó la necesidad de regular las controversias y conflictos surgidos a raíz del crecimiento de las sociedades científicas. Sin embargo, el antecedente de lo que ahora es la EP es ubicado por diversos autores, entre ellos Pessanha (1998), en la Inglaterra de mediados del Siglo XVIII, cuando la Royal Society of London anunció formalmente la evaluación previa de los textos publicados en su Philosophical Transactions Pero fue hasta después de la Segunda Guerra Mundial que este proceso se generalizó, se comenzó a codificar y empezaron a fijarse normas por escrito sobre la forma de realizarlo (Tavares, 2011).

Hablamos entonces de una práctica que tiene más de 250 años, pero que recientemente ha recibido una mayor atención en muchos países, en sus esfuerzos por fortalecer la calidad de la producción de conocimiento científico de académicos e investigadores y su correspondiente divulgación. Hay una presión constante por parte de las instancias administradoras y evaluadoras hacia los investigadores, en el sentido de que sus trabajos deben ser publicados en revistas arbitradas para ser considerados como de calidad. Este fenómeno también ha propiciado el surgimiento de nuevas publicaciones periódicas académicas que aspiran a dar espacio a la creciente producción de artículos, pero que saben de antemano que solamente tendrán posibilidades de éxito si ponen en operación un sólido proceso de revisión por expertos.

3. La evaluación por pares y la calidad

Existe una diversidad de autores que establecen una conexión entre el proceso de EP y la búsqueda de la calidad: Scott-Lichter y el Comité de Políticas Editoriales del Council of Science Editors (CSE) son bastante contundentes cuando dicen que la EP es ''el principal mecanismo a través del cual se juzga la calidad de una investigación'' (Scott-Lichter & CSE, 2012). Grainger (2009) lo considera parte del hábitat en el que los científicos activos se desenvuelven y un instrumento con el que las comunidades técnicas cuentan para asegurar la diseminación continua de información confiable y de alta calidad, requerida para el avance de las diferentes áreas de conocimiento. Cuevas y Mestanza (2002) consideran que constituye un sistema de control de calidad en la comunidad científica mundial, el cual aporta evidencias para otorgar validez y aceptación. Laine y Mulrow (2003) lo conciben como un proceso esencial para controlar y filtrar la investigación, un mecanismo constructivo para la mejora de la calidad y presentación de la investigación y a la vez una motivación para que los autores produzcan mejores trabajos.

En el mismo tono, Ciñan, citado por Ladrón de Guevara, et al (2008), planteaba en 1968 que ''el árbitro es la piedra angular de la que depende la ciencia''. Los árbitros son los encargados de hacer la evaluación de manuscritos y deben ser capaces de hacer sugerencias y recomendaciones sobre cómo mejorar los trabajos, además de alentar al autor para continuar con el proceso. Actualmente, según CAMÍ (2008) la EP se ha convertido en una pieza intocable del sistema científico, pues constituye el paradigma de nuestro sistema de autorregulación profesional.

Para Shatz(2004) uno de los principios que dan fundamento a la EP es considerar que la crítica de un trabajo por parte de otros puede mejorarlo, con lo cual sería difícil estar en desacuerdo. Este mismo autor coincide con quienes consideran que la EP es un sistema de certificación en dos sentidos, pues la aceptación de un trabajo para ser publicado certifica a la vez la calidad de la obra, así como el trabajo realizado por el académico.

Sin embargo, pese a la abundancia de opiniones favorables sobre la trascendencia del proceso de EP, y como se podrá ver a lo largo de este documento, existen otros autores que puntualizan deficiencias y proponen cambios o mejoras.

Para empezar, han sido muchos los trabajos que han planteado la dificultad de alcanzar un consenso sobre lo que debe entenderse por calidad al hablar de un trabajo científico. Sancho (1990), citado por Moreno (2010), plantea que el concepto de ''calidad'' en un documento escrito es difícil de determinar, ya que sólo pueden usarse indicadores basados en percepciones de expertos. Para Sancho, el concepto de calidad podría tener tres acepciones: primero, calidad cognitiva: ''relacionada con la importancia del contenido específico de las ideas científicas''; este tipo de calidad es estimada sobre la base de consideraciones puramente acreditadas. Segundo, calidad metodológica, que se cumple cuando el autor utiliza esquemas conceptuales eficaces, ya comprobados. Tercero, calidad estética, que alude a la armonía, limpieza, exactitud y originalidad implícitas en las propuestas científicas.

Continuando con Sancho (1990), citado por Moreno (2010) los indicadores para medir la calidad están basados en un enfoque más bien cualitativo, determinado por las opiniones de los expertos, quienes juzgan con base en las siguientes percepciones:

• Contenido científico
• Observaciones realizadas por colegas a trabajos publicados
• Cuestionarios
• Cartas
• Entrevistas acerca de la investigación llevada a cabo, así como también de los investigadores que la realizan

Desde una posición encontrada, Van Raan (1996) define la calidad académica como una medida del tamaño de la contribución de los investigadores al progreso del conocimiento; esta contribución puede ser individual, grupal o también de alguna institución determinada. Afirma que la evaluación dentro de la investigación científica es típicamente cuantitativa: el análisis por pares y el análisis bibliométrico nunca podrán ser medidos independientemente, ya que es factible que exista una correlación significativa entre ambos análisis.

Martin (1996) aporta otra definición del concepto de calidad y señala que es una propiedad de las publicaciones, pero también de la investigación contenida en ellas. Esta propiedad muestra, entre otras cosas, si la investigación está bien hecha, si está libre de errores, si sus formulaciones son estéticamente agradables y si sus conclusiones son originales; pero advierte que:

[...] la calidad es sin embargo más relativa que absoluta y está determinada tanto cognitiva como socialmente; no es sólo algo intrínseco a la investigación, sino que es algo juzgado por otros, los cuales, con intereses de investigación y objetivos sociales y políticos discrepantes puede que no hagan las mismas estimaciones sobre la calidad de una determinada publicación.

Como es posible observar, el proceso de evaluación por pares tiene como punto de partida una idea de calidad y conveniencia que puede ser diferente en cada uno de quienes llegan a participar como evaluadores o evaluados. Por tanto, es natural que la forma en que se lleve a la práctica esta evaluación presente igualmente diferencias notorias.

Buela-Casal (2003) es más definitivo, pues menciona que esta revisión no garantiza la calidad, ya que está influida por múltiples sesgos del director y de los revisores que sin duda afectan la evaluación y por tanto no hay una relación total con la calidad. A lo anterior se suma la demora en la respuesta de revisores y editores, sobre todo en América Latina, lo que alarga innecesariamente el proceso y empobrece por tanto la calidad de la publicación, al restarle oportunidad a la información, según lo advierten autores como Angulo (2009).

Otro indicador que se maneja para referirse a la calidad de los artículos publicados es el llamado Factor de Impacto (FI) de las revistas, el cual se determina por el recuento de las veces que los artículos publicados por una revista en los dos últimos años son citados en el último año. Sin embargo, es necesario tomar en cuenta que no siempre un artículo será citado por la calidad del trabajo, pues es posible que sólo se le cite para denostarlo, o simplemente porque plantea un tema polémico. Por otra parte, consideramos que cuando un artículo es multicitado en términos favorables, refleja un buen trabajo realizado por los árbitros que lo evaluaron en su momento. Coincidimos con autores como Aleixandre, Valderrama y González (2007) quienes consideran que ''Los criterios que equiparan repercusión con calidad son, en algunos casos, falsos y engañosos. El FI no es una medida directa de la calidad de una revista, sino de la frecuencia con la que son citados sus artículos en un año''. Estos mismos autores encuentran una serie de deficiencias y de sesgos en la manera en que actualmente se determina el FI, al menos como se publica en el Journal of Citation Report.

4. Alcances y limitaciones de la evaluación por pares

La evaluación por pares se fundamenta en gran medida en la honestidad y en la confianza mutua: el investigador debe confiar su investigación e ideas a los árbitros y éstos, a su vez, deben confiar en que los investigadores dicen la verdad en sus manuscritos.

Existen variantes en la forma en que cada publicación periódica pone en operación el mecanismo de EP. Puede ser un proceso completamente abierto; es decir, en el que tanto el autor de un artículo como el experto que lo evaluará se conocen entre sí. Puede ser un proceso ciego sencillo, como cuando los revisores conocen la identidad del autor, o viceversa. También puede ser doble ciego, cuando ni el autor ni el árbitro se conocen entre sí (Mahawar, et al., 2009).

Maltrás (2003), citado por Moreno (2010) resume el proceso de la EP en tres palabras: paridad, pluralidad y anonimato. La primera refiere al hecho de que la revisión debe ser realizada por colegas del autor, es decir, por personas de la misma condición. Con respecto al segundo término, señala que no basta con un único juez o árbitro para alcanzar un veredicto confiable, sino que se requiere el dictamen de dos o más expertos sobre el mismo trabajo. La última condición, consiste en mantener en anonimato, tanto al autor del trabajo como al árbitro.

La elección de árbitros es una atribución que tradicionalmente se concede a los editores de las revistas académicas. Se supone que un buen editor debe estar consciente de los desarrollos en su área de conocimiento y, por lo tanto, sabe cuáles expertos son los más calificados para ser invitados a realizar el trabajo de arbitraje (Campanario, 2002). Una descripción muy completa de las responsabilidades del editor con respecto a los árbitros puede encontrarse en Scott-Lichter & CSE (2012).

Pero hay una serie de aspectos relacionados con la EP sobre los cuales los investigadores tienen fuertes dudas. Una investigación realizada por Mahawar, et al.(2009), apartir de una encuesta aplicada a cirujanos que habían publicado artículos para dos revistas reconocidas, entre 2001 y 2006, encontró entre otras cosas que:

1. Sólo un 1.5 por ciento de los encuestados consideró que la EP siempre funciona para detectar a autores que pretenden cometer fraude.
2. Solamente un 3.3 por ciento expresó su convicción de que los evaluadores tienen siempre el conocimiento suficiente para evaluar los manuscritos que se les confieren
3. Cerca del 90 por ciento consideró que el proceso de EP retrasa, en mayor o menor medida, la diseminación de los conocimientos generados por una investigación.

Cabe resaltar que esta encuesta se realizó entre autores que pudieron ver sus escritos publicados; como lo advierten los autores del estudio, seguramente el escepticismo sería mayor si la encuesta se hubiera aplicado a investigadores cuyos trabajos fueron rechazados. Sin embargo, también arrojó visiones positivas, como que la mayoría de los encuestados consideró que el proceso permite mejorar los trabajos, garantizar la calidad y que las opiniones de los revisores regularmente son honestas.

La evaluación por pares está expuesta al abuso y puede que no logre detectar situaciones de fraude, como ha sucedido en algunos casos bastante significativos, agrupados por Harding (2002) de la siguiente forma:

• Fabricación de datos. Casos de manuscritos enviados a los revisores para su publicación y que presentan resultados inventados o que no son correctos
• Falsificación. Cuando los manuscritos enviados para su publicación ofrecen resultados que han sido manipulados o distorsionados.
• Plagio. Consistente en copiar la información o ideas de otras investigaciones y presentarlas como si fuesen originales.
• Fracaso o fraude. Se da cuando los resultados de la investigación no fueron favorables a los intereses económicos de algunas industrias y los autores modifican tales resultados.
• Redundancia. Otra forma incorrecta de publicar la investigación científica; se da cuando a partir de una misma investigación se preparan varios artículos para enviarse a diferentes revistas, cambiando sólo pequeños detalles, o bien con nombres de otros autores

Existen otras consideraciones sobre las limitaciones del proceso de evaluación por pares que King (1987) ha mencionado:

• Parcialidad de los expertos. Un problema creciente, según este autor, ya que a medida que la concentración de las capacidades de investigación recae en unos pocos y grandes centros, se hace más difícil encontrar expertos sin intereses creados.
• Relaciones entre antiguos colegas. Que redunda en que las áreas disciplinares ya establecidas reciban un mayor reconocimiento que las disciplinas emergentes; de igual modo, cuando algunas de estas áreas del conocimiento entran en declive, son protegidas por un cierto sentido de lealtad.
• El efecto ''halo''. Que aumenta la probabilidad de que los científicos más visibles, o los departamentos e institutos de mayor prestigio resulten mejor evaluados.
• Diversidad. Los expertos suelen tener con frecuencia ideas diferentes sobre los aspectos de la investigación que deben evaluar, desconocen qué criterios deberían usar y cómo deberían interpretarlos.
• Costos. Los costos del proceso de EP, en lo económico y en el tiempo utilizado para evaluar, son un factor importante, aunque normalmente tiende a ser ignorado.

Por su parte, Maltrás (2003) resalta tres posibles limitaciones:

1. Equivocaciones en el juicio de los árbitros. Ocasionados por sesgos o prejuicios psicológicos, derivados de la falta de pericia y honradez, así como de una revisión inadecuada o superficial.
2. Los aspectos formales del proceso. Es posible que los pares no lo sean estrictamente y que además no se respeten la pluralidad y el anonimato.
3. Las decisiones tomadas por los editores, quienes pueden guiarse por causas ajenas a la calidad del trabajo, como la presión de grupos e instituciones o de colegios invisibles.

En relación con este último punto, Crane (1972) refiere que las decisiones de los editores aumentan las relaciones de poder dentro un determinado campo o disciplina.

Merton(1968)dio a conocer el denominado ''efecto Mateo'' el cual se refiere a que el prestigio ganado por los investigadores o por las instituciones, les otorgará una mayor oportunidad de que sus trabajos sean aceptados para publicarse. Es común que se haga referencia al efecto Mateo solamente en la acepción ya mencionada del beneficio que obtienen quienes han ganado cierto prestigio; en este sentido, el ''efecto Mateo'' es equivalente al ''efecto halo''. Sin embargo, el efecto también se refiere al sentido contrario, cuando el desprestigio obtenido por una persona le afecta negativamente en procesos de evaluación y acreditación. Según nos recuerda Jiménez (2009), el ''efecto Mateo'' está inspirado en la cita bíblica que puede encontrarse en el capítulo 13, versículo 12, del evangelio de San Mateo, que dice: ''Porque al que tiene se le dará y tendrá en abundancia; pero al que no tiene incluso lo que tiene se le quitará''.

También King (1987), Luukkonen (1990), Campanario (2002) y Harding (2002), entre otros, advierten de posibles sesgos derivados de un proceso que no resulte completamente imparcial y objetivo por parte de los expertos al momento de realizar la función de árbitros, ya que es factible que los científicos con prestigio reconocido sean evaluados más favorablemente, protegiendo de esta manera viejas áreas de trabajo, en detrimento de las áreas emergentes de investigación.

Travis y Collins (1991) identifican otros sesgos, determinados por la influencia de las escuelas de pensamiento. Esta falta de objetividad también se favorece por el hecho de que en comunidades científicas pequeñas es más fácil detectar el origen de las propuestas evaluadas. Además, estas pequeñas comunidades observadas están condicionadas por los presupuestos y subsidios otorgados para la investigación, siempre en disputa, y no sólo por aspectos meramente científicos.

Otro sesgo interesante se da en la relación con la publicación de artículos provenientes de laboratorios farmacéuticos, en donde los intereses financieros de los investigadores están ligados con la industria (Von Kolfschooten, 2002). Este mismo autor llama la atención al hecho de que revistas como British Medical Journal, Journal of the American Medical Association, Lancet, Nature y Science, entre otras, tienen como política editorial obligar a los autores a revelar posibles intereses financieros relacionados con el trabajo en cuestión.

Shatz (2004) refiere cuatro casos en los que la EP fue puesta a prueba y no resultó bien librada:

1. Errores insertados intencionalmente en un manuscrito, los cuales no fueron detectados por los evaluadores.
2. Documentos aceptados y publicados en una revista y que con algunos cambios y bajo el nombre de un autor poco conocido son enviados a otra publicación. Los evaluadores no detectaron que esos trabajos ya habían sido publicados; además, el poco prestigio de los nuevos autores registrados influyó para que el número de rechazos fuera mayor.
3. Un investigador presenta por separado dos versiones de su trabajo. La estructura es la misma, pero en uno llega a conclusiones que sabe son acordes con lo que tradicionalmente se piensa sobre el tema, mientras que en el otro presenta conclusiones innovadoras. El segundo trabajo es rechazado.
4. Varios autores han documentado casos de artículos que fueron rechazados inicialmente y que después se convirtieron en documentos multicitados en su campo, algunos incluso fueron escritos por científicos que posteriormente ganaron un premio Nobel.

En las épocas más recientes, uno de los mayores inconvenientes que se achacan al proceso de EP es el retraso que significa para la divulgación del conocimiento. Esto es especialmente preocupante en áreas disciplinares en las que la producción de conocimiento crece exponencial y vertiginosamente, o en campos como la medicina, en que el aprovechamiento oportuno de nuevos conocimientos podría significar salvar vidas. Como desde hace tres lustros lo expresaban Fletcher & Fletcher (1997), ''Las sociedades occidentales están impacientes y hambrientas de información y los tradicionales procesos de evaluación por pares y publicación no encajan cómodamente en esta cultura''.

También parece haber una actitud más crítica con respecto al tiempo que demandan los procesos de EP en los académicos más jóvenes, como lo hace notar Brower (2008), probablemente por haberse formado en una época en que la tecnología ofrece alternativas más rápidas para la publicación y divulgación del conocimiento

Con base en lo expuesto en este apartado, puede entenderse que la mayor parte de las propuestas de cambios o mejoras para la EP se enfocan en la posibilidad de reducir los sesgos antes mencionados, pero hay también un creciente llamado a encontrar mecanismos que permitan reducir los tiempos que la EP consume.

5. Propuestas para mejorar la evaluación por pares

Ante las deficiencias que pueden presentarse en la EP, han surgido propuestas para asegurar resultados de mayor calidad y más oportunos en este proceso. Desde 1987, King, sin dejar de reconocer que la evaluación por pares es un elemento esencial en la valoración de la calidad de la investigación científica, sugería algunas mejoras:

• El derecho de réplica de los investigadores
• El uso de expertos externos, tanto de campos vecinos como de otros países
• Directrices claras en los criterios a emplear en la evaluación
• El uso de indicadores científicos objetivos.

Otras alternativas para el sistema de evaluación de expertos las propone Campanario (2002):

• Revisión abierta. Se propone que los nombres de los árbitros sean conocidos por el autor del artículo, buscando con ello mayor responsabilidad y seriedad de parte de los evaluadores. Dicha implementación tiene como desventaja la exposición a posibles represalias de investigadores descontentos, también señalada por Harding (2002).
• Pago de compensación económica a los revisores. Los revisores regularmente regalan su tiempo al realizar esta función. Se considera que al existir un pago de por medio puede aumentar la seriedad en el proceso de evaluación; sin embargo, el principal problema de esta propuesta es determinar quién asume el costo de dicha compensación.
• Utilizar hojas de instrucciones y formularios de evaluación estructurados, en donde los evaluadores tengan que hacer referencia a los puntos esenciales que el editor considera que deberán determinar la decisión final. Cabe mencionar que esta parece ser una práctica cada vez más frecuente, con el efecto positivo de que el evaluador tiene que hacer una revisión más completa y sujetarse a criterios establecidos con anticipación, reduciendo la discrecionalidad y la improvisación. Adicionalmente, para los revisores nóveles estas guías son muy útiles, pues le muestran el camino para hacer una buena evaluación.
• Eliminación de los revisores. Esta es una propuesta que el mismo Campanario reconoce como radical, pues se sugiere que la revisión por expertos desaparezca y que sea la propia comunidad científica la que se constituya en un gigantesco jurado para determinar qué se publica. Sugiere que sea a través de los sistemas informáticos actuales que se puedan ''subir'' los comentarios de los lectores. Agrega que algunas revistas electrónicas están estableciendo mecanismos para que los lectores califiquen los trabajos leídos, como sucede con muchos blogs. Sin embargo, en este caso se estaría hablando más bien de una evaluación posterior a la publicación, cuando lo que se requiere son mecanismos que ahorren tiempo de revisión y lectura, evitando documentos que no tienen calidad.
• Publicación en Internet. Es otra alternativa que ya ha sido explorada por áreas punteras de investigación en física; en donde cada vez más la publicación se hace por este medio y los científicos no necesitan esperar a que los resultados de investigación se publiquen en las revistas impresas para leerlos. Campanario señala que si sucediera en otras áreas, la revisión por expertos podría incluso llegar a desaparecer.

Las propuestas para mejorar el sistema de EP en gran medida parten de considerar que las publicaciones se harán cada vez más apoyadas en Internet. Sin embargo, de acuerdo con Shatz(2004) muchas de las sugerencias que ahora se plantean para un ambiente electrónico, como darle más responsabilidades a los evaluadores e incrementar el número de ellos, o publicar los resultados del arbitraje junto con el artículo, o darle al autor una oportunidad de responder a las observaciones antes de que la decisión sea tomada, en realidad se habían hecho ya para la era de documentos impresos.

El mismo Shatz identifica cinco grandes tendencias en el proceso de EP en ambientes electrónicos:

1. Eliminar la EP previa a la publicación. Algo con lo que ya está más familiarizada la comunidad científica del área de la física. Esto se apoya en grandes repositorios en los que se publican electrónicamente documentos que posteriormente reciben retroalimentación. Un inconveniente obvio de este esquema es que los lectores deben revisar más trabajos, pues no existe un filtro de calidad.
2. Revisión tradicional. Implica continuar prácticamente con la forma en que actualmente se lleva a cabo el proceso, aunque con el beneficio del uso de las nuevas tecnologías.
3. Revisión abierta. En este sistema, los artículos son publicados en un portal y todos los autores son invitados a enviar sus comentarios. Un artículo que recibe una cierta cantidad de comentarios no favorables podrá salir del portal o no llegaría a una publicación impresa. Como puede anticiparse, este sistema trae consigo dudas sobre la capacidad y las intenciones de quienes hacen las críticas.
4. Arbitraje cerrado, comentarios abiertos. En este sistema, usado ya por algunas revistas, se mantiene que los evaluadores son invitados y sus dictámenes siguen siendo secretos y privados; sin embargo, una vez que el artículo es aceptado, se publica en línea y se convoca a quienes deseen expresar su opinión. El editor puede decidir si publica todos o solamente algunos de los comentarios recibidos, también puede decidir si incluye los dictámenes de los revisores, con lo que se integra material que puede propiciar discusiones ricas e interesantes. De cualquier manera, parece haber consenso en el sentido de que los comentarios no sustituyen la revisión de los expertos.
5. Revisión pública. En un diálogo en línea, pueden interactuar autores, editores, pares expertos e incluso grupos de consultores. Con esto se eliminan dudas de vicios ocultos, aunque para ciertos autores puede llevar a discusiones interminables y por tanto consumir demasiado tiempo, que como ya se mencionó es una de las mayores preocupaciones.

La impaciencia por tener acceso con la mayor rapidez posible a la información, la disponibilidad de mejores tecnologías, así como por un creciente impulso para democratizar el aprovechamiento de los bienes informativos, reflejado en el movimiento ''Open Access'', ha propiciado que en los últimos años se haya incrementado notablemente la cantidad de revistas científicas publicadas solamente en formato electrónico. Esto ha despertado la preocupación de muchos en el sentido de que pueda significar una mayor inclinación por una más rápida disponibilidad y por la cantidad, en detrimento de la calidad de las publicaciones. El temor casi siempre es infundado, pues estas iniciativas siguen guías y procedimientos como el propuesto por The Scholarly Publishing & Academic Resources Coalition (SPARC), que ya tiene diez años de haberse publicado. Esta guía resalta la importancia de seleccionar las publicaciones que se incluirán en los repositorios tomando en cuenta si pasaron por un proceso de EP, o por algún otro mecanismo de evaluación de la calidad, e incluso propone dejar constancia de esto en los metadatos. (Crow & SPARC, 2002).

Habrá que pensar también, como lo expresa Babini (2012) que si a las publicaciones impresas le ha llevado siglos desarrollar un sistema de calidad, tenemos que darle tiempo a los repositorios digitales, que son creación muy reciente. Por otra parte, parece haber buenas noticias en este sentido, pues en un reciente reporte Abadal(2012) muestra como actualmente el porcentaje de revistas científicas digitales que cuentan con procesos de EPes incluso ligeramente mayor que el porcentaje que existe en las publicaciones impresas. Este autor asegura que: los repositorios digitales de acceso abierto persiguen ''la máxima difusión, uso y reutilización de contenidos científicos, lo que no interfiere para nada en los sistemas de revisión de la calidad de las publicaciones científicas''.

Como puede observarse en estos apuntes, las posibilidades son muchas y algunas requerirán tiempo para explorarse. Por otra parte, aunque las propuestas para cambios surgen con frecuencia de ciertas comunidades académicas específicas, es importante mantener en perspectiva que cada vez es más necesario contar con criterios e indicadores aceptados universalmente, con lo que se facilitará la cooperación, el intercambio y el establecimiento de proyectos conjuntos, entre distintas disciplinas o entre diferentes países.

6. Conclusiones

• La evaluación por pares expertos, pese a las críticas que se le puedan formular, sigue colaborando a tomar la decisión correcta en cuanto a lo que es conveniente publicar, ya que sirve de filtro, eliminando la investigación considerada como de baja calidad o que no se presenta adecuadamente.
• Las críticas que se hacen al sistema de EP en realidad no lo son para este procedimiento, sino más bien para quiénes no lo llevan a la práctica correctamente y caen, consciente o inconscientemente en situaciones no deseables, principalmente de sesgo o de desperdicio de tiempo.
• Se percibe que existen perspectivas diferenciadas sobre lo que es o debería ser la EP entre científicos de diferentes campos del conocimiento. Es muy probable entonces que seguirán surgiendo iniciativas de cambios o mejoras con diferente intensidad y orientación en distintos campos disciplinares, de acuerdo con la velocidad con la que crece el conocimiento o la urgencia de poner ese conocimiento al alcance del público, o simplemente por prácticas que se dan entre los que participan en esas disciplinas.
• Es muy posible que los cambios que se propongan busquen aprovechar cada vez mejor las ventajas que ofrecen en la actualidad las tecnologías de la información y la comunicación.
• En el corto plazo no se contempla el establecimiento de una práctica que pueda sustituir la evaluación por pares y que pueda gozar de una aceptación general en las comunidades científicas del mundo; lo más probable es que las propuestas se sigan dando en términos de eliminar, o al menos reducir, vicios actuales y optimizar el uso de recursos y de tiempo.
• Ante la cada vez mayor disponibilidad de grandes volúmenes de información a través de Internet, deberán seguirse buscando mecanismos que permitan identificar y privilegiar la información de calidad, como un reto que involucrará el esfuerzo de una gama de participantes en el ciclo de generación y divulgación del conocimiento
• Las discusiones sobre las bondades y desventajas de la EP, así como de la mejor manera de fortalecerla, o de sustituirla, están lejos de llegar a un fin, sobre todo porque cada vez más es un tema que no solamente preocupa a los científicos y académicos, sino también a los administradores.

Referencias Bibliográficas

1. ABADAL, Ernest.2012.Retos de las revistas en acceso abierto: cantidad, calidad y sostenibilidad económica. Hipertextnet [en línea]. 2012, no. 10 [fecha de consulta: 10 Julio2012]. Disponible en: http://www.upf.edu/hipertextnet/numero-10/retos-revistas-en-acceso-abierto.html        [ Links ]

2. ALEIXANDRE-BENAVENT, Rafael, VALDERRAMAZURIAN, Juan Carlos y GONZALEZ-ALCAIDE,Gregorio 2007. El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. El profesional de la información, 16 (1): 4-11, enero-febrero, 2007.         [ Links ]

3. ANGULO-BAZáN, Yolanda. 2009. El proceso de revisión por pares (''Peer Review'') y su importancia en publicaciones científicas estudiantiles. CIMEL Ciencia e Investigación Médica Estudiantil Latinoamericana [en línea]. 2009, vol.14, no.2 [fecha de consulta: 19 Junio 2012]. Disponible en: http://www.redalyc.org/src/inicio/ArtPdfRed.jsp?iCve=71720562001        [ Links ]

4. BABINI, Dominique. 2012. Julio 12 de 2012. Comunicación personal.         [ Links ]

5. BROWER, Stewart. 2008. Why peer review? Communication in information literacy, 2 (2): 62-63, 2008.         [ Links ]

6. BUELA-CASAL, Gualberto. 2003. Evaluación de la calidad de los artículos y de las revistas científicas: propuesta del factor de impacto ponderado y de un índice de calidad. Psicothema, 15(1): 23-35, 2003.         [ Links ]

7. CAMI, Jordí. 2008. Fortalezas y limitaciones del peer review. Medicina Clínica, 131(5): 20-4, 2008.         [ Links ]

8. CAMPANARIO, Juan Manuel. 2002. El sistema de revisión por expertos (peer review): muchos problemas pocas soluciones. Revista Española de Documentación Científica, 25 (3): 267-85, 2002.         [ Links ]

9. CRANE, Diane.1972.Invisiblecollege: diffusion of knowledge in scientific communities. Chicago, IL: University of Chicago Press, 1972. 213 p.         [ Links ]

10. CROW, Raym. 2002. The Scholarly Publishing & Academic Resources Coalition. 2002. SPARC institutional repository checklist & resource guide. Washington, D.C: SPARC, 2002. 51 p.         [ Links ]

11. CUEVAS, Raúl.F., y MESTANZA, María. 2002. La evaluación científica y el sistema de revisión. Boletín CSI, 46, 2002.         [ Links ]

12. FLETCHER, Robert y FLETCHER, Suzanne. 1997. Evidence for the effectiveness of peer review. Science and Engineering Ethics, 3(42): 35-50, 1997.         [ Links ]

13. GRAINGER, David W. 2009. El participar como par evaluador de calidad es una responsabilidad profesional internacional; aquellos que publican con confianza deben también evaluar con competencia. Revista de Ingeniería Biomédica, 3 (5): 66-74, 2009        [ Links ]

14. HARDING, Emma.2002.Peer Review. Postnote[en línea]2002, no. 182 [fecha de consulta: 6 Diciembre 2008]. Disponible en: http://www.parliament.uk/post/pn182.pdf        [ Links ]

15. JIMENEZ RODRIGUEZ, Jorge. 2009. El efecto Mateo: un concepto psicológico. Papeles del Psicólogo,9(2):145–154,2009.         [ Links ]

16. KING, Jean. 1987. A review of bibliometric and other science indicators and their role in research evaluation. Journal of Information Science, 13 (5): 261-276,1987.         [ Links ]

17. LADRONDE GUEVARA CERVERA, Michele [et al.]. 2008. Revisión por pares: ¿Qué es y para qué sirve? Salud Uninorte, 24 (2): 258 -272, 2008.         [ Links ]

18. LAINE, Christine y MULROW, Cynthia. 2003. Peer review: integral to science and indispensable to annals. Annals of Internal Medicine, 139 (12): 1038–1040, 2003.         [ Links ]

19. LUUKKONEN, Terttu. 1990. Bibliometrics and evaluation of research performance. Annals of Medicine, 22(3):145–150, 1990        [ Links ]

20. MAHAWAR, Kamal Kumar [et al.]. 2009. Peer review practices in biomedical literature. A time for change? Asian Journal of Surgery 32 (4): 240-246, 2009.         [ Links ]

21. MALTRÁS BARBA, Bruno. 2003. Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Gijón: Trea, 2003, 287 p.         [ Links ]

22. MARTIN, Ben. R. 1996. The use of multiple indicators in the assessment of basic research. Scientometrics, 36 (3): 343-82, 1996.         [ Links ]

23. MERTON, Robert. K. 1968. The Matthew effect in science: the reward and communication systems of science are considered. Science, 159 (3810): 56-63, 1968.         [ Links ]

24. MORENO CEJA, Faustino. 2010. Producción científica de los investigadores de la Universidad de Guadalajara reportada en el ISI Web of Knowledge, durante el periodo1996-2005: un análisis bibliométrico desde el modelo departamental. Tesis (Doctorado) Madrid: Universidad Carlos III de Madrid, Departamento de Biblioteconomía y Documentación, 2010.         [ Links ]

25. PESSANHA, Charles. 1998. Critérios editoriais de avaliação científica: notas para discussão. Ciência da Informação, 27 (2): 226-229, 1998.         [ Links ]

26. SANCHO, Rosa. 1990. Indicadores bibliométricos utilizados en la evaluación de la ciencia y la tecnología. Revista Española de Documentación Científica. 13 (3-4): 842-65, 1990.         [ Links ]

27. SCOTT-LICHTER, Diane. and Council of Science Editors, The Editorial Policy Committee. 2012. CSE's White Paper on Promoting Integrity in Scientific Journal Publications, 2012 Update. Wheat Ridge, CO: Council of Science Editors, 2012.         [ Links ]

28. SHATZ, David. 2004. In peer review: a critical inquiry. Issues in academic ethics. Lanham, Md.: Rowman & Littlefield, 2004. 264 p.         [ Links ]

29. TAVARES DE MATOS CARDOSO, María Manuela. 2011. El peer review de las revistas científicas en Humanidadesy Ciencias Sociales: políticas y prácticas editoriales declaradas. Revista Española de Documentación Científica. 34 (2): 141-64, 2011.         [ Links ]

30. TRAVIS, G.D.L. y COLLINS, Harold M. 1991. New light on old boys: cognitive and institutional particularism in the peer review system. Science, Technology & Human Values(169): 322–341, 1991        [ Links ]

31. VAN RAAN, Anthony. F. J. 1996. Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises. Scientometrics, 36(3):397-420, 1996.         [ Links ]

32. VON KOLFSCHOOTEN, Frank. 2002. Can you believe what you read? Nature 416 (6879): 360-363, 2002.         [ Links ]

33. ZIMAN, John. M. 1968. Public knowledge: an essay concerning the social dimension of science. Cambridge: Cambridge University, 1968.         [ Links ]