CLASIFCAR, EVALUAR

Traducción ^* del texto "Classer, évaluer" publicado en Annales. Histoire, Sciences Sociales. 63e année, No. 6, novembre-décembre 2008, pp. I-IV.

El mundo de la investigación y de la enseñanza superior parece asido por la fiebre de la evaluación: es en este marco donde debe situarse el reciente debate alrededor de las clasificaciones de las revistas, que ha sido propuesto en Europa por la European Science Foundation (ESF) y en Francia por la Agence d'Évaluation de la Recherche et de l'Enseignement Supérieur (AERES), inspirado en gran medida en la propuesta europea. Estas clasificaciones diferencian las revistas europeas entre aquellas que no son clasificadas y aquellas que sí. Estas últimas quedan repartidas en tres categorías: A, B y C. La lectura de los documentos propuestos por la ESF y la AERES revela sus carencias. Los procedimientos y los principios de clasificación son subjetivos; los expertos son anónimos y los errores abundan, de tal modo que figuran varias veces ciertas revistas, en ocasiones con clasificaciones diferentes o confusiones de títulos. Más grave aún, estas clasificaciones muestran injusticias fagrantes, que desafían el sentido común de una comunidad de investigadores, que no es ignorante de sus propios valores a ese punto. Desde luego, las reacciones a veces virulentas no se han hecho esperar en Francia, pero también en otros países europeos como Alemania o Inglaterra. Por todas estas razones, los Annales no pueden sino desear el abandono por parte de la ESF y la AERES de estas clasificaciones a la vez discutibles y discutidas.

El debate no está por ello concluido, porque detrás de estas clasificaciones hay otras cosas que se ponen en juego y que conviene entonces distinguir: el problema de la evaluación de las revistas, pero también, desde luego, el problema de la evaluación de los investigadores y de los grupos de investigación. En un periodo de fragmentación de los saberes y de multiplicación de las publicaciones, la idea de contribuir a la organización de un espacio científico de discusión, reconociendo la existencia de diferentes categorías de revistas, no está a priori desprovista de sentido si no se trata de fabricar compartimientos herméticos o jerarquías arbitrarias. Sería necesario, pues, que los criterios de clasificación así como el objetivo buscado sean claramente expuestos, que los procedimientos sean objeto de un consenso y que las revisiones sean periódicas. Por lo demás, en los países en los que las publicaciones dependen del apoyo de instituciones y fnanciamientos públicos, parece legítimo disponer de instrumentos para repartir los recursos sobre la base de criterios científicos. Se podría incluso esperar que una discusión colectiva alrededor de la evaluación de las revistas científicas permitiría debatir acerca de sus prácticas editoriales y hacer más explícitas las expectativas de las instituciones que las fnancian y de los investigadores que las alimentan y las leen. Los expertos científicos de la AERES han ofrecido hace poco, como respuesta a las protestas de las revistas y de los investigadores, pruebas de su interés en sostener la discusión. Es necesario proceder.

Queda el hecho de que, publicando sin ninguna discusión previa sus clasificaciones y sin que su uso haya sido claramente establecido, las instituciones europeas y francesas (a diferencia de los Estados Unidos que son siempre propuestos como el ejemplo, pero que no practican este tipo de clasificación) se han comprometido en una vía en cuanto a la que decenios de investigaciones muestran el peligro. Los Annales no pueden sino prevenir contra el uso que se hace de estos dispositivos de clasificación y de medida del saber e incitar a la reflexión en el manejo de estos instrumentos, que no tienen la neutralidad que se les quiere atribuir. Es ante todo en nombre del compromiso científico en la práctica de las ciencias sociales que las reservas respecto de estas discutibles elecciones deben expresarse. Tales clasificaciones pueden conllevar el riesgo de contribuir a fijar el espacio intelectual, volviendo mucho más difíciles las innovaciones y ofreciendo unas rentas de situación a las revistas con fuerte notoriedad. El movimiento de creación de nuevas revistas, tan necesario para la vida intelectual, corre el riesgo de sufrir las consecuencias.

Pero el principal problema que pone en peligro el principio de una clasificación única de las revistas es el de la diversidad de las magnitudes según las cuales las revistas pueden ser clasificadas. Una revista puede ser la referencia internacional en su campo, aunque se encuentre limitada a un muy pequeño medio intelectual de difusión, en tanto que otra revista puede atañer a un área geográfica reducida pero ser leída por un número mucho mayor de investigadores, y no hay más que felicitarse por la existencia de una verdadera diversidad de revistas, garantía de pluralismo metodológico e intelectual. En fin, la constitución de estas clasificaciones sobre bases disciplinarias, que varían de un país a otro, no hace más que agravar las dificultades, y llega a veces hasta el absurdo cuando una revista interdisciplinaria, viendo su proyecto intelectual completamente desnaturalizado, no es evaluada más que en el marco de una sola disciplina. Las comunidades de saberes no tienen la misma dimensión, las mismas fronteras ni el mismo funcionamiento y es necesario reconocer esta diversidad irreductible. La cuestión de la evaluación de las revistas científicas, perfectamente legítima, permanece abierta, pero una clasificación única y uniforme en ningún caso es la solución: es a la vez inútil y contraproducente, pues trae más efectos negativos que positivos.

No obstante se puede apostar a que la resistencia a la clasificación de las revistas habría sido menos fuerte si ésta no hubiera estado ligada a la puesta en marcha de nuevas formas de clasificación de los investigadores. El primer riesgo de tal evaluación es que pone el acento sobre criterios estrictamente cuantitativos en el momento mismo en que la comunidad científica toma conciencia de los límites de los instrumentos bibliométricos y de la vanidad de medidas tales como el "factor de impacto", incluso en ciencias físicas o naturales, sobre las cuales se pretende alinear cueste lo que cueste a las ciencias humanas y sociales. Aun cuando la cantidad de publicaciones no siempre se encuentra sin relación con la calidad de la actividad científica de un investigador y que puede tener un lugar en la medición de su actividad científica, proporcionando indicadores sin duda alguna falibles pero objetivables, la ausencia de una correlación directa y el riesgo de ceder a la facilidad de los métodos cuantitativos invitan a la prudencia, tanto más cuanto que, a diferencia de otras disciplinas, los trabajos de referencia en ciencias sociales no siempre pasan por las revistas, pues los libros juegan un papel fundamental en la estructuración del debate intelectual. De otra parte, dicha concepción de la evaluación da prueba de una equivocación. Un comité de redacción no tiene por función distribuir notas en lugar de los evaluadores institucionales, y no hay ninguna razón para hacer recaer en el comité la parte más importante de la evaluación, la cualitativa, en un momento en el que al contrario habría que defender las instancias colectivas de evaluación. Un comité de redacción trabaja para garantizar la más alta calidad científica posible de los artículos publicados, pero también para defender una concepción de la investigación que es propia de cada revista. Los miembros de estos comités toman opciones intelectuales que no son neutras y que se inscriben en la historia y la identidad de cada publicación, lo que invalida la utilización mecánica de una clasificación de las revistas como principal instrumento de evaluación de los investigadores o de los grupos de investigación.

La vía de una evaluación esencialmente cuantitativa apoyada sobre la clasificación de revistas nos parece, pues, peligrosa. Sin embargo, no se desprende de eso ningún argumento para rechazar por principio una evaluación más rigurosa del trabajo de los investigadores, en nombre del argumento capcioso de que todo se vale. Se objetará que los investigadores ya son evaluados. ¿Quién podría, sin embargo, pretender seriamente que los mecanismos de evaluación individual no pueden ser mejorados? El rechazo de todo procedimiento evaluativo o el mantenimiento de un statu quo no son más deseables que las proposiciones de evaluación estrictamente cuantitativa. El apego a una concepción científica del trabajo intelectual en historia y ciencias sociales no puede acomodarse a una pretendida inconmensurabilidad de nuestras producciones. Asimismo, hay algo de paradójico en que pasemos en la práctica gran parte de nuestro tiempo evaluando a estudiantes o a colegas más jóvenes y que rechacemos todo debate sobre las formas de evaluación. Las condiciones actuales del reclutamiento universitario, con frecuencia dominado por el localismo y el clientelismo, pero también el desarrollo de las carreras en las que los investigadores más dinámicos son poco premiados, o aun los desfases a veces escandalosos entre el reconocimiento científico y las trayectorias institucionales, abogan por una evaluación más sistemática, con la condición de ponerse de acuerdo sobre las formas de ésta última. Ahora bien, las evoluciones recientes ligadas a la creación de agencias nacionales y europeas que evalúan las revistas, los investigadores y los proyectos en una total opacidad, no tienen nada de consoladoras a este respecto. Estas instituciones, cuyos miembros son nominados y no elegidos, contribuyen a reforzar el sentimiento de arbitrariedad por la ausencia de criterios y de procedimientos expuestos públicamente y luego reconocidos y validados colectivamente. Desarrollan a un nivel jamás alcanzado la burocratización de la investigación, de tal suerte que los docentes de educación superior, cuyo supuesto medio tiempo como investigadores ya se encuentra plagado de tareas pedagógicas y administrativas, pasan ahora la mayor parte de su tiempo dedicados a escribir proyectos o informes de investigación, antes que dedicados a la investigación misma. En fin -y no es la paradoja menor en todo esto-, mientras la retórica política pretende promover la autonomía de las instituciones universitarias, se pone a funcionar en realidad una centralización directamente sometida a una dirección administrativa, e incluso política, con frecuencia ignorante de las realidades más elementales de la investigación.

No nos hagamos ilusiones: la evaluación es por naturaleza problemática e insatisfactoria en nuestras disciplinas. La evaluación cualitativa por los pares, frecuentemente presentada como opuesta a la evaluación bibliométrica, tampoco es una panacea: es devoradora de tiempo para los investigadores, depende de la manera como son designados los evaluadores y no garantiza que los trabajos innovadores sean distinguidos. Los Annales no pretenden proponer -ese no es, por lo demás, su papel- una solución preparada de antemano para estos problemas, pero no pueden menos que desear una redefnición colectiva de las reglas bajo el signo de la transparencia, de la autonomía y de la responsabilidad. En este periodo de incertidumbres económicas y de amenazas acrecentadas sobre las condiciones del trabajo científico, las revistas y los investigadores que publican en ellas deben hoy en día demostrar su capacidad para defender e ilustrar una idea de la investigación científica y de su evaluación, incluso imperfecta, teniendo al tiempo el coraje de aplicársela a sí mismos.

LOS ANNALES

Comentarios

^* La traducción, autorizada por los Annales, fue realizada por Renán Silva, historiador y sociólogo colombiano, y Muriel Laurent, Profesora del Departamento de Historia de la Universidad de los Andes, Bogotá, Colombia.