David Hernández García**
Universidad de Antioquia (Colombia)

* Instituciones financiadoras: Agencia de los Estados Unidos para el Desarrollo Internacional (USAID); Fondo de Subvenciones para Proyectos en Justicia (PROJUS); Universidad de Antioquia (Facultad de Ingeniería - Grupo Regional ISO). Institución cooperante: Rama Judicial del Poder Público - Consejo Superior de la Judicatura - Sala Administrativa. En el anexo se referencian los diferentes profesionales que aportaron con información, conceptos y actividades en las diferentes fases de la investigación.

**Doctor en Ciencias de las Organizaciones y del Trabajo de la Universidad de Barcelona; magister en Dirección de Empresas de la Universidad Politécnica de Cataluña. Docente - investigador vinculado a la Universidad de Antioquia. Medellín (Colombia). davidh@udea.edu.co

Fecha de recepción: 31 de mayo de 2011
Fecha de aceptación: 25 de agosto de 2011

Resumen

Este artículo describe los resultados obtenidos durante el proyecto de diseño, validación e implementación del estándar -y su índice asociado- para la medición de la calidad de los procesos judiciales en Colombia, en el marco del Sistema Penal Acusatorio, el cual se desarrolló para dar respuesta a las necesidades de medición objetiva del sector entregando herramientas específicas que le permita valorar comparativamente su gestión a través del tiempo, generando oportunidades de mejora continua. Para esto fueron necesarias dos etapas de investigación que condujeron a la consideración de aspectos y procesos necesarios para el mejoramiento de la organización y administración de la justicia colombiana.

Palabras clave: Calidad, justicia, Sistema Penal Acusatorio, estándar, índice.

Abstract

This article presents the results obtained during project of design, validation and implementation of a standard -and its associated index-, to measure the quality of the judicial process in the Colombian Accusatory Penal System. This project was developed to attend the needs of measurement of Justice sector and provide specific tools to assess quality comparatively over time and create opportunities for continuous improvement. This project required two stages of research and implicated different issues and processes to improve the organization and administration of justice in Colombia.

Keywords: Quality, justice, Accusatory Penal System, standard, index.

La "calidad", definida como el "conjunto de características inherentes a un producto o servicio que permiten a una organización el cumplimiento de los requisitos especificados y la satisfacción de las expectativas generadas por los clientes y usuarios"¹, se concreta mediante la capacidad de las organizaciones para identificar y cumplir con tales especificaciones. En ese contexto, son comunes los esfuerzos nacionales e internacionales de múltiples organismos, públicos y privados, por definir, implementar y evaluar sistemáticamente estándares que detallen los criterios determinantes de la calidad; tarea en la que las organizaciones industriales han tomado la delantera. No obstante, es paradójico que precisamente en los sectores de servicios públicos y sociales, en los que constantemente se hacen llamados al mejoramiento de la calidad y la eficiencia, aún el tema de la normalización en calidad (definición de estándares² y mecanismos de medición) siga siendo mínimo en comparación con los sectores productivos.

La preocupación por la calidad de las organizaciones públicas no es un fenómeno novedoso en áreas como la educación, la salud o los servicios públicos domiciliarios. Sin embargo, solo en años recientes dicha preocupación se ha extendido hasta llegar a organizaciones que tradicionalmente se habían mantenido al margen de esta problemática, como es el caso de la administración de justicia. La implantación de Sistemas de Gestión de la Calidad en el Sector de la Justicia nos presenta un nuevo panorama de análisis, que constituye un reto.

En este punto, y de manera especial cuando estamos frente a un contexto de desarrollo del sector judicial en el cual se vienen posicionando esquemas diferentes de prestación del servicio (p.e. justicia oral) y se cuenta con una amplia preocupación internacional por el papel de la justicia en el contexto colombiano, se consideró necesaria la identificación y validación técnica de los criterios básicos de calidad de los procesos judiciales; trabajo en el que, sin lugar a dudas, debían interactuar las entidades del sector judicial y la Academia. El apoyo de la cooperación internacional, tanto financiera como técnica, constituye un aporte muy valioso para esa interacción.

En ese sentido, y considerando que en Colombia existe un número importante de juzgados de la especialidad penal, que vienen introduciendo el sistema oral, se consideró pertinente y novedoso iniciar la definición de estándares de calidad en el marco del recientemente implementado Sistema Penal Acusatorio; y más aun cuando la última reforma a la Ley Estatutaria de la Administración de Justicia en Colombia fijó como línea de futuro la implementación de la oralidad para todas las especialidades, lo que implica que los resultados de estos estándares tendrán efecto en las restantes especialidades que entren en el sistema oral.

Así mismo, el proyecto coincide con el interés de la Sala Administrativa por actualizar los Acuerdos de Evaluación de Carrera Judicial, los cuales, con particular énfasis en la evaluación de los jueces, incluyen un factor de calidad de la tramitación de un proceso judicial, el cual es muy disímil entre un sistema oral y un sistema escrito. Esto se suma, además, al hecho de que ha sido aprobada la ley para implantar la oralidad en los procesos laborales, y en 2007 comenzó a ser aplicada en los procesos disciplinarios contra abogados litigantes (Estatuto de la Abogacía).

En esta línea, formular un estándar e índice para la medición de la calidad de los procesos judiciales en Colombia en el marco del Sistema Penal Acusatorio se convierte en un reto que implica ceñirse a los principios básicos de la normalización, entendida esta como la actividad que establece disposiciones para uso común y repetido, encaminadas al logro del grado óptimo de orden con respecto a problemas reales o potenciales, en un contexto dado y que consta de actividades de formulación, publicación e implementación de normas.

Para esto se concibió un proyecto que debía involucrar a representantes significativos tanto del sector judicial (magistrados, jueces y servidores judiciales) como del ámbito académico con experiencia en normalización (profesores, consultores e investigadores universitarios) y que derivaría en una serie de documentos e instrumentos, debidamente validados, para un posible uso futuro en el sector Justicia.

Atendiendo esta necesidad, la Universidad de Antioquia, a través de su Facultad de Ingeniería, USAID, a través de la Universidad Internacional de la Florida, y la Sala Administrativa del Consejo Superior de la Judicatura llevaron a cabo durante dos años el proyecto "Diseño, validación e implementación del estándar e índice para la medición de la calidad de los procesos judiciales en Colombia en el marco del Sistema Penal Acusatorio (Ley 906 de 2004)".

Este proyecto, que contó con la financiación del Fondo de Subvenciones para Proyectos en Justicia -PROJUS-, la coordinación de la Universidad de Antioquia y la participación directa de un amplio grupo de magistrados, jueces y servidores judiciales del país, le aporta a la Rama Judicial valiosas herramientas de monitoreo de la calidad en el ámbito penal, entre las que se pueden señalar un instructivo, un formulario y un índice que permitirá una evaluación más objetiva del funcionamiento de estos procesos en el país.

Este artículo pretende dar cuenta de este proceso, de sus resultados, implicaciones y limitaciones, y busca que los lectores tomen en consideración estos hallazgos en futuras aplicaciones o adaptaciones de estos instrumentos, los cuales se ponen a disposición del sector judicial como una herramienta confiable y objetiva para el mejoramiento de su gestión y la formación de magistrados y jueces.

Con el objetivo de diseñar, validar e implementar un estándar y su índice asociado para la medición de la calidad de los procesos judiciales en Colombia en el marco del Sistema Penal Acusatorio, la investigación buscó dar respuesta a las necesidades de medición objetiva del sector y, al mismo tiempo, proporcionar una herramienta específica, que no solo se aplique a la medición particular de la calidad, sino que le permita valorar comparativamente su gestión a través del tiempo, generando oportunidades de mejora continua.

La primera fase del proyecto incluyó, entre otras actividades, la identificación de los principios básicos de la gestión de los procesos judiciales en el Sistema Penal Acusatorio y los atributos deseables de estos, la especificación, con criterios objetivos y medibles, de los atributos (factores de medición) de los procesos penales y la elaboración de un instructivo (estándar), un formulario y una matriz de ponderación como base del índice. En la segunda fase, y con el propósito de determinar la pertinencia de la metodología de aplicación del índice y obtener unos resultados preliminares en algunas regiones del país, se realizó una evaluación, mediante medición in situ, de procesos judiciales finalizados en 2010 en el Sistema Penal Acusatorio en los distritos de Antioquia, Cundinamarca y Santander; lo cual permitió realizar el primer cálculo consolidado del índice e identificar valores agregados y limitaciones en su aplicación.

Durante la etapa inicial de delimitación del alcance de investigación y geográfico del proyecto se evaluó la capacidad de diseñar un estándar e índice nacional para la medición de la calidad de los procesos judiciales en todas las especialidades. Respecto del alcance, el grupo base de investigación coincidió en que era necesario definir la especialidad (jurisdicción) y procedimiento (tradicional u oral) en la que se enfocaría el proyecto. Se realizaron diferentes aportes entre los participantes respecto a pertinencia, innovación y logística, y se determinó que el alcance del mismo estaría en el diseño y validación del estándar e índice para la medición de la calidad de los procesos judiciales en Colombia en el marco del Sistema Penal Acusatorio (Ley 906 de 2004).

Esta decisión se tomó sustentada en que existe un grupo importante de juzgados de la especialidad penal en todo el país que se ha introducido en el sistema oral, lo cual tornaba novedoso traer elementos de juicio para valorar la calidad en los procesos penales que producen los funcionarios que manejan tal modalidad en la jurisdicción, lo que se sumaba a la reforma a la Ley Estatutaria de la Administración de Justicia, que fija como línea de futuro implementar la oralidad para todas las especialidades.

Tomando como base que la creación de estándares parte de una adecuada identificación de criterios de evaluación de calidad o atributos, y que la normalización toma como referencia los procesos previos de construcción de leyes, normas estándares, se realizó un inventario y revisión de diversas fuentes de información para la definición de los atributos de calidad en los procesos judiciales. Este ejercicio incluyó la lectura minuciosa de una serie de estudios internacionales, trabajos de observatorios multilaterales y la revisión de los documentos internos del Consejo Superior de la Judicatura orientados a la evaluación interna del desempeño de servidores judiciales.

Posterior a esta revisión, y realizada la convocatoria a un grupo de expertos de la Rama Judicial, incluidos magistrados, jueces y otros servidores de la Sala Administrativa, se realizó una presentación de las principales conclusiones de la revisión de trabajos previos, la cual permitió identificar los principios básicos y atributos deseables para la evaluación de la calidad de los procesos judiciales en Colombia; los cuales, para este estudio, fueron: la conformidad, la oportunidad, la pertinencia y la seguridad.

Con los atributos referenciados anteriormente debidamente identificados, el grupo de trabajo se concentró en detallar cada uno de estos, en variables específicas que pudieran ser observadas y calificadas por evaluadores internos o externos al sector judicial, y adicionalmente definirlas para cada una de las audiencias constitutivas de un proceso penal en la modalidad oral, lo cual concluyó en la siguiente tabla, que relaciona cada etapa del proceso penal (oral), el atributo identificado y las variables específicas de medición:

Con el fin de facilitar la medición de las variables definidas para cada una de las etapas procesales se diseñó un formulario para el uso de los evaluadores, el cual contó con la presencia del equipo de los investigadores y magistrados y jueces seleccionados.

Para la calificación de cada una de las variables se propuso un formulario con una escala de puntaje de 1, 3 y 5, donde 1 corresponde a la mínima calificación y 5 a la máxima. Así mismo, se definieron cinco tipos de formas para la evaluación de los factores de calidad en las distintas etapas del proceso judicial.

La primera forma hace referencia al proceso penal convencional, el cual puede estar configurado hasta por nueve etapas procesales, las cuales en el formulario se denominaron "secciones". Las secciones que conformaron la primera forma fueron:

- Sección 1: Audiencias de control de garantías
- Sección 2: Audiencia de imputación
- Sección 3: Presentación del escrito de acusación, aplicación del principio de oportunidad o solicitud de audiencia de verificación de preacuerdo
- Sección 4: Audiencia de formulación de acusación
- Sección 5: Audiencia preparatoria
- Sección 6: Audiencia de juicio oral
- Sección 7: Audiencia de individualización de la pena
- Sección 8: Audiencia de sentencia
- Sección 9: Ejecución de la pena

La segunda forma se orientó a la evaluación de las audiencias de verificación de la legalidad del preacuerdo; la tercera, a la evaluación de solicitudes de preclusión y a audiencias de preclusión, así mismo posteriores que se presenten; la cuarta, a cada una de las audiencias realizadas en los trámites de incidente de reparación integral (art. 103 de la Ley 906 de 2004 y art. 197 de la Ley 1098 de 2006); y la quinta, a la evaluación de las audiencias de segunda instancia, y en particular a las apelaciones interpuestas contra las decisiones proferidas, en las etapas de investigación y juzgamiento.

Considerando lo innovador de la propuesta de medición y la complejidad del formulario, se procedió a la redacción de un instructivo para el uso de este, en el cual se especificó el sistema de evaluación y cada uno de los atributos y variables. Este documento fue la base tanto de la aplicación piloto como para la evaluación final.

Para determinar la viabilidad de la aplicación de estos instrumentos e identificar características y posibles limitaciones logísticas de esta se realizó de una prueba piloto con evaluadores seleccionados directamente para esta labor. Con este propósito se realizó una selección de la ciudad piloto, evaluadores y criterios de selección de procesos.

Respecto a la ciudad, luego de hacer una evaluación de las diferentes regiones del país, el equipo de investigación eligió a Pereira como la ciudad en la cual se seleccionarían los procesos que serían evaluados por los calificadores del proyecto. Esta decisión se tomó teniendo en cuenta que en el equipo base de investigación no había representantes de Pereira, lo cual fue clave en la independencia de la evaluación, y que Pereira hacía parte de las ciudades que incursionaron como pioneras en la primera fase de implementación del Sistema Penal Acusatorio.

Frente a los evaluadores se elevó una consulta a la presidencia de la Sala Administrativa del Consejo Superior de la Judicatura, en función del perfil de los magistrados y jueces recomendados para esta labor y fueron designados formalmente. Este grupo fue entrenado en dos sesiones de trabajo en sus respectivas ciudades.

Para las actividades de selección y lectura de los expedientes patrón, el equipo de investigación se desplazó a la ciudad de Pereira y en compañía del juez coordinador y de los profesionales responsables del archivo de expedientes físicos y de audio y video se seleccionó una serie de expedientes de procesos penales que cumplieran con las características definidas en cuanto a cantidad de audiencias, duración de estas y etapas procesales.

Fruto de este trabajo se obtuvieron 3 casos patrón de los años 2007, 2008 y 2009; y relativos a los delitos de tráfico, fabricación y porte de estupefacientes y homicidios, con una duración (medida en tiempo promedio de audiencias) no superior a 120 minutos. Estos expedientes fueron duplicados y transportados a las ciudades de residencia de los evaluadores para su posterior calificación. Toda la información a la que se accedió (expedientes físicos, registros fílmicos y de audio, sentencias, etc.) fue manejada con estricta confidencialidad.

Paralelo a la actividad anterior, el grupo base de investigación inició un trabajo con los magistrados y jueces de la ciudad de Bogotá seleccionados, orientado a determinar, mediante la técnica de consenso, el porcentaje de valor que cada uno de ellos asignaba a las etapas procesales y a los factores y variables de evaluación incluidos en el formulario de calificación. De esto surgió una Matriz de Configuración de Pesos, en la cual se encuentra la importancia jerárquica percibida por los participantes en términos de calidad de un proceso judicial en el Sistema Penal Acusatorio. En la fase II, tanto el formulario como el instructivo y la Matriz de Configuración de Pesos fueron utilizados como instrumentos.

Para medir la fiabilidad de las puntuaciones, cuando respecto de un mismo "objeto patrón" múltiples evaluadores han dado calificaciones a partir de una misma escala, se recomienda calcular el Índice de Concordancia entre Juicios.

Este índice, formulado por el profesor Antonio Solanas, del Departamento de Metodología e Investigación en Ciencias del Comportamiento de la Universidad de Barcelona, propone un rango de puntuación que oscila entre cero y uno. El valor cero corresponde a ninguna coincidencia entre los juicios de los expertos, es decir, a una máxima discrepancia entre ellos; el valor uno, por su parte, corresponde al mayor acuerdo posible, es decir, a una total identidad entre los valores de las puntuaciones emitidas por los dos expertos.

Este índice se obtiene mediante una fórmula en la que el valor del acuerdo entre jueces (alfa) es igual a uno, menos la suma de las diferencias (en valores absolutos) de los valores asignados por los evaluadores a cada dimensión explorada del sistema, dividido por el número de dimensiones evaluadas del sistema, multiplicado por la diferencia entre el valor máximo (10) y el mínimo posible de las escalas (0). La fórmula del Índice de Concordancia entre Juicios (Solanas) se expresa, entonces, de la siguiente manera:

Donde P corresponde al número de dimensiones evaluadas; (X1j -X2j) denota la puntuación asignada a los evaluadores 1 y 2 a cada una de las 9 áreas de comunicación evaluada; máx. representa la máxima puntuación posible de cada área (10) y mín. corresponde a la mínima puntuación posible (0) de las dimensiones.

Según Solanas, una puntuación igual a 0.85 convencionalmente puede ser considerada como aceptable, y muy buenas y fiables las que obtienen un valor igual o superior a 0.90. En este caso y después de la tabulación de las calificaciones dadas a los expedientes patrón, el valor calculado para este índice fue de 0,96, lo cual significó que hay un muy satisfactorio acuerdo entre los 6 evaluadores seleccionados y que los criterios definidos hacen referencia a un alto nivel de objetividad en su definición.

De otro lado, y también como un importante resultado de la aplicación piloto de los instrumentos desarrollados, se obtuvo una serie de comentarios de los evaluadores y el grupo base de investigación que permitieron refinar tanto el formulario como el instructivo. Las mejoras se centraron básicamente en el detalle de las descripciones de las variables propuestas, la eliminación de variables no aplicables en determinadas etapas procesales y la inclusión de otras que fortalecieron el instrumento y el instructivo.

Luego de las correspondientes discusiones y análisis, propios de su construcción, y de su aplicación piloto, se entrega a la Rama Judicial (Consejo Superior de la Judicatura) un estándar objetivo y detallado para la evaluación de la calidad a los procesos judiciales en el marco del Sistema Penal Acusatorio (Ley 906 de 2004). Este estándar, conformado por tres instrumentos interrelacionados (formulario e instructivo para la calificación de los factores de calidad definidos y Matriz de Tabulación y Consolidación de Resultados), es una herramienta altamente confiable, que no solo fue construida por actores con amplia experiencia en la operativización del Sistema Penal Acusatorio sino que evidenció su potencia y fiabilidad estadística en su aplicación.

Fruto de la prueba piloto se logró identificar los usos posibles y limitaciones en su potencial aplicación nacional y, por ende, importantes aprendizajes para planeación e implementación en tiempos futuros; entre ellas vale la pena resaltar:

- En la planeación de la aplicación del instrumento deben contemplarse tiempos prudentes para la selección y lectura de los expedientes, ya que se consumen tiempos importantes en las actividades de visualización de la calidad de los materiales audiovisuales, copia de expedientes físicos, instalación de equipos técnicos y envío de materiales a evaluadores.

- Los procesos de entrenamiento a evaluadores en el uso de las herramientas que conforman el estándar deben incluir, necesariamente, asistencia jurídica y técnica, de expertos en el Sistema Penal Acusatorio y de facilitadores en las herramientas, ya que, como se pudo observar en la prueba piloto, durante las calificaciones se presentaron dudas en ambos frentes que pueden afectar la calificación objetiva de los factores y variables definidas.

Con el propósito de determinar la pertinencia de la metodología de aplicación del índice y obtener unos resultados preliminares en algunas regiones significativas del país, se realizó una evaluación, mediante medición in situ, de procesos judiciales finalizados en 2009 en el Sistema Penal Acusatorio en los distritos de Antioquia, Cundinamarca y Santander. Esto permitió realizar el primer cálculo consolidado del índice e identificar valores agregados y limitaciones en su aplicación.

Con los expedientes de las sentencias que se dictaron hasta el 31 de diciembre de 2009 en Bogotá, Bucaramanga y Medellín y que se encontraban almacenados en los archivos de cada uno de los centros de servicios para los juzgados penales (Bogotá, Bucaramanga y Medellín) se construyó el marco de muestreo.

La población que se tuvo en cuenta para este estudio fue el número de sentencias con salidas por allanamiento, preacuerdo y juicio que se profirieron hasta el 31 de diciembre de 2009 en Bogotá, Bucaramanga y Medellín, distribuidas de la siguiente manera:

Para este caso se realizó un muestreo aleatorio estratificado en dos etapas, haciendo dos clases de estratificación: una por ciudad y luego por clase de salida: allanamiento, preacuerdo o juicio.

El procedimiento para extraer la muestra de la población definida para cada una de las ciudades fue mediante un muestreo aleatorio sin reposición. Se extrajo aleatoriamente del archivo de cada uno de los centros de servicios para los juzgados penales (Bucaramanga, Bogotá y Medellín) los expedientes de los casos que se iban a evaluar.

Para estimar el tamaño de la muestra se calculó primero una cantidad teórica de elementos de la muestra n₀, para lo cual se estimó un error máximo permisible ε y la varianza poblacional σ², lo cual permitió utilizar la siguiente fórmula:

Donde

z = Valor estandarizado del grado de confiabilidad de la muestra calculada.

α = Asociado con el nivel de confiabilidad. 1-α = Nivel de confiabilidad. (Normalmente se toma para un buen estudio entre el 90 - 99 %).

ε = Error en la estimación. (Normalmente este error puede asumirse entre 1-10%).

σ² = varianza poblacional. Si la varianza de la población σ² es desconocida, como es en este caso, se puede utilizar el siguiente procedimiento: se toma una pequeña muestra, a la que se llama "muestra piloto", o mediante la estimación preliminar de la varianza de un caso de estudio de referencia, como ocurrió para este caso.

Con varianza del estudio de referencia se estima la varianza poblacional (σ²), sustituyendo (σ² ) por su estimación (S²), donde S² es la varianza de la muestra. En este caso se halló la desviación estándar de la calidad en las sentencias del estudio de referencia realizado en la fase I en la ciudad de Pereira.

Teniendo la cantidad teórica de elementos de la muestra n₀ se puede hallar la cantidad real de elementos de la muestra a partir de la población N, mediante la siguiente fórmula:

Donde

n₀ = Cantidad teórica de elementos de la muestra n = Cantidad real de elementos de la muestra a partir de la población total

N = Número de elementos que conforman la población total

El tamaño de la muestra n hallado corresponde a una muestra probabilística simple, sin embargo, esta n hay que estratificarla en dos etapas, a fin de que los elementos muestrales o unidad de análisis posean un determinado atributo; este atributo fue entonces las ciudades de Bogotá, Bucaramanga y Medellín y las diferentes salidas de sentencias (Allanamiento, Preacuerdo y Juicio); diseñando así un muestreo aleatorio estratificado en dos etapas, cuya asignación del tamaño muestral es proporcional.

Teniendo en cuenta el estudio preliminar en la ciudad de Pereira, realizado al mismo Sistema Penal Acusatorio bajo las mismas condiciones de evaluación (Fase I del proyecto), se tomó este como marco de referencia para la estimación preliminar de la varianza. En ese sentido, el tipo de asignación de tamaño de muestra es proporcional; por lo que el tamaño de la muestra total para cada una de las ciudades: Bogotá, Bucaramanga y Medellín, fue n_BO, n_BU y n_ME, respectivamente, así:

Donde n_BO, n_BU y n_ME es el tamaño de la muestra a evaluar por ciudad, n el tamaño de la muestra total a evaluar, N el tamaño de la población total para el año 2009.

Ver tabla 3

Ver tabla 4

Ver tabla 5

Con miras a tener un número mayor de expedientes que permitiera disminuir el riesgo de obtener expedientes con problemas de audio y video, se contó con la posibilidad de evaluar más casos por ciudad; para cada ciudad se evaluaron 42 casos (29 allanamientos, 9 preacuerdos y 4 juicios), superando la muestra representativa.

Total de casos evaluados: 126

- Total de casos evaluados Medellín: 42
- Total de casos evaluados Bucaramanga: 42
- Total de casos evaluados Bogotá: 42

A continuación se citan los delitos que resultaron como parte de la muestra seleccionada: Acceso carnal abusivo, actos sexuales con menores, prestación ilegal de los servicios de telecomunicaciones, estafa, fabricación, tráfico y porte de estupefacientes, fabricación, tráfico y porte de armas, falsedad en documento, falsificación de moneda, fraude procesal, fuga de presos, homicidio, hurto, incesto, omisión del agente retenedor o recaudador, receptación, secuestro, tentativa de homicidio, tentativa de hurto, uso de documento falso y violación a los derechos patrimoniales de autor y derechos conexos.

El estudio está enfocado a medir el índice de calidad de los procesos penales. En este sentido, para hablar de "calidad" de la forma más objetiva posible se estableció con un grupo de expertos en el tema los criterios de calidad pertinentes para el sistema (factores: oportunidad, pertinencia, conformidad y seguridad).

Para evaluar esos criterios se construyó un indicador con unos parámetros preestablecidos (1, 3, 5): 1 indica "insuficiente conformidad"; 3, "mediana conformidad", y 5, "plena conformidad". Cabe aclarar que cuando se hace alusión a la palabra "conformidad" se habla de conformidad con los criterios preestablecidos especificados en el instructivo y no del funcionamiento del sistema como tal.

Por lo que los criterios para el análisis del índice fueron:

- 5: Plena conformidad
- Entre 4 y 4.99: Alta conformidad
- Entre 3 y 3.99: Mediana conformidad
- Entre 2 y 2.99: Baja conformidad
- Entre 1 y 1.99: Insuficiente conformidad

3.2.6. Índices de calidad para los expedientes evaluados en el estudio

A continuación se presentan los resultados del índice general para el total de casos evaluados en la muestra; luego se presentan los índices de calidad obtenidos de la evaluación de la muestra en cada una de las ciudades: Medellín, Bucaramanga y Bogotá, de manera general y desagregándolos según el tipo de decisión judicial (Juicio, Preacuerdo y Allanamiento).

- Índice general del proyecto (muestra total evaluada): Alta conformidad
- Factor Oportunidad (muestra total evaluada): Mediana conformidad
- Factor Pertinencia (muestra total evaluada): Alta conformidad
- Factor Conformidad (muestra total evaluada): Alta conformidad
- Factor Seguridad (muestra total evaluada): Alta conformidad

Índice general de juicios (muestra total evaluada): Alta conformidad
Factor Oportunidad (muestra total evaluada): Mediana conformidad
Factor Pertinencia (muestra total evaluada): Alta conformidad
Factor Conformidad (muestra total evaluada): Alta conformidad
Factor Seguridad (muestra total evaluada): Alta conformidad

Índice general de preacuerdos (muestra total evaluada): Alta conformidad
Factor Oportunidad (muestra total evaluada): Mediana conformidad
Factor Pertinencia (muestra total evaluada): Alta conformidad
Factor Conformidad (muestra total evaluada): Alta conformidad
Factor Seguridad (muestra total evaluada): Alta conformidad

Los factores Pertinencia, Conformidad y Seguridad presentaron calificaciones medias entre 4 y 4.99; lo cual significa que, en términos generales, variables como: control del objeto de la audiencia, cumplimiento de requisitos en el escrito, control material, estructura de la decisión, dirección de la audiencia, estructura formal de la decisión y sostenibilidad de la decisión, constitutivas de estos factores en este estudio, se acercan a la calificación máxima.

Por su parte, es necesario indicar que la Oportunidad, con resultados en este estudio de mediana conformidad (con valores medios entre 3 y 3.99), es el factor de menor calificación. En ese sentido y haciendo una revisión pormenorizada de los resultados de las frecuencias, se han seleccionado algunas variables: El tiempo transcurrido para la realización de audiencias de control de garantías, en la cual el 51% de los casos evaluados obtuvieron un valor entre las calificaciones 1 y 3 (ver gráfico 1).

De manera específica, el resultado de calificación de esta variable indica que en más de la mitad de los casos evaluados, las audiencias de control de garantías (audiencias preliminares o urgentes para legalización de lo actuado) se realizaron con plazo superior a una hora desde la solicitud generada por el fiscal o la defensa y la instalación de la audiencia de control jurisdiccional. Lo mismo ocurre con las audiencias de control de garantías, consideradas como audiencias previas o de obtención de autorización para actos de investigación que la requieran; la mitad de estas se realizaron con posterioridad a las 24 horas siguientes a la solicitud.

Evaluando los resultados de los índices de calidad obtenidos de la calificación de la muestra en cada una de las ciudades: Medellín, Bucaramanga y Bogotá, de manera general y desagregándolos según el tipo de salida (Juicio, Preacuerdo y Allanamiento), se puede concluir los siguiente:

En términos generales, los resultados del índice de calidad para los casos evaluados en cada una de las ciudades presenta un comportamiento similar al índice general del proyecto; es decir, los factores Pertinencia, Conformidad y Seguridad estuvieron en calificaciones medias entre 4 y 4.99, y la Oportunidad con valores medios entre 3 y 3.99. Sin embargo, es de resaltar que la Oportunidad de la ciudad de Bucaramanga está por debajo de 3, lo que significa que dicho factor es de baja conformidad.

Evaluando los índices desagregados según el tipo de salida (Juicio, Preacuerdo y Allanamiento) en cada una de las ciudades, se observa un comportamiento similar al del índice general del proyecto. Sin embargo, hay que resaltar que el índice general para los juicios en la ciudad de Medellín presenta una calificación de 3.71, lo que es una mediana conformidad y, por consiguiente, el índice de sus factores (Oportunidad, Pertinencia y Conformidad) expresa mediana conformidad (calificaciones medias entre 3 y 3.99). Esto obedece a que en las audiencias preparatorias y de juicio oral el control del objeto de la audiencia, el control material y la dirección de la audiencia obtuvieron una calificación de 3 en un 100% y un valor de 3 en un 50% respectivamente.

También es de resaltar que en los allanamientos de la ciudad de Bucaramanga se obtuvo una calificación de mediana conformidad en el factor de Oportunidad, lo cual concuerda con los resultados generales para la ciudad. Esto es explicable, ya que para las variables que conforman el factor Oportunidad el mayor porcentaje lo obtuvo la calificación 1.

A continuación se presentan dichos resultados.

En términos generales, la calificación del índice para los casos incluidos en este estudio muestra una radiografía favorable a la calidad del Sistema Penal Acusatorio, tal como lo evidencian los resultados generales obtenidos y cada una de las desagregaciones del índice por tipo de salida y ciudad.

Vale la pena resaltar que en una revisión pormenorizada, los factores Pertinencia, Conformidad y Seguridad reportan resultados cercanos al valor máximo posible de calificación (5), lo que expresa el alto nivel de competencia de los jueces y magistrados y el ajuste de sus actuaciones a los criterios legales y otros establecidos en este estándar. Estos resultados favorables son sistemáticos en el análisis del índice por ciudades, con excepción del cálculo del índice para los juicios en la ciudad de Medellín en las variables Pertinencia y Conformidad; resultado que debería conducir a un análisis específico de sus causas en esta ciudad.

Tal como lo han evidenciado estudios previos, incluidos los resultados que regularmente ha venido presentando el Consejo Superior de la Judicatura durante el proceso de implementación del Sistema Penal Acusatorio, la variable de mayor afectación, tanto a nivel general como a nivel específico, es la Oportunidad; resultados que expresan un incumplimiento, en diferentes momentos procesales, de los tiempos establecidos para tal fin en este estándar.

En un análisis pormenorizado se identifican como las variables con menor calificación los tiempos transcurridos para la realización de audiencias de control de garantías, de formulación de acusación, preparatorias, de individualización de la pena y de verificación de preacuerdo. Así mismo, se obtuvieron resultados poco favorables en las variables término legal para la realización de audiencias de lectura de sentencia y de apelaciones; oportunidad en la remisión para la vigilancia de la ejecución de la pena y oportunidad en la comparecencia de las partes a las audiencias de incidente de reparación.

Estas conclusiones deben conducir al Consejo Superior de la Judicatura a un análisis con los diferentes actores que pueden intervenir, tanto a nivel nacional como por regiones, sobre las causas de los incumplimientos de los tiempos establecidos según el estándar, y en particular en aquellas audiencias que fueron valoradas con calificaciones desfavorables por ciudades. Vale la pena enfatizar que algunas de estas variables, y pensando en un proceso de mayor exigencia y mejoramiento de la calidad del Sistema Penal Acusatorio, fueron definidas por parte del equipo base de investigación (magistrados, jueces e investigadores) con criterios de tiempo más exigentes que los regulados por la Ley 906 de 2004.

Por ser esta una experiencia piloto en Colombia de evaluación de la calidad de procesos judiciales, a partir de estándares específicos de calificación según formulaciones de criterios consensuados entre expertos internos y externos al sector judicial, pueden existir aún oportunidades de mejoramiento tanto de los instrumentos aplicados como de la metodología implementada. En ese sentido, y en caso de que las altas cortes de la Rama Judicial colombiana consideren adecuado y pertinente el uso de los mismos para un estudio más amplio a nivel nacional, que, entre otros resultados, muestre las diferencias en la calidad y sus factores entre las diferentes regiones y las particularidades que limitan la aplicación plena de las leyes en cada una de ellas, la Rama Judicial debería tomar en consideración las recomendaciones que se derivan de los aprendizajes obtenidos en este estudio.

El primer asunto que debería considerarse, en caso de decidirse por una aplicación nacional, tiene que ver con la amplitud de la población objeto (procesos finalizados dentro del Sistema Penal Acusatorio en un rango de tiempo determinado), ya que, tal como se pudo evidenciar en este estudio, el cual se rigió por criterios estadísticos validados, para conformar una muestra representativa se requiere seleccionar y recopilar un gran número de casos. Esta situación requiere mayores tiempos de planeación, entrenamiento a evaluadores y asistentes de investigación, selección y duplicación de expedientes y tiempos de calificación y tabulación. Así mismo, esto requeriría ampliar el grupo de evaluadores y asistentes, de manera que no haya una sobrecarga de trabajo que pueda conllevar a muestreos y calificaciones inadecuadas fruto de la presión de tiempo.

Estos tiempos implican una determinación minuciosa de actividades no contempladas originalmente en el proyecto, tales como arduos procesos de duplicación y transporte de expedientes y tiempos adicionales de los responsables de archivo y estadística de los diferentes centros de servicios judiciales.

Sin embargo, más allá de estos asuntos logísticos, implementar el estándar e índice de calidad no solo es pertinente sino necesario en este momento histórico en el país, teniendo en cuenta el proceso de modernización de la Rama Judicial, evidenciado, entre otros, por las recientes certificaciones en ISO 9001:2008 y NTCGP 1000:2004 de los Sistemas de Gestión de Calidad de los Juzgados de Itagüí, Envigado, la Sala Administrativa y la Sala Disciplinaria del Consejo Superior de la Judicatura.

La existencia de este estándar aplicado a nivel nacional permitiría valorar directamente el impacto de este tipo de procesos de normalización. Con este propósito, este estudio debería replicarse en otros órganos de la Rama Judicial (altas cortes, tribunales, entre otros) y en otras especialidades que vienen incursionando en la implementación de la oralidad.

Los resultados de estos estudios podrían ser útiles además para fortalecer los procesos de formación judicial que desde años anteriores viene adelantando el Consejo Superior de la Judicatura, ya que estos permitirían enfocar sus programas educativos en la debilidades identificadas, e inclusive utilizar el estándar como estructura de formación.

La validez de los resultados, la vigencia del tema en Latinoamérica y en Europa y el interés de la Universidad de Antioquia de ser eje de la experiencia internacional en este tema permitirá también generar un movimiento crítico sobre el mismo, que podría estimular la creación de un comité técnico nacional para el desarrollo de una norma de evaluación de la calidad en la Justicia, con actores nacionales como el Departamento Administrativo de la Función Pública e ICONTEC y de un comité internacional, liderado por los actores de la investigación y conducente a la configuración de un observatorio de prácticas de gestión judicial.

¹ NTC-ISO 9000:2008. Sistemas de gestión de la Calidad, Fundamentos y vocabulario. ICONTEC. 2000-12.

² Un "estándar de calidad de producto" consiste en una "forma" de medir la calidad de ese producto, es decir, un conjunto de criterios que expresan las características "apropiadas" para el producto y un mecanismo para cuantificar cada una de ellas y para ponderarlas. El estándar se asocia con un índice, que representa el valor que establece la conformidad, y por ello significa que el producto cumple por lo menos con la calidad mínima requerida.

Djankov, S., La Porta, R. López De Silanes, F. & Shleifer, A. (2001). Legal Structure and Judicial Efficiency: The Lex Mundi Project. Washington, D.C.: The World Bank.        [ Links ]

Guevara, G. & Granados, R. (2006). Estructura y cultura organizacional de la Rama Judicial. Bogotá: Consejo Superior de la Judicatura.        [ Links ]

International Standarization Organization. ISO 9001:2008: Sistemas de Gestión de la Calidad. Genéve: ISO, 2008.        [ Links ]

López, D. (2006). El proceso penal entre la eficiencia y la justicia: la aplicación de técnicas de dirección judicial del proceso al sistema acusatorio colombiano. Bogotá: Consejo Superior de la Judicatura.        [ Links ]

Rama Judicial Colombia - Consejo Superior de la Judicatura (1996). Acuerdo 198, "Por el cual se reglamenta la calificación o evaluación de servicios de los funcionarios y empleados del sistema de carrera de la Rama Judicial."         [ Links ]

Rama Judicial Colombia - Consejo Superior de la Judicatura (1997). Acuerdo 088, "Por el cual se reglamenta el ejercicio de la Vigilancia Judicial Administrativa consagrada en el artículo 101, numeral 6°, de la Ley 270 de 1996".        [ Links ]

Rama Judicial Colombia - Consejo Superior de la Judicatura (2002). Acuerdo 1392, "Por el cual se reglamenta la evaluación y calificación de servicios de los funcionarios y empleados de carrera de la Rama Judicial".         [ Links ]

Rama Judicial Colombia- Consejo Superior de la Judicatura (2005). Acuerdo 2915, "Por medio del cual se reglamenta el Sistema de Estadística de la Rama Judicial (SIERJU)".        [ Links ]

Rama Judicial Colombia - Consejo Superior de la Judicatura (2008). Acuerdo 4528, "Por medio del cual se adelanta el proceso de selección y se convoca al concurso de méritos para la provisión de los cargos de Funcionarios de la Rama Judicial".        [ Links ]

Anexo

Profesionales que aportaron en las diferentes fases de la investigación

Interventoría