SciELO - Scientific Electronic Library Online

 
vol.17 número34Justicia y derecho fundamental al medio ambienteEl endeudamiento público excesivo como factor de ineficacia del derecho humano a un buen gobierno índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Opinión Jurídica

versión impresa ISSN 1692-2530

Opin. jurid. vol.17 no.34 Medellín jul./dic. 2018

https://doi.org/10.22395/ojum.v17n34a9 

Artículos

Reflexiones en torno a la relevancia temática de la evaluación de políticas públicas

Reflections on the thematic relevance of the evaluation of public policies

Reflexões em torno da relevância temática da avaliação de políticas públicas

Rafael Vergara-Varela* 

* Economista, Universidad del Valle, Cali, Colombia; magíster en Políticas Públicas, Universidad del Valle; candidato a doctor en Administración, Universidad del Valle, profesor titular de Políticas Públicas y Gestión Pública, programa de Estudios Políticos y Resolución de Conflictos, Instituto de Educación y Pedagogía, Universidad del Valle. Miembro de la Red Académica Internacional de Evaluación de Políticas Públicas, Huelva, España. Correo electrónico: rafael.vergara@correounivalle.edu.co


RESUMEN

El documento analiza la temática de la evaluación de políticas públicas con base en los autores que han trabajado este campo transdisciplinar en las ciencias sociales. Por lo tanto, se busca dar cuenta de la evaluación de política pública como objeto relevante en investigación. El corpus del trabajo estudia las finalidades, los tipos y los niveles sobre la evaluación de políticas públicas. A través de un ejemplo se presenta su aplicación. Al final, la principal conclusión investigativa apunta a la utilización complementaria de los métodos cualitativos y cuantitativos en aras de un rigor científico en clave de diálogo de saberes. Ante todo, se debe tener en cuenta que este artículo es de carácter reflexivo.

Palabras clave: políticas públicas; evaluación; historia; tipos de evaluación

ABSTRACT

The paper analyses the issue of public policy evaluation based on the authors who have worked in this trans - disciplinary field in the social sciences. Therefore, it seeks to account for the evaluation of public policy as a relevant object in research. The corpus of the work studies the purposes, types and levels of public policy evaluation. Its application is presented through an example. In the end, the main research conclusion points to the complementary use of qualitative and quantitative methods for the sake of scientific rigor as a key to the dialogue of knowledge. Above all, it should be borne in mind that this article is reflective in nature.

Keywords: Public policies; Evaluation; History; Types of evaluation

RESUMO

O documento analisa a temática da avaliação de políticas públicas com base nos autores que têm trabalhado este campo transdisciplinar nas ciências sociais. Portanto, busca - se abordar a avaliação de política pública como objeto relevante em pesquisa. O corpus do trabalho estuda as finalidades, os tipos e os níveis sobre a avaliação de políticas públicas. Apresenta - se sua aplicação através de um exemplo. Ao final, a principal conclusão investigativa aponta para a utilização complementar dos métodos qualitativos e quantitativos em vista de um rigor científico em termos de diálogo de saberes. Sobretudo, deve - se levar em consideração que este artigo é de caráter reflexivo.

Palavras - chave: políticas públicas; avaliação; história; tipos de avaliação

INTRODUCCIÓN

El presente artículo realiza un análisis reflexivo sobre la temática de la evaluación de políticas públicas con el objetivo principal de presentar al medio académico y al público en general cómo ha sido el desarrollo, la evolución y el estado de este objeto de estudio. Un segundo objetivo busca exponer pedagógicamente al lector de dónde proviene la relación entre la administración, management público y la política pública para precisar el origen de la evaluación de política. En un tercer objetivo se presentan los marcos cognitivos en cuanto al tema: su origen, qué es la evaluación de políticas públicas, tipos y clases de evaluación e historia. Un cuarto objetivo presenta un ejemplo aplicado. Por último, están las recomendaciones. Por ello, el documento tiene tres apartados: uno, marcos cognitivos; dos, investigación aplicada y tres, conclusiones. A continuación, se presenta al lector el contenido del trabajo para su comprensión y abordaje de los temas.

Desde hace treinta años aproximadamente, los discursos desde el medio académico e investigativo hispano parlante han establecido, en líneas generales y de manera paradigmática, que las políticas públicas son planes, programas, proyectos o cursos de acción representados a través de decisiones tomadas por el Estado, cuyo propósito es instaurar unas reglas de juego operantes entre los actores que intervienen en las etapas de la política. Es decir, esto nos lleva a plantear que una política pública se realiza, o se ejecuta, cuando las “instituciones” asumen la tarea de satisfacer las necesidades sociales para transformar un estado de cosas que se considera problemático (Dye, 1992; Aguilar, 1992; Vargas, 2001; Roth, 2002; Salazar, 2008; Dunn, 2015).

Sin embargo, cuando se analiza esta conceptualización del término política pública en los contextos angloparlantes, esta se refiere y se reduce exclusivamente a la palabra política como resultado de: i) el juego político, su deliberación, consensos y disensos (Politics); ii) la institucionalidad, sus reglas del juego (leyes) como su arquitectura institucional (Polity) y iii) las políticas públicas como tal son el resultado esperado (Policy) de la interacción o sumatoria entre i y ii; de lo cual se intuye que las políticas públicas en concreto son el resultado agregado de los dos primeros conceptos que se relacionan como estructura y como proceso, formando así una especie de engranaje circular que tiende a describir los procesos aplicados e institucionales en la administración pública (Fisher, 2003; Hajer, 2003).

Al respecto, hay que aclarar que la administración pública es un escenario que comulga constantemente con los desarrollos intelectuales de la teoría de la organización que, valga la pena decir, son diversos como plurales (Dimaggio y Powel, 2000; Torres y Mejía, 2006). Por lo tanto, los orígenes y la estructura epistemológica del management se remontan a hace un siglo tanto en Norteamérica como en Europa. De hecho, la estructura administrativa primigenia es, en esencia, bastante pragmática en función u objeto de su instrumentalización, dado que en su ideario, en su conceptualización y en su estructura metodológica fue descrita y hecha por ingenieros en un esquema tecno científico de prácticas productivas para un fin específico dentro de una cadena productiva en una planta o taller, en un sistema industrial o en una organización empresarial; prueba de ello es el corpus argumentativo descrito a través de lo que se denominó el primer management seminal conocido como tratados de administración científica (Taylor, 1914; Haber, 1964).

Empero, hay que recordar que el modelo fayolista se concentró en la instrumentalización operacional en el ciclo del management dentro de los esquemas de planificación organizacional, los cuales se circunscriben a planear, decidir, ejecutar y evaluar; este essu postulado fundamental (Wren et al., 1994; 2002). Así mismo, este modelo planificador de orden circular por etapas fue retomado por Harold Lasswell en la década de los cuarenta del siglo veinte para analizar el ciclo de la política pública en la administración pública - modelo propio, estructural y actual del management público- (Vergara y Rodríguez, 2016b)

Por lo tanto, en esta versión analítica y pedagógica de la historia de las ideas de la política pública, se entiende que el modelo del ciclo y/o policy cycle se inscribe desde estas épocas y sigue aún hoy en día manteniendo vigencia como marco referencial institucional y también teórico para el análisis de las políticas públicas; así, planear, decidir, ejecutar y evaluar implican también la episteme managerial como también los tiempos de acción del desarrollo de la política pública. Según Salcedo (2011), esto implica que cada una de las etapas del ciclo tiene una particular relevancia por su grado de significancia y explicación, pero especialmente se ha atribuido a la evaluación un don de importancia dado que a esta etapa se la ha configurado de carácter valorativo porque analiza los efectos reales de la acción gubernamental.

1. MARCO DE ANÁLISIS CONCEPTUAL: ¿QUÉ ES LA EVALUACIÓN DE POLÍTICAS PÚBLICAS?

La evaluación de políticas públicas como objeto de análisis y de teoría, se sustenta fundamentalmente sobre los postulados básicos del Estado de bienestar y en la modelización matemática del utilitarismo económico (Arboleda, 2007; Bañón, 2003) es decir, sus aportes teóricos comunes plantean una dimensión axiológica, una dimensión epistemológica y una dimensión relacionada con la concepción del Estado en orden del bienestar social. Por ello se debe tener presente que la investigación en el área de la evaluación de políticas públicas debe corresponder al rigor científico en consonancia con los métodos, sean estos cualitativos o cuantitativos para determinar los efectos del programa público en la sociedad (Howlett et al., 1995; Roth, 2007; Bemelmans et al., 2001).

Ahora, las políticas públicas como hecho de investigación implican a la realización de una serie de fases o procesos entre los cuales se encuentra la etapa de la evaluación. Desde el enfoque secuencial, es conocida como la quinta fase, y dependiendo del autor que la estudie y la analice, será la última etapa del policy cycle, aunque como expone Pluye (2015) se pueden generar también (dentro de las etapas del ciclo), otros procesos evaluativos que pueden ser concomitantes y a la vez interdependientes, donde coinciden por ejemplo: una evaluación de diseño de alternativas en el contexto de la planificación. De igual manera este tipo de interdependencia es posible en otros contextos del policy cycle como: la evaluación, la implementación y la sostenibilidad de la política (Ridge y Dagenais, 2015).

Por lo tanto, como plantea Weiss (citado en Roth, 2015) la evaluación es la estimación sistemática de procesos o efectos comparados en un conjunto de estándares con el objeto de generar información para mejorar, continuar, o modificar una política o programa. Así mismo, dentro de los elementos que debe tener una política pública se encuentra un contenido o propósito específico, un programa de acción, una orientación normativa, un factor de coerción y una competencia social (Arboleda, 2007).

De otra parte, la descripción del proceso desde la teoría argumentativa tiene claro que en el resultado de la evaluación se confrontan diferentes intereses presentes de las múltiples realidades existentes en las interacciones sociales, esto es parte del proceso social destacado por Habermas (1981, p. 41 citado en Perret, 2015, pp. 59-63) como uno de los dos puntos de vista para analizar la práctica argumentativa. El procedimiento, que hace relación a las normas; y la producción de argumentos que pueden ser de diferente alcance, incluso si son de naturaleza tanto fáctica como lógica y basados en testimonios o en autoridad.

De igual manera, del análisis integral a la solución de problemas públicos, puede decirse que la evaluación es también un proceso concomitante con la formulación, dado que en el momento de la formulación se evalúan alternativas de solución al problema en un contexto ex ante (Subirats, 1994). En esta etapa del análisis de los problemas públicos como su fórmula, la evaluación de posibilidades es pragmática y necesaria para todos los actores involucrados en la toma decisiones en la administración pública y sus políticas públicas.

Por ello, en sí, la evaluación es un acto de valoración, además debe realizarse diariamente para identificar y calcular la acción pública (Meny y Thoening, 1992) con base en una recopilación de información relacionada con el objeto de estudio a fin de tomar una decisión sobre los programas. De igual forma, desde el enfoque cognitivo de las políticas públicas, es una discusión metódica sobre diferentes tesis, como también un proceso cooperativo para establecer juicios de valor (Ridge y Dagenais, 2015, p. 21; Perret, 2015, p. 64).

Desde el punto de vista metodológico, la evaluación debe ser para el analista una ambición de rigor que contemple lo siguiente: una contextualización descriptiva, una valoración clínica entre lo planeado y lo alcanzado y también un análisis crítico para verificar las relaciones de causalidad entre la política y los efectos en concreto (Lucas, 1976; Meny y Thoening, 1992). En el contexto actual, la evaluación de políticas públicas responde a una complementariedad metodológica entre lo cualitativo y lo cuantitativo que hace parte de ese objetivo de rigor científico en las ciencias sociales (Fisher, 1995; Vedung, 1997; Weiss, 1999).

El propósito de realizar una evaluación debe ser mucho más que medir cuantitativamente los efectos de la misma, la evaluación en estricto sentido debe ser endoformativa (Perret, 2015). Así, puede partir de objetivos, tomar correctivos, continuar, ampliar o institucionalizar un programa, escoger entre diferentes soluciones alternativas, decidir sobre la continuación de la financiación (Perret, 2015, p. 135); también puede tener como fin la mejora de los programas, de las condiciones de vida o del estado de los conocimientos sobre al intervención. De igual manera, la finalidad de la evaluación se puede clasificar en cuatro categorías de acuerdo a su orientación, las pseudo evaluaciones, orientadas hacia las relaciones públicas; las cuasievaluaciones, hacia las preguntas y métodos; la mejora e imputabilidad, hacia el mérito y el valor; y la promoción social, hacia las diferencias en la sociedad (Ridge y Dagenais, 2015, pp. 24 - 25).

En este orden de ideas, para el Ministerio de Política Territorial y Administraciones Públicas de España (MPTAP, 2010, p. 13) la evaluación es:

Un proceso sistémico de observación, medida, análisis e interpretación encaminado al conocimiento de una intervención pública, sea esta una norma, programa, plan o política pública, para alcanzar un juicio valorativo basado en evidencias, respecto de su diseño, puesta en práctica, efectos, resultados e impactos.

Esta agencia española de evaluación de políticas públicas entiende también que el tipo de análisis a realizar debe ser en el orden multidisciplinar para realizar un estudio crítico integral a la acción del Estado, por ello la investigación de los problemas debe responder a un contexto holístico entre la acción pública y la eficacia social.

Otro de los puntos que se debe tener en cuenta también, es que la evaluación de una política pública es bastante costosa (en términos de tiempo y dinero), dado que se requiere de todo un proceso metodológico y bien planificado para su abordaje, en el cual se incluye principalmente a académicos e investigadores con saberes expertos multidisciplinares de un alto capital humano. Estos detalles son los aspectos más primordiales que, entre otras razones, la burocracia pública no tiene a disposición todo el tiempo. Es por esta razón que las administraciones públicas y los gobiernos no desarrollan este tipo de procesos internamente y prefieren tercerizar estos estudios a través de los think thanks, y los grupos de investigación en centros universitarios, los cuales disponen de su capital humano en una actitud investigativa - formativa para realizar este tipo de abordajes analíticos.

Respecto de esto, hay que agregar también que las funciones del evaluador de políticas públicas se orientan en cuanto a la comprensión y comunicación del objeto a estudiar en las diferentes etapas de la acción pública. Además de estas consideraciones se debe tener en cuenta, al momento del análisis, las tres dimensiones de la evaluación en relación a:

Primero: ¿para cuándo se evalúa? Esto responde a los tipos de evaluación existentes los cuales se distribuyen en tres momentos a saber: ex ante, concomitante, ex post.

Segundo: ¿para quién se evalúa? Hay dos respuestas; una de carácter endoformativa (aspectos internos) y otra de tipo recapitulativa, las cuales deberían ser complementarias.

Y, tercero: ¿qué se evalúa? Su respuesta es la evaluación de insumos utilizados o la evaluación de medios (recursos). Por lo tanto, se busca evaluar recursos, habilidades, como también las personas que participan en el proceso de formulación e implementación de una política pública. Por su parte, la evaluación de procesos busca ver qué métodos o técnicas se utilizan para transformar los insumos económicopolíticos en productos y resultados. Y la evaluación de resultados obtenidos que se encargará del análisis de los productos o efectos de la acción gubernamental. Entonces, para recapitular, en políticas públicas se evalúan: los medios, el proceso o la producción de outputs y outcomes (Subirats et al., 2008; Roth, 2007; Furubo et al., 2002).

Finalmente, este tipo de momentos de análisis de la evaluación o dimensiones de la evaluación se retomarán y se abordarán de manera sucinta e implícita en el apartado tres de este documento -correspondiente a tipos y clases de evaluación en las políticas públicas-.

1.1 Evolución y desarrollo histórico de la evaluación de políticas públicas

El contexto histórico sobre la temática evaluativa ha tenido sus propios desarrollos, como también sus resultados, los cuales han estado determinados y permeados bajo el influjo directo de otras disciplinas de las ciencias exactas, ingenieriles, sociales y humanas a través de enfoques de teorías generadas, obviamente, por las posturas epistemológicas tradicionales como: el positivismo, el pospositivismo, la teoría crítica, el constructivismo. A este escenario, se agrega también el soporte metodológico de las técnicas cuantitativas y cualitativas como aporte fundamental para el análisis (Bañón, 2003; Roth, 2007; Arboleda, 2008; Cuervo, 2008; Salazar, 2008). A juicio de diferentes autores se ha referenciado el desarrollo histórico que describiremos a continuación:

  1. La evaluación nace en el contexto de la Ilustración del siglo XVIII bajo el desarrollo de la estadística y la aritmética política (Roth, 2007), y a partir de allí se generaron relaciones de causalidad y correlaciones con el ánimo de medir efectos y asociaciones. A partir del siglo XIX la metodología se centró en la investigación social para encontrar los remedios a los problemas de la sociedad (Nagel, 2001).

  2. En el siglo XX, la evaluación de políticas públicas hace su aparición en los Estados Unidos a partir de los años treinta, como parte de un proceso de investigación de programas públicos en educación e infraestructuras como base del motor de desarrollo social, siendo esto coincidente con la apertura de los modelos de bienestar de corte utilitarista económico (Bañón, 2003). A partir de la Segunda Guerra Mundial, la evaluación se convirtió en un campo de análisis que se propagó en el norte de Europa y en los países anglosajones (MPTAP, 2010). Posteriormente, en Estados Unidos, durante el periodo de la Guerra Fría, el objeto de estudio se centró en el seguimiento a los programas escolares para identificar qué modelo pedagógico era el más exitoso y eficaz para hacerle frente a los logros de su rival soviético.

  3. La evaluación de políticas públicas durante la década de los años sesentas: durante este periodo el gran volumen de estudios se centró en las técnicas de la evaluación de impacto en la educación y en los estudios analíticos de la pobreza bajo el enfoque metodológico cuantitativo de la econometría, por intermedio de los denominados métodos experimentales en el contexto de la eficacia bajo muestras de beneficiarios y no beneficiarios (Bernal y Peña, 2011; Vergara, 2011). Igualmente, en esta década, se produce una activa legitimación de la medición evaluativa de la acción del Estado como enfoque metodológico predominante (Roth, 2007). Por ello, La evaluación cuantitativa se convirtió en la herramienta fundamental de la tecnocracia en la elaboración de política (Salazar, 2008). Además, en este contexto histórico se desarrollaron las técnicas de análisis costo - beneficio como una medida para tomar mejores decisiones en cuanto a recursos invertidos en armamentos bélicos. Por lo tanto, la evaluación experimental fue la herramienta para analizar y justificar las políticas, es decir, quienes defendían la política social encontraron en esta metodología la posibilidad de incrementar la inversión pública dados los resultados a través de los impactos en la sociedad (Stoneman y Diederen, 1994). Asimismo, quienes criticaban los métodos econométricos experimentales y sus resultados, encontraron argumentos para proponer la eliminación de esta técnica por su carácter poco explicativo y predictivo en los contextos reales de la sociedad (MPTAP, 2010).

  4. La evaluación de políticas públicas en los años setentas: el modelo de la experimentación social entra en crisis y en cuestionamiento porque las políticas no están cumpliendo sus objetivos (Pressman y Wildavsky, 1973) aspectos como el desempleo, la pobreza y el fracaso escolar no se resuelven. Frente a este escenario irresoluto, empiezan a tomar fuerza los enfoques cualitativos de intervención como una herramienta de análisis, es decir, los nuevos contextos de evaluación deben estudiar de manera integral en su entorno a todos los actores que han intervenido en el proceso político. A partir de esta era, el debate cualitativo y cuantitativo entra en plena confrontación (MPTAP, 2010). De otra parte, durante este decenio surgen también los programas pilotos para innovar en políticas públicas, es decir, aparecieron nuevas agendas en los gobiernos en temas como energía, recursos naturales y medio ambiente. Esto resinificó la valoración de los programas públicos por parte de la evaluación. Asimismo, el enfoque dominante respondía a una evaluación de carácter interno a la propia administración y a los gobiernos. Sin embargo, la evaluación en los Estados Unidos se convirtió en nuevo lenguaje atractivo para la academia, pequeñas empresas y las ONG (Roth, 2007).

  5. La evaluación de políticas públicas en la década de los años ochenta: en los Estados Unidos, con la llegada de los republicanos a la presidencia (Reagan y Bush, posteriormente) se creó una agencia denominada General Accounting Ofice (GAO) para la evaluación de programas públicos, donde se estudiaban y analizaban las fallas en los resultados de las políticas como también las dificultades inherentes respecto a la implementación. Por ello, ante el incumplimiento entre los objetivos y las metas esperadas de ciertas acciones estatales, las administraciones públicas de la época replantearon su inversión en gasto público estatal como federal y empezaron a eliminar los programas ineficaces dado que las políticas no daban los resultados esperados y, por obvias razones, hubo también una disminución en los estudios de evaluación dada su poca credibilidad (Roth, 2007; MPTAP, 2010).

  6. La evaluación de políticas públicas durante los años noventa: en esta década, en los países angloparlantes y en gran parte de Europa, asumen la tarea de la reingeniería institucional en la reinvención del gobierno como parte de la cultura organizacional del management público, es decir, aspectos como la evaluación del desempeño y la evaluación de resultados hacen parte del repertorio de la reforma al Estado bajo los enfoques de la nueva gestión pública (Chubb y Moe, 1990; Saetren, 2005; Vergara, 2016). Es decir, se había promulgado “una cultura sin cultura”, en el contexto de un nuevo contrato social y organizacional dentro de la órbita de la aldea global, imperante y reformadora (Gómez, 2011).

  7. La evaluación de políticas públicas desde el año 2000 hasta la fecha: en términos metodológicos, la apuesta de la evaluación de políticas públicas tiende a configurar y complementar los estudios a través de la aplicación conjunta de los métodos cualitativos y cuantitativos como una forma integral de realizar el análisis dado la diversidad de actores, es decir, se busca estudiar de una manera transdisciplinar la complejidad del proceso político en cada una de sus fases. (Fisher, Miller y Sídney, 2007; Salcedo, 2011).

1.2 Tipos y clases de evaluación en las políticas públicas

La evaluación es una herramienta esencial para el análisis de las políticas públicas. Por ello, la evaluación mejora el proceso de toma de decisiones a nivel general. Esto significa que la evaluación es, pues, una investigación aplicada que estima el valor de un esfuerzo, de una intervención o servicio (Arboleda, 2007). Entre otras definiciones se entiende que la evaluación es un proceso de análisis que determina el desarrollo o curso de acción de una política pública (Varela Barrios, 2009). Por lo tanto, su desarrollo es posterior a la ejecución de la política pública. Respecto a los tipos de evaluación puede decirse que hay tres; una evaluación ex ante, una evaluación concomitante y una evaluación ex post.

El contexto de una evaluación puede realizarse en cualquier etapa en el ciclo de la política pública, así como también en cualquier temporalidad. Pero lo más importante para iniciar un procedimiento evaluativo son los datos y la información existentes. En cuanto a niveles, los planes, los programas y los proyectos, por ser los medios operacionales de las políticas, son los niveles más privilegiados, y se pueden evaluar de manera ex ante, para conocer efectos y externalidades previsibles. Por ejemplo, un análisis prospectivo. De igual manera, la formulación de políticas públicas es un proceso del cual se evalúan alternativas de solución al problema en un contexto ex ante (Sabatier y Weible, 2014). Asimismo, el proceso evaluativo puede ser también concomitante, es decir es una veeduría o interventoría del proceso. Por lo tanto, el proceso concomitante es una evaluación que va de la mano para controlar y fiscalizar el buen desarrollo del proceso ejecutado (in situ) frente a lo planeado (Birkland, 2014). De igual manera, es la interventoría a la implementación de un programa, como también puede ser el control a un proceso de ejecución de una política. Sin embargo, vale la pena resaltar que este tipo de evaluación de carácter concomitante o in situ es muy costosa, por eso poco se realiza.

Otra forma de evaluación es la ex post, la cual da cuenta de todo el proceso, o permite analizar de manera retrospectiva los efectos (Roth, 2015, pp. 127-138). Frente a estos escenarios, la literatura académica en el campo se ha puesto de acuerdo en que el contexto más relevante es la evaluación ex post. Empero, hay que aclarar también que sin información y datos no se podría realizar una evaluación ex post.

Al respecto, podría decirse que la evaluación ex post es la identificación sistemática de los efectos que una política pública, llámese programa, proyecto o acción, tienen sobre los individuos, los hogares, las instituciones y el medio ambiente. Por lo tanto, la evaluación ex post apoya decisiones sobre expansión, modificación o eliminación de proyectos, programas o políticas. Asimismo, compara la eficiencia de distintas opciones de una política pública (Vergara, 2016a).

Este tipo de evaluación ex post dentro de una actitud clínica, busca conocer las diferencias entre la formulación, los objetivos, la meta planeada, la meta lograda y la implementación, es decir si se analizan holísticamente las etapas del ciclo o se estudian por separado cada una de sus partes. Normalmente, los estudios de la evaluación ex post se focalizan entre la política planeada y los resultados -producto de los outcomes y outputs (Hill y Varone, 2016) -. Por ende, da más importancia a uno o más parámetros o categorías de análisis que se encuentran en similitud con el objetivo que persigue la política pública e, igualmente, presta atención a los efectos que la implementación de un plan, programa, o proyecto haya podido tener en otros parámetros como efecto de una externalidad (Roth, 2007).

Además que los tipos de abordajes ex post que se han estudiado y aplicado, tienden a los métodos cualitativos y cuantitativos. Vale la pena resaltar que hoy la tendencia en los estudios de la evaluación es la transdisciplinariedad de saberes expertos (Abelson et al., 2003). La metodología en el campo (Arboleda, 2007) ha establecido la existencia de correlaciones entre las variables independientes (por ejemplo, el contenido de una acción pública) y las variables dependientes (por ejemplo, los efectos, con el tiempo, sobre la población o el territorio).

Ahora bien, dentro de una actitud normativa se ha buscado medir los resultados obtenidos a partir de valores seleccionados, para entrar en el debate político y normativo, asumiendo una posición crítica en relación con la teoría de cambio social asociada con la política pública (Vargas, 2001; Just et al., 2005). Lo relevante en la aplicación metodológica ex post es la contrastación entre objetivos y finalidades de una política pública dentro de la cual se desarrolla la misma. Una evaluación es un hecho sobre un dato con referencia a un valor (Meny y Thoening, 1992).

Por su parte, Roth (2015, p. 138) expone que los tipos de evaluación se pueden generar de acuerdo a dos finalidades: la primera, de carácter formativa o endoformativa, con el objeto de informar a los propios actores institucionales para que puedan modificar sus acciones y mejoren la política y, la segunda, recapitulativa que informa a actores externos para generar opinión en torno al programa o política. La evaluación es un compromiso con la realidad y con los actores de la misma.

Respecto a los modos de evaluación (Majone, 1999 en Roth, 2002; Arboleda, 2007) se encuentran: la evaluación de insumos utilizados que aborda aspectos como recursos, habilidades y personas. La evaluación de proceso en la que “se consideran los métodos empleados para transformar los insumos en productos y resultados”. Y la evaluación de resultado, “la cual se concentra en los productos y consecuencias de una actividad particular”. Asimismo, entre los niveles de evaluación se encuentran: la evaluación de medios, de resultados, de impacto, de satisfacción y de eficiencia, este último nivel se encuentra especificado en los análisis de la evaluación económica y social de proyectos.

En lo que respecta al nivel evaluación de eficiencia se encuentran: la metodología del análisis costo - beneficio que vislumbra y explica si los recursos invertidos son mayores a los beneficios socialmente obtenidos; el análisis de costo - eficacia, donde se observan los efectos de las posibles intervenciones en relación a la consecución de los objetivos y metas de un programa público; el análisis costo - utilidad, cuya perspectiva utilitarista es la base para considerar la preferencia de las personas en un contexto de utilidad marginal decreciente; y el análisis de minimización de costos que considera los precios del mercado para escoger la solución menos costosa entre diferentes opciones con resultados diversos (Witter y Cunden, 2015, pp. 191 - 195).

Por su parte, en la evaluación de medios se analiza si los medios necesarios para la implementación de un proceso se han llevado a cabo, es decir se parece más una evaluación de tipo control. En la evaluación de resultados se analizan los objetivos de un programa frente a lo realizado, o también lo programado vs. lo ejecutado. También responde a la ejecución de acciones y a la ejecución de gastos. La evaluación de satisfacción es una evaluación de opinión ya que busca medir la satisfacción de los ciudadanos en torno a los efectos de una política (Kirkhart, 2000).

Y finalmente, la evaluación de impacto, experimental o cuasiexperimental que busca medir los efectos de un programa entre una población tratamiento y una población control (Gertler et al., 2016). Esta metodología se ha convertido en la herramienta más utilizada por la tecnocracia, la cual está avalada por los organismos internacionales como ONU, FMI, BID, Banco Mundial, OCDE, etc. Además, los organismos de cooperación y financiación internacional como el Banco Mundial, definen a través de esta metodología si se puede financiar una política, un programa o un proyecto en las lógicas internas de lo que consideran estas organizaciones como desarrollo territorial e inclusión social. Por ejemplo, los objetivos del milenio y las obras de infraestructura en los territorios. Basta agregar que esta clase de evaluación es mucho más matemática que las anteriores (Khandker et al., 2009).

Por medio de la evaluación de impacto se pueden establecer cuáles cambios está produciendo la política pública en los comportamientos de los individuos y de los grupos (Subirats et al., 2008). Lo complejo de la evaluación de impacto es la verificación y demostración de la relación causa - efecto de la política (Lichfield, 2005; White, 2009). La metodología para realizar evaluaciones de impacto se determina con base en la medición de diferencias entre beneficiarios y no beneficiarios, con el fin de medir los impactos directos e indirectos del programa sobre los individuos y beneficiarios (ver figura 1)

Fuente: Gertler et al. (2016).

Figura 1 Evaluación de impacto 

2. EVIDENCIA EMPÍRICA EN LA TEMÁTICA - PRÁCTICA DE UN EJERCICIO EVALUATIVO

En el 2009 se dio inicio en Cali al Plan de nivelación académica Talentos (en adelante, Talentos) el cual se desarrolló a través de la Alcaldía de Cali y de la Universidad del Valle, con el fin de integrar a jóvenes de las comunas para mejorar las competencias académicas en el ingreso a la educación superior universitaria. El programa buscaba incrementar una formación y nivelación académica de calidad como también el capital humano, social y cultural de 1.500 jóvenes egresados de la educación media, menores de 25 años pertenecientes a los estratos uno y dos de la ciudad (Vergara y Rodríguez, 2014).

En la primera cohorte en 2009, las edades estuvieron entre los 16 y los 25 años. Pero se evidenció que durante las promociones del programa, el 90 % de los beneficiados se concentró en el rango de los 18 a 23 años. Asimismo, las mujeres representaron el 60 % de la población estudiantil. En relación a la estratificación, el 55 % de los beneficiarios al programa pertenecieron al estrato dos y el 45 % al uno. Vale la pena decir que en las cohortes hubo una tendencia en la cual el 2 % de los estudiantes provenía de la zona rural.

Además, el 50 % del total de los estudiantes admitidos provino del sector oriental de las comunas 6, 7, 13, 14, 15, 16 y 21, es esta la población más excluida, sin oportunidades laborales y de formación académica, con necesidades insatisfechas y altos índices de violencia en sus barrios. Para la primera cohorte de Talentos, el porcentaje de beneficiarios de estas comunas fue del 63,10 %, en la segunda cohorte fue del 65,53 % y en la tercera cohorte fue del 59 %.

Ahora, sobre los resultados de la evaluación de impacto del programa público sobre el mejoramiento de las competencias de los estudiantes, se presenta lo siguiente:

Primero, la tendencia de los promedios municipal, departamental y nacional de las pruebas Saber 11 durante los años 2009, 2010 y 2011 fue de 47 %, mostrando que los estudiantes que ingresaron al programa representaron esa población (población control) (ver figuras: 2, 3 y 4).

Fuente: Extensión y educación continua, Universidad del Valle - 2013. Elaboración del autor

Figura 2 Talentos, primera cohorte - 2009 

Fuente: Extensión y educación continua, Universidad del Valle - 2013. Elaboración del autor

Figura 3 Talentos, segunda cohorte - 2010 

Fuente: Extensión y educación continua, Universidad del Valle - 2013. Elaboración del autor

Figura 4 Talentos, tercera cohorte - 2011 

Segundo, que la población que ingresó al plan Talentos fue considerada como una población a intervenir, que en la literatura de la evaluación de las políticas públicas, se denomina como población tratamiento. Los estudiantes que no participaron del programa se conocen como población control.

Tercero, esta población tratamiento posterior a su formación en el plan Talentos realiza nuevamente la prueba Saber 11 y sus resultados mejoran alrededor de 4 puntos porcentuales por encima del promedio (47 %), mejorando la media nacional en las cohortes. Así, se evidenció la efectividad del programa Talentos, dado que mejoró los puntajes de los beneficiarios, es decir se elevaron los niveles de formación académica si se considera el bajo capital humano con el que ingresaban (ver figura 5).

Fuente: Extensión y educación continua, Universidad del Valle - 2013. Elaboración del autor

Figura 5 Impacto del plan Talentos (2009 - 2011) 

Finalmente, puede decirse que, para las tres cohortes, en promedio el 96 % de los estudiantes que participaron en el programa ingresaron a la educación superior. Esta experiencia académica sirvió, además, como elemento de mímesis en el lineamiento de política educativa universitaria en el programa de Gobierno del Presidente Juan Manuel Santos Calderón para la construcción de la política pública nacional de “Ser pilo paga”.

CONCLUSIONES

Frente a todo lo analizado y estudiado en la temática de la evaluación de políticas públicas, (el que este de último no significa que sea lo menos importante, sino más bien todo lo contrario). Se debe tener presente considerar que tanto los paradigmas como los métodos de abordaje son definidos por el evaluador o por el analista (Ridge y Dagenais, 2015). Por lo tanto, estos están compuestos por cuatro campos interrelacionados a saber: el epistemológico, que da cuenta de la distancia entre el evaluador y los datos; el ontológico, que expone la construcción de la realidad desde lo vivido; el metodológico, que plantea las técnicas para comprender la realidad y el teleológico, que responde a los fines e intereses de la evaluación y el evaluador.

De igual manera, se plantean tres tipos de analistas o expertos: uno, el directivo, en el que se destacan la especialización, la neutralidad y la distancia en cuanto al objeto de estudio. Dos, el centrado, que parte de los resultados y procesos para avanzar en la implementación y tres, el participativo, que tiene razones de orden pragmático, político y epistemológico (Ridge y Dagenais, 2015).

Como recomendación para un lector acucioso y futuro estudiante e investigador en estas temáticas del análisis de la política pública, hay que resaltar que una evaluación es muy costosa y bastante dispendiosa, requiere además de grandes equipos multidisciplinarios (entre consultores e investigadores) para su abordaje, por lo cual ninguna persona de manera particular puede realizar por sí sola una evaluación. Salvo que quiera estudiar un proceso superior a 20 años y del cual ya existan publicaciones entre libros y reviews sobre los lineamientos de la política a saber, ya sean planes, programas o proyectos, por lo cual no se estaría haciendo una evaluación ex post en estricto sentido sino no más bien un análisis documental sobre un proceso de política pública. Es más, para realizar o para describir un pequeño ejercicio aproximativo de la política o de sus lineamientos ex post se requiere información y datos previos como mínimo de unos diez años.

Ahora, dentro de este análisis contextual de la evaluación de la política, falta agregar desde la dinámica de la evaluación de impacto o, específicamente, de los métodos experimentales o cuasiexperimentales, que cuando existe un solo caso o cambio estimado o reportado de manera positiva por el efecto de un programa público en la sociedad, esto indica que ya el programa en sí mismo es considerado como eficaz dado un conjunto de lineamientos o estrategias exitosas con impacto positivo en el bienestar social. Con lo cual genera evidencia y claridad sobre la acción del Estado en sus programas públicos sobre el entorno social. A este tipo de resultados la literatura contemporánea en el tema de la evaluación de políticas públicas se lo está caracterizando o denominando como impacto de la política, entre ellos; planes, programas proyectos o lineamientos en la creación o generación de valor público (Moore, 1997; Kelly et al., 2000; y Vergara y Rodríguez, 2016).

De otra parte, es posible evaluar toda política por lo menos en seis formas distintas, recurriendo a los medios, los resultados, la eficiencia, el impacto, las satisfacciones de los usuarios y, por último, a la evaluación participativa (Subirats et al., 2008).

Finalmente, hay que decir que existen subtemas de evaluación metodológica cualitativa y cuantitativa que desbordan el objeto mismo de este documento (Fisher et al., 2007), pero que hoy en día tienen una gran relevancia y un lenguaje propio en lo cualitativo, como la utilización de grandes bancos de datos e información a través de N - vivo, Atlas - ti y Ethnograph. De igual forma, en lo cuantitativo1 se encuentra cada vez más una mayor especificidad en el manejo de datos y metadatos que son analizados por intermedio de la microeconometría de evaluación de impacto, los métodos multivariantes, la estadística de las series de tiempo y de corte transversal avanzadas, todas estas herramientas como bases informativas cualitativas y cuantitativas son ya utilizadas por los organismos multilaterales como ONU, Banco Mundial, FMI, OCDE, BID, Ilpes - Cepal, OEA y las agencias o departamentos de planeación de los gobiernos democráticos de los Estados modernos. Con lo cual se evidencia a todas luces el contexto actual de la transdisciplinariedad (en clave de diálogo de saberes) en la formación del analista, el cual se hace cada vez más holístico, recurrente y necesario para el abordaje, el estudio y el análisis integral como evaluativo de las políticas públicas.

Referencias

Abelson, J., Forest, P. G., Eyles, J., Smith, P., Martin, E. y Gauvin, F. P. (2003). Deliberations about deliberative methods: issues in the design and evaluation of public participation processes. Social Science and Medicine, 57(2), 239-251. [ Links ]

Aguilar Villanueva, L. (1992). El estudio de las políticas públicas. Colección antologías de política pública. Ciudad de México: Miguel Ángel Porrúa Grupo Editorial. [ Links ]

Arboleda Vélez, G. (2007). Evaluación de políticas públicas. Cali: AC Editores. [ Links ]

Bañón I Martínez, R. (Comp.). (2003). La evaluación de la acción y de las políticas públicas. Madrid: Díaz de Santos. [ Links ]

Bemelmans-Videc, M. L., Rist, R. C y Vedung, E. O. (Eds.). (2011). Carrots, sticks, and sermons: Policy instruments and their evaluation (Vol. 1). Oxfordshire: Routledge. [ Links ]

Bernal, R. y Peña, X. (2011). Guía práctica para la evaluación de impacto. Facultad de Economía. Bogotá: Universidad de los Andes. [ Links ]

Birkland, T. A. (2014). An introduction to the policy process: Theories, concepts and models of public policy making. Oxfordshire: Routledge . [ Links ]

Cuervo, J., Jolly, J., Roth, A., Salazar, C., Tournier, C. y Vélez, G. (2007). Ensayos sobre políticas públicas. Bogotá: Universidad Externado de Colombia. [ Links ]

Dimaggio, P. J. y Powell, W. W. (2000). The iron cage revisited institutional isomorphism and collective rationality in organizational fields. Economics Meets Sociology in Strategic Management. Bingley: Emerald Group Publishing LimitEd. [ Links ]

Dye, T. R. (1992). Understanding Public Policy. Nueva Jersey: Prentice-Hall. Englewood Cliffs [ Links ]

Dunn, W. N. (2015). Public policy analysis. Oxfordshire: Routledge [ Links ]

Fischer, F. (1995). Evaluating public policy. Chicago: Nelson-Hall Publishers. [ Links ]

Fisher, F. (2003). Reframing public policy-discursive politics and deliverative practices. Nueva York: Oxford University Press. [ Links ]

Fisher, F., Miller, G. y Sidney, M. (2007). Handbook of public policy analysis, theory, politics and methods. Boca Ratón: CRS Press. [ Links ]

Furubo, J. E., Rist, R. C. y Sandahl, R. (2002). International atlas of evaluation. Nueva York: Transaction Publishers. [ Links ]

Gertler, P., Martínez, S., Premand, P., Rawlings, L. y Vermeersch, C. (2016). Impact evaluation in practice. Washington: The World Bank Publications. [ Links ]

Gómez Cárdenas, C. W. (2011). Reformas administrativas y burocracias públicas en el Valle del Cauca. Cali: Artes Gráficas. [ Links ]

Haber, S. (1964). Efficiency and uplift: Scientific management in the progressive era 1890-1920. Chicago: University of Chicago Press. [ Links ]

Hajer, M. (2003). Policy without polity? Policy analysis and the institutional void. Policy Sciences, 36(2), 175-195. [ Links ]

Hill, M. y Varone, F. (2016). The public policy process. Oxfordshire: Routledge . [ Links ]

Just, R. E., Hueth, D. L. y Schmitz, A. (2005). The welfare economics of public policy: a practical approach to project and policy evaluation. Cheltenham Glos: Edward Elgar Publishing. [ Links ]

Khandker, S. R., Koolwal, G. B. y Samad, H. A. (2009). Handbook on impact evaluation: quantitative methods and practices. Washington: World Bank Publications [ Links ]

Kelly, G., Mulgan, G. y Muers, S. (2002). Creating Public - Value an analytical framework for public service reform. Londres: Strategy Unit, Cabinet Office. [ Links ]

Kirkhart, K. E. (2000). Reconceptualizing evaluation use: An integrated theory of influence. Nueva directions for evaluation, 2000(88), 5-23. [ Links ]

Lichfield, N. (2005). Community Impact Evaluation: Principles and Practice. Oxfordshire: Routledge . [ Links ]

Lucas, R. E. (1976). Econometric policy evaluation: a critique. Rochester conference series on public policy. United States of America. [ Links ]

Meny, I. y Thoening, J. (1992). Las políticas públicas. Barcelona: Ariel. [ Links ]

Moore, M. (1997). Creating Public Value -Strategic Management in Government. Harvard Kennedy School of Government. Boston: Harvard University Press. [ Links ]

Ministerio de Política Territorial y Administración Pública. (MPTAP). (2010). Agencia estatal de evaluación de las políticas públicas y la calidad de los servicios. Fundamentos de evaluación de políticas públicas. Catálogo General de Publicaciones Oficiales. Madrid. Recuperado de http://www.aeval.es/comun/pdf/evaluaciones/Fundamentos_de_evaluacion.pdfLinks ]

Nagel, S. S. (2001). Handbook of public policy evaluation. Thousand Oaks: Sage Publications. [ Links ]

Perret, B. (2015). La construcción de un juicio. En V. Ridge y C. Dagenais (Eds.), Enfoques y prácticas en la evaluación de programas (pp. 53-68). Bogotá: Pontificia Universidad Javeriana. [ Links ]

Ridge, V. y Dagenais, C. (2015). Introducción general a la evaluación de programas. En V. Ridge y C. Dagenais (Eds.), Enfoques y prácticas en la evaluación de programas (pp. 17-34). Bogotá: Pontificia Universidad Javeriana . [ Links ]

Roth, A. N. (2007). Una introducción a la evaluación de políticas públicas. En A. Vargas, J.R. Quiñones, A.N. Roth, J.E. López y A. Lozano (Eds.), Fundamentos de políticas públicas (pp. 123-142). Bogotá: Universidad Nacional de Colombia. [ Links ]

Sabatier, P. y Weible, C. (2014). Theories of the policy process. Boulder: Westview Press. [ Links ]

Saetren, H. (2005). Facts and myths about research on public policy implementation: Out‐of‐Fashion, allegedly dead, but still very much alive and relevant. Policy Studies Journal, 33(4), 559-582. [ Links ]

Salcedo, R. (2011). Evaluación de políticas públicas. Biblioteca básica de administración pública. Ciudad de México: Siglo Veintiuno Editores. [ Links ]

Salazar Vargas, C. (2008). Políticas públicas y Think Tanks. Bogotá: Edición Konrad Adenauer Stiftung. [ Links ]

Stoneman, P. y Diederen, P. (1994). Technology diffusion and public policy. The Economic Journal, 104(425), 918-930. [ Links ]

Subirats, J. (1994). Análisis de políticas públicas y eficacia de la administración. Madrid: Ministerio para las Administraciones Públicas. [ Links ]

Subirats, J., Knoepfel, P., Larrue, C. y Varone, F. (2008). La evaluación de políticas públicas y de sus efectos. En J. Subirats, P. Knoepfel, C. Larrue y F. Varone (Eds.), Análisis y gestión de políticas públicas (pp. 211-238). Barcelona: Ariel . [ Links ]

Taylor, F. W. (1914). The principles of scientific management. Nueva York: Harper. [ Links ]

Torres V. S y Mejía V. A. (2006). Una visión contemporánea del concepto de administración: revisión del contexto colombiano. Bogotá: Pontificia Universidad Javeriana . [ Links ]

Vargas Velásquez, A. (2001). Notas sobre el Estado y las políticas públicas. Bogotá: Almudena Editores. [ Links ]

Varela Barrios, E. (2009). La educación superior pública y su impacto sobre el empleo y la equidad, una iniciativa de la Alcaldia de Yumbo (Valle) y la Universidad del Valle para la construcción de ciudadania. Cali: Programa Editorial de la Universidad del Valle. [ Links ]

Vedung, E. (1997). Public policy and program evaluation. Nueva York: Transaction Publishers . [ Links ]

Vergara Varela, R. (2011). Análisis de la política pública de los desayunos escolares en la ciudad de Cali -2010: una aproximación. (Proyecto de investigación elaborado, y posteriormente evaluado por pares academicos externos como requisito del año de prueba docente establecido por el concurso de méritos-2010) en el Programa Académico de Estudios Políticos y Resolución de Conflictos. Instituto de Educación y Pedagogía (IEP). Cali: Universidad del Valle. [ Links ]

Vergara, R. y Rodríguez, M E. (2014). El plan de nivelacion académica Talentos: una respuesta institucional de educacion para la paz. Revista Hallazgos, 100 (22), 403-417. [ Links ]

Vergara Varela, R. (2016a). El plan de ordenamiento territorial de Cali (POT): una aproximacion. Revista Apuntes del Cenes, 35(62), 169-207. [ Links ]

Vergara Varela, R. y Rodríguez Vásquez, M. E. (2016b). El derecho a la educacion, al tablero: la política pública de los desayunos escolares en la ciudad de Cali. Revista Derecho Publico, 36 (31), 1-20. [ Links ]

Weiss, C. H. (1999). The interface between evaluation and public policy. Evaluation, 5(4), 468-486. [ Links ]

White, H. (2009).Theory-based impact evaluation: principles and practice. Journal of development effectiveness, 1(3), 271-284. [ Links ]

Wren, D. A., Bedeian, A. G. y Breeze, J. D. (2002). The foundations of Henri Fayol’s administrative theory. Management Decision, 40(9), 906-918. [ Links ]

Wren, D. A. y Bedeian, A. G. (1994). The evolution of management thought. Nueva Jersey: John Wiley y Sons, Inc. [ Links ]

Witter, S. y Cunden, N. (2015). Una introducción a la evaluación económica de programas. En V. Ridge y C. Dagenais (Eds.), Enfoques y prácticas en la evaluación de programas (pp. 189-198). [ Links ]

1 En este aspecto, el profesor Roth también se encuentra de acuerdo. Ver en Roth (2007)Una introducción a la evaluación de políticas públicas.

Recibido: 22 de Mayo de 2017; Aprobado: 09 de Mayo de 2018

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons