LA EVALUACIÓN DE RESULTADOS EN LA MODERNIZACIÓN DEL ESTADO EN AMERICA LATINA*
THE EVALUATION OF RESULTS IN THE MODERNIZATION OF THE STATE INLATIN AMERICA
Eduardo Wiesner Durán**
]]> **Wiesner y Asociados, cra. 9 No. 80-15, of. 602, ewiesner@colomsat.net.co Fecha de recepción: 3 de julio de 2000; fecha de aceptación: 23 de octubre de 2001.RESUMEN
[Palabras clave: evaluación de resultados, modernización del Estado, procesos de reforma, estrategias de evaluación, JEL: H50, O20, O22]
Este artículo muestra que las rigideces estructurales del gasto público en los diferentes entornos institucionales restringen el mercado de evaluación de resultados. Por tal razón es necesario buscar un respaldo legal que sirva de marco para un desarrollo institucional que favorezca el proceso de evaluación. La clave para el desarrollo de la capacidad de evaluación se encuentra en los incentivos a la demanda, que permiten asegurar el vínculo entre resultados de las evaluaciones y asignaciones presupuestales. La evaluación consiste en recopilar y ordenar información para luego tomar decisiones objetivas. Por esto, los procesos de autoevaluación y la evaluación de resultados son indispensables en la modernización del Estado en América Latina.
ABSTRACT
[Key words: evaluation of results, modern State, reform process, evaluation strategies, JEL: H50, O20, O22]
This article shows how structural rigidities of public spending in different institutional situations have created a hostile environment in the market of evaluation of results. For this reason it is necessary to find a legal framework that encourages the process of evaluation. The key for the development of evaluation capacity lies in demand incentives that link evaluation results with budget planning. The essence of the evaluation process is therefore compiling and ordering information necessary for decision makers. Thus, evaluation of results and self-evaluation are indispensable for the modernization of the State in Latin America.
INTRODUCCIÓN Y OBJETIVOS
Aunque la evaluación de resultados y el desarrollo de la capacidad de evaluación tienen alguna tradición académica y operacional en América Latina, llama la atención que estos instrumentos no se hayan incorporado del todo en los procesos de reforma y modernización del Estado en la región. En efecto, desde comienzos de la presente década, la evaluación de resultados ha recibido gran atención del Banco Interamericano de Desarrollo (BID y OECD, 1993), el Banco Mundial1, el Development Assistance Committee (OECD, 1992), las Naciones Unidas2, de varios académicos y técnicos3 y de algunos gobiernos4, sin que haya logrado ser insertada firmemente en los procesos de reforma como parte integral de la gestión pública.
]]> Frente a esta realidad surgen al menos tres preguntas:– ¿Qué explica el hecho de que no haya una más efectiva evaluación de resultados en la región?
– ¿Cuáles son las principales restricciones para una mayor utilización de la evaluación?
– ¿Cuál sería la estrategia para avanzar operativamente en la mayor aplicación de la evaluación en los procesos de reforma?
El presente artículo busca ofrecer algunas respuestas preliminares a estos interrogantes y promover la discusión de esta problemática. El énfasis recae en las restricciones y la estrategia más que en los méritos intrínsecos o potenciales de la evaluación. Se supone que es aceptada en los campos teórico, técnico y aun político, al menos nominalmente. Pero todavía subsisten serias restricciones a su pleno desarrollo en la región. Restricciones que podrían ser mitigadas mediante la acción del Ilpes, de la CEPAL y entidades multilaterales similares, en colaboración con los gobiernos que así lo quieran.
LAS RESTRICCIONES PRESUPUESTALES E INSTITUCIONALES
A grandes trazos, las restricciones al mayor uso de la evaluación de resultados se podrían clasificar, en su orden, en tres grupos. Las que se originan en las características institucionales y presupuestales que han venido adquiriendo una parte creciente del gasto público; las que surgen de las restricciones de economía política y, por último, las que provienen de la rápida expansión del nivel de gasto agregado en los sectores públicos de muchos países de la región. Desde luego hay estrechas independencias entre estos tres grupos de restricciones.
LA INFLEXIBILIDAD DE LAS TRANSFERENCIAS Y DEL GASTO SECTORIAL
En América Latina, uno de los frentes en donde el gasto público ha crecido más rápidamente es el de las transferencias territoriales en sectores específicos como la educación y la salud. Estas prioridades de gasto responden a políticas de descentralización y equidad, que son las correctas para países con larga tradición centralista (Veliz, 1980) y con serios problemas de distribución del ingreso. Lo que no está bien son las condiciones institucionales y presupuestales que enmarcan ese gasto. Ocurre que, en general, gran parte de ese gasto se hace a través de transferencias atadas a una base de ingresos del gobierno central, muchas veces con metas de gasto total, independientemente de los resultados que efectivamente se estén logrando.
Esta modalidad de gasto configura de facto rentas de destinación específica y gran inflexibilidad, que aseguran el financiamiento sin mayor margen para evaluar los resultados. Cuando la legislación contempla la realización de evaluaciones, el énfasis recae no pocas veces en los insumos5 y procesos más que en los resultados. Estas evaluaciones terminan siendo espúreas (Wiesner, 1997) en cuanto no afectan las políticas, los presupuestos ni los resultados. Son lo que William Asher (1996) llama “evaluaciones precisas pero falsas”.
]]> LAS RESTRICCIONES DE ECONOMÍA POLÍTICAPor lo general, el gasto con mayores exigencias técnicas e institucionales es aquel dirigido a igualar ‘condiciones iniciales’ y subsidiar los grupos de más bajos ingresos. Las ‘tecnologías sociales’6 para ‘producir’ educación o salud son más complejas que la tecnología para construir carreteras o plantas de generación eléctrica.
De otra parte, en los sectores sociales, más que en los de infraestructura física, se presenta el fenómeno de la determinación endógena de políticas. Esto significa que grupos organizados7, por ejemplo los sindicatos de los sectores públicos, influyen en el diseño de las políticas y logran ‘capturar’8 rentas9 no relacionadas con los resultados efectivamente logrados (Wiesner, 1998b). Por último, en los sectores de educación primaria y secundaria, así como en el de la salud, hay problemas de monopolios de oferta10 y competencia que limitan la aplicación real de evaluaciones de resultados.
EL CRECIENTE GASTO PÚBLICO AGREGADO
Desde comienzos de los noventa, cuando se buscó dar un mayor papel a la evaluación de resultados, se vio que esta requería un entorno macroeconómico que: a) fuera propicio a la acción de los mercados y b) redujera el gasto público total como porcentaje del PIB a niveles sostenibles. Y así ha ocurrido en no poco grado. Muchos países han adoptado importantes reformas que dan prioridad a la acción de los mercados y buscan una asignación de recursos más influida por la competencia que por la discrecionalidad. Sin embargo, los niveles del gasto público agregado11, en todas sus modalidades –seguridad social, gastos parafiscales, contribuciones especiales, sectores descentralizados– sólo se han reducido en pocos casos (ver cuadro 1).
Cuadro 1
América Latina y el Caribe: gasto total del sector público no financiero 1
(Porcentaje del PIB)
1 Calculado a partir de cifras en moneda nacional a precios corrientes. ]]>
2 Cifras preliminares.
3 Se refiere al gobierno central.
Fuente: CEPAL, sobre la base de cifras oficiales. (Ver cuadro II.5 de la página 42, Estudio Económico de América Latina y el Caribe 1997-1998, Naciones Unidas).
Esto no es de extrañar. Después de todo, lo que se denomina public sector downsizing es un proceso más complejo de lo que normalmente se piensa. En realidad, este tipo de reformas pueden ser más difíciles que las de liberación del comercio o del sector financiero. Según Rama (1999), la principal razón para ello radica en las restricciones de información, de economía política y en las dificultades gerenciales y legales para calcular los costos reales a corto y mediano plazo.
Como se verá más adelante, esta es un área en donde las evaluaciones estratégicas podrían ser de gran utilidad para probar las distintas hipótesis y las recomendaciones que normalmente se hacen acerca de los procesos de downsizing.
El argumento no es que el tamaño del sector público en sí sea adverso a la evaluación de resultados, sino que si su ritmo de crecimiento es muy rápido, muchos agentes económicos y políticos percibirían que no es necesario tener evaluaciones con resultados positivos para obtener parte de ese creciente gasto público. La hipótesis de este escrito es que si hubiera habido más evaluación de resultados no habría un crecimiento del gasto tan rápido y ese gasto habría sido de mejor calidad y más sostenible.
En resumen, aunque la evaluación de resultados ya logró un nicho conceptual en la región y su potencial se reconoce en el ámbito teórico, aún subsisten difíciles restricciones de distinto tipo que habrá que ir superando para que se logre desarrollar operativamente como instrumento de modernización en los sectores públicos de la región.
EL DESARROLLO DE LA CAPACIDAD DE EVALUACIÓN
El desarrollo de la capacidad de evaluación está ligado a dos procesos interdependientes. De una parte, a su institucionalización normativa en alguna entidad del gobierno y, de otra, a la interacción entre la demanda y la oferta de evaluaciones. Éstos son los dos procesos determinantes del desarrollo de un mercado de evaluaciones.
LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN
]]> La naturaleza de las instituciones y las reglas del juego económico y político son las que definen a largo plazo la prosperidad o el atraso de las naciones y las culturas12. Dentro de esta apreciación, que prácticamente nadie cuestiona hoy en día, surge la pregunta sobre dónde y cómo ‘institucionalizar’ la evaluación de resultados como parte integral del funcionamiento cotidiano del Estado13.No hay una única respuesta a esta pregunta. Cada país determinará la ubicación institucional de la evaluación dentro de su sector público según sus propias características. En Colombia se ubicó en el Departamento Nacional de Planeación14 y su nacimiento se inició en la Constitución de 1991, en cuyo artículo 343 se establece como responsabilidad del DNP el diseño de los sistemas de evaluación de gestión de resultados de la administración pública.
En el caso de Chile, el proceso ha sido gradual y focalizado en ciertas áreas e instituciones. En 1994 se creó un Comité Conjunto integrado por el Ministro de Finanzas, el Ministro de la Presidencia y el Ministro del Interior, cuya principal tarea era apoyar reformas para mejorar la gestión pública. La Dirección del Presupuesto fue el principal conducto para esa tarea. Se dio gran prioridad al diseño y efectiva utilización de ‘indicadores de gestión’, cuyo énfasis recayó en resultados más que en procesos e insumos (Marcel, 1998). Este esquema parece seguir funcionando satisfactoriamente.
En líneas generales se podría decir que casi cualquier enfoque acerca de la ubicación institucional resultaría adecuado siempre que exista la firme decisión política de las autoridades de hacerlo funcionar. Pero esta afirmación no deja de ser algo tautológica pues sólo ex postse sabrá si ese apoyo fue real y efectivo. Ex ante, sin embargo, cuando aún no se sabe del todo cómo evolucionará la evaluación, este escrito se inclina por recomendar localizarla cerca del presupuesto. Del presupuesto que sea, nacional, municipal o territorial. Pero siempre buscando la cercanía15 a la fuente de recursos.
Pero más allá de estas consideraciones, ¿cómo se podría configurar un plan de acción específico para desarrollar la capacidad de evaluación? Aunque no existe una fórmula única para diseñar un plan de acción, su arquitectura en la mayoría de los casos va a contener los siguientes elementos o pasos:
– Un resumen de las funciones y responsabilidades de algunas de las principales entidades públicas, con un diagnóstico de su desempeño institucional real en contraste con el nominal o legal.
– Un análisis de la interacción entre los presupuestos, el manejo de la información y el papel de los ministerios.
– La identificación de los incentivos reales detrás de las conductas institucionales y gerenciales de las autoridades presupuestales y de los agentes del gasto.
– La determinación de la demanda real, dentro del gobierno, de mediciones o evaluaciones de desempeño.
– Un examen de la capacidad de evaluación, desde el lado de la oferta, del gobierno, las universidades y los centros de investigación.
]]> – La identificación de los principales marcos de política y reforma en el sector público.Con estos elementos16 se pueden configurar programas de acción en general o un programa específico de evaluaciones estratégicas, como se señalará más adelante17.
LA OFERTA Y LA DEMANDA DE EVALUACIONES
Siempre que se busca el desarrollo de un mercado surge la pregunta sobre la importancia relativa de los determinantes entre oferta y demanda. Para el caso del mercado de evaluaciones una posible respuesta es la siguiente:
Las principales restricciones que constriñen el desarrollo de la función de evaluación son de carácter institucional, político y cultural. Esas restricciones influyen en las condiciones de oferta y demanda de la evaluación en un país y a la vez son resultado de ellas. En particular, en lo que a la oferta se refiere, se advierten limitaciones en cuanto a la calidad y la pertenencia de la información, la competencia técnica, los procedimientos operativos y las normas. En cuanto a la demanda, existen condiciones políticas y culturales que restringen el empleo de la evaluación y el uso de sus resultados como instrumento para la gestión y la reforma del sector público (BID, 1993, 13).
Si bien esta afortunada síntesis destaca la circularidad entre unos y otros factores, al final del análisis serán los factores de demanda los que mejor apoyen la capacidad de evaluación. Ello es así pues un mercado desarrollado por la ruta de la demanda tiende a ser más eficiente y flexible que uno estimulado desde la oferta. En este enfoque estratégico, surge la pregunta de ¿cómo desarrollar la demanda?
EL VÍNCULO ENTRE EVALUACIÓN Y ASIGNACIONES PRESUPUESTALES
Hay muchas razones para pensar que la clave para el desarrollo de la capacidad de evaluación desde el lado de la demanda es asegurar un vínculo operativo entre los resultados de las evaluaciones, de una parte, y las asignaciones presupuestales, de otra. Si los resultados de las evaluaciones no logran afectar los procesos de asignación presupuestal, será muy difícil desarrollar la demanda real de evaluación. Esta no tendría credibilidad18. Y será entonces también difícil que la oferta de evaluaciones tenga adecuada capacidad técnica y flexibilidad para responder eficientemente.
Si bien no hay ninguna fórmula que garantice que ese vínculo va a operar, una de las formas de elevar la probabilidad para que esto finalmente ocurra es la de introducir, ex ante, en el proceso de negociación legislativa o burocrático, cláusulas que le den al ejecutivo o a la entidad que sea del caso, la clara opción (el derecho jurídico) de no hacer apropiación presupuestal posterior si no dispone de una evaluación de resultados que así lo valide.
]]> LA EVALUACIÓN COMO INCENTIVOEl argumento para desarrollar la evaluación más desde el lado de la demanda que de la oferta radica en que ella tiene el potencial para actuar como incentivo o premio a quien la demande o ‘compre’ como su llave para tener acceso a los presupuestos. Si, en efecto, la política vincula los resultados de evaluaciones con mayores (o menores) asignaciones presupuestales, la evaluación estaría actuando como un incentivo y se desarrollaría el mercado de las evaluaciones. En esa difícil y compleja área de causalidad institucional, los incentivos son los que alinean los procesos hacia soluciones más eficientes y sostenibles19. Finalmente, así ocurre en los mercados privados en donde por lo general aquellos proyectos o políticas que no son sostenibles no pueden durar tanto como sí lo hacen en los mercados públicos20.
LA EVALUACIÓN COMO EJERCICIO HEURÍSTICO
Más allá del papel de la evaluación como incentivo, es importante subrayar que, en su esencia, la evaluación de resultados es un ejercicio heurístico. Es una forma de aprender21 de la experiencia y de verificar hipótesis sobre la forma como operan los modelos teóricos en la práctica. En este contexto es una guía para ‘completar’ los mercados económicos y políticos en donde siempre hay falencias de información y restricciones de economía política que operan idiosincrásicamente según se trate de uno u otro sector o de uno u otro país.
En todo caso, la evaluación de resultados y el aprendizaje que genere tienen un claro efecto presupuestal potencial. En la medida en que revelan cómo mejorar el diseño y la ejecución de políticas o reformas públicas equivalen a una mayor disponibilidad de recursos.
LA EVALUACIÓN Y LOS MERCADOS POLÍTICOS
Después de dicho todo lo anterior subsiste una pregunta fundamental para la cual no hay respuesta fácil. Se trata de la siguiente: si ex anteno hay garantía de que los resultados de unas evaluaciones afecten las asignaciones presupuestales, ¿por qué habría entonces alguien realmente interesado en hacerlas? Después de todo, quienes salen ganando con la falta de evaluaciones reales no van a permanecer pasivos frente a la posibilidad y el riesgo de que nuevas evaluaciones alteren el statu quo.
En realidad, el análisis económico sólo llega hasta aquí. Aquí termina la capacidad de persuasión de la teoría económica y del modelo de los mercados. Pero comienza el área de los mercados políticos22, en donde hay un enorme potencial para que, complementando los mercados económicos, se establezcan incentivos políticos23 que propicien la evaluación de resultados en áreas donde parece evidente que los resultados podrían ser mejores.
La combinación de presiones políticas y la búsqueda de mayor eficiencia ha sido destacada por Pablo Guerrero (1999), que señala cómo en muchos países en desarrollo, las presiones sobre los gobiernos para que respondan mejor son la ‘demanda primaria’ para el desarrollo sostenible de la evaluación. Sin esa demanda, dice Guerrero, “cualquier esfuerzo para institucionalizar la evaluación en los sectores públicos terminará recibiendo poco apoyo y se evaporará”
Según este experto, la ‘demanda’ de evaluación surge de tres tipos de situaciones: a) al enfrentar correcciones fiscales, los países tienen que evaluar bien dónde hacen recortes y dónde mantienen recursos, b) frente a fracasos de algunas políticas o de algunos proyectos, los gobiernos advierten que no pueden permanecer pasivos si no quieren pagar un alto costo político, y c) la sociedad civil se ha vuelto más consciente de su capacidad de exigir accountability a los gobiernos. Todo ello se traduce en una mayor demanda real de evaluaciones y del desarrollo de la capacidad técnica e institucional de la evaluación (Guerrero, 1999).
]]> Es interesante observar que Armando Montenegro (1992) señalaba precisamente este tipo de entorno como uno de los determinantes de la decisión de la Asamblea Nacional Constituyente de Colombia para introducir la evaluación de resultados como norma constitucional.ESTRATEGIA DE DESARROLLO OPERACIONAL DE LA EVALUACIÓN
Suponiendo que se acepta el argumento sobre el potencial de la evaluación de resultados como ‘modernizador’ del Estado, las preguntas que surgen son: ¿por dónde empezar? ¿A nivel general, para todo el sector público? ¿Debe hacerse directa o indirectamente? En suma, ¿qué estrategia seguir?
Aunque no hay una fórmula única, un enfoque basado en autoevaluaciones y en evaluaciones estratégicas parece atractivo y podría ser considerado por aquellos países que quieran fortalecer sus programas de evaluación.
LOS PROGRAMAS DE AUTOEVALUACIÓN
Al pensar en la estrategia para el desarrollo de la evaluación es importante recordar que su objetivo no es castigar gestiones ni censurar a los funcionarios públicos o a los gerentes de entidades públicas. Siendo así, sería difícil imaginar un programa de evaluaciones que tuviese éxito si se intenta imponer ‘desde afuera’ y en forma directa. Lo indicado parece ser buscar mecanismos que incorporen integralmente la evaluación al quehacer de las entidades públicas. Al respecto observa Ocampo (1996b):
Por gestión integral se entiende la articulación permanente de los procesos de planeación, ejecución y evaluación que se retroalimentan mutuamente y permiten el rediseño continuo de las acciones gubernamentales, siempre orientadas hacia el cumplimiento sistemático del Plan de Desarrollo. Obliga a la utilización de la evaluación como un elemento de aprendizaje que genere una retroalimentación continua del proceso, lo que supone, necesariamente, la activa participación ciudadana como garantía de que tales acciones se dirijan a la satisfacción de las necesidades de la sociedad y no se diluyan en esfuerzos inútiles y en desperdicio de recursos (p. 7)
En este enfoque, las autoevaluaciones buscan que sean las propias instituciones y sus propios gerentes los que establezcan sus entornos de evaluación y sus maneras de corrección. El incentivo24 para ello, como se dijo atrás, es su mayor acceso a los recursos. La idea básica de las autoevaluaciones es no intervenir directamente y dar margen para que mecanismos de mercado o proxis del mercado puedan actuar según las características propias de cada institución, programa o proyecto25.
EVALUACIONES ESTRATÉGICAS Y ESTRATEGIA DE LAS EVALUACIONES
]]> Pero aunque el enfoque general sea el de las autoevaluaciones, ello no significa que no haya amplio espacio para hacer evaluaciones estratégicas que se concentren en aquellas políticas, programas y proyectos escogidos como prioridades críticas del país. ¿Cómo seleccionar las evaluaciones estratégicas? ¿Qué criterio aplicar?Una buena guía para escoger las evaluaciones estratégicas es examinar dónde está creciendo más rápidamente el gasto público o donde existen claras señales de congestión o fracaso. En América Latina, las prioridades parecen orientarse hacia el mayor gasto público y la regulación para manejar monopolios públicos y procesos de privatización. Pues bien, sería allí entonces donde habrá que configurar evaluaciones estratégicas para descubrir por qué hay fallas y cómo se podrían corregir.
Siguiendo uno de los principios básicos de la economía institucional (North, 1990) –que las instituciones son las reglas del juego de las sociedades–, es importante incluir en las evaluaciones estratégicas algunas dirigidas a los marcos macroinstitucionales en donde se establecen reglas, conductas y procedimientos, como los relacionados con la oferta monetaria, la seguridad social, la justicia, los procesos de regulación y de privatización. En esos marcos macroinstitucionales puede haber grandes fallas en la organización económica26 y en el manejo gerencial. Su evaluación en muchos casos es más estratégica que la evaluación de proyectos y/o programas, pues son esas ‘macro’ reglas del juego las que determinan la efectividad interna de los procesos27.
LOS NUEVOS DESAFÍOS Y PRIORIDADES DE LA EVALUACIÓN EN AMÉRICA LATINA28
Sin descalificar esfuerzos para desarrollar la evaluación a lo largo del espectro del sector público, es claro que una estrategia para impulsar la evaluación tendría que seleccionar prioridades y establecer jerarquías. La pregunta es ¿con qué criterios hacer esa selección?
En líneas generales, los desarrollos de la evaluación se deberían focalizar en donde los desafíos institucionales y políticos sean particularmente complejos y el potencial en términos de aprendizaje, gerencia, generación de nueva información y avances en equidad, máximos. Estas áreas serían las siguientes:
– En donde la competencia no es fácil de introducir y el gasto crece más rápidamente que el PIB y que los presupuestos públicos totales, como es el caso del gasto en educación y salud29.
– En donde los desafíos institucionales y políticos sean particularmente complejos, como en la regulación30, las privatizaciones y la descentralización.
– En los marcos macroinstitucionales, en donde aún falta aprender mucho acerca de su funcionamiento integral, como en la justicia (por ejemplo, derechos de propiedad), la seguridad social, la interacción entre mercados laborales y educativos.
– En donde grupos de rent-seekers del sector público limitan la adopción de reformas estructurales, como en la educación, la salud, la infraestructura, las comunicaciones, la justicia y la seguridad social.
]]> Por razones de brevedad, el desarrollo conceptual de estas áreas no se puede exponer en este escrito, pero sí se debe subrayar que el criterio global es profundizar las evaluaciones en donde ya se hayan detectado restricciones de economía política e institucionales31. En suma, en donde sea necesario ‘completar’ los mercados económicos y los mercados políticos y mejorar su interacción complementaria.Quizás sea el área de la regulación en donde se presentan los mayores desafíos técnicos institucionales y políticos. Gran parte de las reformas de los últimos años, encaminadas a dar un mayor papel a los mercados y a buscar modalidades de intervención más eficientes, probablemente subestiman las restricciones reales que afectan y limitan esos procesos. Dentro de esas restricciones están los rent-seekers del sector público; un sector privado que defiende en abstracto la competencia pero que preferiría no tenerla; un sector público con grandes precariedades gerenciales y marcos macroinstitucionales o ‘reglas del juego’ en las que la información es asimétrica, los derechos de propiedad son débiles y los incentivos son perversos o tácitos y ambiguos. En fin, la pregunta es ¿qué tan bien ancladas están esas reformas en cimientos sostenibles? Y, ¿cómo se podrían reformar las condiciones previas que configuran esos cimientos?
Sin duda, la respuesta no es reversar las reformas ni desistir de la regulación como instrumento de política. Más bien hay que examinar con rigor si, por ejemplo, las privatizaciones realmente han aumentado la competencia y favorecido al consumidor. Precisar si responden más a afanes fiscales que a convicciones y posibilidades reales de política para fortalecer la competencia32. Preguntas similares correspondería hacer a los procesos de descentralización y al reparto inflexible de recursos que ya empieza a amenazar los equilibrios macroeconómicos. Y, ¿qué decir del mayor gasto social cuyos objetivos de equidad nadie cuestiona pero cuyas bases institucionales son muy débiles?
Por último, los programas de concesión de garantías en proyectos de infraestructura, los pasivos fiscales o monetarios contingentes33, los salvamentos en el sector financiero y los rescates de empresas públicas suscitan múltiples preguntas e interrogantes.
Estos son nuevos y positivos desafíos. Está bien que surjan, pues no sería extraño que en pocos años se ‘descubra’ que había grandes deficiencias e inflexibilidades34 institucionales y que los supuestos (las condiciones habilitadoras reales) no se daban35. Un programa de modernización del Estado se debe anticipar a todo ello. La planeación de la modernización del Estado en la región no puede excluir esta problemática. La evaluación de estas políticas y de su marco regulador36 parece ser la prioridad37.
EL PAPEL DE LAS ENTIDADES MULTILATERALES
Reconociendo que el análisis del papel de las entidades multilaterales38 en el desarrollo de la capacidad de evaluación amerita un tratamiento en profundidad, aquí tan sólo se quiere subrayar los tres puntos siguientes. Primero, la importancia de que si se trata de apoyar la planeación de la modernización del Estado, se procure que esa planeación sea evaluable. Segundo, que en los préstamos y en la asistencia técnica se insista en la evaluación de resultados y no en la de procesos. Tercero, dar apoyo financiero39 y técnico a las evaluaciones estratégicas y a la divulgación de estos resultados en seminarios y publicaciones.
En suma, si bien no se está empezando, ex nihilo, en materia de cooperación entre los países y las entidades multilaterales, sí parece que sobre los cimientos ya existentes se podría buscar el desarrollo de una ‘segunda fase’ focalizada en evaluaciones estratégicas en aquellas áreas en donde el proceso de reforma del Estado ha sido más lento y difícil. Todo ello, dentro del contexto de los programas de modernización de cada país y de sus respectivos entornos institucionales y políticos.
CONCLUSIONES Y RECOMENDACIONES
Las principales conclusiones y recomendaciones que surgen del análisis realizado hacen referencia a las restricciones institucionales, la evaluación como ejercicio heurístico y la evaluación como incentivo para vincular resultados con asignaciones presupuestales.
]]> En una perspectiva más específica, las principales conclusiones y recomendaciones son las siguientes.FACTORES INSTITUCIONALES Y RIGIDECES ESTRUCTURALES
Si bien en la región se han adoptado importantes reformas a escala macroeconómica, los tamaños del sector público aún parecen altos en términos relativos y en términos de su sostenibilidad. Esto, en sí, no es un factor adverso al desarrollo de la evaluación. Lo que es poco propicio son las enormes rigideces estructurales que están detrás del gasto público total y que, bajo distintos entornos institucionales (descentralización, transferencias, financiaciones nacionales, rentas con destinación específica), restringen el mercado de la evaluación.
INSTITUCIONALIZACIÓN DE LA EVALUACIÓN Y EL DESARROLLO DE LA CAPACIDAD DE EVALUACIÓN
Dada la enorme importancia de los factores institucionales, la evaluación saldrá fortalecida si tiene un respaldo legal sólido y si se la ubica institucionalmente cerca de los procesos presupuestales. La clave para el desarrollo de la capacidad de evaluación radica en hacerlo desde el lado de la demanda, asegurando un vínculo entre los resultados de las evaluaciones y las asignaciones presupuestales. Dentro de este enfoque, la evaluación actúa como un incentivo que premia a quienes hagan evaluaciones reales.
LA EVALUACIÓN COMO EJERCICIO HEURÍSTICO
Toda evaluación de resultados es un ejercicio para conseguir nueva información y para aprender. Entender y aprender es la razón de ser de la evaluación de resultados. Se podría decir que la evaluación está exenta de ideología o de las rigideces conceptuales de los marcos teóricos globales; ni el imperio abstracto de Walras ni la intervención gubernamental integral. Su propósito, como anota una de las más grandes autoridades mundiales sobre el tema, Michael Scriven (1997), es hacer una evaluación objetiva de los hechos.
AUTOEVALUACIONES, EVALUACIONES ESTRATÉGICAS Y ESTRATEGIA DE LAS EVALUACIONES
Las autoevaluaciones son una forma eficaz de iniciar el desarrollo de un sistema general de evaluaciones para el sector público. Su complemento indispensable son las evaluaciones estratégicas, que consisten en seleccionar unas políticas, programas o proyectos de especial prioridad para hacer evaluaciones en profundidad. Estas evaluaciones estratégicas se concentrarían en aquellas áreas donde es difícil introducir la competencia y donde los desafíos institucionales y políticos son particularmente difíciles, como en la regulación, las privatizaciones y la descentralización.
LA EVALUACIÓN DE LOS MARCOS MACROINSTITUCIONALES
]]> Siguiendo uno de los principios de la economía institucional, –que las instituciones son las reglas del juego de las sociedades–, es importante incluir dentro de las evaluaciones estratégicas algunas dirigidas a los marcos macroinstitucionales en donde se establece el máximo nivel de reglas, conductas y procedimientos. En esos marcos macroinstitucionales puede haber grandes fallas en la organización económica. Su evaluación podría ser más estratégica que la evaluación de proyectos y programas, pues esas reglas ‘macro’ del juego determinan la efectividad interior de los procesos.EL PAPEL DE LAS RESTRICCIONES Y DE LOS ‘RENT-SEEKERS’ DEL SECTOR PÚBLICO
La evaluación real de resultados no ha logrado despegar del todo en América Latina debido a que aún no se han podido superar fuertes restricciones de economía política. Dentro de ellas, las más poderosas las representan los rent-seekers del sector público que han limitado, inter alia, la efectividad de la evaluación y han logrado ser los principales determinantes endógenos de los programas de reforma. Aquí hay un enorme campo para investigaciones empíricas puntuales y para aprender de la experiencia.
EL PAPEL DE LAS ENTIDADES MULTILATERALES
Desde comienzos de la década, las entidades multilaterales han cumplido una encomiable labor de apoyo al desarrollo de la evaluación de resultados en América Latina. Con base en los cimientos existentes se podría buscar el desarrollo de una ‘segunda fase’, focalizada en evaluaciones estratégicas en aquellas áreas en donde los procesos de reforma apenas sí han despegado o es evidente que enfrentan problemas serios.
ANEXOS
Cuadro 2
Colombia: tamaño del Estado neto de transferencias
(% PIB nueva metodología)
]]>
Cuadro 3
Colombia: transferencias a entidades territoriales
(% PIB nueva metodología-base 94)
1 Incluye reaforo para situado fiscal. En los municipios no hubo reaforo y no se aplicó descuento.
2 Incluye mayor valor por telefonía celular. Además incluye reaforo por participación y situado.
3 Ejecución definitiva. Para este año no hubo reaforo. La reserva de la PICN fue recortada porque los ICN recaudados fueron menores a los presupuestados.
4 De acuerdo con cifras globales certificadas por el Ministerio de Hacienda, el ejercicio de distribución de la PICN se realizó con base en los datos del censo 1993.
5 Las cifras para 1990-1993 se tomaron del DNP-UIP y hacen referencia a: Plan Nacional de Rehabilitación, Fondo Aeronáutico Nacional, DRI, Fondo Nacional Hospitalario, Fondo del Ministerio de Educación. ]]>
6 Para el período 1990–1995, la información fue recopilada en cada una de las fuentes recaudadas y distribuidoras de regalías.
7 Cifras preliminares con base en certificación del Ministerio de Hacienda.
8 Datos preliminares, con base en el Proyecto de Presupuesto 1999. Incluye reaforo.
Fuente: Departamento Nacional de Planeación, Unidad de Análisis Macroeconómico.
NOTAS AL PIE
* Presentado en el Seminario de alto nivel sobre funciones básicas de la planeación, celebrado en Santiago de Chile en octubre de 1999 y organizado por el Ilpes. El autor agradece los comentarios de José A. Ocampo, Mario Marcel, Édgar Ortegón, Gabriel Aghon, Alfredo Jalilie, Juan Carlos Lerda, Eliécer Feinzaig y Orlando Ochoa.
1. En los últimos años, el Operations Evaluations Department, OED, y el Banco Mundial han auspiciado conferencias y programas de evaluación en la región. Ver por ejemplo Wiesner (1998d), McAllister (1998) y Mackay (1999a).
2. El PNUD organizó en Nueva York un programa de evaluaciones estratégicas de distintos países y auspició varias reuniones de expertos en 1997 y 1998. El programa está a cargo del Department for Policy Coordination and Sustainable Development.
3. Ver, por ejemplo, Wiesner (1993), Reos (1994) y Guerrero (1992).
]]> 4. Tal es el caso del Sistema Nacional de Evaluación de Resultados de la Gestión Pública Sinergia, de Colombia. Al respecto ver Ocampo (1996a).5. En varios países, Colombia y Ecuador por ejemplo, las transferencias para educación básica tienen una destinación tan específica, que sólo se permite en la práctica financiar sueldos de maestros y en muchos casos, sólo en determinadas áreas geográficas. Ello establece una enorme rigidez cuando se aprecia que una mejor gestión requiere una sustitución fácil entre insumos. Ver Wiesner (1998a).
6. Para un interesante y original desarrollo del concepto de ‘tecnología social’, ver Nelson y Bhaven (1999).
7. La obra seminal sobre el papel de los ‘grupos organizados’ para defender sus intereses específicos contra la ‘lógica colectiva’ es del profesor Mancur Olson (1965).
8. El término ‘captura’ se utiliza en la literatura relacionada con la regulación y los rent-seekers. ‘Captura’ corresponde a los beneficios que extraen –sin la acción del mercado– quienes se organizan alrededor de una intervención estatal y logran privilegios especiales. V er Priest (1993).
9. La literatura sobre ‘búsqueda de rentas’ o ‘actividades directamente improductivas (ADI)’ es abundante. Algunas referencias son Bhagwati (1978), Krueger (1974), Buchanan, Tollison y Tullock (1980) y Deepak (1987).
10. La mayoría de los estudios en Colombia coinciden en el diagnóstico de que hay serios problemas del lado de la oferta. Ver Vélez (1994) y Ramírez (1995).
11. En Colombia, por ejemplo, el tamaño del sector público no financiero (ingresos) pasó de 20,4% en 1990 a 29,7% en 1998. Por su parte, los gastos pasaron del 20,3% del PIB en 1990 al 33,2% en 1998. Ver cuadro 2 al final del texto.
12. Para una excelente síntesis de la interacción entre factores institucionales, políticos, de progreso y reformas en América Latina, ver Graham y Naim (1997).
13. El desafío real a largo plazo no es hacer ‘unas’ evaluaciones, por importantes que sean, sino incorporar la evaluación a la práctica cotidiana de las entidades públicas.
]]> 14. El Sistema Nacional de Evaluación de Gestión y Resultados fue legalmente establecido por la Resolución 63 del 21 de febrero de 1994 del Consejo Nacional de Política Económica y Social Conpes. Su fundamento fue el Decreto 2167 de 1992.15. Cercanía que no debe significar pérdida de independencia y de credibilidad.
16. Mackay (1999b) es el autor de este excelente marco conceptual.
17. Un buen resumen del tema del desarrollo de la capacidad de evaluación y los resultados de evaluaciones estratégicas en varios países es el de Maconick y Morgan (1999).
18. Sobre la importancia de la credibilidad de las evaluaciones, ver Wiesner (1992).
19. Wiesner (1998d) señala que el ‘algoritmo’ de la economía institucional se encuentra en los incentivos.
20. Sobre el papel de la evaluación como incentivo, ver Stiglitz (1998).
21. McAllister (1998) observa que si se mezcla la percepción de censura con la de accountability se pierde la posibilidad del aprendizaje.
22. La teoría del public choice parte del supuesto de que los mercados económicos y políticos son interdependientes e integrales.
23. Uno de los aportes más importantes en este campo fue el de Anthony Downs (1957), quien planteó que la competencia entre partidos políticos por conseguir votos tendría los mismos efectos saludables sobre el proceso político que la competencia entre agentes económicos sobre el proceso de mercado. Si la competencia no es la panacea, sí es lo menos alejado de ella, en lo económico y en lo político. La competencia aparece así como la gran síntesis o como el instrumento que concilia el interés económico e individual con el político y colectivo.
]]> 24. La importancia del papel de los incentivos reales no se puede exagerar. Una evaluación de Sinergia (el programa de evaluación de Colombia), a cargo de un equipo de expertos, subrayó que los incentivos tienen que hacer parte de programas integrales de planeación, selección de prioridades y fortalecimiento institucional. Ver Banco Mundial (1996).25. Sobra decir que detrás de un programa de autoevaluación hay todo un conjunto de condiciones técnicas, institucionales y presupuestales que por brevedad no se tratan aquí. Sobre este tema, ver Escobar (1996).
26. Lo que Williamson (1991) llama ‘organización institucional’.
27. La economía institucional trabaja en dos niveles: en el nivel ‘macro’, que se refiere al entorno institucional de mayor jerarquía, se ubican las reglas fundamentales sobre el marco económico (política fiscal, monetaria y cambiaria), el marco político (Congreso, gobiernos locales, elecciones y votaciones), el marco social (seguridad social, salud, educación, recreación) y el marco legal (derechos de propiedad, sistema judicial, Corte Suprema). El segundo es el nivel ‘micro’, que corresponde a lo que se podrían llamar las relaciones ‘horizontales’ entre estas organizaciones o entre los agentes dentro de sectores y entre ellos. La comunicación entre los dos niveles es de doble vía, aunque por lo general predomina la de ‘arriba hacia abajo’. Sobre las implicaciones de esta interacción sobre las reformas en América Latina, ver Díaz Cayeros (1997).
28. Para un examen del futuro desarrollo de la evaluación, ver Chelimsky (1997).
29. El BID cumple una excelente tarea en esta área con sus estudios sobre reformas estructurales en América Latina y sobre servicios sociales. En la práctica, estos estudios equivalen a rigurosas evaluaciones de la experiencia de la región en temas tan importantes como la salud, la educación, el empleo y la distribución del ingreso. Ver BID, Informes de Progreso Económico y Social de 1996 y 1998.
30. Al respecto dice Rubio (1999): “Por su naturaleza, la reforma de cualquier gobierno tiene que pasar por la regulación”.
31. Para un excelente análisis de la interrelación entre instituciones y evaluaciones, ver Picciotto (1998).
32. Según Nellis (1999), la estructura del mercado y la competencia pueden ser más importantes que la propiedad en la determinación de resultados de una firma.
33. En Colombia, el Departamento Nacional de Planeación inició en buena hora un programa de investigación sobre la sostenibilidad fiscal del país una vez incluidos los pasivos contingentes fiscales, monetarios y laborales, así como los activos públicos. Ver Echeverry (1999).
]]> 34. Casi nadie duda que la reestructuración del Estado en América Latina saldría favorecida con una reducción del gasto público total. Pero, ¿es ese el problema? ¿O, más bien, la forma como se hace y las restricciones e inflexibilidades que hay detrás de ese gasto? Sobre la inflexibilidad del gasto público en Colombia, ver Eslava (1999).35. Sobre la descentralización o independencia del Banco Central de Colombia, ver Wiesner (1999).
36. Levy (1998) ha escrito un excelente documento sobre la evaluación de la regulación. Sobre estos temas, ver también los trabajos de Artana y Navajas sobre la experiencia de las entidades reguladoras de Argentina, Instituto FIEL, Buenos Aires.
37. Aun en un país como los Estados Unidos, en donde la regulación tiene tan larga tradición, hay grandes interrogantes sobre cómo mantener la regulación ‘al día’ y cómo evaluarla. Ver Hahn (1998).
38. Como ya se dijo, las entidades multilaterales han hecho aportes importantes al desarrollo de la capacidad de evaluación en América Latina.
39. En el caso de Colombia, un préstamo del Banco Mundial para la ‘modernización de la administración financiera del sector público’ facilitó la elaboración de un número de evaluaciones estratégicas. Esas evaluaciones aparecen en Departamento Nacional de Planeación (1992) y (1996).
REFERENCIAS BIBLIOGRÁFICAS
1. Asher, William. “Precisión y rendición de cuentas de la evaluación de políticas y proyectos”, Hacia una gestión pública orientada a resultados, Bogotá, DNP, 1996, p. 77. [ Links ]
2. Banco Mundial. Colombia: Poverty Assesment Report, n.o 12673, 1974, p. 52. [ Links ]
3. Banco Mundial. Colombia: Paving the Way for a Results Oriented Public Sector, County Operations Division l, Country Departament lll, Report 15.300 – CO, 1996. [ Links ]
4. Bhagwati, Jagdish. Foreign Trade Regimes and Economic Development: Anatomy and Consequences of Exchanges Control Regimes, Ballinger, Cambridge, 1978. [ Links ]
5. BID. Seminario regional sobre seguimiento y evaluación en América Latina, Quito, Ecuador, 1993. [ Links ]
6. BID. “Como organizar con éxito los servicios sociales”, Informe de progreso económico y social, 1996. [ Links ]
7. BID. “América Latina frente a la desigualdad”, Informe de progreso económico y social, 1998–1999. [ Links ]
8. BID y OECD. S eminario regional sobre seguimiento y evaluación en América Latina y el Caribe, Quito, Ecuador, 1993. [ Links ]
9. Buchanan, Tollison y Tullock. Toward a Theory of the Rent-Seekings Society, Texas A&M University Press, College Station, 1980.
10. Chelimsky, Eleanor. “The Coming Transformations in Evaluation”, Chelimsky, E. y Shadish, W., editores, Evaluation for the 21st Century, Sage Publications, 1997. [ Links ]
11. Deepak, Lal. “The Political Economy of Liberalization”, W orld Bank Economic Review 1, 2, 1987, pp. 273-299. [ Links ]
12. Departamento Nacional de Planeación. Control y evaluación de la gestión pública: Los desafíos de la Nueva Constitución, 1992. [ Links ]
13. Departamento Nacional de Planeación. Hacia una gestión orientada a resultados, Sinergia, 1996. [ Links ]
14. Departamento Nacional de Planeación. Indicadores de Coyuntura Económica 3, 4, p. 313, cuadro No.1, anexo n.o 1, Bogotá, Colombia, 1998. [ Links ]
15. Díaz, Cayeros Alberto. “Un análisis institucional del papel del Estado en América Latina”, Lüders, R. y Rubio, L., editores, Estado y economía de América Latina, México y Chile, CIDAC y CINDE, 1997. [ Links ]
16. Downs, Anthony. An Economic Theory of Democracy, Nueva York, Harper and Row, 1957. [ Links ]
17. Echeverry, Juan Carlos. Análisis de sostenibilidad fiscal: El caso de Colombia, Bogotá, DNP, 1999. [ Links ]
18. Escobar, Silvia. “Evaluación de la gestión pública en Colombia”, Hacia una gestión pública orientada a resultados, Bogotá, DNP, 1996. [ Links ]
19. Eslava, Marcela. “Crisis y recuperación de las finanzas públicas: Lecciones de América Latina para el caso colombiano”, Archivos de Macroeconomía 116, 1999, DNP. [ Links ]
20. Graham, Carol y Naim, Moisés. “The Political Economy of Institutional Reform in Latin America”, Birdsall, Nancy, Graham, Carol y Sabot, Richard, editores, Beyond Trade-offs: Market Reform and Equitable Growth in Latin America, 1997. [ Links ]
21. Guerrero, Pablo. Desarrollo de la capacidad nacional de evaluación, Quito, Ecuador, 1992. [ Links ]
22. Guerrero, Pablo. “Comparative Insights from Colombia, China and Indonesia”, Evaluation Capacity Development, Working Paper Series 5, Washington D. C., World Bank Operations Evaluation Department, 1999. [ Links ]
23. Hahn, Robert. “Government Analysis of the Benefits and Cost of Regulation”, The Journal of Economic Perspectives 12, 4, otoño, 1998. [ Links ]
24. Krueger, Anne, O. “The Political Economy of the Rent-Seekings Society”, American Economic Review 64, 3, 1974, pp. 291-303. [ Links ]
25. Levy, Brian. “Credible Regulatory Policy: Options and Evaluations”, Picciotto, Robert y Wiesner, Eduardo, editores, Evaluation and Development: The Institutional Dimension, Transaction Publishers, 1998. [ Links ]
26. McAllister, Elizabeth. “Overview”, Public Sector Performance: The Critical Role of Evaluation, Washigton D. C., selected proceedings from a World Bank Seminar, 1998. [ Links ]
27. Mackay, Keith. Evaluation and Poverty Reduction. Próxima publicación, 1999a. [ Links ]
28. Mackay, Keith. “A Diagnostic Guide and Action Framework”, Evaluation Capacity Development 6, Washington D. C., World Bank, Operations Evaluation Department, 1999b. [ Links ]
29. Maconick, Roger y Morgan, Peter. Capacity Building Suppontad by the United Nations: Some Evaluations and Some Lessons, Nueva York, Ecosol, Naciones Unidas, 1999. [ Links ]
30. Marcel, Mario. “Lessons from Chile”, Mackay, Keith, editor, Public Sector Performance: The Critical Role of Evaluation, Washington D. C, proceedings from a World Bank Seminar, abril, 1998. [ Links ]
31. Montenegro, Armando. “La evaluación ex post y el sector público”, Control y evaluación de la gestión pública. Los desafíos de la Nueva Constitución, Bogotá, DNP, 1992. [ Links ]
32. Nelson, Richard y Sampat, Bhaven. Making Sense of Institutions as a Factor Shaping Economic Performance, Nueva York, Columbia University, 1999. [ Links ]
33. Nellis, John. “Time to Rethink Privatization Transition Economics”, International Finance Corporation, Discussion Paper 33, Banco Mundial, 1999, [ Links ]
34. Niskanen, Jr. W.L. Bureaucracy and Representative Government, Chicago, Aldine Athenton, 1971. [ Links ]
35. North, Douglas. Institutions, Institutional Change and Economic Performance, 1990. [ Links ]
36. Olson, Mancur. The Logic of Collective Action, Harvard University Press, 1965. [ Links ]
37. Ocampo, José Antonio. Hacia una Gestión Pública Orientada a Resultados, Bogotá, DNP, Proyecto de Modernización de la Administración Financiera del Sector Público, BIRF y Fonade, 1996a. [ Links ]
38. Ocampo, José Antonio. Discurso Inaugural, Foro sobre la Función de la Contraloría, Cartagena, junio 20, 1996b. [ Links ]
39. OECD. “Principles for Evaluation of Development Assistance”, Development Assistance Manual: DAC Principles for Effective Aid, 1992. [ Links ]
40. Picciotto, Robert. “Postcript: The Institutional Dimension of Evaluation”, Picciotto, Robert y Wiesner, Eduardo, editores, Evaluation and Development: The Institutional Dimension, Transaction Publishers, 1998. [ Links ]
41. Priest, George L. “The Origins of Utility Regulation and the Theories of the Regulation Debate”, The Journal of Law and Economics 36, 1, april, 1993. [ Links ]
42. Rama, Martin. “Public Sector Downsizing: An Introduction”, The World Bank Economic Review 13, 1, enero, 1999. [ Links ]
43. Ramírez, Jaramillo Juan Carlos. “La gestión social de los ochenta”, Flórez, Luis Bernardo, editor, Colombia, gestión económica estatal de los 80, 1995. [ Links ]
44. Reos, Orlando. Ponencia Principal ante el Seminario Regional sobre Evaluación, Quito, Ecuador, 1994. [ Links ]
45. Rubio, Luis. “¿Es posible modernizar el gobierno?”, Lüders, Rolf y Rubio, Luis, editores, Estado y economía en América Latina, Cinde, Cidac, 1999. [ Links ]
46. Scriven, Michael. “Truth and Objectivity in Evaluation”, Chelimsky, E. y Shadish, W., editores, Evaluation for the 21st Century, Sage Publications, 1997. [ Links ]
47. Stiglitz, Joseph. “Evaluation as an Incentive Investment”, Picciotto, Robert y Wiesner, Eduardo, editores, Evaluation & Development: The Institutional Dimension, Transaction Publishers, 1998. [ Links ]
48. Vélez, Carlos Eduardo. La incidencia del gasto público social en Colombia, Bogotá, Misión Social del DNP, 1994. [ Links ]
49. Véliz, Claudio. The Centralist Tradition of Latin America, Princeton University Press, 1980. [ Links ]
50. Wiesner, Eduardo. “El diseño de un sistema de evaluaciones de resultados: Principios y opciones”, Control y evaluaciones de la gestión pública: Los desafíos de la Nueva Constitución, Bogotá, DNP, 1992. [ Links ]
51. Wiesner, Eduardo. “From Macroeconomic Correction to Public Sector Reform: The Critical Role of Evaluation”, World Bank Discussion Papers 214, Washington D. C., 1993. [ Links ]
52. Wiesner, Eduardo. “Evaluation, Markets, and Institutions in the Reform Agenda of Developing Countries”, Chelimsky, Eleanor y Shadish, William R., editores, Evaluation for the 21st Century, London, New Delhi, Sage Publications, 1997. [ Links ]
53. Wiesner, Eduardo. Los recursos propios territoriales y la gestión educativa en Colombia, Ministerio de Educación de Colombia y Banco Interamericano de Desarrollo, 1998a. [ Links ]
54. Wiesner, Eduardo. “Transaction Cost Economics and Public Sector Rent-Seeking in Developing Countries: Toward a Theory of Government Failure”, Picciotto, Robert y Wiesner, Eduardo, editores, Evaluation & Development: The Institutional Dimension, publicado por el Banco Mundial, Transaction Publishers, 1998b. [ Links ]
55. Wiesner, Eduardo. La efectividad de las políticas públicas en Colombia: Un análisis neoinstitucional, Bogotá, Tercer Mundo Editores y DNP, 1998c. [ Links ]
56. Wiesner, Eduardo. “Introduction”, Picciotto, Robert y Wiesner, Eduardo, editores, Evaluation & Development: The Institutional Dimension, Banco Mundial, Transaction Publishers, 1998d. [ Links ]
57. Wiesner, Eduardo. “Un difícil aprendizaje”, Revista Dinero 80, marzo 26, Bogotá, Colombia, 1999. [ Links ]
58. Williamson, Oliver. “Comparative Economic Organization: The Analysis of Discrete Structural Alternatives”, International Center for Economic Growth, Occasional Papers 54, 1991. [ Links ] ]]>