Segunda sección: teoría y metateoría

DOI: http://dx.doi.org/10.11600/1692715x.13239180914

La evaluación de las políticas municipales de juventud a partir de un sistema de indicadores^*

Evaluation of municipal youth policies through an indicators system

Avaliação das políticas municipais de juventude a partir de um sistema de indicadores

Pere Soler-Masó¹, Anna Planas-Lladó², Judit Fullana-Noell³

¹ Profesor Universidad de Girona, España. Profesor Titular de Universidad del Departamento de Pedagogía de la Universidad de Girona. Doctor en Pedagogía por la Universidad de Girona. Director del Máster Interuniversitario Juventud y Sociedad desde 2008. Correo electrónico: pere.soler@udg.edu

² Profesora Universidad de Girona, España. Profesora Lectora del Departamento de Pedagogía de la Universidad de Girona. Doctora en Pedagogía por la Universidad de Girona. Con experiencia como técnica de juventud en el sector público y privado. Profesora del Máster Interuniversitario Juventud y Sociedad. Correo electrónico: anna.planas@udg.edu

³ Profesora Universidad de Girona, España. Profesora Titular de Universidad del Departamento de Pedagogía de la Universidad de Girona. Doctora en Pedagogía por la Universidad de Girona. Directora del Máster en Educación en la Diversidad. Correo electrónico: judit.fullana@udg.edu

Artículo recibido en julio 9 de 2014; artículo aceptado en septiembre 18 de 2014 (Eds.)

Resumen (analítico):

En este artículo presentamos un sistema de indicadores (SIAPJove) para evaluar políticas municipales de juventud. El sistema ha sido creado y validado por un grupo de individuos expertos y se ha aplicado en tres municipios de Cataluña en el Estado Español, en forma de estudio de caso para comprobar su aplicabilidad y eficacia. El resultado es un instrumento con 12 ámbitos de evaluación, 32 objetivos de evaluación y 83 indicadores. Permite evaluar la situación de dichas políticas, hacer evidentes las tendencias y los cambios, valorar su nivel de eficacia y contribuir a establecer objetivos a corto y medio plazo. Asimismo, se puede utilizar como herramienta para la autoevaluación, para reflexionar sobre la propia acción y aprender de los errores y las dificultades en el desarrollo de las políticas municipales de juventud.

Palabras clave: juventud, España, administración local, evaluación, gobierno local (Tesauro de Ciencias Sociales de la Unesco).

Palabras clave autores: políticas de juventud, indicadores de evaluación.

Abstract (analytical):

This paper presents a system of indicators (SIAPJove) for the evaluation of municipal youth policies. The system has been created and validated by a group of experts and has been implemented in three municipalities of Catalonia (Spain) in a case study to test its applicability and effectiveness. The result is an instrument that has been organized into 12 evaluation areas, 32 objectives and 83 evaluation indicators. When applied to local youth policies this evaluation tool makes it easier to describe the situation of these policies, obtain evidence regarding trends and changes, measures the effectiveness of these policies and establishes short term and mid-term goals. Furthermore, it can also be used as a self-evaluation tool in order to reflect on the actions that local governments are carrying out and supports learning from mistakes and difficulties observed in the development of municipal youth policies.

Key words: youth, Spain, local administration, evaluation, local government (Unesco Social Sciences Thesaurus).

Authors key words: youth policies, evaluation indicators.

Resumo (analítico):

O artigo apresenta um sistema de indicadores (SIAPJove) para avaliar as políticas de juventude municipais. O sistema foi criado e validado por um grupo de peritos e tem sido implementado em três municípios da Catalunha no Estado espanhol como um estudo de caso para verificar a sua aplicabilidade e eficácia. O resultado é um instrumento com 12 âmbitos de avaliação, 32 objetivos de avaliação e 83 indicadores. Este instrumento aplicado as políticas de juventude municipal permite descrever a situação das mencionadas politicas, evidenciar as tendências de mudanças, avaliar o seu nível de eficiência e contribuir para estabelecer objetivos a curto e médio prazo. Igualmente, pode-se utilizar como ferramenta para a autoavaliação, para refletir sobre as ações próprias e também para aprender dos erros e das dificuldades no desenvolvimento de políticas de juventude municipal.

Palavras-chave: juventude, Espanha, administração local, avaliação, governo local (Thesaurus de Ciências Sociais da Unesco).

Autores palavras-chave: política de juventude, indicadores de avaliação.

1. Introducción

La consideración y el tratamiento de las cuestiones juveniles en el conjunto de las políticas públicas han suscitado en el pasado -y siguen suscitando hoy- debates y posicionamientos diferentes. Más allá del hecho comprensible de que las tradiciones políticas y organizativas de los diferentes Estados hayan generado modelos organizativos diferentes en cuanto al tratamiento de las políticas públicas, las políticas de juventud también han tenido aproximaciones diferentes según se haya adoptado una percepción de la juventud como problema o como recurso (Bendit, 2006). La fragmentación de las políticas públicas en áreas temáticas -educación, cultura, ocupación, vivienda, urbanismo, etc.-, responde más que a una razón operativa y práctica, a una determinada visión, alcance y dimensión de los asuntos públicos.

El trabajo que aquí presentamos parte de la convicción de que las políticas municipales de juventud deben ocupar un espacio central en las políticas sociales, a la vez que se pueden convertir también en un medio para la transformación social, facilitando proyectos de vida a las personas jóvenes, fomentando la movilidad social, luchando contra las desigualdades y promoviendo, en definitiva, el papel de la juventud como motor de cambio. Esta centralidad justifica, hoy por hoy, la necesidad de las políticas y de las unidades específicas de juventud. Los jóvenes y las jóvenes requieren, en muchos casos, una atención específica a causa de factores muy diversos y cambiantes, vinculados a la condición juvenil misma. Se necesitan unidades que garanticen y aseguren un despliegue correcto de las políticas públicas y que lideren los procesos de evaluación y reformulación.

En la mayoría de ocasiones, la acción política en juventud se ha centrado más en la ejecución de acciones y proyectos concretos que en la planificación y evaluación de dichas políticas. En el caso de las políticas de juventud en España hay algunos aspectos que en cierto modo las hacen particulares. En primer lugar, se trata de un área que tradicionalmente ha tenido poco peso político dentro de los organigramas de la administración pública. Ha sido con el paso de los años que ha ido adquiriendo contenido y consistencia a partir de la necesidad de hacer evidente una atención integral a los individuos jóvenes, y a partir de construir y coordinar planes fundamentados en políticas transversales. Esta situación ha tenido como contrapartida agilidad y capacidad de ensayo y de experimentación. A pesar de ello, sigue predominando una acción real -cuando no exclusiva- centrada en las tradicionales áreas de educación en el tiempo libre, recreación y deporte, evidenciándose contradicciones entre los documentos estratégicos y programáticos a gran nivel y los programas reales que se ejecutan en la práctica. Esta situación no es exclusiva del contexto español. Rodríguez (2003) y Mariñez (2006) formulan un diagnóstico similar en el contexto latinoamericano, y constatan el distanciamiento entre los discursos y las prácticas en juventud, y un predominio de las políticas periféricas en las actuaciones por parte de la administración pública. En segundo lugar, las políticas de juventud han sido desplegadas por áreas y departamentos que no tienen una figura profesional especializada ni definida. Los técnicos de juventud han sido profesionales con trayectorias formativas muy diversas, niveles profesionales también variados y encargos diferenciados (Soler-Masó, Bayot, Planas- Lladó & Vila, 2002, Viñas, 2010). Este hecho ha puesto de manifiesto la falta de reconocimiento profesional de estos sujetos profesionales y la necesidad de disponer de personal formado, para poder garantizar el correcto desarrollo de las políticas y el ejercicio de la profesión en sus diferentes ámbitos y niveles de acción. Esta falta de reconocimiento ha condicionado el desarrollo de las políticas y también, de manera especial, su evaluación.

La introducción de elementos metodológicos transversales, como la participación juvenil y la cooperación entre departamentos y entre instituciones, se ha hecho habitual a pesar de las enormes dificultades a la hora de materializarse. De este modo se han ido extendiendo los planes integrales de juventud, como una apuesta metodológica y política que ha transformado la estructura de muchas de estas unidades administrativas y les ha dado cierto protagonismo.

Esta institucionalización e implantación de las políticas de juventud y de las estructuras que de ella se desprenden, parece haberse estancado. Más allá de los graves recortes presupuestarios que desde el año 2008 han afectado las políticas sociales en España, hay que mencionar algunos aspectos críticos señalados por el colectivo de técnicos de juventud como aspectos que han frenado el desarrollo de estas políticas. Tal como nos hacía notar el informe de Ivàlua (Obregón, Blasco & Ferrer, 2009), el colectivo de técnicos de juventud afirmaba que los planes locales habían acabado convirtiéndose en un formalismo para acceder a subvenciones; que estos planes desincentivaban la innovación.

Montes (2008) afirmaba que era difícil imaginar una marcha atrás que desterrara del mundo de la acción social las políticas de juventud, ya que se iban cubriendo etapas de su consolidación y reconocimiento público. Sin embargo, la afectación de la crisis económica en la juventud y, sobre todo las privaciones económicas que se imponen a todas las administraciones públicas, y de forma especial a los ayuntamientos, tienen un efecto regresivo en todas las políticas sociales, particularmente en las políticas dirigidas a la gente joven (Planas- Lladó, Soler-Masó & Feixa-Pàmpols, 2014). En el caso de los municipios la situación se agrava, porque buena parte de los ingresos procedían de transferencias de otras administraciones que actualmente se están retrasando, reduciendo o eliminando. También han disminuido o han desaparecido los ingresos procedentes de las licencias de construcción, a raíz de la crisis que sufre este sector. Los jóvenes y las jóvenes se convierten en uno de los colectivos más castigados por la crisis actual, y las políticas de juventud ven reducidos los recursos, programas y ámbitos de actuación. Es una situación difícil de manejar.

2. La evaluación de las políticas de juventud y de la realidad juvenil

Entre los análisis de realidad juvenil, imprescindibles para el desarrollo y evaluación de las políticas, hay diversidad de aportaciones. La Declaración de Lisboa sobre políticas y programas relativos a la juventud (Lisboa, agosto de 1998), aprobada en la Conferencia Mundial de Ministros encargada de Juventud, acordó establecer períodos para conseguir los objetivos de las políticas nacionales de juventud y elaborar indicadores para disponer de bases nacionales comunes de evaluación de estas políticas. En la misma línea se puede encontrar las aportaciones del grupo de expertos que, por encargo de la Asamblea General de las Naciones Unidas, en 2005 se reunió para definir una batería de indicadores orientados a medir el desarrollo juvenil, con la intención de explorar la posibilidad de elaborar un índice de desarrollo juvenil (United Nations, 2005). Los avances en este sentido permiten fundamentar las políticas de juventud y deberían contribuir a fortalecer los discursos y retos en este ámbito.

En Europa, uno de los referentes a tener en cuenta es el documento final del Encuentro de Expertos en Indicadores de Políticas de Juventud, celebrado en Estrasburgo en marzo de 2003 por encargo del Consejo de Europa. En este encuentro, los expertos y expertas hacen recomendaciones sobre el uso de los indicadores en la evaluación de políticas de juventud y proponen objetivos (Council of Europe, 2003). El documento expone que, pese a que las políticas de juventud no deben evaluarse solo a través de indicadores, estos son importantes para ayudar a entender la realidad juvenil y contribuyen a la construcción de las políticas de juventud. En el informe también se sugiere que en la evaluación de las políticas de juventud se debe tener especial consideración a los agentes que ejecutan estas políticas.

Más adelante, la aprobación de The EU Youth Strategy (2010-2018) supone un avance en la planificación y sistematización de políticas de juventud. Es una propuesta estratégica de política de juventud a nivel de la Unión Europea que pretende promover la igualdad de oportunidades educativas y laborales para las personas jóvenes, así como fomentar su ciudadanía activa y su participación en la sociedad. La propuesta parte de la idea de que una mejor comprensión de las condiciones de vida de los jóvenes y las jóvenes facilitará la toma de decisiones, con lo cual son necesarias evidencias sobre la realidad juvenil. En el año 2009 se publica el primer informe de la UE sobre la juventud, y actualmente ya se dispone de su actualización a través de los National Youth Reports 2012. A partir de este informe se establece un grupo de trabajo sobre indicadores de juventud en la UE. El resultado de este grupo se concreta en una propuesta de 40 indicadores de realidad juvenil que inciden en los diferentes ámbitos de la Estrategia de Juventud de la UE (DG Education and Culture, 2011). También el trabajo de López y Bendit (2001) propone una lista de indicadores sobre políticas estatales de juventud a partir de un estudio realizado por Bendit y Wallace en el marco del Study on the State of Young People and Youth Policy in Europe (Iard Institute, 2001).

Con relación a las propuestas de evaluación de políticas nacionales y locales de juventud, aunque escasas, queremos destacar algunas aportaciones. La evaluación del World Programme of Action for Youth (WPAY) de las Naciones Unidas dio lugar a la Guía Juvenil para Evaluar Políticas Nacionales de Juventud (Naciones Unidas, 2004). Esta guía podía ser utilizada como punto de partida para determinar qué habían hecho cada gobierno y la sociedad civil para mejorar las condiciones de vida de los jóvenes y las jóvenes. Iba dirigida a los jóvenes mismos y recogía de forma sencilla y estructurada las acciones que deberían incluir las políticas nacionales de juventud. Los informes de diferentes países pueden consultarse en la web de United Nations Department of Economic and Social Affairs. También es interesante el estudio de Angel (2005) que además de hacer aportaciones en el desarrollo, implementación y evaluación de las políticas de juventud a nivel nacional, aporta algunos indicadores para ayudar a medir los resultados de las políticas de juventud, tales como: incremento de estructuras de participación juvenil, fortalecimiento de organizaciones y redes juveniles, incremento en la financiación de programas para la juventud, fortalecimiento de las instituciones a nivel local, mejora de los servicios para jóvenes, etc. Entre los trabajos recientes sobre evaluación de políticas de juventud cabe citar también las aportaciones de Esengul, Mamaev y Yefimova- Trilling (2012) y de Azanjac, Bradic, Krivokapić, Spoerri y Stojic (2012), que forman parte de los seis informes piloto sobre políticas públicas de juventud (Estonia, Kyrgyzstan, Liberia, Nepal, Serbia y Uganda), y que analizan el impacto de las políticas públicas de juventud en Kyrgyzstan y Servia. Los informes están financiados por la Open Society Youth Initiative.

Con la voluntad de proporcionar herramientas y recursos que puedan ayudar a completar la evaluación y hacer esta tarea más ágil, un grupo de investigadores del Instituto de Investigación Educativa de la Universidad de Girona ha diseñado un instrumento de evaluación, con la intención de facilitar la valoración tanto de los procesos como de los resultados de las políticas locales de juventud. El objetivo de dicho instrumento es contribuir a la evaluación de dichas políticas y evidenciar el progreso de estas. Esta información puede ser útil para completar la memoria plurianual y evidenciar las tendencias. Pensamos que conviene dotar las políticas locales de juventud de un instrumento que ayude a sistematizar la recogida y el tratamiento de la información, y a la vez permita hacer visible el trabajo que se realiza desde los municipios, a pesar de las limitaciones y tendencias nocivas que, según Barbieri, Partal y Merino, (2011, p. 493), pueden tener los indicadores de evaluación, como la visión de túnel, la suboptimización, la miopía, la falsa representación o la manipulación. El sistema de indicadores se diseñó pensando en el contexto de los municipios catalanes, pero la propuesta, o parte de ella, puede ser aplicada y adaptada en otras realidades contextuales.

3. Metodología. La construcción del SIAPJove como propuesta de indicadores de evaluación para las políticas municipales de juventud

3.1. Enfoque del SIAPJove

Definir el enfoque del SIAPJove implica definir dos aspectos esenciales: por un lado, definir la perspectiva de evaluación que consideramos más adecuada y que debe orientar su planteamiento y su utilización en la práctica y, por otro, los ámbitos o temas de los cuales derivarán los objetivos de la evaluación. Para definir el primer aspecto hemos recurrido a los planteamientos en el campo de la evaluación de programas de políticas públicas. Para el segundo hemos partido de la bibliografía existente, del análisis de experiencias y del diálogo directo con técnicos de juventud.

Evaluar consiste en una determinación de los méritos y del valor del objeto evaluado (Stake, 2006), que debe implicar también la valoración de su legitimidad, de su viabilidad, de su relevancia y de su equidad, entre otros factores (Stufflebeam & Shinkfield, 2007). El sistema de indicadores que elaboramos deberá permitir valorar no solo la calidad técnica del despliegue de las políticas y la consecución de los objetivos, sino que debe ofrecer la posibilidad de evaluar su legitimidad, su viabilidad, su equidad y la atención a necesidades reales que proporcionan.

En la evaluación de políticas públicas, existe una tendencia bastante marcada hacia enfoques sumativos. El problema, sin embargo, no es el enfoque en sí, sino el hecho de que, en el ámbito de las administraciones públicas lo más común es que cuando el proceso de evaluación ha terminado, los nuevos programas ya se han empezado a implementar debido a las exigencias de las dinámicas políticas, administrativas y presupuestarias. Ello ocurre porque los procesos de evaluación no están integrados en la dinámica de toma de decisiones (Blasco & Subirats, 2009, p. 59). Los procesos de evaluación formativa y sumativa implican toma de decisiones de diferente índole. El sistema de indicadores por sí solo no asegura que el proceso de evaluación se sitúe en la dinámica de toma de decisiones, pero puede ser una ayuda importante para que se creen unas dinámicas evaluativas integradas en los procesos de planificación y de decisión.

En la evaluación de políticas públicas, la elección sobre cuáles son los criterios, valores o estándares que se deben tener en cuenta, implica un ejercicio de poder que conecta la evaluación con la política (Karlsson & Conner, 2006). Ambas están relacionadas con valores, juicio de valores y conflictos de valores en la vida pública. La realidad es -según Karlsson y Conner (2006)- que la evaluación, para perseguir el propósito de emitir juicios, no puede evitar la cuestión de la política. En este terreno de las relaciones entre política y evaluación hay que poner énfasis, desde nuestro punto de vista, en la democratización del proceso de evaluación.

En cuanto a los objetivos de evaluación que articulan esta propuesta de indicadores, estos se construyen a partir de la consulta de la bibliografía existente sobre políticas de juventud, del análisis de las experiencias previas y del diálogo directo con técnicos y políticos responsables de políticas de juventud. Para ello se tienen en cuenta los objetivos vigentes en el Plan Nacional de Juventud de Cataluña 2000- 2010 (Generalitat de Catalunya, 2001) en el momento de realizar este proyecto, así como otros documentos y planes orientadores de las políticas de juventud (Council of Europe, 2003, Instituto de la Juventud, 2006, United Nations, 2010). Se tiene acceso también al borrador del nuevo Plan de Juventud que se prepara para el período 2010-2020, así como también al Plan Interministerial de Juventud de España (2005- 2008) y The EU Youth Strategy (2010-2018). Estos documentos ponen de manifiesto que en el contexto donde se quiere aplicar la propuesta de indicadores de evaluación de políticas de juventud, hay unos ámbitos habituales que pueden ayudar a identificar y a delimitar las políticas que se desarrollan en relación con los jóvenes: Educación, Empleo, Vivienda, Salud, Cultura, Participación y Cohesión social. En nuestro caso, completamos esta propuesta a partir de tratar tres aspectos más que podrían incluirse en estos ámbitos, pero que en nuestro caso queremos que tengan entidad y visibilidad propia por la importancia estratégica que tienen en el desarrollo de las políticas de juventud. Se trata de los ámbitos del Deporte, la Información y Orientación juvenil y la Movilidad. Finalmente, se incluyen dos ámbitos más a partir del contacto con los responsables de juventud y la importancia que han otorgado a ellos: los aspectos metodológicos y los recursos dedicados al despliegue de las políticas de juventud. De esta manera se configuran los 12 ámbitos de evaluación que engloban los 32 objetivos que pretenden evaluar la acción del Gobierno local hacia los jóvenes y las jóvenes. Se trata, pues, de captar y valorar el trabajo transversal que realiza la administración municipal hacia la gente joven, en este caso delimitando este colectivo en el sector de población comprendido entre los 16 y los 29 años de edad, tal como queda estipulado en la legislación catalana y española.

Para cada uno de los ámbitos establecidos y de los objetivos de evaluación marcados se establece una propuesta inicial de indicadores de evaluación. Cada indicador se presenta y define en las fichas diseñadas para tal fin. Los indicadores cuantitativos constan de: código, nombre y objetivo de referencia del indicador, fórmula de cálculo, estructura, información técnica, glosario de referencia, marco interpretativo, limitaciones e indicadores relacionados.

Los indicadores cualitativos parten del modelo elaborado por el Arts Council England (2003). El formato de ficha contiene los apartados equivalentes a la ficha de indicadores cuantitativos, y proporciona la información necesaria para su descripción y para la evaluación a partir de la definición de diferentes escenarios orientativos que permitan situarse en una escala del 0 al 9. De este modo, el sujeto evaluador ha de posicionarse ante cuatro escenarios descritos para cada indicador: ausente, emergente, establecido y avanzado. En cada caso -excepto en el ausente- se permite una puntuación variable (inicial, media o alta) de modo que los tres escenarios siguientes (emergente, establecido y avanzado) puntúan desde el 1 hasta el 9.

3.2. El proceso de elaboración y validación

3.2.1. La validación por personal experto

La propuesta inicial elaborada por el equipo de investigación consta de 98 indicadores de evaluación. Este material es sometido a validación por un grupo de 19 individuos expertos. Para su selección contemplamos el equilibrio de géneros, la tipología de agentes y la experiencia y ámbito de especialización de cada uno de ellos. : 10 sujetos técnicos de juventud de diferentes niveles de la administración, 2 jóvenes, 4 individuos investigadores en juventud y 5 sujetos políticos vinculados a temas juveniles. A cada integrante del equipo le enviamos un dossier que incluía: las fichas de descripción de los indicadores, la definición de los atributos que se revisan para la validación -comprensibilidad, relevancia y coherencia para los indicadores cualitativos y comprensibilidad, relevancia, coherencia, mensurabilidad y comparabilidad para los cuantitativos- y los formularios para la validación. Les pedimos que evaluasen y revisasen no solo los atributos para cada indicador, sino también la idoneidad general de la propuesta en cuanto a calidad y cantidad de indicadores.

Finalmente obtuvimos la validación de dieciséis individuos expertos: seis evaluaron un ámbito específico y diez validaron todos los indicadores. Los resultados confirmaron que la propuesta era comprensible en un 86% de los indicadores, coherente en un 85,5% y relevante en un 79,12%. Todo ello nos llevó a rehacer la propuesta inicial de sistema, compuesta por 98 indicadores, obteniendo una nueva versión validada con 95 indicadores. Más de la mitad de los indicadores (58) sufrieron algún tipo de modificación. Aceptamos sin ninguna modificación 32, rechazamos 8, e incorporamos 5 nuevos indicadores. La propuesta resultante con 95 indicadores, la aplicamos en la siguiente fase de validación.

3.2.2. La aplicación de diez indicadores clave

Como parte del proceso de validación de la propuesta de indicadores, realizamos una prueba que consistió en conseguir la información necesaria para valorar diez indicadores clave y poder analizar las dificultades y el tiempo necesario. Realizamos la elección de estos indicadores a través de un grupo de expertos y expertas formado por académicos y académicas, miembros del equipo de investigación y personal técnico de juventud. Pretendimos someter a ensayo la comprensión de estos indicadores, su operatividad a la hora de conseguir los datos y su utilidad como indicadores finales. Para ello, encargamos la recopilación de datos de tres años consecutivos: 2008, 2009 y 2010. Los indicadores que seleccionamos fueron de los diferentes ámbitos de evaluación que constituyen el sistema de evaluación: información juvenil, salud, empleo juvenil, acceso a la vivienda, cultura joven, asociacionismo juvenil, equipamientos, recursos humanos y recursos económicos. Elegimos un municipio de tamaño mediano en el contexto de Cataluña, con una población de 100.000 habitantes. La validación la realizamos en enero de 2011 y nos permitió obtener algunos datos relevantes para confirmar la utilidad del instrumento. El hecho de disponer de este conjunto de indicadores durante tres años consecutivos nos permitió ver la evolución de determinados servicios y programas de juventud que siguieron en este período, lo que representa un elemento más para tener en cuenta a la hora de valorar la eficacia de los servicios municipales y la planificación de las políticas locales de juventud. El trabajo para obtener unos mismos datos a lo largo de varios años implica también una mejora en la implantación de hábitos de recogida y sistematización de la información sobre los efectos de las políticas locales de juventud. Los indicadores de tipo cuantitativo no dan por sí solos una lectura ajustada de la realidad de la evolución de las políticas de juventud en un municipio determinado; permiten únicamente captar los datos finales en los distintos ámbitos sin considerar les medios -programas, modificaciones, innovaciones, etc.- que se han empleado para conseguir los objetivos. El sistema de indicadores propuesto, que combina indicadores de tipo cuantitativo con otros de tipo cualitativo, corrige en parte estos desajustes y permite una evaluación más rica, matizada y explicativa de los datos cuantitativos.

3.2.3. El ensayo de la propuesta en tres municipios

Pusimos a prueba en tres municipios catalanes el sistema de indicadores resultante -95 indicadores-para validar su aplicabilidad, su interés, su eficacia y su eficiencia. Hicimos, pues, tres estudios de caso. Para ello escogimos tres municipios teniendo en cuenta los siguientes criterios:

a) El tamaño de los municipios. Nos interesaba que hubiera municipios de diferentes dimensiones para comprobar el grado de adecuación de los indicadores. Seleccionamos un municipio de menos de 10.000 habitantes, uno de entre 10.000 y 50.000 habitantes, y uno de más de 50.000 habitantes.

b) El partido político que gobierna el municipio, con el propósito de recoger sensibilidades, percepciones y valoraciones diferentes en el desarrollo y la evaluación de estas políticas.

c) La experiencia y la predisposición del técnico o técnica municipal de juventud, quien debía aplicar y ensayar el sistema de indicadores de evaluación.

El proceso de aplicación del sistema de indicadores de evaluación a los municipios de estudio lo realizamos a lo largo de tres meses (marzo-mayo 2011). Los hombres y mujeres técnicos de juventud de cada municipio fueron quienes se encargaron de obtener los datos necesarios para el cálculo o la valoración de los indicadores. Implementamos la aplicación de los indicadores con datos del año 2010. Durante este tiempo realizamos 3 reuniones con el equipo técnico de juventud para aclarar todas las dudas y compartir la información. En estas reuniones valoramos la facilidad de aplicación, los problemas en la búsqueda de datos o las dificultades de valoración. Después de la recogida de datos y el cálculo de los indicadores en cada municipio llevamos a cabo dos sesiones de trabajo entre el equipo de investigación y los técnicos de juventud de los tres municipios piloto. En ellas revisamos los resultados obtenidos en cada indicador, la significatividad de cada uno de ellos, el proceso realizado, la eficiencia y, en último término, la eficacia como indicador de las políticas de juventud. A partir de estas reuniones acordamos aceptaciones y modificaciones: rechazamos 12 indicadores, aceptamos 57 y modificamos 27, quedando por consiguiente una propuesta final con 83 indicadores.

Aparte de los datos obtenidos y del proceso de evaluación realizado en cada municipio, la aplicación nos permitió ajustar y afinar más todos los instrumentos de recogida y presentación de datos. Entre las modificaciones más importantes, citamos las siguientes:

• Ajustamos la terminología de cada indicador y configuramos el glosario final.

• Revisamos la definición y las explicaciones que acompañan a cada una de las fichas de indicadores.

• Revisamos las fichas de recogida de información, las adaptamos a la propuesta final de indicadores y unificamos los criterios para la recogida de datos.

4. Resultados

Este proceso dio lugar a la propuesta final del sistema de indicadores de evaluación para las políticas municipales de juventud (SIAPJove), con un total de 83 indicadores (tabla 1).

La propuesta final del SIAPJove es trasladada a una aplicación informática de modo que permita su consulta y aplicación. Se presenta en un portal web en la direcciónhttp://siapjove.udg.edu/es-es/inicio.aspx. Funciona a partir de formularios que se pueden rellenar de modo que el programa calcula los resultados de los indicadores cuantitativos, elabora gráficos -de columnas para los cuantitativos y radiales para los cualitativos- y genera informes de síntesis para cada ámbito. El objetivo es invitar, facilitar y orientar en la evaluación de las políticas municipales de juventud.

Para simplificar y visualizar los resultados se tienen en cuenta las puntuaciones tanto de los indicadores cuantitativos como de los cualitativos y, sobre todo, se utilizan parámetros y escalas diferenciadas. Para la visualización de los indicadores cuantitativos se configura en cada ámbito del sistema una tabla de síntesis que permite visualizar de manera conjunta los resultados obtenidos a partir del cálculo de los correspondientes indicadores. Con respecto a los indicadores cualitativos, la visualización se realiza a través de un gráfico radial que permite captar fácilmente los puntos fuertes y débiles de cada ámbito evaluado, según la valoración final realizada. Esta puntuación final se obtiene mediante una escala del 1 al 9 donde la valoración se realiza a partir de la identificación con alguno de los escenarios orientativos que se vinculan a la graduación establecida. El 0 es escenario ausente, del 1 al 3 escenario emergente, del 4 al 6 escenario establecido y del 7 al 9 escenario avanzado. En cada escenario -excepto en el caso de ausenteexiste la posibilidad de escoger tres posiciones -inferior, central y superior- según se identifique plenamente con la situación descrita, o un poco por debajo o un poco por encima.

Cada uno de los doce ámbitos de evaluación incluye una ficha para la síntesis de los resultados. El objetivo de este apartado es facilitar una lectura sintética de los resultados obtenidos y ayudar a obtener conclusiones útiles para la proyección de acciones en el futuro. Se trata de una pauta que puede ayudar a encontrar elementos para el análisis de los resultados obtenidos y estrategias para la aplicación de las conclusiones que se desprendan de ellos. La síntesis se estructura en tres apartados:

1. Cuestiones de reflexión: se presentan unas cuantas preguntas, a modo de orientación o de propuesta para la reflexión, con el propósito de ayudar a relacionar los resultados obtenidos y elaborar conclusiones.

2. Fortalezas y retos: Se trata de elaborar una lista de las principales fortalezas que se han detectado en la evaluación del ámbito y, al mismo tiempo, plantearse los retos más importantes que habría que afrontar para mejorar los resultados en el futuro.

3. Prioricemos: En esta última pauta se propone priorizar la lista de retos que habría que afrontar, por orden de urgencia o de importancia. Es una de las decisiones que, en cada caso, sería preciso que los evaluadores valorasen y concretasen.

La propuesta de evaluación que se configura requiere algunas precisiones metodológicas para poder aplicarse correctamente:

a) Esta herramienta debería integrarse en el proceso de planificación y toma de decisiones en las políticas de juventud. La información que proporciona sería en este sentido de gran utilidad. La evaluación de las políticas de juventud podría complementarse con otros procesos evaluativos, sobre todo procesos participativos que permitan complementar la evaluación sobre las políticas de juventud y obtener la percepción de diferentes agentes -especialmente los individuos jóvenes- respecto al desarrollo de estas políticas.

b) La aplicación del SIAPJove no implica, necesariamente, un proceso participativo de evaluación. No obstante, estos procesos son deseables porque promueven una mayor implicación de las personas en la evaluación y, como consecuencia, la construcción de una visión compartida. Por ello, en esta propuesta hemos previsto un espacio para el debate y la reflexión participativa. Recomendamos utilizar los datos obtenidos a través de la aplicación del sistema de indicadores para abrir un debate con jóvenes y personal experto en el tema, con el fin de interpretarlos y extraer conclusiones. Una aplicación de esta propuesta de indicadores desde este modelo puede encajar con un enfoque de la evaluación desde la perspectiva de la democratización. De alguna manera se quiere contribuir a incorporar la evaluación ciudadana en la gestión y aplicación de las políticas municipales (Carreras & González, 2012).

c) Con la propuesta de evaluación que presentamos pretendemos que se valore no solo lo que se hace desde el área, departamento o concejalía de juventud, sino la acción de gobierno municipal destinada a los jóvenes y a las jóvenes. Para ello es necesario tener presente el trabajo transversal, porque cuando desarrollamos políticas de juventud estamos también desarrollando el resto de políticas.

d) La propuesta está pensada para que sea el propio personal técnico local y los sujetos políticos de juventud quienes dirijan el proceso de evaluación, como una función más dentro de su trabajo habitual de desarrollo de las políticas de juventud. Partimos de la idea de que, al menos en la fase de recogida de información, la tarea la realicen los sujetos políticos y técnicos respectivos.

e) Recomendamos una aplicación sistemática anual. Sin embargo, puede emplearse puntualmente en función de intereses específicos.

f) En el caso de que no haya datos de referencia, los resultados obtenidos serán difíciles de interpretar y de valorar. La única manera de progresar en la evaluación de las políticas públicas es precisamente comenzar a disponer de estos datos, de manera que en la segunda o tercera vez que el mismo municipio aplique el sistema de indicadores, ya podrá tener elementos de referencia y hacer una evaluación longitudinal.

g) Es fácil caer en la comparación de resultados entre diferentes municipios. Esta herramienta no ha sido pensada con esta intencionalidad, ya que la realidad de partida en cada población es diferente y, por tanto, requerirá esfuerzos, estrategias y políticas específicas diferenciadas. Un pequeño progreso en un municipio determinado puede significar un éxito muy grande en las políticas de juventud, mientras que en otro municipio unos resultados similares pueden significar un retroceso en las políticas que se estaban efectuando.

h) Los indicadores de evaluación han sido pensados para que no haya factores de discriminación entre municipios grandes y pequeños. No obstante, puede haber escenarios en los que sea fácil que aparezcan situaciones ventajosas para unos o para otros. Por otra parte, en algunas ocasiones las acciones mancomunadas, en los municipios pequeños, se pueden considerar como acciones municipales.

5. Conclusiones

Con el trabajo que hemos realizado hemos puesto de manifiesto la posibilidad de dotar a los individuos profesionales especializados en políticas públicas de juventud, de herramientas que les permitan evaluar de manera más precisa el trabajo que llevan a cabo. Tanto los expertos y expertas consultados en la validación de la primera versión del SIAPJove, como el personal técnico que ha aplicado este sistema en los respectivos municipios, han valorado positivamente su utilidad y han manifestado abiertamente que este instrumento les ha permitido darse cuenta de muchos aspectos que habitualmente les pasan desapercibidos o que no se contrastan bien.

Por otra parte, debemos ser conscientes también de que una mala utilización de los indicadores puede paralizar las políticas y vaciarlas de los aprendizajes que pueden aportar. El Siapjove es una herramienta útil para abrir un debate con jóvenes u otros sujetos expertos en juventud y/o en políticas de juventud, con la finalidad de interpretarlas y extraer conclusiones; facilita e invita a la comparación temporal del mismo municipio, más que hacer una comparación con otros municipios. Lo hemos diseñado -en la medida de lo posible- para que no haya factores de discriminación entre municipios grandes y pequeños y, en cualquier caso, la interpretación y la valoración final siempre están en manos del propio municipio. Hay que tener presente que todo indicador lleva mensajes o valores implícitos y que mide solo una parte de la realidad (Cobb & Rixford, 1998, Kingsley, 1999). Son una fuente más de información, pero no son suficientes para captar toda la realidad y para inducir a las acciones más apropiadas (Cobb & Rixford, 1998). Estas limitaciones mencionadas son muestras de la necesidad de plantear la evaluación de políticas a partir de diferentes metodologías y procesos, tal como ya hemos apuntado. Es necesario, por tanto, considerar esta propuesta como un complemento de otros procesos e instrumentos de evaluación.

El SIAPJove está diseñado para un contexto político, legislativo y cultural concreto: el catalán y el español. La aplicación de esta herramienta en otros contextos requerirá una adaptación a la legislación y al contexto sociopolítico concreto, aunque es suficientemente flexible y adaptable. Al mismo tiempo, hay que pensar que la realidad en cualquier contexto es cambiante y por ello será también necesaria una revisión y adaptación periódica del sistema para mantenerlo actualizado. Con todo, hay que ser conscientes de las limitaciones y asumir que no se puede ni se quiere evaluar la totalidad de las políticas de juventud. Como apuntan Cobb y Rixford (1998), los indicadores son una fuente de información y solo pueden ser una pieza de un amplio puzle.

Es importante también evitar caer en una burocratización de los procesos. La utilización del SIAPJove puede comportar aspectos positivos, como la necesidad de una mayor sistematización de la recogida de datos y de información de diferente índole, pero hay que procurar no caer en una excesiva burocracia que haga perder de vista el sentido y la utilidad de todo. Es también importante resaltar la oportunidad que puede tener la aplicación de una herramienta como esta en el momento actual de austeridad generalizada en el conjunto de las políticas sociales. Contribuir a visualizar el progreso o retroceso que conllevan las inversiones y acciones en estas políticas ha de permitir valorar más y de manera más justa la importancia de las políticas de juventud, demasiado frecuentemente infravaloradas.

Notas

^* Artículo de investigación científica y tecnológica en el área de otras ciencias sociales y en la subárea interdisciplinaria. Presenta los resultados de la investigación realizada por Soler, P. (IP), Estivill, J., Fullana-Noell, J., Masó, L., Monseny, M., Muñoz, G., Planas-Lladó, A., Turon, N. y Vilà, M. con la colaboración de Ramisa, J. y Vila, C., con el título "Propuesta de un sistema de indicadores para evaluar las políticas municipales de juventud". Contó con financiación pública de la Agencia Catalana de la Juventud de la Generalitat de Catalunya a través de la Convocatoria de Ayudas a Proyectos de Estudio y Análisis en Materia de Juventud en Cataluña, con la referencia 2009AJOVE00010. La investigación se desarrolló desde abril del 2010 hasta octubre del 2011. Posteriormente el resultado obtenido se ha seguido actualizando y ha dado lugar a la aplicación informática: http://siapjove.udg.edu/es-es/inicio.aspx. Sobre este mismo trabajo puede consultarse también Planas-Lladó, Soler-Masó & Vilà (2014).

Lista de referencias

Angel, W. D. (ed.) (2005). Comparative analysis of National Youth Policies. The International Council on National Youth Policy (ICNYP). Recuperado el 20 de mayo de 2012, de: http://www.giz.de/Themen/de/dokumente/encomparativestudy- nyp-2005.pdf        [ Links ]

Arts Council England (2003). Handbook of Local Performance Indicators for the Arts. Recuperado el 15 de diciembre de 2006, de: http://www.lga.gov.uk/download.asp?path=/ Documents/Agenda/cultural/170303/ item6.pdf         [ Links ]

Azanjac, T., Bradic, D., Krivokapic, D., Spoerri, M. & Stojic, T. (2012). Youth and Public Policy in Serbia. New York: International Debate Education Association.         [ Links ]

Barbieri, N., Partal, A. & Merino, E. (2011). Nuevas políticas, nuevas miradas y metodologías de evaluación. ¿Cómo evaluar el retorno social de las políticas culturales? Papers. Revista de Sociologia, 92 (2), pp. 477-500.         [ Links ]

Bendit, R. (2006). Youth sociology and comparative analysis in the European Union Member States. Papers. Revista de Sociologia, 79, pp. 49-76.         [ Links ]

Blasco, J. & Subirats, J. (2009). Consideraciones generales sobre la evaluación de políticas públicas. Las especificidades de las políticas sociales. Documentación social, 154, pp. 39-58.         [ Links ]

Carreras, E. & González, B. (2012). La evaluación ciudadana de la Administración local. La escala multidimensional jerárquica como instrumento para medir la calidad de los servicios locales. Papers. Revsita de Sociologia, 97 (2), pp. 343-369.         [ Links ]

Cobb, C. W. & Rixford, C. (1998). Lessons learned from the history of social indicators. San Francisco: Redefining Progress.         [ Links ]

Council of Europe (2003). Experts on Youth Policy Indicators. Strasbourg: Council of Europe.         [ Links ]

DG Education and Culture (2011). Assessing practices for using indicators in fields related to youth. Final Report for the European Commission. Birmingham: DG Education and Culture.         [ Links ]

Esengul, C., Mamaev, B. & Yefimova-Trilling, N. (2012). Youth and Public Policy in Kyrgyzstan. New York: International Debate Education Association, Demokratie & Dialog e.V.         [ Links ]

Generalitat de Catalunya (2001). Pla Nacional de Joventut, Joves 2010. Barcelona: Secretaria General de Joventut de la Generalitat de Catalunya.         [ Links ]

Iard Institute (2001). Study on the State of Young People and Youth Policy in Europe. Milano: European Commission D.G. for Education and Culture.         [ Links ]

Instituto de la Juventud (Injuve) (2006). Plan Interministerial de Juventud 2005 - 2008. Un compromiso con el protagonismo de la juventud. Madrid: Ministerio de Trabajo y Asuntos Sociales, Comisión Interministerial para la Juventud y la Infancia.         [ Links ]

Karlsson, O. & Conner, R. F. (2006). The relationship between evaluation and polítics. En I. F. Shaw, J. C. Green & M. M. Mark (2006). The Sage Handbook of Evaluation. London: Sage.         [ Links ]

Kingsley, G. T. (1999). Building and operating neighborhood indicator Systems: a guidebook. National Neighborhood Indicators Partnership. The Urban Institute. Recuperado el 15 de octubre de 2014, de: http://www.urban.org/UploadedPDF/409297- Building-and-Operating-Neighborhood- Indicator-Systems-Guidebook.pdf         [ Links ]

López, A. & Bendit, R. (2001). Indicadores sociales europeos básicos de juventud. (Documento inédito).         [ Links ]

Mariñez, F. (2006). Políticas públicas y participación de la juventud; caso: Nuevo León. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 4, (1), pp. 85-120.         [ Links ]

Montes, P. (2008). Polítiques locals de joventut. Criteris, eines i recursos. Barcelona: Diputació de Barcelona.         [ Links ]

Naciones Unidas (2004). Haciendo realidad los compromisos: una guía juvenil para evaluar políticas nacionales de juventud. Nueva York: Naciones Unidas.         [ Links ]

Obregón, I., Blasco, J. & Ferrer, L. (2009). Pla Nacional de Joventut de Catalunya 2000-2010. Informe final d’avaluació. Versió definitiva 20 de desembre de 2009. Recuperado el 12 de enero de 2011, de: http://www.ivalua.cat/documents.

Planas-Lladó, A., Soler-Masó, P. & Feixa- Pàmpols, C. (2014). Juventud, políticas públicas y crisis en España: ¿Triángulo mágico o triángulo de las Bermudas? Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 12, (2), pp. 551-564.         [ Links ]

Planas-Lladó, A., Soler-Masó, P. & Vilà, M. (2014). Assessing youth policies. A system of indicators for local government, Evaluation and Program Planning, 45, pp. 22-28.         [ Links ]

Rodríguez, E. (2003). Políticas públicas de juventud en América Latina: de la construcción de espacios específicos al desarrollo de una perspectiva generacional. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 1, (2), pp. 15- 47.         [ Links ]

Soler-Masó, P., Bayot, A., Planas-Lladó, A. & Vila, J. (2002). Els tècnics en la política de joventut de l’Administració pública catalana. Barcelona: Secretaria General de Joventut. Generalitat de Catalunya.

Stake, R. E. (2006). Evaluación comprensiva y evaluación basada en estándares. Barcelona: Graó         [ Links ].

Stufflebeam, D. L. & Shinkfield, A. J. (2007). Evaluation Theory, Models and Applications. San Francisco: Jossey-Bass.         [ Links ]

United Nations (2005). Report of the Expert group meeting on Youth Development Indicators. New York: United Nations. Recuperado el 15 de setiembre de 2009, de: http://www.un.org/esa/socdev/unyin/ youthindicators.htm        [ Links ]

United Nations (2010). World Programme of Action for Youth. New York: United Nations.         [ Links ]

Viñas, C. (coord.) (2010). Informe. Cens de professionals en l’àmbit de la joventut 2008. Girona: Documenta Universitaria.

Referencia para citar este artículo: Soler-Masó, P., Planas-Lladó, A. & Fullana-Noell, J. (2015). La evaluación de las políticas municipales de juventud a partir de un sistema de indicadores. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 13 (2), pp. 1107-1123.