INVESTIGACIONES

Evaluación del impacto de acciones de bienestar sobre una comunidad en Colombia usando un modelo para datos correlacionados

Impact evaluation of welfare actions over a community in Colombia, using a data correlated model

Marisol Valencia C¹; Juan C. Salazar U².

¹ Especialista y magíster en Estadística, Universidad Nacional de Colombia, Medellín. Correo electrónico: mvalencia@unal.edu.co, solmarival@hotmail.com

² Doctora en estadística, University of Kentucky, docente Universidad Nacional de Colombia, Medellín, Colombia. Correo electrónico: jcsalaza@unal.edu.co

RESUMEN

La evaluación programas comunitarios algunas veces se basa en técnicas estadísticas como modelos de regresión lineal cuando el objetivo es cuantificar su efecto sobre aspectos sociales o el bienestar general de la comunidad. Esto involucra el estudio de variables sobre la salud mental y social del individuo cuyo efecto puede no ser fácil de cuantificar debido a la presencia de estructuras de correlación entre las observaciones relativas a cada participante. Por esta razón es aconsejable utilizar modelos lineales mixtos para este tipo de estudio.
OBJETIVO: realizar una evaluación de impacto de los efectos producidos por las acciones del Instituto de Deportes y Recreación de Medellín (INDER) sobre la población usuaria.
METODOLOGIA: A partir de la información muestral tomada por el INDER en el año 2007 a una población de participantes y no participantes de sus programas, se ajustaron modelos lineales generalizados sobre el comportamiento de variables psicológicas y sociales. Luego se realizó un pareamiento por medio de una regresión logística, para determinar todos los sujetos y sus respectivas medidas repetidas que sirvieron para medir el efecto de la intervención de las actividades propias del programa diseñado por el instituto sobre esta comunidad usando un modelo lineal mixto.
RESULTADOS: por medio de la estimación con modelos lineales mixtos para cada escenario observado identificaron variables importantes de interacción con la intervención de las acciones del Instituto, que reflejan resultados de impacto positivos. Conclusiones: se encontró un impacto de mejoramiento de variables relacionadas con el capital social, a partir de la participación en las actividades del INDER.

Palabras clave: Modelos lineales mixtos, salud mental, evaluación de impacto.

ABSTRACT

The impact evaluation of a communitarian program sometimes is based on statistical techniques such as linear regression models analysis when the goal is usually to quantify its effects on both social and welfare characteristics of a community. This involves the study of mental health and social variables which effects could not be easily quantified due to the presence of correlation structures among the observations within a particular subject. For this reason it is advisable to use linear mixed models to this kind of study.
OBJECTIVE: To calculate the impact of the effects produced by actions of the Instituto de Deportes y Recreación de Medellín (INDER) on the participant population.
METHODOLOGY: from a sample collected by INDER back in 2007, about participants and no participants of its programs, generalized linear models were estimated to explain the behavior of both social and psychological variables. Then, by using a logistic regression model a matching procedure was performed to identify the subjects and their repeated measures that will serve as inputs to measure the impact of the intervention of the welfare activities on the community by means of a linear mixed model.
RESULTS: The linear mixed estimation process identified important interaction variables that favor the intervention welfare actions.
CONCLUSIONS: from the participation in the INDER activities, an improvement of variables related with social capital was found.

Key words: Linear mixed models, mental health, scores for impact evaluation.

Introducción

La evaluación de impacto se ha implementado como una técnica a nivel mundial en busca de alternativas que midan la efectividad de políticas o programas (1). La hipótesis considerada tiene un punto de partida fundamental: ¿cuál sería la situación si la intervención no hubiera tenido lugar? Una metodología desarrollada por el Departamento de Planeación Nacional (DNP), propuesta por el Banco Mundial (2), fundamenta el establecimiento de un modelo contrafactual respondiendo sobre cuál es la situación hipotética del bienestar en ausencia del programa. Proponen la estimación de modelos de regresión para estimar las diferencias en la (las) variable (s) respuesta de interés, a partir de la estimación de un puntaje pareado de propensión (propensity score matching) (3). Tal proceso es llevado a cabo en el programa de Familias en acción (3), política desarrollada con presupuesto del Banco Mundial y en el que se evalúa el impacto a partir de información recolectada de un grupo tratamiento (intervenido) y un grupo control (no intervenido).

Estas políticas formuladas por institutos o entidades obedecen a necesidades poblacionales (4) que conducen a la elaboración de programas de intervención encaminados al logro de metas comunitarias, desarrollo o mejoramiento de calidad o condiciones de vida. Un ejemplo de ello son las políticas públicas realizadas en materia de recreación y deporte, y para determinar sus efectos, se establecen sistemas de seguimiento y control a través de monitoreos y posteriores evaluaciones como el proceso de evaluación de impacto social que comprende los procesos de análisis, seguimiento y gestión de las consecuencias sociales voluntarias e involuntarias, tanto positivas como negativas de las intervenciones (1).

Las aproximaciones sobre la intervención de actividad física y deportiva se han dado a partir de diferentes investigaciones epistemológicas. Una de estas es el trabajo de Correa E, González C (5), en el cual plantean que la familia representa condiciones no propicias para una adecuada socialización de sus miembros por evidencia de problemas de violencia, madre-solterismo, delincuencia, entre otros aspectos, mientras que la actividad recreativa y deportiva dada por diferentes medios educativos, incide en la dinámica de las relaciones sociales. INDER Medellín facilita la actividad deportiva y recreativa a la ciudad por medio de sus acciones que desarrollan deporte por medio de torneos, educación deportiva para jóvenes, actividad física por medio de aeróbicos, ciclovías, entre otras (4) enmarcadas dentro de la política pública del Instituto.

En este trabajo se pretende realizar la evaluación del impacto de políticas formuladas en materia de acciones para recreación y deporte promovidas por el INDER, sobre la comunidad, por medio del análisis de modelos lineales mixtos con medidas repetidas para variables que cuantifican el bienestar social y comunitario, usando unos datos recolectados por el INDER, Medellín, en el año 2007. La ventaja de utilizar este tipo de modelos es que estos incorporan información de la estructura de medidas repetidas que otros modelos lineales ignoran y además, consideran la teoría del modelo contrafactual, ya que una de las medidas repetidas de la respuesta es en ausencia del programa.

El propósito de proporcionar una respuesta sobre la evaluación de impacto del INDER responde a la hipótesis acerca de qué tanta mejoría promueve en las personas la participación de sus actividades, en el logro de metas comunes, aspecto reflejado en el trabajo en equipo, e interacción social (4), y que a su vez proporciona información acerca del efecto en la construcción del Capital Social. Para tales propósitos se describen los métodos utilizados a continuación.

Metodología

Se describieron los conceptos y metodologías utilizadas para el desarrollo de este trabajo, que parten desde el pareamiento de participantes con no participantes, la definición del proceso de estimación de valores por medio de la estimación de modelos lineales generalizados, el uso de la técnica de Análisis de Componentes Principales (acp) y el modelo lineal mixto, donde la principal variable respuesta medida en esta población fue un indicador de nivel de socialización, determinado a partir del proceso descrito a continuación:

El proceso secuencial parte de realizar un pareamiento cuyo objetivo fue encontrar los pares similares es decir, el participante con el no participante más similares según su edad, género, ubicación, y otras variables de comportamiento.

Seguido a esto, se estimaron tres valores: probabilidad de realizar acciones colectivas, probabilidad de pertenecer a una asociación comunitaria y el valor medio de grupos de interacción social, con los cuales se construyó un indicador social general con la técnica acp, que fue la variable respuesta a incluir en el modelo lineal mixto.

Pareamiento

El pareamiento (también conocido como matching) es apropiado para evaluar casos donde se eligen aleatoriamente participantes bajo la intervención y personas no participantes, siendo difícil su comparación (6,7). En el proceso se estimó el modelo de regresión logística (8) con el cual se obtuvieron las probabilidades ajustadas de pareamiento (3) cuya comparación permitió discriminar los pares de personas con características más similares al nivel de variables como su edad, nivel académico terminado, zona, estrato, y de comportamiento como actitud, autoconfianza, respuesta ante determinada situación que se presenta.

El modelo logístico con la función link logit, está especificado como:

Donde es la probabilidad estimada de ser participante dadas las condiciones de la matriz de diseño X y es el vector de parámetros del modelo estimado.

Los pares de valores se obtuvieron de aquellas personas que tuvieron las probabilidades más similares, después de haber estimado la relación entre la variable respuesta participar o no de las actividades del programa y variables como la ubicación geográfica o comportamentales.

La incorporación de variables obedeció al proceso para que el pareamiento identificara las personas en el caso contrafactual, es decir, en el grupo de personas que no hacen parte de la intervención pero cuyas variables, características y comportamiento son muy similares a los del otro grupo de no participantes.

Las respuestas tuvieron dos mediciones repetidas con diferencia temporal relativa a un mismo participante para entrar al proceso de estimación de los efectos del programa y otras variables sobre el participante. La programación del pareamiento se realizó con el programa estadístico de dominio público R (9).

Modelos lineales utilizados

Para estimar el modelo lineal mixto final se encontró como variable respuesta el indicador de la acción colectiva obtenido por medio de un procedimiento que utilizó como base otros modelos lineales previos.

Tomando en cuenta la obtención de los tres valores, el proceso de estimación de éstos con modelos lineales generalizados acordes con la distribución de cada variable respuesta de manera independiente relacionándolas con variables como edad, género o variables de comportamiento como la agresividad y la variable actitud frente a la manera de defender los derechos, se realiza con el programa SAS®(10), y los indicadores son precisamente aquellos valores ajustados de cada modelo, que sirven de insumo para construir otro indicador global de interacción social que es la componente principal agrupada en una medida por participante y su par respectivo. Estos modelos se muestran a continuación.

Figura 1. Proceso del Matching y obtención de las respuestas pareadas.

Modelo logístico con agrupamiento, para respuesta de probabilidad de acción colectiva

El modelo de regresión logística con respuesta policótoma (función link logit acumulado), para calcular la proporción de gestión comunitaria se estima a partir de la siguiente ecuación con logit multinomial (8):

La probabilidad estimada representa la vinculación o pertenencia a cada categoría de respuesta multinomial considerada.

Modelo logístico de la probabilidad de pertenecer a una asociación comunitaria

Este es un modelo para estimar el valor de asociatividad el cual modela la probabilidad de que la persona pertenezca a una asociación comunitaria, según características como comportamiento y ubicación. Se utiliza la función de linkeo logit:

Donde

Modelo de regresión Poisson para número de grupos de interacción social

A partir de este modelo, se estima la respuesta media de grupos de interacción social, con los cuales la persona realiza actividades de socialización a partir de covariables inherentes al comportamiento de las personas.

El modelo lineal generalizado es el que relaciona la función link con las covariables. Donde es el valor medio a estimar de grupos de interacción social y α es el vector de parámetros estimados del modelo Poisson.

Es importante notar que las covariables se consideran igual en los tres casos: edad, nivel académico, ubicación, características de comportamiento, analizando en cada caso su significancia y aporte en cada modelo, pues es relevante su importancia para cada respuesta.

De esta manera, los tres valores que se estiman con los modelos anteriores pasan al proceso de estimación del indicador social general con la técnica acp, usando para ello el programa SAS®. El proceso se espera que identifique una componente principal que permita explicar el significado de las tres variables en el análisis incorporando así una medida sobre capital social comunitario.

Modelo lineal mixto para análisis de impacto

La especificación del modelo lineal mixto en forma de efectos es (14):

Donde:

µ: Media general
: Efecto de los factores i, j, k
: Efectos de interacciones
b_ij: efecto aleatorio
e_ijk: erro aleatorio asociado con la medida del tiempo k

Este modelo considera en la variable respuesta una estructura correlacionada, tal es el caso de las medidas repetidas, esto tiene implícito el efecto de un componente aleatorio entre los sujetos, pero además se basan en el supuesto de normalidad del error y efecto aleatorio (11). Es así como se considerará en este modelo, dos medidas para cada participante: indicador de interacción social en los individuos pareados, y la estructura de correlación de simetría compuesta que es explicada en McCulloch (12).

Descripción poblacional

La información presentada incluye el estrato socioeconómico, edad, zona, comuna, y escolaridad para participantes y no participantes. Un resumen de las estadísticas para estas variables y otras relacionadas con mediciones de comportamiento se consignan en las tablas 1 y 2.

Tabla 1. Resumen de medidas básicas para la población de participantes

Tabla 2. Resumen de medidas básicas para la población de no participantes

Participantes: Adultos usuarios de las actividades deportivas del INDER Medellín (652), grupo de no participantes (688). Estas personas fueron seleccionadas por medio de un muestreo aleatorio estratificado donde los grupos considerados fueron por zona, grupo de edad y acción del INDER Medellín; 2007.

La variable defensa de derechos representa el número de grupos sociales con los que la persona organiza y realiza esta acción.

Las variables puntajes relativas a autoconfianza son variables ordinales, con un rango entre 0 y 3, indicando el más alto con 3.

Modelos estadísticos: Modelos lineales generalizados para estimar valores de tres variables respuesta de carácter discreto y posteriormente, utilizar la técnica de componentes principales para las variables continuas estimadas tipo score.

Variables respuesta de interés: Gestión comunitaria, asociatividad e interacción social a partir de las cuales se estima la respuesta final.

Técnica de evaluación de impacto: Modelos lineales mixtos con respuesta correlacionada (13) pareada.

Resultados

A continuación se muestran los resultados de las estimaciones realizadas para obtener los tres valores mencionados, insumos del acp. Adicionalmente, se muestran los resultados de la estimación del impacto con el modelo lineal mixto final.

Modelo Logístico con agrupamiento, para respuesta de acción colectiva

A partir de la estimación del modelo de respuesta policótoma se busca determinar la probabilidad de realizar gestión comunitaria, entendida como la capacidad de la persona para interactuar con otros grupos para realizar esta actividad, con 0, 1, 2, 3, 4 ó 5 grupos sociales. De esta manera se estimaron dos modelos: uno con un grupo de no participantes y otro con participantes.

Para el grupo de no participantes, el modelo permite concluir que el estrato (vp_ch = 0.0079), la confianza personal en habilidades (vp_ch = 0.0006), la propensión por defender los derechos (vp_ch = 0.0001), inciden en la respuesta de la acción colectiva, afectando positivamente la probabilidad de realizarla. Esto permite inferir en que el aporte social de autoconfianza, de conductas constructivas individualmente incide en la realización de trabajo colectivo.

En el grupo de participantes, el modelo permite concluir que la zona donde habita la persona (vp_ch = 0.003), la propensión por defender los derechos (vp_ch = 0.0001), la actitud de reclamo (sin agresión) ante una situación de mal trato (vp_ch = 0.0001), inciden la probabilidad de hacer gestión comunitaria, incrementando positivamente la probabilidad de realizarla. De manera similar al grupo de no participantes, es posible afirmar que el aporte social individual positivo aporta en la construcción de trabajo colectivo.

Modelo Logístico de la probabilidad de pertenecer a una asociación comunitaria

En el grupo de no participantes, se observa la influencia de la propensión de defensa de derechos de forma significativa para explicar la probabilidad de pertenencia a una asociación comunitaria (valor p: vp_ch = 0.0167) y la zona (vp_ch = 0.0002). La incidencia de la disposición por la defensa de derechos indica que es más probable que pertenezca a una asociación comunitaria quienes lo realizan con más recurrencia.

En el grupo de participantes se encuentra incidencia significativa de la actitud de defender los derechos, la edad (vp_ch = 0.0001) y la zona de proveniencia de la persona (vp_ch = 0.0036). De forma similar al caso de gestión comunitaria, cuando la persona defiende los derechos, aumenta la probabilidad de pertenecer a una asociación comunitaria.

Modelo Poisson para el número de grupos de interacción social

Para los grupos de participantes, se encuentra la influencia positiva de la confianza en entablar conversaciones (vp_ch = 0.0159), la edad (vp_ch = 0.0001) y la propensión por la defensa de derechos en el incremento de la respuesta número de grupos de interacción social (vp_ch = 0.0001), al igual que para los no participantes, así mismo, incidencia positiva de la autoconfianza para los no participantes (vp_ch = 0.0059).

Estimación con el modelo lineal mixto

Se estimaron modelos lineales mixtos para evaluar efectos sobre las respuestas de cada uno de los scores con la debida estructura de medidas correlacionadas, bajo el esquema de diferencia temporal. Estos fueron previos a la estimación del modelo con el indicador social final.

Específicamente, se consideran los pares de respuesta repetida en el tiempo: una perteneciente a la del participante en un tiempo 1 y la otra del no participante pareado en un tiempo 0.

Modelo mixto para la proporción de gestión colectiva

Las combinaciones significativas muestran que la autoconfianza y la defensa de derechos (vp_t = 0.0001), mejora la proporción de gestión comunitaria, mientras el comportamiento agresivo la disminuye (vp_t = 0.04).

Modelo mixto para la probabilidad de asociatividad

Se observa incidencia significativa y positiva de la participación en las actividades del Instituto, ya que a medida que se ve mejor autoconfianza y la propensión por defender los derechos, la probabilidad de estar en asociación es más alta para quienes están en el programa (vp = 0.0001 y 0.0036).

Modelo mixto para la probabilidad de interacción social

El mismo comportamiento en las variables significativas es encontrado para este modelo mixto, mostrando que la mejora de autoconfianza (vp = 0.0001) y de defensa de derechos (vp = 0.0036) incrementan la interacción social.

Modelo mixto para el valor de la componente principal

El valor encontrado con la técnica de componentes principales, tiene la siguiente función:

PCR1 = 0,649271PGESU - 0,194774PASU + 0,735194INT

donde:
Variable PCR1: valor estimado de componente principal
PGESU : Proporción de gestión comunitaria
PASU: Probabilidad de asociación
INT : Estimación media de interacción social

Esta por su comportamiento representa las variables relativas a gestión comunitaria, e interacción social y la asociatividad con menor intensidad, por lo cual se califica como componente de interacción social y trabajo colectivo sin asociatividad. A partir de esta respuesta se construyó el modelo mixto cuya forma general es:

Para seleccionar la mejor estimación del modelo lineal mixto, fueron calculados tres tipos de modelos: CS (Simetría compuesta), AR(1) (Autorregresivo de orden 1) y el un (no estructurado), de los cuales el que tiene menor AIC es el un, con 3272.2.

El modelo mixto estimado para esta respuesta PCR1 indica un incremento del nivel de acción colectiva e interacción social a partir de la intervención del programa al combinarlo con diferentes variables.

Note que son positivos los efectos para las interacciones entre tiempo de intervención con los puntajes de autoconfianza, capacidad de entablar conversaciones, la defensa de derechos sobre la respuesta valor social (d a f y los Intervalos de Confianza indican que los parámetros ß_i son significativos al 95%), pero son negativos los efectos de la interacción con agresión y la edad sobre el estimado (g a k). Esto indica que la incidencia de la intervención de actividades recreativas y deportivas hace que mejore la disposición al trabajo colectivo e interacción social, sin embargo, la agresión muestra incidencias negativas sobre las respuestas estimadas, indicando que este comportamiento debería ser mejorado.

Los tejidos sociales se mejoran en presencia de comportamientos positivos individuales y de las actividades de los programas deportivos y recreativos, lo que sugiere el mejoramiento de la interacción para la consecución de metas colectivas, es decir, mejoramiento del capital social a partir de las actividades del programa. Esta conclusión permite simplificar las conclusiones obtenidas con los anteriores modelos mixtos estimados, siendo estos resultados similares. Al verificar los supuestos del modelo, con base en los residuales, no se encontraron serias desviaciones del supuesto de normalidad.

Discusión

A través de las técnicas estadísticas utilizadas fue posible detectar impactos positivos de actividades ofertadas en estas a través del Instituto de Deportes y Recreación de Medellín, INDER, efectos que a partir de variables cuantitativas con significado social le dan a este instituto señales de los logros sociales y bienestar que puede alcanzar a través de sus actividades.

Evidenciando estos impactos, se observó que el logro individual se refleja en el colectivo debido a los efectos positivos de la confianza, defensa de derechos y facilidad para establecer conversaciones, mostrando la mejora de aspectos sociales grupales tangenciales al capital social comunitario. Efectos cuya observación no habría sido posible al estimar modelos lineales generalizados, pues no se basan en el concepto del modelo contrafactual que responde al resultado sin intervención, sino en determinar efectos para respuestas no correlacionadas, cuyo objetivo fue la construcción de tres valores como insumos de la técnica acp para la construcción del indicador social global para los participantes pareados, incorporando la estructura de correlación en los datos que sí considera el modelo lineal mixto.

A su vez, los participantes fueron pareados con base en modelos de regresión logística, que compara la probabilidad de estar en el programa, identificando los más similares y facilitando entonces esta construcción de valores con medidas repetidas “pareadas” y por tanto, correlacionadas. Estas al ser estructuradas, permiten la estimación de modelos lineales mixtos para cada uno de los tres valores, que evalúan impactos previos al modelo final con el indicador social global, mostrando con el último, resultados y conclusiones similares, pero más concretos y de forma simple, con una sola variable respuesta y un solo modelo lineal mixto.

Tabla 3. Tamaño estimado de los efectos usando el modelo lineal mixto

Agradecimientos

Al INDER Medellín por proporcionar la información de sus bases de datos para la aplicación de esta metodología cuantitativa, así como su autorización para divulgar los resultados de este estudio y a la Facultad de Ciencias de la Universidad Nacional de Colombia, Sede Medellín.

Referencias

1 Vanclay F. Principios internacionales de la evaluación de impacto social. Serie de publicaciones oficiales No. 2. 2003.        [ Links ]

2 Programa Familias en Acción: Condiciones iniciales de los beneficiarios e impactos preliminares. Banco Mundial. Departamento Nacional de Planeación [Internet] 2004 [acceso junio 12 de 2008]. Disponible en: http://www.DNP.gov.co /archivos/documentos/DEPP_Evaluacion_Impacto_RAS/Familias_en_accion_web.pdf.        [ Links ]

3 Rosenbaum P, Rubin D. The central role of the propensity score in observational studies for causal effects. Biometrics 1983;70(1):41-56.        [ Links ]

4 Rico C. La generación de Capital Social a partir de actividades deportivas y recreativas como alternativa para promover el desarrollo integral del país. Medellín: INDER; 2006.        [ Links ]

5 Correa E. González C. Las expresiones motrices como alternativa para la reconstrucción de tejido social. Experiencia evaluativa de la intervención social en la Escuela de Iniciación y Formación deportiva Santo Domingo Savio. Revista Educación Física y Deporte 2003;22(1):143-147.        [ Links ]

6 Ravillion M. Evaluating Anti-Poverty Programs. World Bank Policy Research Working Paper 3625 [Internet] 2005 [acceso julio 20 de 2008]. Disponible en: http://econ.worldbank.org/g.        [ Links ]

7 Shapiro J. Compensatory Education for Disadvantaged Mexican Students: An Impact Evaluation Using Propensity Score Matching. World Bank Policy Research Working Paper 3334. 2004.        [ Links ]

8 Agresti A. Categorical Data Analysis. New York: Wiley Interscience; 2002.        [ Links ]

9 Programa R 2.9.0. [Internet] [acceso 15 de marzo de 2009]. Disponible en: www.cran.r-project.org.        [ Links ]

10 Littell RC, Milliken GA. sas for mixed models. 2ª ed. sas institute Inc; 2006.        [ Links ]

11 Laird NM, Ware J. Random effects models for longitudinal data. Biometrics 1982;38:963- 974.        [ Links ]

12 McCulloch CE, Searle SR. Generalized, Linear and Mixed Models. Wiley Series in Probability and Statistics 2000.p. 156.        [ Links ]

13 Laird NM, Ware JH. Random effects models for longitudinal data. Biometrics 1982;38:963-974.        [ Links ]

Recibido: 12 de septiembre de 2009.
Aprobado: 24 de marzo de 2010