Introducción

El desempeño estudiantil ha sido ampliamente investigado desde las ciencias sociales, no siendo ajena la ciencia económica. Dentro de esta, el área de la economía de la educación ha crecido significativamente en los últimos años, adquiriendo puntos de contacto con diversas áreas de las ciencias sociales. Este trabajo se enmarca en esta intersección, teniendo como objetivo identificar el impacto del programa Tutorías Entre Pares (TEP) en el desempeño de los estudiantes de grado de la Facultad de Ciencias Económicas y Administración (FCEA) de la Universidad de la República (Udelar) de Uruguay.

La FCEA es una de las facultades con mayor cantidad de estudiantes de la Udelar, contando con entre 2300 y 3500 estudiantes ingresados anuales en los últimos cinco años. Sin embargo, también presenta tasas de desvinculación elevadas, especialmente para estudiantes de primer año (^{Barro et al., 2018}). ^{Burone y Lado (2016)} muestran que la proporción de estudiantes que abandonan sus estudios en la FCEA en su primer año es cercana al 30%, llegando a ser más alta para algunas poblaciones³ . Para estos casos, los motivos de la desvinculación no son claros, pero podrían proponerse temas relacionados con la adaptación a la vida universitaria, una mala formación en educación secundaria, una desilusión con las perspectivas profesionales futuras que ofrece la carrera, entre otros motivos –ver ^{Barro et al. (2018)} para entender mejor los motivos de desvinculación–. Con base en esto, los programas de TEP podrían funcionar como apoyo a los estudiantes, paliando los problemas que se asocian con la desvinculación, en particular la adaptación a la universidad.

Este artículo busca estudiar el efecto de un programa cuyo fin no es la obtención de mejores resultados académicos, sino la adecuada inserción a la educación universitaria de los estudiantes de primer año. Además, interesa analizar resultados sobre la permanencia en el centro educativo. No obstante, también podría pensarse en posibles externalidades positivas sobre dimensiones académicas. Para esto se construye una serie de indicadores descritos en las próximas secciones del texto. Así, el objetivo del trabajo es responder a la siguiente pregunta: ¿tuvo el programa TEP efectos en dimensiones académicas y en la permanencia para los estudiantes de la FCEA que ingresaron en el año 2018?

Para responder a esta pregunta se emplea una metodología de propensity score matching (PSM) (^{Angrist y Pischke, 2008}; ^{Rosenbaum y Rubin, 1983}), emparejando a los estudiantes que participaron en el programa (tratados) y los que no (controles) por características socioeconómicas y de personalidad, y nivel en matemáticas. El emparejamiento resulta efectivo, no encontrando diferencias en las covariables luego de emparejar. Los resultados encontrados indican que el programa tuvo efectos en la deserción de los estudiantes de la cohorte, de forma que participar en el programa reduce la probabilidad de deserción entre 8% y 11%. Si bien el programa no busca tener efectos en dimensiones académicas, se observa que aquellos que participan alcanzan mejores resultados que estudiantes similares del grupo de control. Más precisamente, los que participan en las tutorías tienen una escolaridad, en promedio, 0.69 puntos más alta, entre 0.63 y 0.69 materias más aprobadas y un porcentaje de avance de 8 puntos más alto que estudiantes similares que no participan. Los resultados son robustos al método de emparejamiento, al grupo de covariables y a la muestra empleada. Estos hallazgos representan un punto de partida interesante para pensar en mejores políticas educativas en el ámbito universitario.

La estructura del documento luego de la introducción es la siguiente. En la sección I se presentan las características principales del programa. En la sección II el marco teórico que respalda el argumento de que este tipo de programas puede tener distintos resultados sobre los estudiantes. La sección III recoge algunos antecedentes empíricos que estudian programas similares y sus principales resultados. La sección IV describe las fuentes de datos a utilizar, las variables y la estrategia empírica a emplear. El documento finaliza con los resultados en la sección V y las principales conclusiones y comentarios en la sección VI.

I. Programa Tutorías Entre Pares

El programa TEP tiene como objetivo contribuir a la mejora en la inserción de los estudiantes recién ingresados. Es llevado adelante por los docentes de la Unidad de Apoyo a la Enseñanza (UAE) de la FCEA y está en funcionamiento desde el 2011. Los estudiantes que participan del programa (tutorados) reciben el acompañamiento durante su primer año en la facultad por parte de estudiantes avanzados (tutores). Durante ese período se realiza una serie de actividades, buscando contribuir a la integración social de los ingresados, así como a la mejor comprensión del funcionamiento de la educación universitaria y los desafíos que se les presentarán en el futuro.

El programa tiene una duración de un año lectivo, de febrero a diciembre, y es totalmente voluntario para los tutorados, mientras que para los tutores es un trabajo remunerado. Dada la poca cantidad de tutores en relación con la de tutorados, la asignación suele hacerse mediante grupos. Es decir, a un grupo de tutorados se le asigna una pareja –en algunos casos un trío– de tutores que trabajarán con ellos durante el año de referencia. Los tamaños de estos grupos difieren a lo largo de los años, dependiendo de la cantidad de tutores y tutorados que participen.

El único requisito para ser tutorado es ser estudiante de la generación de ingreso de la FCEA en el año de referencia, por lo que cada estudiante puede participar del programa solo en el año de su ingreso a la facultad. No existe control de asistencia o participación y los estudiantes pueden dejar de participar en cualquier momento del año. Los tutores son estudiantes con cierto grado de avance en cualquiera de las carreras y están registrados como docentes con una carga semanal de tres horas por cada grupo de tutorados⁴ . Para acceder a este cargo deben presentarse a un concurso de méritos, siendo evaluados por un comité de la UAE. El único requisito para postularse como tutor es tener una cantidad mínima de treinta créditos aprobados⁵ .

Para cumplir con los objetivos planteados se ejecuta una serie de actividades durante el año. Estas incluyen jornadas de integración, talleres de consejos para los exámenes y pruebas parciales, taller de elección de carrera (donde se les presentan las características generales de cada carrera y sus posibilidades luego de finalizada dicha carrera) y encuentros con egresados donde estos exponen sus experiencias personales y laborales.

El programa no tiene como propósito el progreso académico de los estudiantes, sino su desarrollo en aspectos de integración, de forma que los tutores no cumplen tareas de docencia ni apoyo académico. Sus labores consisten en el acompañamiento del desarrollo social del tutorado, respondiendo a interrogantes que estos puedan tener y dándoles las herramientas para que logren resolver sus problemas. Sin embargo, podría pensarse en la posibilidad de un efecto indirecto en el desempeño académico, dado que es esperable que la mejor calidad en aspectos sociales pueda influir en el rendimiento académico.

II. Marco teórico

El concepto de tutoría (o mentoría) tiene diferentes acepciones según la ciencia que lo emplee y el ambiente donde se realice la tutoría, esto hace que no haya una definición unánimemente aceptada (^{Zimmerman y Paul, 2007}). Estas inconsistencias entre las distintas definiciones incluyen el rol del tutor y las actividades realizadas, su relación con el tutorado, la duración, los motivos que llevan a ambos a participar, entre otros factores. ^{Crisp y Cruz (2009)} en una exhaustiva revisión de la literatura notan que hay diferencias en lo que refiere a la esencia de las tutorías, donde una serie de autores las detallan como un conjunto de actividades ejecutadas por el tutor (^{Bowman et al., 1990}; ^{Brown et al., 1999}; ^{Freeman, 1999}; ^{Watson, 1999}), mientras que otros aluden a un proceso continuo más que a actividades independientes (^{Blackwell, 1989}). Por otro lado, hay distintas acepciones sobre quiénes son los tutores, que pueden ir desde estudiantes de grado o posgrado en etapas de formación similar o más avanzadas que el tutorado, o profesores, amigos, familiares o líderes religiosos (^{Kram e Isabella, 1985}).

En uno de los trabajos pioneros en la materia, ^{Jacobi (1991)} efectúa una revisión de las distintas definiciones de tutorías, separándolas en tres áreas: educación superior, comportamiento organizacional o management y psicología. Para este estudio se considerarán aquellas definiciones incluidas en la primera de las áreas mencionadas. Estas se exponen en el cuadro 1.

^{Nora y Crisp (2007)} elaboran un marco conceptual para expresar el proceso experimentado por los estudiantes en las tutorías. Este se compone de cuatro formas interrelacionadas de apoyo que conforman un sistema de apoyo holístico: (i) apoyo psicológico y emocional, (ii) apoyo en la carrera, (iii) apoyo académico y (iv) consolidación de la imagen de un modelo a seguir.

Más allá de las distintas visiones acerca del proceso de tutorías, la revisión de J^{acobi (1991)} identifica tres elementos sobre los cuales hay un consenso entre los distintos académicos (^{Crisp y Cruz, 2009}). Primero, las tutorías se centran en el desarrollo de un individuo en particular según diversas formas de ayuda (^{Chao et al., 1992}; ^{Cullen y Luna, 1993}; ^{Ehrich et al., 2004}; ^{Haring, 1999}; ^{Johnson y Nelson, 1999}). Segundo, el proceso de tutorías se compone de varias formas de apoyo por parte de los tutores, enfocadas en el desarrollo académico y profesional, en brindar un ejemplo a seguir y en servir de apoyo psicológico (^{Brown et al., 1999}; ^{Campbell y Campbell, 1997}; ^{Chao et al., 1992}). Tercero, es de amplio consenso que el proceso de tutoría es personal y recíproco (^{Healy y Welchert, 1990}; ^{Hunt y Michael, 1983}; ^{Johnson, 1996}; ^{Johnson y Nelson, 1999}; ^{Kram e Isabella, 1985}).

Cuadro 1. Definiciones de tutoría en educación superior 

Fuente: adaptado de Jacobi (1991).

Es unánime la idea de que tanto tutores como tutorados obtienen beneficios de la relación que comparten. ^{Santivago et al. (2018)} afirman que el aprendizaje del tutorado es fácilmente identificable, de manera que aprende gracias a la ayuda del tutor. Por otro lado, el aprendizaje del tutor requiere otro argumento y se basa en la posibilidad de aprender enseñando. El hecho de preparar la información a ser transmitida y ajustarla previamente a los intereses y necesidades de quienes la vayan a recibir contribuye al aprendizaje.

Más allá de lo que describen los autores, vale la pena decir que, al igual que en la relación estudiante-profesor, en una relación de pares como la de tutortutorado el segundo también podría tener cosas que enseñarle al primero. Así, el aprendizaje de ida y vuelta es uno de los elementos clave de las tutorías.

Vale la pena notar que ninguna de las definiciones mencionadas refiere a aspectos académicos o de aprendizaje curricular de los tutorados. Allí, las tutorías apuntan a aspectos de tipo social y psicológico, por lo que no habría un canal directo por el que se esperara que los estudiantes obtengan mejores resultados educativos. Sin embargo, podría pensarse que estos procesos sientan las bases para que los estudiantes tutorados puedan desempeñarse de mejor manera en sus estudios. Así, más allá de que este tipo de programas no afecte de forma directa el desarrollo académico de los estudiantes, sí lo hace de manera indirecta. En este sentido, ^{Mangold et al. (2002)} señalan que está respaldado el hecho de que a medida que la integración social de los estudiantes aumenta, su tendencia a permanecer en el centro educativo también (^{Pascarella y Terenzini, 1983}; ^{Tinto, 1997}).

III. Antecedentes empíricos

En términos generales es posible afirmar que las tutorías tienen un impacto positivo en el desempeño de los estudiantes, sus habilidades de pensamiento, autoconfianza, expectativas y aspiraciones futuras, promedio de calificaciones y persistencia en el centro educativo (^{Crisp, 2010}). Empero, la ausencia de una definición de tutoría hace que estos resultados deban ser analizados con cierta cautela.

En un análisis para community colleges estadounidenses ^{Crisp (2010)} encuentra que las tutorías presentan un efecto indirecto en la permanencia de los estudiantes en dichos centros de estudio. Esto se debe a que este tipo de procesos tiene un efecto positivo sobre una serie de dimensiones como la integración académica y el compromiso institucional que, a su vez, tienen efectos sobre la permanencia. Por otro lado, la exposición a este tipo de programas difiere según género. Si bien hay más hombres que participan, las mujeres parecen percibir un mayor nivel de apoyo psicológico y emocional. Adicionalmente, las mujeres parecen integrarse mejor académica y socialmente.

En un análisis para la Universidad de Arkansas, ^{Mangold et al. (2002)} examinan los efectos de un programa de apoyo y seguimiento para estudiantes de ingreso del área social y artística. Mediante el uso de un panel de dos cohortes distintas, observan que el programa propuesto tiene efectos en la permanencia y en la tasa de graduación. La probabilidad de que un estudiante que no participe en el programa abandone sus estudios es más de dos veces mayor que para el caso de estudiantes participantes. Adicionalmente, otros factores como calificaciones de educación secundaria y la presencia de otros estudiantes del mismo centro educativo secundario afectan la probabilidad de desvinculación. Sin embargo, los autores advierten de un problema de autoselección, dado que se observa que aquellas personas que participan del programa tienen, en promedio, menores calificaciones y menor cantidad de excompañeros de secundaria en educación terciaria que los que no participan.

^{Rodger y Tremblay (2003)} encuentran efectos en el desempeño académico para un programa de tutorías desarrollado en la Universidad de Western Ontario, no obstante, no logran identificar un efecto de retención. Estudiantes que participan activamente en el programa obtienen mejores notas en comparación con un grupo aleatorio de estudiantes que no se inscribieron a dicho programa. Junto con esto, los autores muestran que el programa empleado es aún más efectivo para mejorar el desempeño de estudiantes con problemas de ansiedad. En lo que refiere a permanencia, no perciben diferencias significativas entre los que se inscriben. Los autores especulan con que esto puede deberse a que no se está midiendo la intensidad del proceso, de forma que, dentro de los tratados, hay estudiantes que se involucran mucho, mientras otros lo hacen con una intensidad mucho menor.

En un programa que involucra a profesionales universitarios de la Universidad de Windsor como tutores⁶ , ^{Salinitri (2005)} evidencia que dicho programa genera efectos positivos en calificaciones y menores reprobaciones. A diferencia de los estudios mencionados anteriormente, en este caso se trabaja con una población bastante reducida de 128 individuos, de los cuales 56 eran tutorados y el resto formaban parte de los grupos de control. Los participantes tratados se restringen según nivel académico, donde solo se consideran aquellos con calificaciones inferiores al 70%. Analizando las calificaciones, tanto luego del primer semestre como al final del año, los participantes obtienen mejores calificaciones que los estudiantes de control. Por otra parte, la tasa de reprobación de cursos es menor para estudiantes tutorados en ambos años, siendo este según los autores, el efecto más dramático encontrado.

Otro tipo de programas empleados implican un pago en forma de estipendio a los estudiantes para que se mantengan en las tutorías, al igual que el aquí analizado. ^{Hu y Ma (2010)} examinan el impacto de un programa de estas características realizado en una serie de universidades del estado de Washington (Estados Unidos). Los autores estudian cómo es el proceso de asignación de tutores, qué factores determinan la presencia de los tutorados en el programa y cómo este afecta la persistencia en el centro educativo. Según sus hallazgos, los estudiantes pertenecientes a algunas minorías son más propensos a buscar apoyo en los tutores que los estudiantes de raza blanca, lo que se repite para estudiantes cuyos padres tienen al menos bachillerato completo en comparación con estudiantes con padres sin bachillerato completo. Por otra parte, la asignación de un tutor está positivamente correlacionada con la probabilidad de permanecer en la universidad. Además, no hallan evidencia significativa de que la cantidad de asistencias a encuentros con tutores esté correlacionada con la probabilidad de persistencia. Este último factor estaría indicando que la intensidad de la tutoría no tendría efectos, al menos para este caso, sobre el abandono estudiantil. Esto difiere de lo encontrado por ^{Rodger y Tremblay (2003)}.

En función de la literatura revisada y sus resultados se propone la siguiente hipótesis para responder a la pregunta de investigación planteada:

El programa TEP tuvo efectos positivos tanto en la permanencia de los estudiantes en el centro educativo como en los resultados académicos de estos en el año 2018.

IV. Metodología y datos

A. Datos

Los datos empleados corresponden a cuatro fuentes distintas para la cohorte de estudiantes que ingresó en el año 2018. En primer lugar, se usan los datos del formulario de ingreso y bedelías, de donde se obtiene información de los estudiantes respecto a: año de nacimiento, institución y departamento en el cual finalizaron la educación secundaria, sexo y nivel educativo de sus padres. Luego, se utilizan datos de actividades de los estudiantes, los cuales contienen información acerca de todas las actividades realizadas (materias cursadas y pruebas rendidas) entre mayo del 2018 y marzo del 2019. Con base en estos datos se generan indicadores de resultados académicos que se detallan más adelante.

Por otro lado, se aprovechan los resultados de las pruebas diagnósticas que toman los estudiantes al comienzo del año académico. Esta prueba busca identificar los conocimientos previos en matemáticas y comprensión lectora con los que ingresan los estudiantes a la FCEA. A su vez, los estudiantes responden un test de personalidad Big Five, que proporciona información valiosa que las dimensiones académicas pueden no capturar⁷ . Finalmente, los registros de la UAE del programa TEP permiten identificar a los estudiantes que participaron en dicho programa. De esta forma, se cuenta con una base de datos que recoge a todos los estudiantes de la generación 2018 caracterizados demográficamente, su preparación académica previa al ingreso a facultad, su resultado en el test de personalidad, registro de actividades académicas rendidas durante el año académico y su identificación como partícipes del programa TEP del año respectivo.

El cuadro 2 muestra las distintas variables dependientes a emplear y su respectiva fuente. Los indicadores académicos con los que se busca una medida de las dimensiones sobre las cuales podría tener efectos el programa se hacen con base en los registros de actividades de bedelías, correspondientes a actividades realizadas entre mayo del 2018 y marzo del 2019. Estos son tres: (i) grado de avance en la carrera, (ii) cantidad de materias aprobadas y (iii) escolaridad. El primero tiene relación con el nivel de avance del estudiante y puede ser pensado como una aproximación al grado de éxito que obtiene en sus estudios, aunque no toma en consideración las calificaciones.

Por otro lado, la cantidad de materias aprobadas, además de mostrar un efecto de persistencia en facultad muestra es otra medida del grado de éxito que han tenido los estudiantes. El último indicador, la escolaridad, puede ser considerado una aproximación a las habilidades adquiridas en el período. Si bien la cantidad de materias aprobadas es importante, también puede serlo el promedio de notas obtenido con esas materias. Algunos estudiantes pueden preferir rendir y aprobar pocas materias, pero manteniendo una alta escolaridad, mientras que otros pueden resignar su escolaridad por el hecho de aprobar más materias y hacer más corta la duración de su carrera.

Además de estos tres indicadores se propone observar efectos sobre el abandono o la desvinculación estudiantil. Un motivo usual para abandonar una carrera puede ser la falta de adaptación o el hecho de no sentirse cómodo en el centro educativo, hecho que observan ^{Barro et al. (2018)}. Dado que el programa TEP busca actuar sobre esto, ayudando a mejorar la adaptación de los estudiantes que ingresan, uno podría esperar que este programa pueda tener efectos en el abandono, más precisamente, reduciendo la probabilidad de desertar.

En este caso se considera como abandonante a un estudiante que no registre actividad en facultad por un cierto período de tiempo. Dado que el registro de actividades del 2018 con el que se cuenta va de principios del año (mayo del 2018) a fines del año académico (marzo del 2019), pasando por cinco períodos de actividades⁸ , se generan dos variables de abandono: (i) ABANDONO1 que clasifica como abandonante si no registró actividad en todo el año académico y (ii) ABANDONO2 que clasifica como abandonante si no registra actividad luego de julio. La primera variable busca captar a aquellos estudiantes que comienzan a cursar materias a principios del año, pero luego no rinden ninguna actividad en todo el año. Es necesario notar que puede suceder que haya estudiantes que se inscriban a carreras en la FCEA y al mismo tiempo lo hagan en otros servicios de la Udelar o en otras universidades, llegando a no cursar ninguna materia en la FCEA porque optaron por otra de sus opciones⁹ . Si bien para este caso se consideraría a estos estudiantes como desvinculados, en realidad no lo son porque probablemente nunca tuvieron la intención de cursar una carrera en la FCEA y se inscribieron por otro motivo¹⁰. ABANDONO2 busca evitar el problema de la primera, considerando abandonantes a los que no registran actividades luego de julio. Así, los desvinculados son los que cursaron un primer semestre y tuvieron actividad –i. e. rindieron alguna prueba–, para luego desaparecer del registro de actividades, al menos hasta marzo del 2019. Hay que hacer la salvedad de que estos pueden haber vuelto a tener actividad desde julio del 2019 en adelante, pero esto no se observa aquí.

La variable que marca la inscripción al programa, indicando el carácter de tratado o no tratado, es tutoría. Es necesario mencionar que no se cuenta con una medida de intensidad de exposición al programa. Como se dijo anteriormente, las TEP funcionan con un sistema de reuniones y acompañamiento durante todo el año, de forma que los efectos podrían ser distintos sobre aquellos estudiantes que se inscriben y participan en todas las actividades, en comparación con los que se inscriben pero nunca participan. Aquí es necesario hacer el supuesto de que el grado de exposición es homogéneo entre los estudiantes que se inscriben.

Cuadro 2. Variablesa Para terminar la carrera en cuatro años se sugiere aprobar nueve materias por año. b No se consideran materias revalidadas de años anteriores. c Para las actividades rendidas se consideran pruebas parciales aprobadas y exámenes aprobados y reprobados. Esto implica que cursar una materia y no conseguir la exoneración no cuenta como una actividad rendida a la hora de calcular la escolaridad. 

Fuente: elaboración propia.

Dado que la evaluación diagnóstica (ED) que toman los estudiantes al inicio del año lectivo brinda información acerca de conocimientos previos y personalidad, resulta interesante considerarla en el análisis. Sin embargo, se genera el problema de que no todos participan en dicha prueba, ya que no es obligatoria. Por lo tanto, se trabajará aquí con dos universos de estudiantes: el de aquellos que participan en la ED y el global de todos los estudiantes de la generación. Esta división es clave por dos motivos. Primero, para el caso de estudiantes que participaron en la ED se cuenta con variables relacionadas con su personalidad y una proxy de sus conocimientos previos en matemáticas (una de las áreas que suele representar mayor dificultad a los estudiantes, teniendo las tasas de reprobación más altas). Segundo, podría pensarse que estos estudiantes cuentan con mayor información, de forma que, si obtuvieron información acerca de la ED probablemente también recibieron información sobre las tutorías. En total se cuenta con información de 2433 estudiantes para la generación de ingreso del año 2018 para todas las carreras de la FCEA, pasando a 1852 cuando se consideran solo los que participaron en la ED. Como se muestra en la sección siguiente, los resultados en ambas muestras son similares.

B. Estrategia empírica

El objetivo de este trabajo es analizar el impacto del programa TEP en los estudiantes participantes. La forma ideal para evaluar el impacto en este caso sería comparar los resultados que realmente obtienen estos con un contrafactual que indique los que hubieran obtenido si no participaran en el programa. No obstante, ese análisis es imposible, pues no se cuenta con tal contrafactual. Adicionalmente, dado que la participación en el programa no es aleatoria, comparar resultados entre tratados (participantes del programa) y no tratados no permite identificar el efecto del programa.

Llamemos Y_ia una variable de resultado para el estudiante i, de forma que Y_1i es el resultado que hubiera obtenido el estudiante i si participara en tutorías y Y_0i el resultado si no hubiera participado. La variable indicadora di marca la participación en el programa, i. e. d_i = 1 si el estudiante participa y d_i = 0 en caso contrario. El efecto promedio sobre los tratados (ATT, por su sigla en inglés) es E [Y_1i−Y_0i |d_i = 1]. La comparación de los resultados entre tratados y no tratados resulta en (^{Angrist y Pischke, 2008}) la ecuación (1).

(1)

Donde la comparación entre tratados y no tratados resulta en dos términos: el ATT, en este caso el efecto de las TEP en los estudiantes que participaron en el programa, y un segundo elemento de sesgo. En este caso el término es la diferencia entre los resultados esperados de los estudiantes que no participaron de las TEP si hubieran participado (E [Y_0i|d_i=1]) y los resultados de los que no participaron cuando efectivamente no participaron (E [Y_0i |d_i=0]) . Dado que el tratamiento no es aleatorio es esperable que este sesgo no sea nulo¹¹. Esto implica que los resultados de los no tratados no son necesariamente representativos de los resultados que hubieran tenido los tratados en caso de haber participado en el programa.

Analizar directamente las diferencias de resultados entre la población tratada y la no tratada solo es posible en el caso de un tratamiento aleatorio. Sin embargo, para este caso donde los estudiantes se inscriben a tutorías por decisión propia el tratamiento no es aleatorio, por lo que el análisis no resulta tan simple como una comparación entre grupos. Para estudiar el impacto del programa se opta por emplear una metodología de PSM (^{Rosenbaum y Rubin, 1983}) para identificar el efecto causal del programa mencionado.

Siguiendo el teorema de propensity score (^{Angrist y Pischke, 2008}; ^{Rosenbaum y Rubin, 1983}), esta metodología conlleva suponer que la probabilidad de tratamiento depende apenas de características observables de los individuos, de forma que al controlar por estas se pueden comparar individuos cuya probabilidad de ser tratados sea similar. ^{Rosenbaum y Rubin (1983)} definen al propensity scorep(X_i) como la probabilidad de tratamiento condicional a un vector de covariables X. A diferencia de las técnicas de matching, al utilizar PSM se reduce la dimensionalidad de la comparación a apenas una dimensión, esto es, al propensity score.

Condicional en el propensity score, la distribución de covariables debe ser balanceada, i. e. similar entre tratados y no tratados, independiente del tratamiento. Así, si la probabilidad de recibir tratamiento depende de los observables considerados, resulta válido comparar individuos cuya probabilidad de tratamiento sea similar.

Teorema 1: teorema propensity score:

Bajo el supuesto de independencia condicional para la variable de resultados Y_ij, con j = 0.1 se cumple que Y_ijII D_ij |p (X_i)

El proceso de análisis puede dividirse en dos etapas. Primero se estima el propensity score p (X_i) ≡ E(D_i|X_i) en función de las covariables elegidas X_i , mediante un modelo de estimación paramétrico (probit, logit o modelo de probabilidad lineal). Luego, en una segunda etapa se comparan individuos sobre el soporte común –i. e. valores del score para los cuales coinciden los tratados y los no tratados– en función de un criterio de comparación.

Así, con el teorema 1, PSM permite estimar el ATT (^{Imbens, 2004}) como se muestra en la ecuación (2).

(2)

Para obtener el ATT es necesario realizar el emparejamiento entre tratados y control. En este caso se hace emparejamiento por vecino más cercano (esto es, a un individuo que recibió tratamiento se lo compara con el individuo más cercano de los que pertenecen al grupo de control) y por kernel normal (comparar a un individuo tratado con un promedio ponderado de los individuos de control cercanos, ponderando por la distancia al tratado siguiendo una distribución normal). Dado que existen discrepancias acerca de cuál es la mejor forma de computar los errores estándar para estimar el ATT mediante métodos de matching, se presentan los efectos con errores estándar robustos siguiendo a ^{Abadie e Imbens (2006)} y por bootstrap¹².

El problema principal de esta metodología es el supuesto de que la probabilidad de ser tratado depende apenas de las características observadas incluidas en el vector de covariables. Si la probabilidad de tratamiento depende de variables no observadas, las estimaciones no son consistentes (^{Angrist y Pischke, 2008}). Aquí se controla tanto por variables demográficas como por background académico y características de personalidad de los estudiantes que ingresan, con motivo de estimar la probabilidad de recibir tratamiento de la mejor manera posible.

V. Resultados

En esta sección se exponen los resultados obtenidos a través de la metodología presentada para el caso de estudiantes que participaron en la ED; los resultados correspondientes al universo del total de estudiantes se revelan en el Apéndice. Primero se muestra el soporte común y se analizan las diferencias entre tratados y no tratados. Los resultados de la primera etapa del propensity score, donde se estima la probabilidad de ser tratado en función de las variables de control, se entregan en el Apéndice. Finalmente se presentan los efectos estimados del tratamiento a través de los distintos métodos de emparejamiento.

El cuadro 3 muestra las medias de las variables explicativas antes y después del emparejamiento. Para el caso de antes del matching se comparan las medias entre tratados y no tratados, mientras que para el caso de luego del matching se comparan tratados y no tratados emparejados en el soporte común. Se puede ver que previo al emparejamiento muchas de las variables evidenciaban diferencias significativas entre tratados y control, mientras que luego del emparejamiento estas diferencias desaparecen. Esto marca el balance en el soporte común del propensity score.

En la figura 1 se ilustra la distribución del propensity score para tratados y no tratados, en toda la muestra y en el soporte común. Se puede apreciar que luego del matching se mantiene un rango de probabilidades bastante amplio, casi idéntico al observado para toda la muestra, lo que permite que las conclusiones obtenidas sean relativamente generalizables. Como se puede observar en el cuadro 3, luego del emparejamiento se pierden apenas 40 individuos no tratados y 19 tratados, permitiendo mantener el rango de probabilidades mencionado en prácticamente toda la muestra.

El cuadro 4 muestra medidas de balance adicionales. En la segunda columna se detalla el Pseudo R2 de la estimación del propensity score mediante un modelo probit sobre las variables presentadas en el cuadro 3, antes y después del matching. La tercera columna corresponde al p-valor del test de verosimilitud de significación conjunta de todas las variables del propensity score, donde la hipótesis a contrastar es la no significación de dichas variables. Se puede advertir que se rechaza la hipótesis de no significación para el caso posterior al matching, siendo estas variables significativas conjuntamente para explicar la probabilidad del tratamiento después del matching, pero no antes. Sin embargo, el poder explicativo es bastante bajo. Por otro lado, luego del emparejamiento tanto la media como la mediana del sesgo generado en la estimación del propensity se reducen significativamente.

Cuadro 3. Balance de covariables antes y después del matching (ED = 1) 

^Nota.* p < 0.01, ** p < 0.05, * p < 0.1.

Fuente: elaboración propia.

Fuente: elaboración propia.

Figura 1. Distribución del propensity score en tratados y no tratados, antes y después del matching 

Para identificar el ATT del programa se plantean dos métodos de emparejamiento: vecino más cercano y kernel (normal). Para robustez adicional, en el Apéndice A.4 se presentan resultados de estimación por mínimos cuadrados ordinarios (MCO).

Cuadro 4. Medidas de balance antes y después del matching 

Fuente: elaboración propia.

En el cuadro 5 se muestran los ATT de haber participado en el programa sobre las distintas variables dependientes. Se puede ver que los resultados son muy similares para ambos métodos de emparejamiento, aunque con mayor magnitud para el emparejamiento por kernel. Por otro lado, no hay diferencias significativas entre las estimaciones con errores robustos y bootstrap, mostrando robustez en los resultados. Los efectos resultan significativos en cuatro de las cinco medidas propuestas y siempre a un nivel de significación del 1%.

La única variable sobre la que la participación en el programa no tiene efectos es ABANDONO1, abandono temprano, reflejando a aquellos estudiantes que nunca participaron en ninguna actividad académica. Esto puede deberse a que estos no se inscribieron a la FCEA con el objetivo de cursar una carrera, sino con otros fines, como el de tener algún beneficio por ser estudiante universitario o tener un respaldo para otra opción preferida. De esta manera, las tutorías no tendrían efecto porque la decisión de estos estudiantes de no cursar actividades ya estaba tomada incluso antes de inscribirse. Por otro lado, solo un 1% de los estudiantes entra en esta categoría, lo cual podría ser muy poco para identificar un efecto.

Para ABANDONO2 los efectos son siempre negativos y significativos, marcando que aquellos estudiantes que participaron en tutorías son menos propensos a abandonar los estudios que aquellos que no participaron. De esta forma, las tutorías reducen la probabilidad de abandonar los estudios para estos estudiantes en entre 8.4 y 10.9 puntos porcentuales.

Los efectos del programa sobre la cantidad de materias aprobadas son siempre positivos y significativos, de entre 0.63 y 0.69 materias. De forma similar, el efecto sobre el porcentaje de avance de los estudiantes es de 8 puntos porcentuales. Ambos resultados muestran que el programa tiene incidencia sobre el avance de los estudiantes que participan en el programa, aprobando más materias que si no hubieran participado. Finalmente, también es posible apreciar que las tutorías tienen un efecto positivo y significativo sobre la escolaridad, cercano a los 0.68 puntos. De esta manera, los estudiantes no solo aprueban una mayor cantidad de materias, sino que también obtienen, en promedio, mejores calificaciones al participar en el programa.

Se puede ver que la participación en tutorías tiene efectos positivos en todas las dimensiones analizadas, de forma que reduce la probabilidad de abandonar y aumenta el grado de avance y las calificaciones obtenidas para estudiantes que participaron en las TEP en comparación con estudiantes similares que no participaron. Como ya se mencionó, de estas dimensiones consideradas apenas la deserción es un objetivo de las TEP. Los efectos sobre las variables académicas pueden ser considerados efectos indirectos o externalidades positivas, de modo que, al mejorar su inserción a la vida universitaria los estudiantes logran una mejora en resultados académicos.

Estos resultados son respaldados por las estimaciones por MCO presentados en el Apéndice. Por otra parte, los análisis para el universo total de estudiantes (por propensity score y MCO) arrojan resultados similares, hallando efectos negativos sobre abandono y positivos sobre las demás medidas a un nivel de significación del 1%. Sin embargo, al trabajar con el total de la población de estudiantes ingresados en el 2018 se encuentran efectos negativos y significativos sobre ABANDONO1 en la gran mayoría de los métodos analizados, aunque sigue representando una cantidad muy menor de individuos (2.7%). Empero, este último efecto resulta bastante bajo, de cerca de 1.9 puntos.

Cuadro 5. Efectos del programa Tutorías Entre Pares por métodos de emparejamiento (estudiantes que participaron en la evaluación diagnóstica; errores estándares robustos entre paréntesis) 

^Nota.a Para la escolaridad se pierden las observaciones correspondientes a los estudiantes que no tuvieron actividad, ya que no registran resultados en pruebas. * p < 0.01, ** p < 0.05, * p < 0.1.

Fuente: elaboración propia.

VI. Conclusiones y comentarios finales

Los resultados marcan que existen efectos significativos del programa TEP, tanto para el abandono como para distintas dimensiones vinculadas con el desarrollo académico. Esto implica que los estudiantes tutorados obtienen mejores resultados que los que obtendrían en caso de no haber entrado al programa. Esto puede servir como base de futuras políticas educativas, de forma que extender el programa podría beneficiar a más estudiantes en estos aspectos.

Ahora bien, es imperioso subrayar las limitaciones de este estudio. Primeramente, hay limitada información de base acerca de los estudiantes. No se cuenta con datos acerca de las calificaciones de educación secundaria, lo que podría ser pensado como un posible predictor de sus resultados académicos en la universidad. También sería de interés contar con calificaciones previas en otras carreras universitarias para aquellos que tienen estudios universitarios previos, y una identificación acerca de si al momento de inscribirse en la FCEA aún siguen cursando esas otras carreras. También sería ideal contar con una variable de dimensión socioeconómica del estudiante y su hogar.

En este caso la participación en el programa se mide de forma binaria, catalogando como participantes a aquellos estudiantes que se inscribieron. No obstante, no hay registros de la intensidad de participación, tomando a todos los estudiantes como homogéneamente expuestos al programa cuando puede en realidad no ser así. Puede haber estudiantes defiers, esto es, que se inscriban a principios de año, pero luego no sigan con una participación activa, en realidad no siendo tratados. También puede pasar lo opuesto, con estudiantes que no se inscriben, pero de todas formas participan en el programa.

Por último, la metodología aquí empleada no está libre críticas. La estrategia de identificación se soporta en el supuesto de que, controlando por características observables de los estudiantes es posible obtener una medida precisa y consistente de la probabilidad de tratamiento, permitiendo identificar el efecto causal del programa. Sin embargo, pueden existir inobservables que actúen sobre la decisión de los estudiantes de registrarse en las TEP como elementos relacionados con la habilidad de estos, su exposición a la información, la educación que reciben en su hogar, experiencia pasada de familiares en la FCEA, entre otros.

Para identificar de manera más adecuada los factores que operan detrás de los efectos observados es necesario un seguimiento más preciso del programa, para trabajar sobre todo en dos puntos. Primero, sería interesante analizar de cerca el vínculo entre las partes, identificando precisamente la asignación, lo que permitiría controlar por efectos de tutores en futuros análisis. Segundo, la intensidad del tratamiento es clave, de forma que sería trascendental tener una medida de cuán activos son tutorados y tutores para lograr identificar mejor el efecto causal.

Por otro lado, para cambios en estas políticas es necesario tener una medida de resultados percibidos por los estudiantes. En este sentido, es valioso saber si los tutorados están satisfechos con su pasaje por el programa y en qué dimensiones creen que pueden haberse visto beneficiados. Si bien los números de deserción y resultados académicos reflejan una parte importante de los resultados, las dimensiones relacionadas con la satisfacción de los estudiantes con su desempeño y cómo se sienten estos en la facultad no son capturadas con estos registros. Avanzar en este sentido mediante encuestas de percepción puede ser un camino interesante a seguir.

Si bien los resultados encontrados son alentadores y muestran externalidades positivas del programa, destinar más recursos para esto y trabajar más a fondo con los estudiantes podría mejorar aún más los resultados. Trabajar hacia ese sentido con una recolección de datos más eficiente y sistematizada es un gran punto de partida, para facilitar futuros análisis que permitan sobrellevar muchas de las dificultades planteadas en este artículo.