Clasificación JEL: I20, I21, C26, C36.

JEL classification: I20, I21, C26, C36.

Keywords: impact evaluation, teachers professionalization, quality of education, instrumental variables.

O presente artigo tem por objetivo estudar o impacto da graduação de profissionalização dos docentes sobre os resultados na qualidade da educação escolar, medida por meio do desempenho acadêmico dos estudantes no Prueba Saber -Teste de conhecimento- 11. Para isto, são empregados modelos de variáveis instrumentais (VI) que permitem enfrentar os possíveis problemas de endogeneidade. Os resultados mostram que a graduaçã de profissionalização docente tem um efeito positivo sobre o desempenho dos alunos, e que o impacto tende a ser maior na área de matemática do que na de linguagem. Além disso, encontra-se que o gasto público em educação incide positivamente sobre a profissionalização dos docentes, enquanto que a adoção do Estatuto de Profissionalização Docente de 2002 tem um efeito negativo.

Classificação JEL: I20, I21, C26, C36.

Palavras-chave: avaliação de impacto, profissionalização docente, qualidade da educação, variáveis instrumentais.

II. PROFESIONALIZACIÓN DOCENTE Y DESEMPEÑO ESTUDIANTIL

En el ámbito internacional, la literatura empírica ha encontrado una asociación positiva entre la calidad de los profesores y los resultados en el desempeño de los estudiantes. Por ejemplo, Sanders y Rivers (1996) mostraron que si se asignaran dos estudiantes a dos profesores, uno con alta y el otro con baja calidad, sus resultados en su desempeño variarían en más de 50 puntos porcentuales dentro de los tres años siguientes. También encontraron que los aumentos en la efectividad de los docentes afectaban principalmente los educandos que tienen bajo rendimiento. Darling-Hammond (2000), por su parte, encuentra que la calificación y certificación de los profesores son los factores más importantes en la explicación de los resultados en matemáticas y lenguaje.

En la misma línea Nye, Konstantopoulos y Hedges (2004), plantean la existencia de problemas ocasionados por la endogeneidad en la selección del colegio por parte de los padres, pues las familias de mejores recursos tienden a seleccionar el colegio basado, por ejemplo, en la calidad de los profesores. Asimismo, dentro del colegio los alumnos son asignados a algunos profesores de acuerdo con algunas características, como su rendimiento, lo cual puede llevar a que la posible causalidad entre la calidad de los profesores y el rendimiento de los estudiantes resulte sesgada. Para superar estos problemas, los autores emplean un experimento en donde los profesores y estudiantes se asignaron aleatoriamente, encontrándose que la calidad de los docentes influye en mayor grado sobre el desempeño de los estudiantes que, por ejemplo, variables como raza, estatus socioeconómico y colegio. La base de datos empleada proviene del experimento que se conoce como el STAR (Student Teacher Achievement Ratio) o también como el Tennessee Class Size Experiment, igualmente estudiado por Krueger (1999) para evaluar el impacto del tamaño de la clase en el rendimiento de los estudiantes.

Rockoff (2004) reporta resultados positivos de la educación de los profesores sobre los logros estudiantiles. El aporte del autor se basa en el uso de datos de panel que permiten aislar otros efectos del salón de clase, en la medida que se puede evaluar el desempeño de un profesor en múltiples de estos espacios y conocer cuáles son los efectos fijos atribuibles al docente. Los resultados del estudio muestran que una desviación estándar en la calidad de los profesores aumenta el logro de los estudiantes en 0,2 desviaciones estándar en lenguaje y en 0,24 desviaciones estándar en matemáticas.

Clotfelter, Ladd y Vigdor (2007) plantean que aún existe debate en relación con la causalidad entre las credenciales de los educadores y el desempeño de los estudiantes. Resaltan que en la literatura empírica se ha encontrado que aumentos en la calidad de los profesores están asociados a un incremento en el rendimiento en matemáticas y, en menor grado, en lenguaje. Para aportar en la discusión, los autores analizan un período de diez años con información detallada de los profesores, sus credenciales y sus estudiantes junto con el desempeño de estos últimos. Los resultados del ejercicio empírico muestran que la experiencia y la calidad de los profesores tienen efectos positivos sobre el rendimiento en matemáticas. Dichos efectos son mayores que los que representan el tamaño de la clase o el perfil socioeconómico de los alumnos.

También existen estudios menos optimistas en cuanto a la relación entre las características de los profesores y el desempeño de los estudiantes, entre los cuales se destaca Hanushek (1971). Los resultados del autor indican que la experiencia de los docentes y su calificación no afectan los resultados de los puntajes en las pruebas administradas a los estudiantes, sugiriendo la existencia de problemas en la manera en que operan las escuelas, que pueden ser ineficientes. El autor advierte, no obstante, que dichos resultados son muy específicos para la muestra empleada, correspondiente al sistema educativo de California en el año 1969, con 1.061 educandos de segundo y tercer grado.

Empleando datos más agregados, Melo (2005) llega a conclusiones similares. En efecto, la autora encuentra que los aumentos en las transferencias de recursos a las autoridades regionales para el gasto público en educación no siempre se traducen en mejoras en la calidad educativa. De hecho, las mayores transferencias del gobierno central aumentaron los indicadores de cobertura, pero con efectos negativos sobre la calidad. Para Melo (2005), lo que estos resultados revelan es que existen altos niveles de ineficiencia en algunas regiones, tal vez por la incapacidad institucional y la falta de sistemas de incentivos, tanto para las entidades territoriales, como para las instituciones y los docentes.

III. DATOS Y ESTADÍSTICAS DESCRIPTIVAS

La información analizada en este documento proviene de dos fuentes principales, el DANE y el ICFES. Con base en la información recolectada por el primero en el año 2009, en el formulario C-600 se calculó la relación del número de estudiantes por docente en los municipios de los planteles educativos que ofrecen educación secundaria y media. Esta investigación se centra en las instituciones educativas públicas y privadas, pero dado que pueden contar con varias sedes y diferentes jornadas, la unidad de análisis será la sede-jornada, que en adelante se denominará sede.

De cada sede se calculó el número de estudiantes matriculados en secundaria y media, así como el número de docentes que enseñan principalmente en esos niveles educativos, de acuerdo con el último nivel educativo alcanzado. Con ello se construyeron indicadores del grado de profesionalización de la planta docente en cada sede. Es así como se obtuvo el número de profesores cuyo último nivel educativo es profesional o más, con posgrado o formación pedagógica, y el número de docentes cobijados en el Nuevo Estatuto Docente. La disponibilidad de estas estadísticas permite construir indicadores como el número de estudiantes por profesor, que es ampliamente utilizado en la literatura internacional sobre calidad de la educación (véase Hanushek, 1997). Esta variable se asocia con mejores resultados educativos en tanto que hay un mayor sentido de pertenencia por parte de los estudiantes y los profesores pueden conocer mejor a sus pupilos (Stiefel, Berne, Iatarola y Fruchter, 2000).

Para el análisis de las instituciones oficiales, se calculó además el presupuesto gastado en dichos establecimientos, que comprende el total del gasto e inversión en personal del sector educativo, incluyendo los recursos provenientes del Sistema General de Participaciones (SGP) y los propios del 2009. La fuente utilizada en este aparte son los datos municipales del Sistema de Información para la Captura de la Ejecución Presupuestal (SICEP) del Departamento Nacional de Planeación (DNP). Este sistema compila información de ejecución de gastos de inversión y de funcionamiento, tanto de los municipios como de los departamentos. En los casos de municipios que tienen Secretaría de Educación, también llamados municipios certificados, se utilizaron los datos directamente reportados por la entidad territorial. Para los demás, dado que no se cuenta con estadísticas detalladas, se supuso que el presupuesto de la Secretaría de Educación Departamental se distribuye en proporción al número de estudiantes matriculados y se agregaron los recursos propios destinados a este rubro que reportó cada municipio.

Finalmente, las bases de datos de las Pruebas Saber 11 se cruzaron con los registros de institución y sede del formulario C-600 del DANE. En algunos casos se emplearon las llaves del ICFES y, para los que no existe llave, se realizaron cruces por nombre de la sede, jornada y municipio. De esta manera, de las 12.389 sedes de la base C-600, se cruzaron 4.179 con 211.389 estudiantes que presentaron las Pruebas Saber 11.

En cuanto al Estatuto de Profesionalización se puede mencionar que el grado en el que las instituciones han incorporado profesores regidos por dicho estatuto es todavía bajo. Solo un 21,6% de los profesores están dentro de esa categoría. Además, si se analiza detalladamente las cifras, se encuentra que un 32% de las instituciones estudiadas no presenta ningún profesor cobijado por el Nuevo Estatuto Docente.

La muestra, de acuerdo con los estudiantes que presentaron las Pruebas Saber 11, tiene una mayor representación del género femenino, participando con un 54% (Cuadro 2). Solo el 6% de la muestra está representada por los estudiantes pertenecientes a una etnia: 3% son afrodescendientes y 3% indígenas. Para el caso de los indígenas, dicha participación es consistente con el porcentaje de la población que representan en el total nacional. No obstante, para los grupos afrodescendientes ese porcentaje no es comparable al 10,6% con el que participan en la población nacional (DANE, 2007). Altas tasas de deserción pueden ser la causa de este fenómeno, o simplemente que la cobertura educativa de dichos grupos no garantiza una participación similar a lo que representan como colectivo étnico en el país.

En relación con el contexto socioeconómico familiar, cabe mencionar que los individuos de la muestra provienen de hogares donde en su mayoría la madre ha alcanzado como máximo el grado de secundaria. Solo un 11% de la muestra de estudiantes reporta que la madre alcanzó el nivel profesional.

Finalmente, es de anotar que solo el 29% de la muestra reporta proceder de familias que ganan hasta un salario mínimo, muy por debajo del porcentaje de la población que devenga menos de un salario mínimo, correspondiente a casi un 43% de los trabajadores reportados en la Encuesta Nacional de Hogares de Colombia (López, 2009). Esto podría sugerir que jóvenes provenientes de hogares que tienen ingresos por debajo del salario mínimo no están alcanzando la educación media, sino que son en su mayoría los individuos de ingresos medios quienes alcanzan dicho nivel educativo.

IV. MARCO METODOLÓGICO

La mayor parte de la literatura que se ocupa del análisis de la calidad educativa se remite a modelos de regresión para evaluar hipótesis respecto a sus determinantes. Es así como existen ejercicios que emplean métodos para comparar medias de los grupos tratados y los no tratados cuando la asignación a los grupos es exógena y no existen problemas de selección (véanse, por ejemplo, Angrist, Bettinger y Kremer, 2006; Angrist y Lavy, 2009; Krueger, 1999).

En el caso que nos concierne, emplear mínimos cuadrados ordinarios (MCO) puede tener inconvenientes, dada la existencia de problemas de endogeneidad, según se ha dicho. En efecto, es posible que existan factores no observados que expliquen simultáneamente el nivel educativo de la planta docente y los resultados de los estudiantes en las pruebas estandarizadas. Por ejemplo, en el caso en que las familias más motivadas busquen colegios con profesores mejor formados, o en que los colegios con la planta docente más educada sean más exigentes en su proceso de selección, se tendrían alumnos doblemente aventajados (o desaventajados), debido a la motivación familiar y las habilidades natas, y al nivel educativo de los docentes. Lo anterior llevaría a estimadores de MCO a sobrevalorar el efecto de la planta docente, generando así un sesgo positivo. También hay razones para considerar sesgos negativos, por ejemplo, el hecho de que en Colombia hay un mayor nivel de formación docente en las instituciones oficiales. Si esta ventaja relativa que tienen los estudiantes de instituciones oficiales tuviera como contrapartida algunas desventajas que no se observan con el conjunto de covariantes escogidas, como por ejemplo la planta física, la motivación de las familias o los docentes, o los spillovers de capital humano, entonces se generarían sesgos negativos.

Una de las alternativas mencionadas para abordar este último problema, es que se lograra asignar de forma aleatoria a los profesores con diferente grado de calificación entre los colegios, para comparar los de mayor grado de profesionalización con los de menor y evaluar las diferencias en el rendimiento académico de sus estudiantes, un poco en la línea de Nye et al. (2004). De esta forma, se trataría el problema de la endogeneidad en la medida que la asignación de los individuos a un tratamiento sería independiente de los agentes que intervienen en el proceso, y ello configuraría una forma simple de incluir variación exógena en el experimento, de tal suerte que se evitarían los sesgos originados por las decisiones de los individuos. Lo anterior apunta a la manera como se evalúa las diferencias entre la calidad de los colegios públicos y los privados, pues la selección de una determinada institución no es independiente de los niveles de calidad que esta ofrece. A causa de ello, los padres con mejores recursos o con hijos mejor preparados, escogen la institución basados en el desempeño que muestran, por ejemplo, en las pruebas estandarizadas. En este caso, se requiere de una variación exógena al proceso de selección de la institución. Esa variación exógena constituye lo que los científicos sociales denominan la estrategia de identificación del efecto causal (Murnane y Willett, 2011).

Dado que dicho tipo de experimento no se ha realizado en Colombia, se hace necesario emplear otro tipo de estrategias de identificación. En este documento se emplean regresiones por VI para identificar el impacto del nivel educativo de los docentes sobre los resultados académicos de los educandos. El método de VI explota la existencia de variación en los datos observacionales que provienen de fuentes que son exógenas a la asociación causal que se desea probar, lo que permite eliminar el sesgo por endogeneidad que surge de que el tratamiento esté correlacionado con la variable de resultado sobre la cual se quiere medir el impacto (Schlotter, Schwerdt y Woessmann, 2011). En este caso, la aplicación del método de VI consiste en estimar el sistema de ecuaciones de la siguiente manera:

Donde SABER 11 es el resultado en dichas pruebas ya sea en el promedio, en matemáticas o en lenguaje; es la variable que indica el grado de profesionalización de los docentes, y es una matriz de variables de control que pueden afectar el rendimiento en las pruebas, como los atributos del individuo, su contexto socioeconómico familiar y los atributos del colegio. El término , por su parte, corresponde a la variable instrumental que involucra la variación exógena en el supuesto que las relaciones causales se presenten como se describen en el Diagrama 1.

El coeficiente representa los efectos causales de sobre los resultados en el SABER 11, en la medida que cumpla con las condiciones de exogeneidad y relevancia. Para que el instrumento presente relevancia se requiere que . Este supuesto es fácilmente verificable, pues consiste en comprobar que el instrumento y la variable endógena están correlacionados. El requisito de exogeneidad, por su parte, requiere para su cumplimiento, que esté condicionado en los covariantes incluidos, . Esta segunda condición expresa que el instrumento es independiente de la variable de resultado (en este caso, el resultado en la Prueba Saber 11), condicional en los controles incluidos y que, además, el instrumento afecta la variable de resultados solo a través del mecanismo expresado en la ecuación (2) (Angrist y Pischke, 2009). En la ecuación (2) se incluye el término , que representa la predicción obtenida una vez se alcanzan las estimaciones de la ecuación (1), es decir, la primera etapa del modelo. La segunda etapa corresponde, entonces, a la estimación de la ecuación del SABER 11 en función de las variables exógenas. Asimismo, se supone que afecta a la variable de resultado (SABER 11) solo a través de su efecto sobre , según muestra el diagrama anterior.

Dado que las distintas variables de tratamiento evaluadas son continuas, el coeficiente que las acompaña se interpreta como la respuesta causal promedio, equivalente a la suma ponderada de las respuestas causales y a un cambio unitario en el grado de profesionalización (tratamiento) de los individuos cuyo nivel de tratamiento se ve afectado por los instrumentos².

V. DETERMINANTES DEL NIVEL EDUCATIVO DE LOS DOCENTES E IMPACTO SOBRE LOS RESULTADOS EN LAS PRUEBAS SABER 11

Los ejercicios econométricos que se presentan a continuación, tienen como objetivo medir el impacto del nivel educativo de los docentes sobre los resultados de los alumnos en las Pruebas Saber 11. Para responder esta última pregunta se emplean regresiones por VI, ya que existen razones para creer que la variable de tratamiento es endógena, tema que se profundizará más adelante. En el análisis empírico se utilizan microdatos y se explota la mayor variabilidad que se encuentra al detallar por municipios, e incluso por instituciones educativas.

En principio, se emplea el tamaño del colegio como VI del grado de profesionalización docente. Se supone que colegios de mayor tamaño de planta también cuentan con mayor grado de profesionalización, pero que dicho tamaño no afecta los resultados individuales de los alumnos. Algunas de las razones por las cuales este instrumento podría no ser válido, se darían en el caso en que, por ejemplo, padres más motivados por la educación de sus hijos pueden matricularlos en instituciones que ofrezcan un esquema más personalizado. Por esta razón, se incluye la variable docentes por 100 alumnos, que no es más que la variable usada en la literatura internacional para dar cuenta del tamaño promedio del salón de clase. Con ello, si existen instituciones en donde se provean esquemas más personalizados (con menor tamaño de clase promedio sin importar la fuente del menor tamaño de clase), se controla por dicho factor para mantener la validez del instrumento.

Al final de la sección se emplea el esquema de VI y se contrastan los resultados anteriores usando dos instrumentos distintos: el gasto público en personal educativo y la implementación del Estatuto de Profesionalización Docente del año 2002. Para el caso del gasto per cápita por municipio, la validez del instrumento depende de que este solo afecte los resultados de los estudiantes a través de su efecto sobre la contratación de docentes. El instrumento podría fallar en el caso en que los padres con mayor motivación por propender por una mejor educación de sus hijos migraran hacia las ciudades donde el gasto per cápita en educación fuese mayor. No obstante, hay que anotar que, según los datos del censo de 2005, es posible plantear que dicho fenómeno, si se presenta, no tiene mayor efecto sobre los resultados del ejercicio. Esto porque, según los datos disponibles, solo el 1,1% de los menores de 18 años cambiaron de ciudad de residencia por razones asociadas al acceso a mejores oportunidades educativas.

El Nuevo Estatuto Docente, que surge como respuesta a las deficiencias encontradas en la provisión de la educación pública en relación con la privada³, podría fallar como instrumento si existiera una relación directa entre los resultados del Saber 11 y la contratación desde el Nuevo Estatuto. Pese a ello, la justificación para incluir el grado de adopción del Nuevo Estatuto Docente es que esta variable está relacionada con la calidad de los docentes o el grado de profesionalización de los mismos, mas no directamente con los resultados del Saber 11. Hasta donde se conoce, dicho estatuto no plantea mayores contrataciones ligadas al resultado en las Pruebas Saber 11 (véase al respecto, Ley 1278/2002).

A. IMPACTO SOBRE LOS RESULTADOS ACADÉMICOS DE LOS ESTUDIANTES

A continuación se busca medir el impacto del nivel educativo de la planta docente y, en particular, del porcentaje de docentes con posgrado, sobre el desempeño académico de los alumnos. Para esto se usan las variables de institución y municipio ya mencionadas y además se incorpora un conjunto de covariantes del estudiante y de la familia: la edad, el género, el área en que habita (1 si es rural), la pertenencia a grupos étnicos, el número de integrantes del hogar, la situación laboral del estudiante, la educación de la madre, el ingreso del hogar, el valor de la pensión escolar, el ingreso inferior a un salario mínimo mensual legal vigente (SMMLV) y el no pago de pensión. Se mide el desempeño individual con el promedio de los siete componentes básicos de las Pruebas Saber 11 de 2009. También, se replican los ejercicios con los resultados en las pruebas de matemáticas y lenguaje para evaluar la robustez de los resultados.

En todas las regresiones se estiman errores corregidos por efectos cluster de sede/ jornada, dado que los datos de los estudiantes están anidados en los colegios y estos, a su vez, en los municipios. Cabe anotar que, para el análisis de regresión, el anidamiento de los datos puede traer problemas en cuanto las observaciones no son independientes, pero dichos problemas son principalmente asociados a la eficiencia de los estimadores. En este documento nos interesa más corregir los posibles sesgos que existen a causa de la endogeneidad entre la calidad de los colegios y el grado de profesionalización de los maestros. Aunque las interacciones entre diferentes niveles no se logra capturar con un modelo MCO, en la literatura aplicada se ha mostrado que en un modelo de regresión simple con dos niveles de anidamiento, por ejemplo, las estimaciones por MCO no difieren sustancialmente de las de un modelo multinivel, pero los errores estándar del último son mucho más amplios. La corrección de errores estándar por métodos de cluster es una buena aproximación para obtener inferencia confiable (Bickel, 2007).

Para comenzar, se presentan los resultados que se obtendrían al estimar el modelo por MCO. En el Cuadro 3, se muestran los resultados de estas estimaciones, usando el promedio obtenido por los estudiantes en las pruebas básicas en las instituciones oficiales y no oficiales. Como puede verse, el nivel educativo de los docentes tiene una relación directa con el desempeño de los alumnos, pues el porcentaje de profesores con posgrado arroja un signo positivo. Este resultado se mantiene si se miran otros niveles de profesionalización de los docentes, siendo ligeramente inferior el coeficiente en el caso de los educadores profesionales con formación pedagógica, que alcanza un coeficiente de 0,02% (columna ecuación 2 en el Anexo 3). De la misma manera, son mejores los resultados de los educandos de instituciones no oficiales, de jornada completa, no mixtos, con mayor número de personal médico por alumno y que presentan el examen en marzo.

Entre los factores que indican un mejor resultado de los municipios están las menores tasas de urbanización, pobreza, analfabetismo, homicidio y el mejor desempeño fiscal. En cuanto al individuo y la familia, se observan resultados mejores entre quienes habitan en zonas urbanas y son hombres jóvenes que no pertenecen a ninguna minoría, no trabajan y cuya familia es poco numerosa y cuenta con mayor capital humano y físico. Los resultados son relativamente similares cuando se comparan con los de las pruebas de matemáticas y lenguaje, presentados en el Anexo 1. Entre las diferencias, vale la pena mencionar que el efecto del nivel educativo de los docentes es mayor en matemáticas que en el promedio y que en lenguaje. Este último resultado es compatible con la evidencia empírica mostrada por Rockoff (2004).

Aunque en gran parte de los resultados mostrados el modelo de MCO arroja deducciones coherentes, dados los problemas de endogeneidad mencionados, dichos resultados pueden estar sesgados, por lo que en los siguientes ejercicios se emplean regresiones por VI⁴. Las regresiones por VI se estiman por el método general de momentos en dos etapas, que generan estimadores eficientes en presencia de errores cluster⁵. Junto con los coeficientes y sus respectivas pruebas de significancia individual, se reportan tres pruebas de especificación: la primera es la prueba de Hausman de endogeneidad del tratamiento⁶. Las otras dos son las pruebas Chi y F de Angrist y Pischke de instrumentos excluidos, que contrastan la identificación (instrumentos relevantes) y la debilidad de los instrumentos, respectivamente⁷.

Como puede verse en el Cuadro 4, en los resultados de la primera etapa, el número de estudiantes tiene un efecto positivo y significativo, y las pruebas F y Chi indican que se trata de un instrumento relevante, pues se rechaza la hipótesis de que el instrumento no está relacionado con la variable endógena. Además, el instrumento es robusto en razón de que en todas las especificaciones dicha conclusión se mantiene (véase Anexo 4). Lo anterior es también consistente con lo observado en la institución (Galvis y Bonilla, 2011). En cuanto a los demás coeficientes de institución y municipio, lo que se puede decir es que, en términos generales, los resultados se mantienen, aun cuando al incluir covariantes de alumno y familia algunas variables pierden significancia. Por ejemplo, las instituciones no oficiales siguen mostrando importantes desventajas en todas las medidas de educación de los docentes y, en el caso de la jornada única, el coeficiente es negativo pero solo es significativo en el porcentaje de docentes con posgrado y profesionales con formación pedagógica. En cuanto a las variables de individuo y familia, tienen mayor acceso a docentes preparados aquellos que habitan en zonas urbanas y mujeres, cuyas familias tienen mayor capital humano y físico. Llama la atención que en el caso de los docentes con formación pedagógica, tengan mayor porcentaje de docentes preparados los estudiantes afrodescendientes.

En el Cuadro 4 también se muestran los resultados de la segunda etapa de la estimación por VI. Lo primero que debe decirse es que las pruebas de Hausman señalan que el nivel educativo de los docentes es efectivamente endógeno. Al revisar los coeficientes de los profesores con posgrado, se encuentra que es positivo y significativo: aumentar en 1 pp. la participación de este nivel de profesionalización docente mejora en 0,2% los resultados en el promedio de la Prueba Saber 11. Para los docentes profesionales y con formación pedagógica el impacto frente a un cambio similar es de 1,1% y 0,6%, respectivamente (Anexo 4). El que estos coeficientes sean mayores que los de MCO implica que en el agregado priman los sesgos negativos. En cuanto a los demás coeficientes, aparte de que pierden importancia algunas de las variables municipales, hay pocos cambios con respecto a las regresiones de MCO (Cuadro 3). Por otro lado, comparando con las pruebas específicas, se encuentra que el impacto sobre matemáticas es mayor al del promedio, mientras que el de lenguaje es menor, lo cual es consistente con los resultados encontrados en la literatura internacional (Anexo 2).

A primera vista, dichos efectos parecieran tener poca significancia en cuanto a su magnitud, pero es importante tener en cuenta las unidades en las que se están midiendo, pues la variable dependiente es el logaritmo del puntaje obtenido en promedio, en matemáticas y en lenguaje. Para evitar el problema que surge en la comparación con los puntos absolutos obtenidos en la prueba, una alternativa comúnmente usada en la literatura internacional es medir el impacto de un cambio en la composición de la planta docente medido en términos de desviaciones estándar. Para este efecto, considerando que la desviación estándar de la variable docentes con posgrado es 27,08 (véase Cuadro 1), y la desviación estándar de la variable dependiente es 0,11 (véase Cuadro 2), se puede plantear que un aumento en una desviación estándar en el porcentaje de docentes con posgrado, tiene un impacto de 0,54 desviaciones estándar en el promedio de la Prueba Saber 11. Los mismos cálculos para el caso de matemáticas y lenguaje arrojan valores iguales a 0,41 y 0,32 desviaciones estándar, respectivamente. Una vez se muestran los resultados en términos de desviaciones estándar, la comparación con los hallazgos en el contexto internacional se hace más expedita. Por ejemplo, Goldhaber, Liddle, Theobald y Walch (2010) descubren que un aumento de una desviación estándar en la efectividad de los profesores, como proxy de la calidad de estos, tiene un efecto positivo de 0,18 desviaciones estándar en el rendimiento en matemáticas de los estudiantes. Por otro lado, Schochet y Chiang (2010) reportan que un estudiante puede ganar hasta una desviación estándar en matemáticas con cada grado adicional en la enseñanza escolar. Finalmente, Hoxby y Murarka (2009) encuentran que el efecto de asistir a una institución de alta calidad, frente a una de baja, puede alcanzar 0,09 desviaciones estándar por año de enseñanza en matemáticas. Con ello, los resultados aquí presentados, mirados en contexto, no son nada despreciables.frente a una de baja, puede alcanzar 0,09 desviaciones estándar por año de enseñanza en matemáticas. Con ello, los resultados aquí presentados, mirados en contexto, no son nada despreciables.

En el Cuadro 5 se estiman los mismos modelos de MCO y VI dividiendo la muestra entre alumnos de instituciones oficiales y no oficiales. Lo primero que se halla es que en ambos casos la relación entre el número de estudiantes matriculados y el nivel educativo de los docentes es importante, pues se rechazan las hipótesis en las pruebas Chi y F, y se obtienen coeficientes significativos al 1%. Con el impacto estimado por VI del nivel educativo de los docentes sobre los resultados en las pruebas, se encuentra que, para el caso de los ejercicios, empleando el porcentaje de docentes profesionales, y con formación en pedagogía, estos resultados no se corroboran, según se muestra en el Anexo 5. Cabe anotar que el porcentaje de profesionales y con formación en pedagogía tienen poca variabilidad en la muestra, pues en su mayoría las instituciones tienen docentes que poseen este grado de formación. Por ello, en este tipo de profesionales los resultados no son tan relevantes, como sí lo son para los que alcanzan un posgrado.

Cuando se comparan los coeficientes de VI significativos con los respectivos coeficientes de MCO, se tiene que tanto en oficiales como en no oficiales son mayores, lo que significa que en ambos tipos de instituciones priman los sesgos negativos. En cuanto a las diferencias entre los tipos de instituciones, se encuentra que la relación entre el número de alumnos y el nivel educativo de los docentes es mayor en los oficiales; mientras que en el impacto de la educación de los docentes sobre los resultados de los estudiantes sobresalen los no oficiales. Finalmente, el impacto sobre matemáticas continúa siendo el más importante, seguido del promedio y de lenguaje.

B. INSTRUMENTOS ALTERNATIVOS: GASTO EN PERSONAL Y ESTATUTO DOCENTE

En Galvis y Bonilla (2011), haciendo un análisis de institución educativa, se halla que los recursos financieros con que cuentan las instituciones educativas oficiales es un factor que parcialmente explica las disparidades en la dotación de docentes capacitados entre los municipios del país. A continuación, se utiliza el esquema de VI para evaluar este resultado empleando datos de estudiante. Para esto se incluye al gasto municipal en personal educativo por alumno como variable instrumental del nivel educativo de los docentes. Lo que se supone es que la inversión en personal educativo no incide directamente sobre los resultados de los estudiantes, pero sí está relacionada con el nivel de educación de los docentes (véase Cuadro 6).

Los resultados indican que el gasto en personal educativo tiene siempre un efecto positivo sobre el nivel educativo de los docentes, siendo mucho más alto en el caso de docentes con posgrado, lo cual es consistente con los resultados de Galvis y Bonilla (2011). Por otro lado, se encuentra que en las regresiones del promedio de las pruebas y de matemáticas, los coeficientes son positivos y significativos, mientras que en lenguaje no parece haber impacto. En las regresiones en que se obtienen coeficientes significativos el sesgo sigue siendo negativo, pero mucho menor al encontrado en las regresiones con un único instrumento. Incluso, las pruebas de Hausman indican que no hay diferencia entre el estimador de MCO y el de VI, lo que implica que el impacto es igualmente válido en instituciones en las que el nivel educativo de los docentes no se ve afectado por el tamaño o el gasto⁸.

En el siguiente ejercicio —que se presenta en el Cuadro 7— se corren las regresiones con el gasto en personal educativo como instrumento, dividiendo la muestra de las instituciones oficiales entre aquellos que se encuentran en municipios certificados (que tienen Secretaría de Educación propia) y no certificados (que dependen de la secretaría departamental respectiva). Lo que se evidencia es que el gasto en personal docente está positivamente relacionado con el nivel educativo de estos, tanto en los municipios certificados como en los no certificados. Nótese además que en el caso de los certificados, la magnitud del coeficiente de gasto en la primera etapa aumenta de manera importante. Por ejemplo, en caso de docentes con posgrado, este pasa de 2,3 pp. en el conjunto de las instituciones oficiales, a 7,3 pp. en los certificados. Para el caso de los docentes profesionales y con formación pedagógica, no se encuentran resultados significativos en los no certificados, y en los certificados, el gasto es significativo en el caso de los docentes con formación pedagógica y, solo marginalmente, en los profesionales (Anexo 7, panel A).

Pasando al impacto sobre los resultados en las pruebas estandarizadas (Cuadro 7, panel B), se encuentra que en los municipios certificados este es positivo y significativo, mientras que en los no certificados es estadísticamente igual a cero. En el Anexo 7 se puede observar que en los municipios certificados, la magnitud del impacto también supera a la estimada para el conjunto de las instituciones oficiales: un aumento de 1 pp. en el porcentaje de docentes profesionales (que es la variable con mayor impacto) genera un aumento de 1% en el promedio, 1,5% en matemáticas y 0,8% en lenguaje. También crece en este grupo el sesgo negativo, y las pruebas de Hausman indican que el instrumento es endógeno.

En síntesis, en los municipios certificados hay una mayor relación entre el gasto público en personal educativo y el nivel educativo de los docentes, y este, a su vez, tiene un impacto positivo y significativo sobre los resultados de los alumnos. En contraste, en los municipios no certificados este tipo de gasto está relacionado con una menor formación de los docentes y, esta última, no tiene ningún efecto sobre los resultados en las pruebas. En este caso podría decirse que la descentralización en el manejo de los recursos favorece a los municipios certificados, pero no es así para los no certificados que, generalmente, son municipios pequeños y menos prósperos que los primeros.

Para las regresiones siguientes, se toma el porcentaje de docentes de la institución que se rigen por el Nuevo Estatuto como instrumento del nivel educativo de los mismos. La validez de esta variable para instrumentar la profesionalización docente se evalúa en Galvis y Bonilla (2011). No obstante, en los ejercicios econométricos siguientes se presentan los resultados de la primera etapa del modelo, empleando los microdatos para corroborar dicha validez.

Como se mencionó, se supone que el Nuevo Estatuto no afecta directamente el rendimiento de los alumnos, pero sí lo hace a través del nivel de educación de los docentes. En el Cuadro 8 se presentan los resultados de dos especificaciones diferentes del modelo. En la primera se tienen dos instrumentos (número de estudiantes matriculados e incidencia del Nuevo Estatuto) y en la segunda, se agrega el gasto en personal educativo como un tercer instrumento.

Lo primero que debe señalarse es que la relación entre el Nuevo Estatuto y el nivel educativo de los docentes es negativa en docentes con posgrado (– 0,45) y profesionales con formación pedagógica (- 0,14) y no significativa en el caso de profesionales o más (véase Anexo 8). Como se mencionó en Galvis y Bonilla (2011), este resultado es probable que obedezca a que las instituciones donde se han contratado más profesores abrigados por el Nuevo Estatuto sean las que tienen menos dotación de maestros profesionalizados, o que están más rezagadas en este indicador.

Finalmente, el impacto de la profesionalización docente sobre el desempeño en las Pruebas Saber 11 es positivo y significativo. Además, las pruebas de Hausman indican que el tratamiento es endógeno. Cuando se emplean dos instrumentos, la magnitud del impacto es sistemáticamente mayor a la encontrada en los ejercicios anteriores. Sin embargo, al introducir el tercer instrumento, el sesgo tiende a reducirse y los resultados son similares a los de las regresiones en las que los instrumentos eran el número de estudiantes y el gasto en personal educativo.

VI. DISCUSIÓN

El presente estudio sobre la calidad de la educación escolar, ha tenido por objetivo medir la importancia del nivel de formación académica de los docentes en el proceso educativo y evaluar su impacto en el rendimiento de los alumnos en las pruebas estandarizadas. Lo que se halla es que, incluso controlando los efectos asociados a características individuales, el contexto familiar, de los colegios y del municipio, y corrigiendo eventuales problemas de endogeneidad, el grado de profesionalización docente tiene un impacto positivo sobre el desempeño en las pruebas estandarizadas Saber 11.

En un segundo análisis, en el que solo se toman instituciones oficiales, se incluye como variable instrumental el gasto municipal en personal educativo por alumno, encontrando no solo que el instrumento es relevante, sino además, que con su inclusión, el nivel de educación de los docentes no tiene influencia en el rendimiento de los educandos en la prueba de lenguaje, pero sí en el puntaje promedio y en el de matemáticas. Los resultados del ejercicio también muestran que hay diferencias entre municipios certificados y no certificados. Mientras que en los primeros la calificación de los docentes sí incide sobre los resultados de los estudiantes, en los segundos no. La pregunta que naturalmente surge con estos resultados es: ¿qué es lo que están haciendo mejor los municipios certificados? En este documento no se pretende responder dicho interrogante, pero sí vale la pena formular algunas hipótesis al respecto. Lo primero que hay que anotar es que los municipios certificados son principalmente capitales departamentales, más urbanizadas y con mayores recursos que los municipios no certificados. Ello puede estar marcando una diferencia en términos no solo de los docentes que logran contratar, sino también en otro tipo de recursos complementarios al proceso educativo. Así pues, es más fácil reclutar docentes capacitados en las ciudades grandes (municipios certificados) que en los municipios más pequeños y geográficamente alejados. Además, se podría pensar que las secretarías de educación municipales logran mayor eficiencia que las departamentales, porque actúan en territorios menos extensos y diversos. Un último factor por mencionar, es que existe la percepción de que hay mayor control político y ciudadano sobre el funcionamiento de las secretarías de educación municipales que sobre las departamentales. Las dos últimas hipótesis son coherentes con los planteamientos de Stiglitz (1995) en referencia a la descentralización administrativa: reducir las distancias entre la entidad encargada de proveer los servicios y la población atendida, mejora la eficiencia en la prestación del servicio (Hanushek et al., 1994; Hanushek, Rivkin y Taylor, 1996; Stiglitz, 1995). Como ya se dijo, estas son solo algunas hipótesis que
valdría la pena evaluar en posteriores trabajos de investigación.

En el último ejercicio, se incluye la incidencia del Estatuto de Profesionalización Docente de 2002 como instrumento. Los resultados indican, por un lado, que la profesionalización de los docentes sigue teniendo un impacto positivo sobre las Pruebas Saber 11 y, por el otro, que contrario a lo esperado, el Nuevo Estatuto tiene una relación negativa con el promedio de calificación de los docentes. En este punto hay que señalar que parte de la explicación para este resultado se encuentra al analizar en detalle las cifras por institución, donde lo que se evidencia es que aquellas que más experimentaban déficit en el grado de profesionalización docente, son las que en promedio han vinculado más profesores regidos por el Nuevo Estatuto.

Finalmente, es importante hacer énfasis en que la calidad de los docentes no es exógena, depende, entre otras, del gasto en educación e intensidad del Nuevo Estatuto. Asimismo, las decisiones de política que afectan la calidad de los docentes, también influyen las brechas en los resultados académicos y el bienestar futuro de los estudiantes. Por lo anterior, y dado que las dotaciones del sector educativo son heterogéneas para las regiones, dichas políticas merecen especial atención si se quieren priorizar medidas redistributivas, que tiendan a combatir las disparidades existentes en el sector educativo.

COMENTARIOS

¹ El Saber 11, empleado en este documento, es un examen estandarizado administrado a los estudiantes de último grado de educación secundaria. Es un examen que consiste en la evaluación de nueve componentes, a saber: biología, física, química, matemáticas, lenguaje, geografía, historia, filosofía y ciencias sociales, además de idioma extranjero.

² Para mayores detalles véanse Angrist e Imbens (1995).

³ Los resultados de los colegios públicos presentaban una brecha que, de acuerdo con las investigaciones al respecto, obedecía a la forma como operaban los colegios públicos y los incentivos prevalecientes en estos (Gaviria y Barrientos, 2001; Núñez, Steiner, Cadena y Pardo, 2002). Con la reforma introducida en el Decreto-Ley 1278/2002, se logró aumentar los requisitos para ingresar a la carrera docente, además de reglamentar períodos de prueba, y la modificación de las cláusulas para obtener ascensos. Ello introdujo un nuevo mecanismo de incentivos que se esperaría, haya redundado en la profesionalización de los docentes y en la calidad de la enseñanza impartida.

⁵ Además, para obtener matrices de varianza-covarianza de rango completo, se "parcializa" la constante, razón por la cual su coeficiente no se reporta. Para mayores detalles véanse Nichols y Schaffer (2007) y Baum, Schaffer y Stillman (2010).

⁶ En Gibbons y Serrato (2010) se muestra que la hipótesis nula de la prueba de Hausman es que el efecto local promedio del tratamiento (LATE, por sus siglas en inglés) es igual al efecto promedio del tratamiento (ATE, por su sigla en inglés). Si se rechaza la hipótesis nula se verifica que el tratamiento es endógeno. No rechazar la prueba, sin embargo, no implica exogeneidad del tratamiento.

⁷ La hipótesis nula de las pruebas son subidentificación e instrumentos débiles, respectivamente. Para mayores detalles acerca de las pruebas véanse Angrist y Pischke (2009).

⁸ Recuérdese que no rechazar la prueba de Hausman no implica que el tratamiento sea exógeno. Para mayor detalle véanse Gibbons y Serrato (2010).

REFERENCIAS

1. Angrist, J. D.; Bettinger, E.; Kremer, M. "Long- Term Educational Consequences of Secondary School Vouchers: Evidence from Administrative Records in Colombia", American Economic Review, vol. 96, núm. 3, pp. 847-862, 2006.         [ Links ]

2. Angrist, J. D.; Imbens, G. W. "Average Causal Response with Variable Treatment Intensity", NBER Technical Working Papers, 127, 1995.         [ Links ]

3. Angrist, J. D.; Lavy, V. "Effects of High Stakes High School Achievement Awards: Evidence from a Randomized Trial", American Economic Review, vol. 99, núm. 4, pp. 1384-1414, 2009.         [ Links ]

4. Angrist, J. D.; Pischke, J. S. Mostly Harmless Econometrics: An Empiricist Companion, Princeton, NJ, Princeton University Press, 2009.         [ Links ]

5. Barro, R. J. "Human Capital and Growth", American Economic Review, vol. 91, núm. 2, pp. 12-17, 2001.         [ Links ]

6. Baum, C. F.; Schaffer, M. E.; Stillman, S. "Ivreg2: Stata Module for Extended Instrumental Variables/2SLS, GMM and AC/HAC, LIML and k-class Regression", Statistical Software Components, S4254010, Boston College Department of Economics, 2010.         [ Links ]

7. Becker, G. S. Human Capital: A Theoretical and Empirical Analysis, with Special Reference to Education, Nueva York, University of Chicago Press, 1993.         [ Links ]

8. Behrman, J. R.; Birdsall, N. "The Quality of Schooling: Quantity Alone is Misleading", The American Economic Review, vol. 73, núm. 5, pp. 928-946, 1983.         [ Links ]

9. Bickel, R. Multilevel Analysis for Applied Research: Its Just Regression!, Nueva York, Guilford Press, 2007.         [ Links ]

10. Bonilla, L. "Determinantes de las diferencias regionales en la distribución del ingreso en Colombia, un ejercicio de microdescomposición", Ensayos sobre Política Económica, vol. 27, núm. 59, pp. 46-82, 2009.         [ Links ]

11. Card, D. "The Causal Effect of Education on Earnings", in O. Ashenfelter; D. Card (Eds.). In Handbook of Labor Economics, vol. 3, 1999.         [ Links ]

12. Clotfelter, C. T.; Ladd, H. F.; Vigdor, J. L. "Teacher Credentials and Student Achievement: Longitudinal Analysis with Student Fixed Effects", Economics of Education Review, vol. 26, núm. 6, pp. 673-682, 2007.         [ Links ]

13. Cohn, E.; Addison, J. T. "The Economic Returns to Lifelong Learning in OECD Countries", Education Economics, vol. 6, núm. 3, pp. 253-307, University of South Carolina, 1998.         [ Links ]

14. Darling-Hammond, L. "Teacher Quality and Student Achievement: A Review of State Policy Evidence", Education Policy Analysis Archives, vol. 8, núm. 1, pp. 1-45, 2000.         [ Links ]

15. Departamento Administrativo Nacional de Estadística (DANE). Colombia una nación multicultural. Su diversidad étnica, www.dane.gov.co/files/censo2005/etnia/sys/colombia_nacion.pdf, 2007.         [ Links ]

16. Galvis, L. A.; Bonilla, L. "Desigualdades en la distribución del nivel educativo de los docentes en Colombia", Documentos de Trabajo sobre Economía Regional, núm. 151, Banco de la República, Cartagena, 2011.         [ Links ]

17. Gaviria, A.; Barrientos, J. H. "Determinantes de la calidad de la educación en Colombia", Archivos de Economía, núm. 159, DNP, Bogotá D. C., 2001.         [ Links ]

18. Gibbons, C.; Serrato, J. C. "LATE for School: Instrumental Variables and the Returns to Education", University of California, Berkeley, mimeo, 2010.         [ Links ]

19. Goldhaber, D.; Liddle, S.; Theobald, R.; Walch, J. "Teacher Effectiveness and the Achievement of Washington Students in Mathematics", CEDR Working Paper 2010- 6, University of Washington, Bothell, WA, 2010.         [ Links ]

20. Hanushek, E. "Teacher Characteristics and Gains in Students Achievement: Estimation Using Micro Data", The American Economic Review, vol. 61, núm. 2, pp. 280-288, 1971.         [ Links ]

21. Hanushek, E. "Assessing the Effects of School Resources on Student Performance: An Update", Educational Evaluation and Policy Analysis, vol. 19, núm. 2, p. 141, 1997.         [ Links ]

22. Hanushek, E. et al. Making Schools Work: Improving Performance and Controlling Costs, Washington, D. C., Brookings Institution, 1994.         [ Links ]

23. Hanushek, E.; Kimko, D. D. "Schooling, Laborforce Quality, and the Growth of Nations", American Economic Review, vol. 90, núm. 5, pp. 1184-1208, 2000.         [ Links ]

24. Hanushek, E.; Rivkin, S. G.; Taylor, L. L. "Aggregation and the Estimated Effects of School Resources", The Review of Economics and Statistics, vol. 78, núm. 4, pp. 611-627, 1996.         [ Links ]

25. Hoxby, C.; Murarka, S. "Charter Schools in New York City: Who Enrolls and How They Affect their Students Achievement", NBER Working Paper, 14852, 2009.         [ Links ]

26. Krueger, A. B. "Experimental Estimates of Education Production Functions", Quarterly Journal of Economics, vol. 114, núm. 2, pp. 497- 532, 1999.         [ Links ]

27. Londoño, J. L. Distribución del ingreso y desarrollo económico: Colombia en el siglo XX, Bogotá, Tercer Mundo Editores, 1995.         [ Links ]

28. López, H. La desaceleración económica y el mercado laboral colombiano, Medellín, Banco de la República, mimeo, 2009.         [ Links ]

29. Melo, L. "Impacto de la descentralización fiscal sobre la educación pública colombiana", Borradores de Economía, 350, Banco de la República, Bogotá, 2005.         [ Links ]

30. Mincer, J. Schooling, Experience, and Earnings, Nueva York, Columbia University Press, 1974.         [ Links ]

31. Murnane, R. J.; Willett, J. B. Methods Matter: Improving Causal Inference in Educational and Social Science, Nueva York, Oxford University Press, 2011.         [ Links ]

32. Nichols, A.; Schaffer, M. "Clustered Errors in Stata", United Kingdom, Stata Users Group Meeting, 2007.         [ Links ]

33. Núñez, J.; Steiner, R.; Cadena, X.; Pardo, R. "¿Cuáles colegios ofrecen mejor educación en Colombia?", Archivos de Economía, 193, Departamento Nacional de Planeación, 2002.         [ Links ]

34. Nye, B.; Konstantopoulos, S.; Hedges, L. V. "How Large Are Teacher Effects?", Educational Evaluation and Policy Analysis, vol. 26, núm. 3, pp. 237-257, 2004.         [ Links ]

35. Psacharopoulos, G. "Returns to Investment in Education: A Further Update", Education Economics, vol. 12, núm. 2, pp. 111-134, 2004.         [ Links ]

36. Psacharopoulos, G.; Vélez, E. "Schooling, Ability, and Earnings in Colombia, 1988", Economic Development and Cultural Change, vol. 40, núm. 3, pp. 629-643, 1992.         [ Links ]

37. Rockoff, J. E. "The Impact of Individual Teachers on Student Achievement: Evidence from Panel Data", American Economic Review, vol. 94, núm. 2, pp. 247-252, 2004.         [ Links ]

38. Sanders, W. L.; Rivers, J. C. Cumulative and Residual Effects of Teachers on Future Student Academic Achievement, Knoxville, University of Tennessee Value-Added Research and Assessment Center, 1996.         [ Links ]

39. Schlotter, M.; Schwerdt, G.; Woessmann, L. "Econometric Methods for Causal Evaluation of Education Policies and Practices: A Nontechnical Guide", Education Economics, vol. 19, núm. 2, pp. 109-137, 2011.         [ Links ]

40. Schochet, P.; Chiang, H. Error Rates in Measuring Teacher and School Performance Based on Student Test Score Gains (NCEE 2010-4004), Washington, D. C., National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, U.S. Department of Education, 2010.         [ Links ]

41. Stiefel, L.; Berne, R.; Iatarola, P.; Fruchter, N. "High School Size: Effects on Budgets and Performance in New York City", Educational Evaluation and Policy Analysis, vol. 22, núm. 1, pp. 27-39, 2000.         [ Links ]

42. Stiglitz, J. La economía del sector público, Barcelona, Antoni Bosch Editor, 1995.         [ Links ]

43. Vélez, C. E.; Leibovich, J.; Kugler, A.; Bouillón, C.; Núñez, J. "The Reversal of Inequality Trends in Colombia, 1975-1995: A Combination of Persistent and Fluctuating Forces", en F. Bourguignon; F. H. G. Ferreira; N. Lustig (Eds.). The Microeconomics of Income Distribution Dynamics in East Asia and Latin America, Nueva York, World Bank, 2004.         [ Links ]

ANEXOS