Análisis multinivel del rendimiento escolar en matemáticas para cuarto grado de Educación Básica Primaria en Colombia¹

Multilevel Analysis of School Performance in Mathematics for Fourth Grade of Basic Education in Colombia

Análise de múltiplos níveis de desempenho escolar em matemática para o quarto grau de ensino básico na Colômbia

Juan Carlos Zambrano Jurado
Docente Universidad del Valle, Cali-Colombia
juan.carlos.zambrano@correounivalle.edu.co

Recibido: 15.02.13
Aprobado: 30.10.13

¹ Este trabajo hace parte del Proyecto COLCIENCIAS "La incidencia del entorno familiar y la calidad de los entornos escolares en los logros educativos de los estudiantes: un estudio aplicado con las pruebas saber y TIMSS". Código: 1106-518-2818, seleccionado en la convocatoria 518-2010. Grupo de Economía Regional y Ambiental (GERA) de la Facultad de Ciencias Sociales y Económicas de la Universidad del Valle.

El estudio realiza un análisis, para determinar los factores familiares, escolares, condiciones socioeconómicas de los estudiantes, prácticas y métodos pedagógicos que inciden en el alcance de los logros educativos en el área de matemáticas, usando los datos de las pruebas TIMSS 2007. Como resultado se identificó un mayor rendimiento para los niños en comparación con el logrado por las niñas. De las variables incluidas en el estudio, las de mayor impacto son: el tipo de escuela, gusto por la matemática, zona y gusto por la escuela, explicadas por características personales y de la institución a la que pertenecen los estudiantes.

Palabras clave: Calidad de la Educación, Entorno Familiar, Efecto Escuela, Análisis Multinivel.

Abstract

The study analyses the role of factors such as family, school, socio-economic conditions of students, teaching methods and practices, to determine how they affect the scope of educational achievements in the field of mathematics, using data from TIMSS 2007. The results show an increased performance for boys compared with that achieved by girls. The variables with the greatest impact are: the type of school, liking for mathematics, zone and school liking, explained by personal characteristics and the institution to which the students belong.

Keywords: Quality Education, Family Environment, School Effect, Multilevel Analysis.

Resumo

O estudo realizou uma análise para determinar o conjunto de fatores: familiares, escolares, condições socioeconômicas dos alunos, práticas e métodos pedagógicos; que incidem no alcance dos resultados educativos na área de matemática. Usam-se os dados das provas TIMSS 2007. Como resultado identificou-se o maior desempenho das crianças masculinas nas provas. Entre as variáveis com maior impacto são: o tipo de escola, o gosto pela matemática, a zona e gosto pela escola, variáveis explicadas pelas características pessoais e da instituição de educação.

Palavras-chave: Educação de Qualidade, Ambiente Familiar, Efeito Escola, Análise de múltiplos níveis.

Introducción

Entidades como la Organización para la Cooperación Económica y el Desarrollo, la Asociación Internacional para la Evaluación de Logros Educativos, la UNESCO y la UNICEF encaminadas a contribuir con la calidad de la educación como uno de sus principales problemas a investigar, han patrocinado una serie de pruebas internacionales con el objetivo de evaluar el aprendizaje y sus entornos para establecer medidas que permitan un mejor entendimiento de los factores que afectan la calidad educativa. Al mismo tiempo, surge una serie de actividades a nivel regional desarrolladas por diferentes países para examinar la calidad educativa, pero sin la periodicidad necesaria que permita comparar los resultados a nivel internacional. Las evaluaciones internacionales se plantean como primer objetivo comparar los conocimientos y las habilidades de los estudiantes entre los diferentes países, y además examinan los factores asociados con los logros de los estudiantes que permitan expresar la calidad de la educación por diferentes factores, dentro de los cuales se destacan los recursos humanos y físicos disponibles en escuelas y colegios, las condiciones socioeconómicas de los estudiantes, y las prácticas y métodos pedagógicos utilizados.

En este contexto, el desempeño escolar representa una forma de aproximación al ideal de calidad en la educación. Es decir, la calidad puede ser medida como el rendimiento observado de los estudiantes. De este modo la exploración de variables relacionadas con el alcance de logros educativos ha perfeccionado el entendimiento de este tipo de problemas, y apuesta a elegir políticas que mejoren los resultados. Por esto, organizaciones internacionales y regionales, ministerios de educación e investigadores educativos han emprendido la tarea de explorar detenidamente estas relaciones.

En el caso de Colombia se destaca la aplicación de las "Pruebas Saber", que evalúan las áreas de lenguaje, matemáticas y ciencias en los grados 3, 5, 7 y 9; así como las pruebas de Evaluación de la Calidad de Educación Superior (SaberPro). Es importante destacar que algunos países han participado de manera aislada en pruebas de tipo internacional, por ejemplo, la primera experiencia comparable, en la cual se incluyó a Colombia como único país de Latinoamérica, fue realizada durante 1994-1995 por The International Association for the Evaluation of Educational Achievement (IEA) y es conocida como The Third International Mathematics and Sciences Study (TIMSS). Esta prueba fue aplicada en 41 países y estuvo orientada a evaluar los niveles de desempeño en matemáticas y ciencias en distintos grados. TIMSS se aplicó también en 1998-1999 y en 2003, donde participó únicamente Chile. De acuerdo con los resultados de estas pruebas, los países latinoamericanos (Colombia y Chile) registran resultados por debajo del promedio internacional (500 puntos) que los ubica en últimos lugares, reflejando así las grandes diferencias existentes entre países desarrollados y en desarrollo.

En esta línea, se plantea como hipótesis que las características del entorno familiar y del entorno de la escuela inciden sobre el rendimiento que los estudiantes presentan en el área de matemáticas en las pruebas TIMSS. En otras palabras, existen diferencias significativas en la calidad de la educación básica en Colombia a nivel de estudiantes y escuelas medidas a través de los resultados obtenidos en las pruebas TIMSS 2007 para Colombia. Lo anterior nos permite generar la siguiente pregunta de investigación, ¿cómo incide la disponibilidad de bienes económicos, materiales y culturales de los hogares y las escuelas en el desempeño en matemáticas de los estudiantes colombianos de cuarto grado en las pruebas TIMSS? Así, el objetivo de esta investigación se orienta a identificar mediante el uso de algunos ejercicios econométricos con estructuras multinivel, el impacto de algunas variables del entorno del alumno y del ambiente escolar, que permitan explicar las diferencias observadas en el alcance de logros en matemáticas.

El documento plantea esta breve introducción, realiza la revisión de ciertos estudios sobre calidad de educación a nivel nacional e internacional, plantea la metodología y la definición formal del modelo multinivel de dos etapas. Para finalizar, se realiza el proceso de modelización y análisis de resultados apoyado en las estructuras multinivel, que permitirá comparar la influencia de las principales variables que intervienen en el rendimiento académico de los estudiantes y, posiblemente, se podrán derivar algunas sugerencias para identificar los aspectos que se puedan mejorar del sistema educativo, en el área específica de matemáticas.

1. Antecedentes

Numerosos trabajos se han realizado en el mundo en esta línea dedicada a estudiar los factores que intervienen en la calidad de la educación y en los logros académicos. Entre ellos se destacan a nivel internacional el trabajo de Barro (2001) en el cual se utilizó como fuente de datos un panel de alrededor de cien países observados desde 1965 a 1995, en cortes transversales de diez años y en especial las pruebas TIMSS 1995, 1999. Dicho trabajo concluye que tanto la cantidad de escolaridad como la calidad de la educación, según mediciones de las puntuaciones de pruebas internacionales comparables, tienen una relación positiva y estadísticamente significativa con el crecimiento económico.

Entre los trabajos que se ocupan de los recursos, el rendimiento y la responsabilidad escolar se encuentran los estudios de Hanushek (2004a; 2004b) y Hanushek y Luque (2003). Dichos estudios plantean que la investigación existente sobre la relación entre los recursos de la escuela y un mejor rendimiento escolar dependen de las interacciones entre los recursos, la calidad de los profesores y otros insumos; que los sistemas de responsabilización aumentan los niveles del logro de los estudiantes, pues los niños de las familias más favorecidas por los diversos recursos educativos en el hogar, sistemáticamente rinden más, además de que la fuerza de los recursos del sistema para obtener un mejor desempeño de los estudiantes parece limitada.

Otra línea importante de trabajos apunta hacia los antecedentes familiares, la educación de los padres, la gobernanza escolar y el comportamiento como factores que intervienen en el alcance de logros, tal como es el caso del trabajo pionero de Coleman (1966). De acuerdo con su análisis sobre calidad de la educación basada en la muestra nacional de escuelas en Estados Unidos, Coleman encuentra que el desempeño de un estudiante no sólo está relacionado con sus antecedentes familiares, sino que también es influenciado por los antecedentes de sus compañeros de escuela. Por su parte, Bowels y Levin (1968) contradicen las conclusiones del Informe Coleman demostrando la existencia de una alta correlación entre las variables representativas del hogar y de la escuela que invalidaba los resultados obtenidos. En el mismo estudio los autores especifican una función de producción de tipo lineal multivariada para re-estimar, con los mismos datos que utilizó Coleman, el efecto escuela, el efecto hogar y el efecto conjunto, mostrando que al corregir la metodología se obtiene que la escuela posee, en Estados Unidos, un efecto positivo y significativo sobre el aprendizaje, si éste es medido por el puntaje obtenido en las pruebas de rendimiento escolar.

El comportamiento de la edad en el desempeño educativo es analizado por Bedard y Dhuey (2006), quienes usando TIMSS 1995, 1999, el Estudio Longitudinal de la Primera Infancia (ECLS), el Estudio Longitudinal de Educación Nacional (NELS) y los archivos de natalidad en Estados Unidos, encuentran que las diferencias iniciales de madurez/edad tienen efectos que duran mucho tiempo en el desempeño de los estudiantes.

El análisis del entorno escolar, el perfil del docente y del estudiante en el alcance de logros son otros puntos fuertes de estudio. Autores como Woessmann (2003) y Hanushek y Woessmann (2007), utilizando los resultados de las pruebas TIMSS, PISA y PIRLS 2000, muestran que dentro de los factores que impactan positivamente el aprendizaje de matemáticas y ciencias se encuentran: la influencia de los profesores sobre los métodos didácticos; la autonomía escolar en la contratación de personal y las decisiones sobre los sueldos; la influencia limitada de los sindicatos en el alcance del programa de estudios; el control centralizado de los asuntos de los programas de estudio y el presupuesto; exámenes centrales; escrutinio del desempeño de los estudiantes a través de exámenes; las tareas y las reuniones entre padres y profesores; el nivel intermedio de la administración; la competencia de las instituciones de enseñanza privadas; y el estímulo de los padres en mostrar interés acerca de los asuntos relativos a la enseñanza.

Vegas y Petrow (2007) hacen un análisis para América Latina y el Caribe centrado en tres partes: el papel del aprendizaje estudiantil en la educación, factores y políticas que afectan el aprendizaje estudiantil y el aseguramiento de la calidad en la educación. En dicho documento muestran que el logro de los estudiantes depende de las interacciones entre los factores de estudiantes y las escuelas, influenciados por factores institucionales y la política educativa, así como el contexto económico, político y social. La investigación sobre género indica que las niñas en las evaluaciones de idioma tienden a rendir mejor, mientras que los niños suelen ser mejores en las de matemáticas y ciencias.

Dentro de los estudios realizados sobre factores de aprendizaje y calidad de educación en Colombia se encuentran los trabajos de Piñeros y Rodríguez (1999), quienes usando una muestra de los Exámenes de Estado de 1997, destacan aspectos como el impacto positivo que presentan, el nivel socioeconómico y el nivel sociocultural para el idioma, y menos para matemáticas y ciencias. Observan que la calidad de la escuela influye en mayor medida sobre el rendimiento en matemáticas y ciencias, que sobre el rendimiento en lenguaje de cada uno de sus estudiantes; encuentran que permanecer en la misma escuela durante toda la secundaria tiene una repercusión positiva sobre el desempeño de los estudiantes, y que la relación entre el nivel socioeconómico de los colegios y el desempeño académico presenta mayor impacto en las escuelas privadas.

En el estudio de Sarmiento, Becerra y González (2000) se usan las Pruebas SABER de 1993, 1994, 1999 y el Examen de Estado de 1997, llegando a concluir que los Servicios Educativos Suplementarios (SES) de los estudiantes juegan un papel importante para el logro, pero este efecto es transmitido por la escuela. El peso de la escuela en el logro en matemáticas demuestra ser aproximadamente del 30% a lo largo de muestras disímiles. Si se tiene en cuenta la situación socioeconómica, no está claro que las escuelas privadas superen en rendimiento a las escuelas públicas.

Las relaciones de factores como la educación del padre, la calidad de los establecimientos y el tipo de escuela son analizados en los trabajos de Gaviria y Barrientos (2001) y Barrera y Gaviria (2003) quienes toman como fuente principal el Examen de Estado y los resultados del DANE para cerca de 3.363 escuelas y aproximadamente 230.000 estudiantes de 1999 a nivel nacional y en Bogotá específicamente y destacan los siguientes aspectos: la educación de los padres afecta significativamente el logro, pero el efecto se transmite mediante la calidad de la escuela en Bogotá. La asociación entre la educación de los padres y el logro disminuye sustancialmente cuando se controla el efecto de la escuela a la que asiste. El acceso a escuelas de alta calidad está seriamente restringido entre las familias desfavorecidas. Las diferencias entre las escuelas explican una porción sustancial de las diferencias en el logro individual. Tanto las escuelas privadas, como la educación promedio de los profesores y el número de profesores por estudiante están asociados positivamente con el logro de los estudiantes, pero para las escuelas públicas no hay ninguna asociación entre estas características y el logro. Hay amplias posibilidades de que las escuelas públicas mejoren con respecto a la calidad y el costo de los insumos.

Los Exámenes de Estado de 1999 se usan en el trabajo de Núñez et al. (2002) para mostrar que, después de controlar las características de los estudiantes y del hogar, la infraestructura escolar y el nivel de educación de los profesores, tanto a nivel nacional como en sectores urbanos y rurales, los estudiantes de escuelas privadas superan en rendimiento a los estudiantes de las escuelas públicas. Sin embargo, en el nivel de ingresos más bajo, los estudiantes de las escuelas públicas rinden mejor que los de las escuelas privadas. La diferencia entre las escuelas públicas y privadas se puede atribuir a las variables no observables, como el sistema de gestión del profesor (promociones, incentivos y sueldos). Los estudiantes de las escuelas que ejecutan el modelo de la reforma, Escuela Nueva, rindieron mejor que los de las escuelas públicas tradicionales. La Escuela Nueva tiene éxito en crear incentivos y espacios apropiados para el mejoramiento de la educación de calidad.

A nivel regional específicamente en los municipios se puede destacar el trabajo de Mina (2004) que usa los Exámenes de Estado de 1996 a 1999 y encuentra que la pobreza y la desigualdad tienen un efecto negativo sobre el desempeño académico. El número de escuelas privadas en un municipio repercute positivamente en el desempeño del examen en el municipio; el gasto por estudiante tiene una repercusión positiva y significativa sobre las puntuaciones de prueba de los estudiantes; el gasto en educación puede mejorar su calidad. Los hallazgos sugieren así que el gasto debe ser centrado en esos municipios con más niños y no debe financiar exclusivamente los sueldos de los profesores. Las variables geográficas son también significativas: una distancia más larga entre el municipio y la capital del departamento tiene un efecto negativo, mientras la variable ficticia para las capitales tiene un efecto positivo. El efecto del gasto público sobre el desempeño de los estudiantes es más fuerte en las zonas rurales. El efecto de la violencia y el conflicto es negativo y significante solo en algunas regiones.

Correa (2004), usando los datos correspondientes a las pruebas del ICFES 2001 para Cali, realiza un análisis multinivel para estudiantes y planteles. Teniendo en cuenta los antecedentes propios de los estudiantes y de su familia y las características de la institución y de sus profesores, encuentra que los estudiantes tienen cierta dependencia con el establecimiento, por tanto, sugiere que las políticas educativas deben estar encaminadas a mejorar la calidad de los planteles. Destaca también la relación positiva que existe entre el logro escolar y las características familiares de los estudiantes.

Vivas (2008) establece que uno de los principales determinantes que influyen en el ingreso al sistema de educativo y en el alcance de logros son los entornos familiares y locales, teniendo en cuenta a la educación como un mecanismo para alcanzar ciertas habilidades y no vista solamente como una inversión en capital humano. El autor identifica una serie de variables que toma como base para el desarrollo de sus modelos empíricos, entre las que se cuentan las características del entorno familiar denominado background familiar, atributos de localización, mediante los cuales se modela la escogencia de un lugar geográfico para la ubicación de la familia y la cantidad de recursos destinados a la educación de un individuo del grupo familiar. También considera la oferta educativa, las capacidades individuales innatas del individuo y la esfera gubernamental.

2. Metodología

La noción de función de producción educativa es considerada como el punto de partida para estudiar la relación de efectividad existente entre el resultado del aprendizaje en las escuelas y el conjunto de recursos disponibles con que éstas cuentan para resolver el proceso de enseñanza y aprendizaje (Levin 1983; Coombs y Hallak 1987). Sin embargo, la investigación sobre Eficiencia Escolar está dirigida al análisis de los factores que hacen que los alumnos de una escuela tengan mejores resultados educativos en comparación con los de otras; todo este proceso desencadenó así una evolución en los modelos y las técnicas de análisis utilizadas, las variables y factores estudiados, los instrumentos de recolección de datos, etc., encontrando siempre como principal dificultad metodológica la imposibilidad de utilizar metodologías de carácter experimental (Goldstein 1997). Como respuesta a esta dificultad se han implementado estudios tanto de carácter intensivo como extensivo, manejando muestras de alumnos y centros eficaces e ineficaces (Purkey y Smith 1983).

En el mundo de la investigación educativa el trabajo de Aitkin y Longford (1986), dos matemáticos ingleses, realizó un importante aporte ya que demostró que los modelos de regresión lineal, podían emplearse únicamente cuando las observaciones eran independientes (Gelman y Hill 2006; Goldstein 2003; Heck y Thomas 2000; Hox 1998). Sin embargo, la naturaleza jerárquica de los sistemas educativos, donde los estudiantes están agrupados en cursos, distintas aulas están agrupadas en escuelas y las escuelas en distritos o provincias y estas a su vez en regiones o países, no presenta observaciones independientes, ya que tanto estudiantes como escuelas comparten una serie de experiencias diferentes a los de otras, así como también se ven afectados por políticas educativas distintas. Esto afecta el supuesto de independencia de las observaciones, el de independencia entre las variables y el error de estimación del modelo, y ello conduce a que la mayoría de los resultados no sean significativos (Hox 1995). Otro aspecto importante está relacionado con las fuertes críticas que han recibido las funciones de producción educativa uniecuacionales ya que no toman en cuenta el carácter esencialmente jerárquico de las relaciones que se pretenden estudiar (Rowe, Hill y Holmes-Smith 1995; Wenglinsky 1998; Bryk y Raudenbush 1992; Monette, Shao y Kwan 2002).

Los llamados Modelos Multinivel aparecen como una alternativa para solucionar dichas dependencias; ellos permiten trabajar unidades de análisis de forma simultánea. Efectivamente, proponen una estructura de análisis dentro de la cual se pueden reconocer los distintos niveles en que se articulan los datos, pues cada subnivel está representado por su propio modelo. Así, los Modelos Multinivel respetan la organización jerárquica que presentan los datos educativos de forma natural. Cada uno de estos submodelos expresa la relación entre las variables dentro de un determinado nivel y especifica cómo las variables de ese nivel influyen en las relaciones que se establecen en otros niveles, mejorando así la estimación de los efectos atribuibles a cada nivel de asociación de variables, permitiendo la descomposición de la variabilidad de la variable dependiente.

En este trabajo se pretende desarrollar un modelo específico que identifica dos niveles de análisis: un primer nivel en el cual se considera el conjunto de variables personales y del hogar de pertenencia que afectan el rendimiento de cada alumno, y un segundo nivel que contempla las variables cuyo efecto se expresa grupalmente sobre el conjunto de alumnos en el aula, referentes a las características escolares y propias del profesor.

El análisis de la información de la prueba TIMSS 2007 Colombia se realizó siguiendo las siguientes fases metodológicas. Inicialmente se identificaron aquellas variables que fueran usadas reiteradamente en distintos estudios sobre calidad de educación; estas variables fueron tomadas como características básicas a incluir en el análisis. Considerando que se tenía a disposición un gran número de variables, se recurrió a la técnica de Análisis de Correspondencias Múltiples (ACM) para reducir la dimensionalidad y obtener indicadores que sintetizan la información del conjunto de variables.

Una vez construidos, los indicadores se incorporaron como variables independientes al modelo de dos niveles propuesto, posteriormente se hace la estimación de distintos modelos empezando con el modelo nulo, el modelo que contiene las variables de alumno, el modelo con variables de escuela, hasta obtener un modelo completo que incluye todas las variables consideradas. Finalmente, se muestran los resultados principales y conclusiones.

3. Definición formal del modelo multinivel de dos etapas

En un modelo multinivel hay dos tipos de parámetros: los parámetros fijos y los aleatorios. Los primeros corresponden a los efectos medios en la población; se trata del intercepto y de las dependientes. Los aleatorios corresponden a las varianzas y covarianzas de todos los niveles.

Frente a los modelos clásicos, los modelos multinivel ofrecen a la investigación la posibilidad de poder recoger la estructura anidada de los datos en sus niveles, en este caso estudiante y escuela, así como poder distinguir con mayor precisión los efectos debidos a cada uno de esos niveles. De la misma forma, y esto es conceptualmente muy destacable, el modelo incluye la posibilidad de reconocer las similitudes entre las escuelas, característica fundamental para hablar correctamente de los términos "eficacia escolar" y "calidad de la educación".

Para el estudio de los modelos multinivel se tomó como referencia principal el libro "Modelos Jerárquicos Lineales" de Gaviria y Castro (2005) y el trabajo de Delprato (1999). Por este motivo, la presentación siguiente, en gran medida, sigue su notación y línea argumental.

3.1 Modelo general de dos niveles

Como su nombre lo indica, el modelo está compuesto por dos submodelos, uno en el nivel 1 y el otro en el nivel 2. Por ejemplo, en nuestro caso, el problema de investigación es sobre datos de estudiantes anidados dentro de escuelas; el modelo del nivel 1 representaría las relaciones de las variables a nivel del estudiante, y el modelo del nivel 2 capturaría la influencia de los factores escolares. Formalmente, hay i = 1,..,nj unidades del nivel 1 (estudiantes) dentro j= 1,…, J unidades del nivel 2 (escuelas).

En el modelo del nivel 1 se representa la variable dependiente para el caso (alumno) i dentro de la unidad j como,

Y_ij = β_0j + β_1jX_1ij + β_2jX_2ij + … + β_QjX_Qij + e_ij    (1)

Y_ij = β_0j + ∑ ^Q_q=1 β_qjX_qij + e_ij    (2)

Donde

X_qij Predictor del nivel 1 para el caso i en la unidad j;

e_ij Efecto aleatorio del nivel 1; y

σ² Varianza de e_ij, la varianza del nivel 1.

Se supone que el término aleatorio se distribuye en forma normal, esto es,e_ij ∼ N(0,σ²)

En el modelo del nivel 2 cada uno de los coeficientes β_qj(q = 0,1,…,Q) definidos en el modelo del nivel 1, se convierten en variables dependientes del modelo del nivel 2,

β_qj = γ_q0 + γ₁W_1j + γ_q2W_2j + … + γ_qSqW_Sqj + µ_qj    (3)

β_qj = γ_q0 + ∑ ^Sq_S=1 γ_qsW_sj + µ_qj   (4)

Donde

γ_qs (q = 0,1,…,_Sq) Coeficientes del nivel 2;

µ_qj Efecto aleatorio del nivel 2.

Se supone que, para cada unidad j del nivel 2, el vector (µ_0j, µ_1j, …, µ_Qj) se distribuye normal multivariante, y cada elemento µ_qj tiene media cero y varianza expresada de la siguiente manera: Var(µ_qj) = τ_qq

Para cada par de efectos aleatorios q y q' se tiene: Cov(µ_qj,µ_q'j) = τ_qq'

Los componentes de la varianza y covarianza se agrupan en una matriz de dispersión, T, cuya dimensión es (Q + 1) x (Q + 1).

Los coeficientes del nivel 1 se pueden modelar en el nivel 2 de tres formas distintas,

Coeficiente del nivel 1 fijo,

β_qj = γ_q0    (5)

Coeficiente del nivel 1 con variación no aleatoria en las unidades del nivel 2,

β_qj = γ_q0 + ∑ ^Sq_S=1 γ_qsW_sj    (6)

β_qj = γ_q0 + µ_qj   (7)

O con variables del nivel 2,

β_qj = γ_q0 + ∑ ^Sq_S=1 γ_qsW_sj + µ_qj  (8)

La dimensión de T depende del número de coeficientes del nivel 1 especificados como aleatorios.

Siguiendo a Bryk, Raudenbush y Congdon (1996), tres clases de parámetros se estiman en un modelo jerárquico lineal, a saber: estimadores empíricos de Bayes (EB) de los coeficientes aleatorios del nivel 1; estimadores de mínimos cuadrados generalizados de los coeficientes del nivel 2; y estimadores de máxima verosimilitud de los componentes de la varianza y de la covarianza. Los estimadores de los coeficientes del nivel 1 (EB) para cada unidad j se componen de un estimador obtenido a partir de los datos para cada unidad y de un estimador de otras unidades similares del nivel 2. Intuitivamente, las estimaciones de los coeficientes del nivel 1 mejoran haciendo uso de toda la información disponible (Kreft 1996). Las ponderaciones están dadas por la precisión en la estimación de cada uno de estos dos elementos.

La estimación de los coeficientes del nivel 2 por GLS incorpora la diferente precisión de la información proporcionada por las J unidades. Esta precisión es computada como la inversa de la varianza de cada unidad, la que a su vez se compone de la varianza del error (varianza del nivel 1) y de la varianza del nivel 2.

Finalmente, dado que en la mayoría de las aplicaciones los datos no son balanceados, esto es, las unidades del nivel 2 no tienen el mismo tamaño muestral, por medio de los métodos tradicionales para la estimación de la varianza y covarianza no se consiguen estimadores eficientes.

3.2 El modelo nulo

Es un caso particular del modelo anterior. Aquí no existe ninguna variable explicativa, por lo que constituye una herramienta metodológica. Si la varianza de este modelo no es estadísticamente distinta de cero, no tendría sentido incluir variables explicativas en el modelo jerárquico en ninguno de sus dos niveles.

Y_ij = β_0j + e_ij    (9)

Y el nivel 2 por

β_0j = β₀ + µ_0j   (10)

El modelo completo sería:

Y_ij = β₀ + (µ_0j + e_ij)  (12)

Donde

e_ij ∼ N(0,σε²) y µ_0j ∼ N(0, σµ₀²)

σε² es la varianza entre estudiantes y σµ₀² es la varianza entre las escuelas. Por lo tanto, si estas dos varianzas no fuesen estadísticamente significativas no tendría sentido introducir variables explicativas debido a que este hecho significaría que no habría nada que explicar (Gaviria y Castro 2005). No obstante, la varianza de cada nivel generalmente es significativa por lo que el paso a seguir sería introducir variables independientes que disminuyan la varianza no explicada.

4. Población estudiada y descripción de las variables

La participación de Colombia en pruebas internacionales como PISA, PIRLS y TIMSS sobre calidad de la educación es reciente. Así, el interés de trabajar con la base de datos TIMSS 2007 se da porque es importante analizar los resultados en matemáticas de la segunda participación de Colombia en este tipo de estudio.

En Colombia se evaluó a una muestra representativa conformada por 4.801 estudiantes de cuarto grado de 142 establecimientos educativos. La muestra nacional fue diseñada por TIMSS de tal manera que permite comparar información por sector (oficial - privado) y zona (urbana - rural), mas no por departamentos, municipios o regiones. Adicionalmente, los cuestionarios de los estudiantes recogieron la información sobre género, lo que también hace posible la realización de análisis basados en esa variable. Debido a la existencia de valores omitidos en variables relevantes para el estudio fue necesario un proceso de depuración de los datos que finalmente arrojó una base de datos de 3.069 registros con los cuales se inició el procesamiento de información. En el Cuadro 1 se muestra que la distribución de las variables sector y género de los estudiantes conserva una distribución similar a la de los datos originales. En la variable zona se aprecia una diferencia en las proporciones, dicha diferencia es explicable por la baja calidad de la información proveniente de zona rural que ocasionó existencia de valores omitidos.

Aunque las pruebas TIMSS cuentan con una gran batería de preguntas sobre los centros educativos, profesores y estudiantes, en este estudio sólo se incluyeron aquellas variables que aparecen como relevantes en la mayoría de artículos sobre calidad de educación, que enfrentan variables tanto del entorno del alumno como de la escuela. Dichas variables son: género del estudiante, tenencia de computador en el hogar, gusto por la matemática, gusto por la escuela, tipo de escuela, zona de la escuela, uso del computador, tiempo dedicado al estudio de las matemáticas, escasez de computadores en matemáticas, escasez de materiales de librería en matemáticas, escasez de edificios escolares, escasez de iluminación, ventilación y calefacción, género del docente, mayor nivel educativo alcanzado por el docente como variables independientes, y como variable dependiente se trabajó el primero de los cinco valores plausibles que ofrece la base de datos TIMSS. Es preciso anotar que no se trabajará con todos los valores plausibles, ya que esto implicaría estructuras complejas multivariantes y la aplicación de técnicas de remuestreo que no son el objetivo de este estudio.

La descripción detallada de las variables a utilizar en el modelo se presenta en el Anexo 1.

4.1 Construcción de indicadores

Considerando la necesidad de proteger la parsimonia del modelo se procedió a construir indicadores con algunos grupos de variables, de tal manera que se pudiera conservar la mayor cantidad de información disponible, pero sin incluir muchas variables en el modelo. La aplicación del Análisis de Correspondencias Múltiple (ACM) se desarrolló con una finalidad exclusivamente exploratoria, tendiente a analizar la posibilidad de reducir la dimensión del problema inicial, agrupando individuos que presentaran posesión conjunta simultánea de distintas características, así como la no posesión simultánea de determinadas características.

Los indicadores fueron construidos con variables cuya escala original es de naturaleza categórica, razón por la cual la técnica de reducción de datos más apropiada fue el Análisis de Correspondencias Múltiple (ACM).

En la Tabla 1 se muestran las características de cada uno de los indicadores para los cuales, una vez obtenidas sus coordenadas factoriales, se procedió a desplazarlas sobre su eje para eliminar posibles valores negativos, y posteriormente llevarlas a una escala de 0 a 100 dividiendo sobre el nuevo máximo.

Una vez construidos los indicadores, se incluyeron uno a uno como variables en el modelo multinivel. El primer modelo es el nulo, que se establece como línea de base para la evaluación comparada de modelos posteriores. Además es importante porque permite evaluar la adecuación de un modelo jerárquico a los datos del estudio.

En este caso el procedimiento consistió en la inclusión progresiva de variables para detectar el cambio inducido por cada inserción sobre las varianzas de cada nivel. El Anexo 3 muestra las principales variables que se usan en el modelo tanto para el nivel de alumno como para el nivel de escuela, teniendo en cuenta que los coeficientes β_ij y γ_ij representan el aporte de cada una de ellas al rendimiento del estudiante visto en términos de su valor plausible.

5. Modelización y resultados

La aplicación práctica y la interpretación de los distintos modelos multinivel se realizan con el software MLWin, el cual es editado por el Centro de Modelamiento Multinivel del Instituto de Educación de Londres (Goldstein et al. 2000) y se constituye actualmente como una de las herramientas más importantes para trabajar modelos con estructura jerárquica. En primer lugar, la representación del modelo nulo realizado muestra que el modelo asume una variable respuesta con distribución normal. El coeficiente beta se encuentra multiplicado por un vector constante que se introduce con la intención de dar el mismo tratamiento al punto de corte que a las pendientes del modelo. El software MLWin muestra también cómo la variación se encuentra estructurada en dos niveles, donde una parte le corresponde al nivel alumnos e_0ij y al nivel escuela µ_oj. El modelo 1A muestra el modelo considerando solamente la variación del nivel alumnos; en el modelo 1B se incluyó solamente la variación del nivel escuelas. La existencia de varianza dentro de las escuelas indica que los sujetos se diferencian entre ellos dentro de las escuelas. La existencia de varianza en el segundo nivel indica que las escuelas también difieren en el rendimiento medio de cada una de ellas.

En el Cuadro 2 se presenta el modelo 1A que tiene un β₀=389,279 y significa que la calificación promedio que obtuvieron los estudiantes es de 389,28 puntos. Por su parte, el β₀ en el modelo 1B indica que la calificación promedio de las escuelas es de 377,74 puntos. En el Anexo 2 se encuentran las pruebas de significancia para todos los modelos.

En el modelo 1C (modelo nulo) β₀ es el rendimiento medio de todas las escuelas. µ_0j es lo que la media de la escuela j se aparta de la media general y e_ij es lo que el rendimiento del alumno i de la escuela j se parta de la media de su escuela. La varianza σ²_µ0 es la varianza entre las medias de las escuelas, y σ²_e es la varianza entre los alumnos dentro de cada escuela. Como sucede en los modelos tradicionales, la significancia de un predictor está dada por la razón entre su estimador y su error típico. Si el valor de dicho cociente es mayor a dos (p<0.05) el parámetro será significativo.

Esto nos indica que del total de la varianza del rendimiento de los estudiantes, el 42,6% corresponde a la varianza entre las escuelas y el 57.4% lo explica el nivel alumno (ver Anexo 2). Así, la diferenciación del rendimiento de los estudiantes en la prueba TIMSS es explicada en dicha proporción por el efecto escuela. Por lo tanto, todos los esfuerzos se orientan a comenzar a introducir variables en el modelo que disminuyan la varianza no explicada.

5.1 Modelo con variables de nivel alumno

La expansión del modelo se realiza incluyendo variables al modelo inicial (modelo nulo) y verificar la significancia de cada nueva variable comparando los valores del estadístico -2*loglikelihood del modelo nulo y los modelos siguientes, lo que permite evaluar el aporte de cada variable; de igual manera la varianza de cada nivel permite analizar cómo la inclusión de cada variable afecta la variabilidad debida a las escuelas y a los estudiantes.

Se inicia incorporando predictores del nivel alumno a la parte fija y aleatoria del modelo y posteriormente las variables de nivel escuela. En el Anexo 2 se puede observar el aporte y la significancia de cada variable al ser incluida una a una en el modelo.

En el Cuadro 3 se puede apreciar un aporte significativo de la variable sexo con un parámetro asociado a la variable sexo positivo y significativo (14.038). Estos 14.038 puntos representan la diferencia en el rendimiento medio en matemáticas entre niños y niñas. En este caso, los niños obtienen en promedio 14.038 puntos más que las niñas.

Al agregar la variable "posee computador en el hogar" se observa una disminución en el punto de corte, ya que ahora se refiere al rendimiento medio de las niñas que no poseen computador en el hogar. El coeficiente obtenido para esta variable indica que poseer computador en el hogar incrementa el rendimiento promedio en 6.158 puntos.

La variable que mide las deficiencias en informática y estudio, obtuvo tal como se esperaba, un signo negativo en su coeficiente; esto indica que por cada incremento en la deficiencia en informática y estudio se disminuye la calificación obtenida en la prueba TIMSS en 0.247 puntos en promedio.

De igual manera la variable gusto por las matemáticas presentó un parámetro positivo que, como en el caso del gusto por la escuela, está indicando que cuando a los estudiantes les gustan las matemáticas obtienen calificaciones más altas en la prueba TIMSS, aproximadamente 33.099 puntos más que aquellos estudiantes a los que no les gustan las matemáticas. En el modelo se puede apreciar que cuando se incluyen todos los predictores asociados al nivel alumno, la varianza interescuela no explicada disminuye significativamente con respecto al modelo nulo, pasando de 3234.879 a 2923.975. De la misma forma la varianza entre estudiantes pasa de ser 4357.420 a 4090.684, lo que indica que las variables incluidas en el nivel alumno sí contribuyen a la explicación de la varianza no explicada. La correlación intraclase en comparación con el modelo nulo presentó una disminución de 42.6% a 41.7% que indica que del total de la varianza en el rendimiento en matemáticas para Colombia en las pruebas TIMSS, el 41.7% corresponde a la variación en el nivel alumno. El introducir variables asociadas al nivel alumno hizo que el efecto escuela se reduzca.

5.2 Modelo con variables de nivel Escuela

Se continúa con el modelo para mostrar el efecto de la adición de cada una de las variables del nivel escuela; en el Cuadro 4 se puede ver que todas tienen efecto positivo sobre la calificación TIMSS en matemáticas. El mayor aporte se observa en las variables Zona y Tipo de escuela.

La correlación intraclase en comparación con el modelo nulo presentó una disminución de 42.6% a 33.3% que indica que del total de la varianza en el rendimiento en matemáticas para Colombia en las pruebas TIMSS, el 33.3% corresponde a la variación del nivel escuela. Lo que indica que con la inclusión de este tipo de variables asociadas a la escuela la disminución del efecto escuela es aún más grande. Este modelo muestra que la diferenciación existente entre los puntajes que miden el rendimiento de los estudiantes en las pruebas TIMSS está fuertemente influenciada por el tipo de escuela y la zona, ya que son las variables que más aportan al rendimiento.

5.3 Modelo total con variables de nivel alumno y nivel escuela

Finalmente se quiere analizar el efecto que tienen de manera conjunta las variables de los dos niveles sobre el rendimiento de los estudiantes en la prueba TIMSS de matemáticas.

Comparando los resultados de este modelo con respecto al modelo nulo, en el Cuadro 5 se puede observar que la varianza entre escuelas se redujo de 3234.879 a 2010.795. De la misma forma, la varianza intraescuelas disminuyó de 4357.42 a 4092.287. El efecto conjunto de las variables de nivel alumno y de nivel escuela ayuda a explicar en gran proporción las diferencias interclase e intraclase que se habían observado en el modelo nulo, esto debido a que la variación residual disminuyó significativamente.

6. Supuestos del modelo

Los Modelos multinivel, como cualquier modelo de regresión, tienen algunos supuestos de partida, sin cuyo cumplimiento las estimaciones obtenidas no son correctas. Los principales supuestos recaen sobre el error del modelo, ε, y su certificación se realiza a través del análisis de los residuos ê. Estos supuestos son los siguientes:

1. El error tiene media nula y varianza constante, es decir, el error es homocedástico.

2. Los componentes aleatorios y el valor previsto son ortogonales.

3. El error debe tener una distribución normal para que se puedan inferir los resultados de la muestra a la población.

6.1 Media nula y varianza constante

Esta hipótesis es importante debido a que al graficar los residuos frente a valores estimados se puede ver la variabilidad cuando tiende a crecer o a decrecer con las variables predictoras del modelo (Gráficos 1 y 2). También se verifica fácilmente calculando los estadísticos descriptivos de los residuales. Así, la media para los residuales del nivel 1 es 1.9940e-005 y de los residuales segundo nivel 0.00024024, con lo que, efectivamente se cumple.

6.2 Los componentes aleatorios y el valor previsto son ortogonales

Una estrategia comúnmente utilizada para verificar este supuesto es mediante el estudio del gráfico de los valores predichos frente a los residuos estandarizados para cada nivel (Gráficos 3 y 4). Debido a que en ambos gráficos se observa una nube de puntos sin tendencia, se puede afirmar que el supuesto se cumple.

Visualmente se puede apreciar la independencia. Sin embargo, también se calculó la correlación entre esos valores. El índice de correlación entre el valor previsto y el componente aleatorio del intercepto para el nivel escuela es de 0.045 y entre el valor previsto y el componente aleatorio para el nivel estudiante es 0,0000173. Es decir, se puede afirmar que se cumple el segundo supuesto.

6.3 Normalidad del error

La hipótesis de normalidad es importante para justificar el método de estimación y las distribuciones de los estimadores. La normalidad de los residuos puede contrastarse a partir del gráfico normal de los residuos y, si la distribución de los residuos es normal, el gráfico tiene que mostrar aproximadamente una línea recta. Como se puede apreciar en los Gráficos 5 y 6 se cumple el supuesto tanto para estudiantes como para escuelas.

6.4 Ajuste del modelo

Con la ayuda del Anexo 2 se puede verificar que el valor del R² del modelo para el nivel escuela es del 37,8% y el del nivel estudiante es del 6.1%.

Finalmente, se realizó una estimación del modelo obtenido usando el quinto valor plausible de la variable respuesta. Si bien este no es un requerimiento para probar la adecuación del modelo, sí se constituye en un ejercicio que permite evaluar la coherencia de los resultados obtenidos con el valor plausible seleccionado inicialmente, ya que el comportamiento de las variables independientes resultó ser exactamente igual en signo sin importar qué valor plausible se use para la estimación. La estimación completa de este modelo se encuentra en anexos.

7. Conclusiones

Se identificó un impacto fuerte de la variable sexo del estudiante sobre los resultados obtenidos en las pruebas TIMSS (2007); este efecto produce un mayor rendimiento en el alcance de logros en matemáticas para los niños en comparación al rendimiento logrado por las niñas, al igual que en la gran mayoría de estudios realizados en Colombia a nivel de educación básica.

El hecho de poseer computador en los hogares de los estudiantes representa un efecto positivo en el alcance de logros en matemáticas.

Se pudo verificar que unas mejores características de la escuela y del aula tienen un efecto positivo y significativo sobre los rendimientos en matemáticas de los estudiantes. De igual forma, una escuela que se encuentre ubicada en zona urbana y que sea de tipo privado tiene mayores posibilidades de lograr mejores calificaciones promedio de sus estudiantes en las pruebas TIMSS.

De todas las variables incluidas en el estudio las de mayor impacto sobre el alcance de logros en matemáticas son en su orden: El tipo de escuela, Gusto por la matemática, Zona y Gusto por la escuela. Lo anterior invita al sector educativo a generar mayor innovación en estrategias pedagógicas que busquen aumentar la motivación y el gusto por las matemáticas y la escuela en los estudiantes y así lograr mejores resultados en matemáticas, como por ejemplo los semilleros de matemáticas a nivel de escuela primaria y olimpiadas de matemáticas por zonas, entre otros.

Inicialmente, los resultados de la estimación del modelo nulo indican que 42,6% corresponde a la varianza existente entre las escuelas. Al incluir todos los grupos de variables asociadas a los niveles de alumno y escuela, se logra reducir esta medida a un 32.9% y la varianza no explicada entre las escuelas se reduce considerablemente. Cabe resaltar que las variables asociadas al nivel escuela contribuyen en mayor medida que las asociadas al nivel alumno.

Los resultados de los modelos muestran la importancia del nivel de escuela al encontrar que los logros alcanzados por los estudiantes en gran medida se explican por las características propias de la institución como también por las características de los docentes.

Por su parte, los resultados señalan que los mejores rendimientos corresponden a instituciones privadas en comparación con las instituciones públicas. De igual manera, la zona donde se encuentra la escuela influye de manera positiva sobre el alcance de logros en las escuelas urbanas, estableciendo cierta desventaja frente a las escuelas de zona rural.

Para mejorar el rendimiento en matemáticas se deberían diseñar políticas que contribuyan a mejorar las condiciones de las escuelas como, por ejemplo, garantizar los materiales de librería, acceso a computadores e internet tanto en escuelas como en los hogares, buenas condiciones de infraestructura y docentes calificados.

Para lograr la calidad en la educación se requieren grandes esfuerzos de manera colectiva de toda la comunidad educativa, definiendo metas institucionales, contando con un papel activo de los directivos y con sistemas de evaluación periódica de alumnos y maestros, tal como lo muestran la mayoría de las investigaciones internacionales en esta área. Es fundamental realizar estudios de investigación educativa para todos los grados y poder así realizar investigaciones futuras que proporcionen recomendaciones más precisas.

Fortalecer el capital humano del país, promover el crecimiento económico y extender las oportunidades educativas a la mayoría de la población son objetivos que se pueden lograr utilizando las recomendaciones presentadas anteriormente, que permiten mejorar la calidad de la educación en matemáticas y disminuir la inequidad en la distribución del rendimiento académico entre los estudiantes colombianos.

Referencias bibliográficas

Abdul-Hamid, Husein. «What Jordan needs to do to prepare for the knowledge economy: lessons learned from TIMMS-R». Working paper (University of Maryland), 2003.         [ Links ]

Aitkin, Murray y Nicholas Longford. «Statical Modelling Issues in School Effectiveness Studies». Journal of the Royal Statistical Society. Series A, Vol. 149, No. 1, 1986: 1-43.         [ Links ]

Barrera, Felipe y Alejandro Gaviria. «Efficiency of Colombian Schools». Fedesarrollo, 2003. Último acceso 12 de octubre de 2012, http://www.fedesarrollo.org.co/wp-content/uploads/2011/08/Efficiency-of-Colombian-Schools-fbarrera_eficiencia_escuelas.pdf        [ Links ]

Barro, Robert. «Human capital and growth». American Economic Review, Papers and Proceedings, Vol. 91, No. 2, 2001: 12-17.         [ Links ]

Bedard, Kelly y Elizabeth Dhuey. «The persistence of early childhood maturity: international evidence of long-run age effects». The Quarterly Journal of Economics, Vol. 121, No. 4, 2006: 1437-1472.         [ Links ]

Bowles, Samuel y Henry Levin. «The Determinants of Scholastic Achievement. An Appraisal of some recent Evidence». Journal of Human Resources, Vol. 3, 1968: 3-24.         [ Links ]

Bryk, Anthony S. y Stephen W. Raudenbush. Hierarchical linear models. Applications and data analysis methods. Newbury Park: SAGE, 1992.         [ Links ]

________, ________ y Richard Congdon. HLM: Hierarchical Lineal and Nonlinear Modeling with the HLM/2L and HLM/3L. Chicago: Scientific Software International Inc., 1996.         [ Links ]

Coleman, James. Equality of educational opportunity. Washington, D.C.: U.S. Department of Education, 1966.         [ Links ]

Coombs, Philip y Jacques Hallak. Cost Analysis in Education: A Tool for Policy and Planning. Baltimore y Londres: The John Hopkins University Press, 1987.         [ Links ]

Correa, John J. «Determinantes del Rendimiento Educativo de los Estudiantes de Secundaria en Cali: un análisis multinivel». Revista Sociedad y Economía, No. 6, 2004: 81-105.         [ Links ]

Delprato, Marcos. «Determinantes del rendimiento educativo del nivel primario aplicando la Técnica de Análisis Multinivel». Documento de Trabajo (Instituto de Estudios sobre la Realidad Argentina y Latinoamericana), No. 27, 1999: 1-137.         [ Links ]

Gaviria, Alejandro y Jorge H. Barrientos. «Determinantes de la calidad de la educación en Colombia». Archivos de Economía (Departamento Nacional de Planeación), No. 159, noviembre de 2001: 1-88.         [ Links ]

Gaviria, José y María Castro. Modelos Jerárquicos lineales. Serie Cuadernos de Estadística, No. 29. Madrid: Editorial La Muralla S.A, 2005.         [ Links ]

Gelman, Andrew y Jennifer Hill. Data Analysis Using Regression and Multilevel /Hierarchical Models. Cambridge: Cambridge University Press, 2006.         [ Links ]

Goldstein, Harvey. «Methods in school effectiveness research». School Effectiveness and School Improvement, Vol. 8, No. 4, 1997: 69-395.         [ Links ]

________. Multilevel Statistical Models. New York: Arnold, 2003.         [ Links ]

________, Jhon Rabash, Fiona Steele, William Browne, Bob Prosser y Michael Healy. A user's guide to MLwiN: version 2.0. Londres: Centre for Multilevel Modelling Institute of Education University of London, 2004.         [ Links ]

Greenberg, Evans. «Climates for learning». Presentación ante the Annual Meeting of the American Educational Research Association, San Diego, CA, abril 12-16 de 2004.         [ Links ]

Hanushek, Eric A. «What if there are no best practices?». Scottish Journal of Political Economy, Vol. 51, No. 2, 2004a: 156-172.         [ Links ]

________. «United States lessons about school accountability». Journal for Institutional Comparisons (Center for Economic Studies and ifo Institute of Economic Research), Vol. 2, No. 4, 2004b: 27-32        [ Links ]

________ y Javier A. Luque. «Efficiency and equity in schools around the world». Economics of Education Review, Vol. 22, No. 5, 2003: 481-502.         [ Links ]

________ y Ludger Woessmann. Education quality and economic growth. Washington, D.C.: World Bank, 2007.         [ Links ]

Heck, Ronald H. y Scott L. Thomas. An Introduction to Multilevel Modeling Techniques. Hillsdale: Lawrence Erlbaum Associates, 2000.         [ Links ]

Hox, Joop J. Applied multilevel analysis. Ámsterdam: TT- Publikaties, 1995.         [ Links ]

________. «Multilevel modeling: when and why». En Classification, data analysis and data highways, editado por I. Balderjahn y M. Schader, 147-154. New York: Springer Verlag, 1998.         [ Links ]

ICFES. Resultados de Colombia en TIMSS 2007. Bogotá: ICFES, 2010. Último acceso 22 de febrero de 2012, http://www.icfes.gov.co/resultados/component/docman/doc_details/21-informe-resultados-de-colombia-en-timss-2007?Itemid=        [ Links ]

Kreft, Ita. «Are Multilevel Techniques Necessary? An Overview, including Simulation Studies». Documento presentado ante the Annual Meeting of the American Educational Research Association, New Orleans, LA, Abril 4-8 de 1994. Último acceso 12 de mayo de 2011, http://www.bibsonomy.org/bibtex/2f5d76200cf6f128d64d4c965be7aa1a0/jwbowers        [ Links ]

Lee, Jong-Wook y Robert J. Barro. «Schooling quality in a cross-section of countries». Económica, Vol. 68, No. 272, 2001: 465-488.         [ Links ]

Levin, Hank. Cost-Effectiveness. New York: Sage Publications, 1983.         [ Links ]

Longford, Nicholas T. Random Coefficient Models. Oxford: Oxford University Press, 1993.         [ Links ]

Mina, Alejandro. «Factores asociados al logro educativo a nivel municipal». CEDE (Universidad de los Andes), No. 15, 2004: 1-40.         [ Links ]

Monette, Georges, Qing Shao y Ernest Kwan. «A First Look at Multilevel Models». Statistical Consulting Service(Institute for Social Research), 2002: 1-96.         [ Links ]

Núñez, Jairo, Roberto Steiner, Ximena Cadena y Renata Pardo. «¿Cuáles colegios ofrecen mejor educación en Colombia?». Archivos de Economía (Departamento Nacional de Planeación), No. 193, junio de 2002: 1-70.         [ Links ]

Piñeros, Luis J. y Alberto Rodríguez. «School inputs in secondary education and their effects on academic achievement: a study in Colombia». LCSHD Paper Series (World Bank Human Development Department), No. 36, 1999: 1-60.         [ Links ]

Purkey, Stewart C. y Marshall S. Smith. «Effective schools: A review». The Elementary School Journal, Vol. 83, No. 4, 1983: 427-452.         [ Links ]

Rowe, Kenneth J., Peter W. Hill y Philip Holmes-Smith. «Methodological Issues in educational Performance and School Effectiveness Research: A Discussion with Worked Examples». Australian Journal of Education, Vol. 39, No. 3, 1995: 217-248.         [ Links ]

Sarmiento, Alfredo, Lida Becerra y Jorge González. «La incidencia del plantel en el logro educativo del alumno y su relación con el nivel socioeconómico». Coyuntura Social (Fedesarrollo), No. 22, mayo de 2000: 53-64.         [ Links ]

Valens, Milena. «Calidad de la Educación Superior en Colombia: un análisis multinivel con base en el ECAES de Economía 2004». Documento de trabajo (CIDSE, Universidad del Valle), No. 99, 2007: 1-27.         [ Links ]

Vegas, Emiliana y Jenny Petrow. Raising student achievement in Latin America: the challenge for the 21st century, Serie Latin American development forum series. Washington, D.C.: The World Bank, 2007.         [ Links ]

Vivas, Harvy. «Educación y desigualdad agregada del ingreso». En Educación, Background familiar y calidad de los entornos locales en Colombia. Tesis Doctoral en Economía, 71-90. Barcelona: Universidad de Barcelona, 2008.         [ Links ]

Wenglinsky, Harold. School District Expenditures, School Resources and Student Achievement: Modeling the Production Function. Washington, D.C.: Education Testing Service, 1998.         [ Links ]

Woessmann, Ludger. «Schooling resources, educational institutions and student performance: the international evidence». Oxford Bulletin of Economics and Statistics, Vol. 65, No. 2, 2003: 117-170.         [ Links ]