1. Introducción

Las pruebas externas (diseñadas y aplicadas por fuera de una situación de aula) son un valioso recurso para valorar y transformar la calidad de los sistemas educativos, sus resultados determinan sus límites, posibilidades y capacidad de gestión (^{Segovia, 2010}). Promueven la investigación, innovación y experimentación como estrategia para cualificar la educación (Secretaria de Educación de Bogotá, 2007). Suscitan conocer el nivel de educación de los estudiantes de un sistema educativo en relación a los demás (^{Segovia, 2010}), y discriminan la evolución de los estudiantes de un nivel a otro, aportando elementos para la toma de decisiones para el mejoramiento de la calidad (Autor 3, Autor 1 y Autor 2, 2012).

No obstante, la importancia de las Pruebas externas, son pocos los reportes que les asumen como objetos de estudio, en particular, en cuestiones asociadas al análisis del contenido geométrico y métrico evaluado. Hay investigaciones que han determinado la influencia de los libros de texto, en los procedimientos y errores de los estudiantes, al responder preguntas de tópicos específicos (^{De Araujo y Dos Santos, 2009}). Otras, como la de ^{Díaz et al. (1997)} contrastaron las dificultades de los estudiantes de distintas nacionalidades, según las temáticas y desempeños evaluados. Autor 1 (2005) y ^{Garzón (2005)}, por su parte, al evaluar los efectos en las tasas de éxito y fracaso evidenciados en los resultados de la Prueba Censal¹, determinaron los objetos matemáticos considerados e identifican incoherencias en el diseño de la prueba.

En cuanto al desarrollo de investigaciones que, estudien la sinergia entre lo que evalúa una Prueba y las sugerencias descritas en el currículo (alineación, en palabras de ^{Webb, 1997}), la situación es dramática, aún más si se considera las Pruebas colombianas. La revisión de la literatura especializada permitió identificar un único reporte (^{López, 2013}), en dicho caso, el interés recayó en la Prueba de interés en el estudio, pero en un grado de enseñanza distinto. Se evidenció que, en los tópicos por nosotros analizados, la alineación, según el número de preguntas y los contenidos incluidos, no fue la adecuada. En torno, al pensamiento métrico y los sistemas de medidas, se demostró que fue uno de los menos enfatizados, además, que la demanda cognitiva en él considerada, fue menor que la estipulada en los estándares nacionales. Se concluye que, los resultados de las Prueba en cuestión, deben interpretarse con cautela y ponerse cuidado al tipo de decisiones que, en base a ellos, se toman.

La no existencia de estudios que analicen la alineación entre las Pruebas externas colombianas y los requerimientos curriculares expuestos en los Lineamientos y estándares de Matemáticas (Ministerio de Educación Nacional [en adelante MEN], 1998, 2006). Sin lugar a dudas, es una cuestión de gran preocupación. Pues, "las especificaciones de las evaluaciones deben establecer claramente la conexión entre cada pregunta y los contenidos descritos en los estándares" (^{López, 2013}, p. 11). En este sentido, estudios de esta naturaleza suscitan información para mejorar las Pruebas y permiten identificar áreas problemáticas (^{López, Webb y Stansfield, 2006}), vacíos en el contenido evaluado y determinar sí, lo evaluado es representativo de los documentos oficiales que determinan el currículo (^{Herman, 2004}]. Asimismo, el nivel de alineación presente en una Prueba, puede invalidar o validar la interpretación de sus resultados (^{López, 2013}).

El objetivo del artículo fue determinar el nivel de alineación entre el contenido evaluado en las preguntas de las Pruebas Saber y el expuesto en los documentos oficiales colombianos. La atención recayó, en las preguntas de las pruebas Saber-Grado quinto que, evalúan objetos, propiedades, relaciones y pensamientos geométricos y métricos; asimismo, en los referentes conceptuales (pensamientos y estándares) que determinan la enseñanza de las matemáticas en Colombia (^{MEN, 1998}, ²⁰⁰⁶).

2. Materiales y Métodos

Las Pruebas Saber se aplican periódicamente a estudiantes de educación básica de todo el país. Son de carácter obligatorio y censal (Ley 715 del 2001). Pretenden, caracterizar el desarrollo de las competencias básicas tanto, en lenguaje como en matemáticas y ciencias. A partir del 2002, se evalúa a los estudiantes de grado quinto (calendarios A y B) de todas las instituciones educativas colombianas, desde el 2012 su aplicación es anual. Nuestra atención focalizó en las preguntas que evalúan el desarrollo de pensamiento espacial y métrico.

Para considerar un número significativo, se contempló, indiscriminadamente, las que componen la Prueba en los años 2009, 2012 y 2013, no se pretende establecer similitudes y diferencias en el contenido evaluado de un año a otro. Los cuadernillos que incluyen las Pruebas, se "bajaron" de la página institucional del Instituto Colombiano para el Fomento de la Educación Superior (^{MEN, 2010}; ²⁰¹³; ²⁰¹⁴).

De un total de 144 preguntas, se analizaron solo las que promueven los estándares de calidad asociados a los pensamientos espacial y métrico (^{MEN, 2006}). 54 preguntas cumplieron tal condición, para su discriminación todas las preguntas de las PS5 fueron desarrolladas de forma separada por dos grupos: uno, conformado por los investigadores; otro, por tres estudiantes de último semestre de licenciatura en matemáticas. En el proceso se identificó (y argumentó) el tipo de estándar (o estándares) de calidad incluido(s), en consecuencia, el tipo de pensamiento matemático promovido. Posteriormente, pregunta a pregunta, los procedimientos de resolución asumidos y los estándares considerados en cada grupo, fueron comparados entre sí.

En la gran mayoría de los casos los procedimientos y estándares identificados por cada uno de los grupos coincidieron (123 preguntas), cuando no fue así (21 preguntas), cada grupo argumentó el nivel de viabilidad del procedimiento por ellos expuesto, asimismo, los integrantes de cada grupo establecieron parámetros de cercanía o lejanía entre la forma de proceder por ellos expuesta y las presentadas por el otro grupo; inmediatamente, cuando fue necesario, cada uno de los grupos realizó replicas a las posturas realizadas por el otro grupo. Lo anterior permitió llegar a consenso. Así, todas las preguntas fueron caracterizadas.

Los datos se acopiaron por medio de la elicitación de los procesos de resolución explicados (en consenso) por los dos grupos de trabajo reseñados y el tipo de estándar, por ellos, indicado.

El carácter de la investigación fue cualitativo, descriptivo e interpretativo, la captación y selección de los datos se realizó de forma inductiva (^{Bisquerra, 1989}), es decir, las categorías de análisis se extrajeron de las preguntas de las Pruebas Saber y de las formas de proceder que suscitan. Para el diseño de tales categorías, se consideró los referentes conceptuales expuestos en los Lineamientos Curriculares y los Estándares Básicos de Competencias para el área de matemáticas (^{MEN, 1998}, ²⁰⁰⁶), asimismo, los elementos matemáticos que caracterizan el estudio de la geometría y la medición.

Fueron dos las categorías de análisis: pensamientos y conocimientos matemáticos asociados al estudio de la geometría y la medición. La primera, asume el Pensamiento Espacial como "el conjunto de los procesos cognitivos mediante los cuales se construyen y se manipulan las representaciones mentales de los objetos del espacio" (^{MEN, 1998}, p. 37); el métrico, por su parte, como "la comprensión general que tiene una persona sobre las magnitudes y las cantidades, su medición y el uso flexible de los sistemas métricos o de medidas en diferentes situaciones" (^{MEN, 2006}, p. 63). En cuanto a los contenidos movilizados, se definen y caracterizan en el siguiente apartado.

Para probar el nivel de confiabilidad del marco interpretativo diseñado, se realizó un estudio piloto de codificación de las preguntas. Para tal fin, se seleccionó, aleatoriamente, cinco preguntas y se diseñó una tabla donde cada categoría fue definida, caracterizada (según las formas en que aparecen en la Prueba) y ejemplificada. Se solicitó, a 15 estudiantes, de último semestre de un Programa de Licenciatura en Matemáticas, caracterizar las preguntas reseñadas según la información presentada en la tabla, en caso de encontrar inconsistencias, se solicitó identificarlas y argumentarlas. El mismo ejercicio, se realizó con un grupo de 20 educadores matemáticos en ejercicio. En uno y otro caso, la codificación introducida coincidió entre un 90% y un 100% de los casos con, las estipuladas por los diseñadores del marco interpretativo, lo cual permitió afirmar que el instrumento es consistente y válido (^{Mesa, 2004}).

3. Resultados

Se exponen los pensamientos y objetos matemáticos evaluados en la Prueba. Los primeros fungieron como elementos de contraste, los segundos les caracterizaron. Se determinan las formas en que aparecen, se definen y ejemplifican; para el último de los casos, se incluyen algunas de las preguntas analizadas.

La Prueba considera el pensamiento matemático de tres formas: Espacial-simple, Métrico-simple y Compuesto. Los primeros movilizan uno o varios estándares asociados al pensamiento en cuestión; el Compuesto, por su parte, los considera de forma simultánea e incluye estándares vinculados al pensamiento Numérico. Las preguntas reseñadas en la Figura 1, ejemplifican los casos reseñados, en cada caso, se especifica los estándares en cuestión.

Figura 1 Eje los pensamientos y contenidos matemáticos incluidos en la Prueba y estándares asociados. 

Los conocimientos matemáticos son los elementos que constituyen los sistemas matemáticos (MEN, 1998), están asociados con las disciplinas matemáticas que se estudian en la escuela (Aritmética, Geometría, Medida, Estadística y Algebra). Contemplan conceptos, propiedades y relaciones matemáticas (y su articulación). Fueron cuatro los discriminados en el estudio: Magnitud, Medida, Definición y Ausente. En el primero, se consideró u operó, cualitativamente, las partes de la figura que determinan la magnitud en juego, por ejemplo, en el área, la superficie; en el perímetro, la cantidad de longitud de los lados; etc. En ningún caso, se recurre a unidades de medida o a la aplicación de fórmulas. En la Medida, fueron cuestiones a contemplar: la replicación de una unidad, el reconocimiento o el uso de fórmulas para calcular la medida de la cantidad de una magnitud, el reconocimiento de instrumentos o unidades de medida pertinentes, la operación con medidas asignadas o la conversión entre múltiplos y submúltiplos del Sistema Internacional. Los contenidos Definición y Ausente, refieren, respectivamente, a la conceptualización de una figura o sus partes o a la definición de unidades de medida, y a la evaluación tanto de acciones como de competencias, más no de conceptos, propiedades o relaciones matemáticas.

En la Figura 1 se ejemplificó, según su orden de aparición (izquierda a derecha), los contenidos Ausente, Definición y Medida. La Magnitud, por su parte, está presente en la pregunta reseñada en la Figura 2. En los tres primeros casos, los elementos de contenido incluidos se exponen en la misma figura, en el último de los casos, la operación interna de unión de cantidades de magnitudes (áreas], es el elemento movilizado.

Figura 2 Ejemplo de contenido matemático tipo Magnitud. 

De forma global, los resultados (Tabla 1) evidenciaron una distribución desigual en cuanto al número de preguntas que consideran los pensamientos evaluados. El Espacial-simple, presente en la mitad de las preguntas, fue el más considerado; seguido del compuesto, con una cuarta parte; en cuanto al métrico, apenas una novena parte, le contempló.

TABLA 1 CONOCIMIENTOS MATEMÁTICOS EVALUADOS EN LA PRUEBA SEGÚN EL PENSAMIENTO MATEMÁTICO INCLUIDO. 

En cuanto a los contenidos, las Pruebas privilegiaron la evaluación de conocimientos alusivos a la medida, más de la mitad de las preguntas le incluyeron. Se observó un fuerte vínculo entre las preguntas asociadas al pensamiento compuesto y la medida, todas le consideraron. Asimismo, aunque en menor cantidad, un equilibrio entre el número de preguntas que, al incluir los pensamientos restantes, contemplaron el mismo objeto matemático. En breve, la medida fue el único objeto matemático evaluado a través de los tres pensamientos considerados.

La ausencia de contenido evaluado, fue el segundo tópico más considerado, cerca de la quinta parte de las preguntas le contemplaron, todas vinculadas al pensamiento espacial. Las magnitudes y las definiciones (solo en preguntas alusivas al pensamiento espacial) fueron las menos contempladas, respectivamente, en la sexta y, aproximadamente, en la onceava parte de las preguntas.

4. Discusión

El MEN (2006) recomendó la promoción de elementos integradores que promuevan la articulación entre los pensamientos que subyacen al estudio de las matemáticas, pues, "posibilitan que los procesos de aprendizaje de las matemáticas se den a partir de la construcción de formas generales y articuladas de esos mismos tipos de pensamiento matemático" (p. 69). En particular, llamó la atención sobre la necesidad de suscitar vínculos entre los pensamientos espacial, métrico y variacional; métrico, numérico y variacional; numérico, métrico y aleatorio; métrico y numérico.

Pero, los resultados de la investigación demostraron que, la mayoría de las preguntas de la Prueba, evaluaron desarticuladamente los pensamientos espacial y métrico. Solo en un reducido número, tal articulación (junto al pensamiento aritmético) fue contemplada. En cuanto al vínculo con los pensamientos variacional y estocástico (^{MEN, 1998}), la situación fue más crítica, en ningún caso se incluyó. Por otra parte, también se evidenció una diferencia significativa entre el número de preguntas que incluyen a uno y otro de los pensamientos, donde el métrico-simple, con un número reducido de preguntas, fue el menormente promovido.

Lo anterior demostró que, al considerarse la articulación entre los pensamientos matemáticos y el número de preguntas asignadas a cada uno de ellos, existe una inadecuada alineación entre cómo evalúa la Prueba y las recomendaciones realizadas por el ^{MEN (1998}, ²⁰⁰⁶). En cuanto al segundo aspecto, estudios como los de ^{López (2003)} quien analizó la Prueba Saber-Noveno aplicada en el 2002, indicaron que, independientemente del grado de aplicación, la alineación en cuestión para la Prueba en estudio, es deficiente. La evaluación de los pensamientos reseñados, constituyen un área problemática para los diseñadores de las Pruebas Saber.

En cuanto al tipo de contenido evaluado, independientemente del tipo de pensamiento considerado, el estudio resaltó la presencia de preguntas que no evaluaron conocimientos asociados a las magnitudes, medidas o definiciones geométricas o métricas. En dichos casos, la atención recayó en competencias que, si bien podrían asociarse al estudio de la geometría y la medición, fueron promovidas totalmente desarticuladas de cualquiera de los sistemas matemáticos. Para los Lineamientos y Estándares curriculares, lo anterior, no debe propender en el aula; la atención, al contrario, debe recaer en los contenidos articulados al desarrollo de pensamiento matemático (^{MEN, 1998}; ²⁰⁰⁶). La alineación, desde este punto de vista, también fue restringida.

Otro aspecto a considerar, alude a la existencia de un reducido número de preguntas, cuya resolución no exige más que una definición. Particularidad que indica que la Prueba alude, más a la evaluación de procesos e ideas matemáticas que, a cuestiones alusivas a la memorización. Desde este punto de vista, sí existe una alineación entre la Prueba y los Lineamientos y Estándares curriculares. No obstante, lo es para la mayoría de los pensamientos considerados, no para el pensamiento espacial-simple.

Al contemplar los contenidos según los tipos de pensamiento movilizados en la Prueba, son tres los aspectos a resaltar. Los dos primeros evidenciaron bajos niveles de alineación entre la Prueba y lo expuesto en los Lineamientos y Estándares nacionales, el tercero, al contrario, le propendió. En el primero, las preguntas asociadas a los pensamientos métrico y compuesto, no incluyeron el contenido magnitud; en el segundo, las vinculadas al pensamiento espacial-simple, resaltaron, en su mayoría, porque su resolución exigió exclusivamente la promoción de competencias desarticuladas de cualquier contenido o la exigencia de definiciones; y en el tercero, el pensamiento espacial-simple, fungió como el único donde la magnitud fue objeto de evaluación.

En consecuencia, las preguntas que evaluaron el pensamiento métrico (métrico-simple y compuestas) ignoraron una premisa fundamental: la construcción de las magnitudes es la base para el desarrollo de pensamiento métrico (^{MEN, 1998}); no fue así para las que consideraron el pensamiento espacial-simple. Por otro lado, en las preguntas que movilizan pensamiento espacial-simple, las competencias no estuvieron adecuadamente representadas o incluyeron facetas y dimensiones irrelevantes (^{Messick, 1989}), asimismo, privilegiaron cuestiones alusivas a la memorización, no a la evaluación de procesos e ideas matemáticas. Por tanto, el número de objetos geométricos contemplados en este tipo de pensamiento, fue reducido en relación a los que deben incluirse en la enseñanza de las matemáticas (^{MEN, 2006}).

5. Conclusión

La investigación identificó una serie de aspectos que evidenciaron inadecuados niveles de alineación entre lo qué evalúo la Prueba Saber-Quinto y las sugerencias expresadas en los Lineamientos y Estándares nacionales. Esto es importante para las intuiciones educativas que, de forma explícita, diseñan y aplican preguntas para preparar a sus estudiantes en la presentación de las Pruebas Saber. Pues, sin lugar a dudas, en la elaboración de bancos de preguntas, las que constituyen la Prueba, serán los modelos a seguir. En consecuencia, al llevarlas al aula, se promoverían prácticas que irán en contravía de las sugerencias que el MEN explicitó para la enseñanza de la geometría y la medición.

Es necesario, pues, que las instituciones educativas propendan a una cualificación permanente de sus educadores que, entre variados aspectos, induzcan la interpretación de los requerimientos de los Lineamientos y estándares de matemáticas colombianos, la caracterización de las preguntas de las Pruebas Saber y la comprensión del concepto de alineación, así comprenderán que "los resultados de las pruebas estandarizadas no muestran necesariamente todo lo que los estudiantes han tenido la oportunidad de aprender en el currículo" (López, 2003, p. 11), ya sea el propuesto por el MEN o el implementado en el aula. Solo de esta forma, es posible la toma de decisiones que mejoren el nivel de la calidad de la educación en Colombia.

Finalmente, es necesario llamar la atención al desarrollo de nuevas investigaciones que, según los aspectos aquí analizados, caractericen el nivel de alineación de la Prueba Saber, pero aplicada en otros niveles de enseñanza; o que consideren pruebas externas internacionales, es el caso de las Pruebas PISA; o que analicen las Pruebas internas (diseñadas por los educadores y aplicadas en el aula para evaluar el conocimiento y pensamientos adquiridos) y establezcan comparaciones entre su grado de alineación y el de las Pruebas externas (nacionales o internacionales). Igualmente, estudios que discriminen aspectos de naturaleza distinta que, incidan en el nivel de alineación entre las Pruebas y los Lineamientos y Estándares nacionales, son cuestiones a considerar.