Características psicometricas de una escala para caracterizar el Sentido del Aprendizaje Escolar*
Psychometric Features of a Scale for Characterizing the Meaning of School Learning
JORGE VALENZUELA** Universidad Católica de Lovaina, Bélgica
* Artículo de investigación.
** Faculté de Psychologie et des Sciences de l'Education (Unité PSED), Place du Cardinal Mercier, 10, 1348, Louvain la Neuve, Bélgica. Correo electronico: jorge.valenzuela@uclouvain.be.
Recibido: marzo 27 de 2008 | Revisado: agosto 12 de 2008 | Aceptado: octubre 26 de 2008Resumen
En el contexto de la motivación escolar se sabe que la motivación que el alumno desarrolla hacia la tarea es insuficiente; es necesario también considerar el sentido que él le atribuye, específicamente a la actividad de aprender en la Escuela; y a través de esta información repensar el diseño didáctico. En este marco, hemos desarrollado un test, el SAE-Alumno, un instrumento que permite caracterizar el Sentido del Aprendizaje Escolar (SAE). La validación de este test se realizó sobre una muestra de 405 alumnos chilenos de ambos sexos de Sexto Básico (11 años) y Tercero Medio (16 años) de nivel socioeconómico bajo, medio y alto. Los resultados obtenidos en ambos niveles de escolarización en relación a la validez, fiabilidad y discriminación, muestran la capacidad del SAE-Alumno para caracterizar de manera adecuada el SAE y que junto a la utilidad en la investigación constituye una herramienta que puede dar a los profesores información potencialmente importante para la elaboración de sus dispositivos pedagógicos.
Palabras clave autor Sentido del aprendizaje escolar, motivación escolar, validación, test.
]]> Palabras clave descriptores Motivación en educación, metodología en pedagogía, metodología del aprendizaje.Abstract
In the context of School Motivation, we know that taking the student's task motivation in consideration is not enough. It is also necessary to consider the meaning the student assigns to the specific task of learning at school, and to rethink didactic designs accordingly. To do so, we have developed a tool (SAS-student) that allows us to charactere the Meaning of School Learning. The instrument was validated with a sample of 405 Chilean students (male and female) of 6th elementary (11 years) and 5th high (16 years), from different Socioeconomic strata. The psychometric features of this tool show the same factorial structure in both levels, appropriate reliability coefficients and a high level of discrimination. These results support the construct validity and reliability of a test that is not only useful for research, but that also gives teachers potentially relevant information for their pedagogic planning.
Key words author School Motivation Meaning, School Motivation, Validation, Test.
Key words plus Motivation in Education, Teaching-Methodology, Learning, Methodology.
Introducción
El objetivo de la Escuela es que sus alumnos aprendan una serie de contenidos y habilidades que el sistema —y no necesariamente el alumno— considera culturalmente relevantes (García, 1997). Para ello, el profesor diseña una serie de actividades o tareas que servirán como mediación para este aprendizaje. No obstante, es bien sabido que para que este aprendizaje se produzca es necesario considerar, entre otros, el aspecto motivacional del alumno (i.e., Alonso Tapia, 1997, 2002).
Los estudios en el campo de la motivación han abordado los aspectos disposicionales de los alumnos frente a estas "mediaciones" del aprendizaje desde distintas perspectivas: desde la Autoeficacia (Bandura, 1994; Bandura & Schunk, 1981; Bandura, Barbaranelli, Caprara & Pastorelli, 1996), los tipos de metas que se plantean los estudiantes (Dweck & Leggett, 1988), la autorregulación (Deci & Ryan, 1985, 1999), entre otros. Sin embargo, no se ha dado suficiente atención al hecho de que si bien la motivación vinculada a la tarea explica parte de la logro escolar, la posibilidad de un aprendizaje escolar significativo (Ausubel, 1978) y profundo (Beas, Santa Cruz, Thomsen & Utreras, 2001) pasa por que el contenido que la Escuela intenciona tenga sentido para el alumno. Por lo tanto, no sólo es relevante que el alumno quiera realizar las actividades que la Escuela le propone, sino que se requiere, además, que el alumno quiera aprender, es decir, que el alumno le dé sentido a aprender en la Escuela. En otras palabras, que exista un motivo para activar sus recursos cognitivos, procesar e integrar los aprendizajes que el sistema escolar intenciona y no solamente para realizar las actividades que la Escuela les propone.
Ahora bien, los alumnos confieren sentido a dicho aprendizaje, a partir de las representaciones sociales sobre la institución escolar, es decir, a partir de conjuntos sociocognitivos o conjuntos organizados de cogniciones (Abric, 2001; Flament, 2001), referidos a la Escuela, su funcionalidad, y las posibilidades que le otorga (cf., Tardif, 1992) que ellos han adquirido a través de su experiencia escolar y familiar, y que si bien pueden modificarse (Valenzuela, 2006), pareciera que tienden a consolidarse a través del proceso escolar (cf., Abraham, 2004).
Abordar el Sentido del Aprendiza Escolar tiene especial relevancia si consideramos que en la medida en que el sentido atribuido al aprendizaje escolar sea coincidente con aquel que intenciona la Escuela, habrá un grado mayor o menor de profundidad en su aprendizaje, es decir, la posibilidad de realizar múltiples operaciones mentales con un tópico (Perkins,1999). Es por lo anterior que se hace necesario conocer por qué los alumnos querrían aprender aquello que la Escuela les propone como aprendizaje y contar con un instrumento que nos permita hacerlo.
]]> Tipos de motivos para aprender en la EscuelaPodemos distinguir cinco tipos de motivos por los cuales un alumno querría aprender los aprendizajes intencionados por la Escuela, a saber: motivos que se orientan a la "responsabilidad social", al "desarrollo personal", al "ascenso social", a la "sobrevivencia" y, finalmente, al "mal menor" (Valenzuela, 2006).1
El primero de los sentidos corresponde a concebir que lo que se aprende en el aula es para ponerlo al servicio de los demás; bajo esta lógica el alumno se prepara o se forma para poder ponerlo al servicio de la comunidad. El segundo, tiene que ver con la realización personal, con ser mejor persona y aprovechar las propias capacidades. En el tercero, (de ascenso social) se verifica una valoración del aprender en al Escuela como medio para mejorar su situación socioeconómica o para conseguir por medios propios una buena (la que puede tener, merced a sus padres). El cuarto de estos sentidos atribuidos a aprender lo que la Escuela quiere enseñar está relacionado con la "sobrevivencia" y la visión de que la institución escolar está para darle las herramientas mínimas para integrarse a la sociedad a través del trabajo. Finalmente, el sentido que hemos llamado de "mal menor" está vinculado a la concepción de que aprender en la Escuela tiene sentido fundamentalmente, como medio para lograr otros fines, normalmente de carácter contingente (permisos, premios, evitar castigos, etc.).
Operacionalización del Sentido del Aprendizaje Escolar
Para poder medir y caracterizar el Sentido del Aprendizaje Escolar, debemos tomar en consideración los tipos de motivos por los cuales un alumno querría aprender lo que la Escuela intenciona y la valoración que, de cada uno de ellos, hace un alumno. No se trata, por tanto, de por qué se realiza tal o cual tarea, sino de aquello que incita al alumno a querer 'aprender' los contenidos y habilidades que la Escuela considera importantes para su formación. Así, operacionalmente, el Sentido del Aprendizaje Escolar (SAE), es el promedio de las valoraciones para cada uno de los cinco tipos de motivos que dan sentido al aprendizaje escolar, y por los cuales un alumno querría aprender lo que la Escuela quiere enseñarle.
Metodología Participantes
Los datos considerados para la validación de esta prueba corresponden a 480 alumnos de ambos sexos de Sexto año Básico (11 años, n=298) y Tercer año Medio (16 años, n=198), de nivel socioeconómico (NSE) bajo, medio y alto de colegios de la Región Metropolitana de Santiago de Chile.
Instrumentos
La prueba que se administró corresponde la versión actualizada de SAE-Alumno (Valenzuela, 2006), versión actualizada de la utilizada en forma experimental en Valenzuela (2002), y que denominamos SAE-Alumno (véase, Anexo 1: SAE-Alumno).Este instrumento consta de 21 ítems en los cuales se busca establecer la valoración que el alumno tiene de las razones para aprender en la Escuela. Para ello se le pide al alumno manifestar su grado de acuerdo o desacuerdo en una escala tipo Lickert de 1 a 6, contrabalanceada, de una serie de sentencias que expresan motivos por los cuales él quiere aprender lo que la Escuela quiere enseñar.Ejemplos de ítems:Mi principal razón para aprender en el colegio es:(3) porque me gusta aprender cosas nuevas. (7) porque me ayudará a tener más opciones de trabajo.(18) porque me ayuda a conseguir permisos.Este instrumento propone distinguir 5 tipos de sentidos atribuidos a aprender aquello que la Escuela quiere intencionar y donde los ítems asociados a cada uno de los tipos de Sentidos del Aprendizaje Escolar, son los siguientes:• El Sentido tipo A "de responsabilidad social": ítems 4, 9, 11, 14 y 17.
• El Sentido tipo B "de desarrollo personal": ítems 3, 5 y 21.
]]> • El sentido tipo C "de ascenso social": ítems 2, 6, 8, 12 y 19.• El Sentido tipo D "de sobrevivencia": reactivos 7, 10, 15 y 20.
• El Sentido tipo E "de mal menor": ítems 1, 13, 16 y 18.
Procedimientos
El proceso de elaboración de los reactivos incluyó una evaluación de la validez de contenido por parte de jueces2, mientras que la evaluación de la comprensión de ítems y la verificación de que los reactivos desencadenaran los procesos cognitivos esperados se realizó a través de un proceso de Think Aloud a alumnos de Sexto año Básico de NSE bajo, y una aplicación piloto con un curso de este mismo nivel.
La administración de esta evaluación estuvo a cargo del investigador responsable y se realizó colectivamente durante el horario de clases sin la presencia del profesor de asignatura. A los alumnos se les aseguró confidencialidad y la duración de dichas aplicaciones no excedió los 20 minutos.Tras la invitación a colaborar con esta investigación se entregó un facsímil de la prueba a cada alumno, tras lo cual se leyó y explicó el protocolo de presentación del test, insistiendo especialmente en que: a) los resultados individuales eran de carácter confidencial, y b) lo importante era lo que de verdad cada uno opinaba sobre lo que se preguntaba.
A medida que los alumnos iban terminando se les instaba a comprobar que todas las preguntas estuviesen contestadas, luego de lo cual podían entregar el instrumento. Este procedimiento se realizó de manera similar en todos los cursos evaluados, tanto de Sexto Básico como de Tercero Medio.
Procedimientos analíticos
Tras la recolección de los datos se procedió a evaluar las características psicométricas del SAE-Alumno, específicamente las siguientes.
1. La validez de constructo, a través de la contrastación de la estructura factorial que arrojan los análisis de componentes principales. Esta contrastación se realiza con la organización previa de la prueba entre los dos niveles evaluados (Sexto de Primaria y Tercer año de Secundaria).
]]> 2. La confiabilidad del test a través del alfa de Cronbach (Cortina, 1993; Streiner, 2003; Cronbach, 2004); se contrastaros los resultados para ambos niveles a través de un utilitario que compara alfas de Cronbach (Valenzuela, 2007, 2008) a partir de la fórmula de Hakstian y Whalen (1976).3. La capacidad de discriminación del test en cada una de las subescalas mediante el índice de discriminación D (Findley, 1956): diferencia entre el índice de dificultad de un ítem para el grupo "fuerte" (p + ) y el grupo "débil" (p-) que están constituidos por aquellos individuos que se sitúan entre el 27% superior e inferior de las puntuaciones de la escala (cf., Kelley, 1939).
Resultados
Sobre la validez de constructo
Se realizaron tres análisis factoriales de componentes principales. El primero consideró la totalidad de los casos de la muestra, mientras que el segundo y tercer AF se efectuó sobre la muestra de alumnos de Sexto Básico y Tercero Medio, separadamente.
En el primer análisis (n=476) de los datos muestra resultados en el test de esfericidad de Bart-lett (3092.010, p< 0.000) y el índice de Kaiser-Meyer-Olkin (KMO = 0.854) que justifican este tipo de análisis puesto que los datos se adecuan de muy buena forma a análisis de factores. Por su parte, en las comunalidades iniciales, es decir, la fracción de variabilidad de cada elemento que se ha explicado con el modelo de factores, se observan, en todos los casos, autovalores superiores a 0.456.
Este primer AF arroja 5 factores principales (véase, Tabla 1), que coinciden en todos los casos con la estructura teórica que subyace a la construcción del instrumento. Es decir, los ítems 4, 9, 11, 14 y 17 corresponden al Sentido "de responsabilidad social" (Sentido tipo A); los ítems 3, 5 y 21 al Sentido "de desarrollo personal" (Sentido tipo B); los reactivos 2. 6, 8, 12 y 19 al Sentido "de ascenso social" (Sentido tipo C); las preguntas 7, 10. 15 y 20 al Sentido "de sobrevivencia" (Sentido tipo D) y los ítems 1, 13, 16 y 18 al sentido etiquetado como "de mal menor" (Sentido tipo E). Estos cinco sentidos explican un total de 58.928 de la varianza.
Una vez verificada la concordancia entre la propuesta teórica y la estructura factorial que emerge de los datos, se procedió al mismo análisis pero esta vez por nivel de escolaridad para corroborar que en ambos niveles se repite la misma estructura factorial.
En este segundo análisis tanto para Sexto Básico (n= 298) como para Tercero Medio (n= 182) se observa test de esfericidad de Bartlett significativo e índices KMO (Kaiser-Meyer-Olkin) bastante altos (véase, Tabla 2).
]]>
En este segundo análisis, tanto en Sexto Básico como en Tercero Medio, aparecen 5 factores que reúnen los ítems propuestos inicialmente y explican, respectivamente, un 54,44% y 64.09% de la varianza.
Al comparar la estructura factorial en estos dos niveles de escolaridad se constata que pese a que los factores no mantienen el mismo orden, los ítems que conforman cada factor son los mismos en cada uno de estos niveles (véase, Error: No se encuentra la fuente de referencia). Lo anterior nos muestra que en ambos grupos la prueba está midiendo lo mismo.
Sobre el nivel de confiabilidad (reliability)
Un segundo aspecto analizado fue la confiabilidad de la prueba. Como se puede apreciar en la Tabla 4, al analizar la muestra completa (n=480) el a de Cronbach media alcanza a 0.752. Para el caso de Sexto Básico (n= 298), el alfa es de 0.69, mientras que en el grupo de Tercero Medio (n=189) la media de los índices de confiabilidad sube a 0.79.
Con relación a estos resultados, es interesante destacar el hecho de que sea precisamente el grupo de menor edad quienes obtienen un menor índice de confiabilidad y que por ser el grupo más numeroso tiene una influencia negativa en la media general.
Así mismo, a través del utilitario de Valenzuela (2007, 2008) y siguiendo la fórmula para muestras independientes de Hakstian y Whalen (1976), se observa que los alfas en Tercero Medio son significativamente más altos que en Sexto Básico, excepto en el sentido tipo E, donde no existen diferencias estadísticamente significativas entre los dos alfas (véase, Tabla 4).
Nivel de discriminación
]]> Finalmente, un tercer tipo de análisis tiene que ver con la capacidad de discriminación del test, esto es, la capacidad de discriminar o distinguir aquellos alumnos con bajas puntuaciones en cada uno de las subescalas de aquellos que de alta puntuación.
Como puede observarse en la Tabla 5, salvo en los sentidos B y D en Sexto Básico y en el Sentido B en la muestra completa, donde se observan puntuaciones consideradas como "buenas" (Ebel, 1965; Laveault & Grégoire, 2002), todas las demás pueden ser consideradas como "excelentes". En este sentido, se puede afirmar que la prueba posee un muy buen nivel de discriminación.
Discusión
Dentro de las características valiosas de este instrumento, y en la que queremos insistir, es la de poder medir el sentido que los alumnos atribuyen a aprender en la Escuela, es decir, lo que llamamos el Sentido del Aprendizaje Escolar. El instrumento presentado en este artículo, muestra, a través de la estabilidad de las estructuras factoriales, que el constructo es aplicable al menos entre Sexto Básico y Tercero Medio (11 y 16 años).
Si bien se mide lo mismo, la precisión con la cual se mide, no lo es. Tomando en consideración el alfa de Cronbach (Cortina, 1993; Streiner, 2003; Cronbach, 2004) y el número de casos para cada análisis, se observa, en general, que la precisión con la cual se realiza esta medición es mayor en los alumnos de más edad. Esto podría deberse a una consolidación de sus representaciones en torno al sentido que tiene para ellos la institución escolar en general, y en particular la actividad de aprender en ese contexto. Mal que mal, hay 5 años de experiencia escolar que deberían incidir en un aprendizaje implícito del para qué aprender en la Escuela. Lo anterior implica que pese a que la prueba es válida para estos tipos de alumnos, obtiene una mayor precisión en aquellos con más experiencia escolar. Con todo, y pese a esta diferencia en los niveles de confiabilidad entre ambos grupos, los niveles de discriminación son altos ambos casos, lo que contribuye a la labor de caracterización del sentido del aprendizaje escolar de los alumnos a partir de los 5 tipos de sentidos propuestos.
Investigaciones previas llevadas a cabo con la primera versión de este test, mostraban una altísima correlación con el rendimiento escolar, explicando una porción aún mayor de la varianza que otros constructos (que la literatura identifica como factores especialmente significativos para explicar el rendimiento) tales como el clima de aula (cf., Casassus, Cusato, Froemel & Palafox, 1998, entre otros). Lo anterior nos impulsa a creer que con esta versión mejorada del instrumento deberíamos tener, al menos, resultados similares a los encontrados anteriormente, con el fin de explicar el rendimiento escolar, tarea que abordaremos en un próximo estudio.
1 Esta proposición de tipos de sentidos del aprendizaje escolar se basa en el trabajo de Valenzuela (2002). Para llegar a esta clasificación se entrevistó a alumnos y profesores chilenos. A partir de esas entrevistas y luego de alcanzar un punto de saturación teórica, se elaboró una clasificación que fue sometida a contrastación empírica. Tras el análisis factorial los resultados distinguieron las dimensiones propuestas como factores diferentes. Adicionalmente, se confrontó esta clasificación con una muestra de personas de diferentes culturas (asiáticos, europeos, latinoamericanos y africanos) para confirmar que los motivos por los cuales un alumno querría aprender lo que la Escuela le quiere enseñar, en sus respectivas culturas, fuesen claramente clasificables a partir del modelo propuesto y que ninguno de dichos motivos requiriese una clasificación distinta.
2 El pool de jueces estuvo conformado por cuatro doctores en Psicología y por un doctor en Sociología, todos especialistas en metodología de la investigación en Ciencias Sociales y vinculados, por su investigación, al ámbito educativo. Se les pidió evaluar los diferentes reactivos en función de su pertinencia teórica a cada uno de los tipos de sentidos propuesto, a través de una escala Lickert y dando espacio para comentarios y sugerencias.
Abrah am, M. (2004, mayo). La resignificación de los procesos de enseñanza y aprendizaje de alumnas y alumnos de formación docente inicial. Ponencia presentada en el XIV Congreso Mundial de Ciencias de la Educación., Santiago, Chile. [ Links ]
Abric, J-C. (2001). Pratiques sociales et representations. Paris: Presses Universitaires de France. [ Links ]
Alonso Tapia, J. (1997). Motivar para el aprendizaje. Teoría y estrategias. Barcelona. Edebé. [ Links ]
Alonso Tapia, J. (2002). Motivación y aprendizaje en el aula. Cómo enseñar a pensar. Madrid: Santillana. [ Links ]
Ausubel, D. P (1978). Educational psychology: A cognitive view. New York: Rinehart & Winston. [ Links ]
Bandura, A. (1994). Self-efficacy. En V. S. Ramachau-dran (Ed.), Encyclopedia of human behavior (Vol. 4, pp. 71-81). New York: Academic Press. [ Links ]
Bandura, A. & Schunk, D. (1981). Cultivating, competence, self-efficacy, and interest through proximal self-motivation. Journal of Personality and social Psychology, 56, 805-814. [ Links ]
Bandura, A., Barbaranelli, C., Caprara, G. V. & Pastorelli, C. (1996). Multifaceted impact of self-efficacy beliefs on academic functioning. Child Development, 67, 1206-1222. [ Links ]
Beas, J., Santa Cruz, J., Thomsen, P. & Utreras, S. (2001). Enseñar a pensar para aprender mejor. Santiago: Ediciones Universidad Católica de Chile. [ Links ]
Casassus, J., Cusato, S., Froemel, J. E. & Palafox, J. C. (1998). Primer estudio internacional comparativo sobre lenguaje, matemática y factores asociados en tercer y cuarto grado. Santiago: Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación. UNESCO. [ Links ]
Cortina, J. M. (1993). What Is Coefficient Alpha? An Examination of Theory and Applications. Journal of Applied Psychology, 78, 98-104. [ Links ]
Cronbach, L. J. (2004). My Current Thoughts on Coefficient Alpha and Successor Procedures. Center for the Study of Evaluation (CSE) National Center for Research on Evaluation, Standards, and Student Testing (CRESST) Graduate School of Education & Information Studies CSE Report 643. Los Angeles, CA [ Links ]
Deci, E. & Ryan, R. M. (1985). Intrinsic motivation and self-determination in human behavior. New York: Plenum. [ Links ]
Deci, E. & Ryan, R. M. (1999). A Meta-Analytic Review of Experiments Examining the Effects of Extrinsic Rewards on Intrinsic Motivation. Psychological Bulletin 125(6), 627-668. [ Links ]
Dweck, C. & Leggett, E. (1988). A social-cognitive approach to motivation and personality. Psychological Review, 95, 256-273. [ Links ]
Ebel, R. L. (1965) Measuring Educational Achievement. Englewood Cliffs, NJ: Prentice Hall. [ Links ]
Ebel, R. L. & Frisbie, D. A. (1986). Essentials of Education Measurement. Englewood Cliffs, NJ: Prentice Hall. [ Links ]
Findley, W. G. (1956). A rationale for evaluation of item discrimination statistics. Educational and Psychological Measurement, 16, 175-180. [ Links ]
Flament, C. (2001). Structure, dynamique et transformations des représentations sociales. Dans J-C. Abric (Ed.), Pratiques sociales et representations (pp. 37-58). Paris: Presses Universitaires de France. [ Links ]
García, E. (1997). La naturaleza del conocimiento escolar: ¿transición de lo cotidiano a lo científico o de lo simple a lo complejo? En M. J. Rodrigo & J. Arnay (Eds.), La construcción del conocimiento escolar (pp.59-79). Barcelona: Paidós. [ Links ]
Hakstian, R. & Whalen, T. (1976). A K-Sample Significance Test for Independent Alpha Coefficients. Psychometrika, 41, 219-231. [ Links ]
Kelley, T L. (1939). Selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, 30, 17-24. [ Links ]
Laveault, D. & Grégoire, J. (2002). Introduction aux theories des tests. Bruxelles: De Boeck. [ Links ]
Perkins, D. N. (1999). ¿Qué es la comprensión? En M. Stone Wiske (Ed.), La enseñanza para la comprensión (pp. 69-92). Buenos Aires: Paidós. [ Links ]
Streiner, D. L. (2003). Starting at the Beginning: An Introduction to Coefficient Alpha and Internal Consistency. Journal of Personality Assessment, 80, 99-103. [ Links ]
Tardif, J. (1992). Pour un enseignement stratégique. Montréal: Editions Logiques. [ Links ]
Valenzuela, J. (2002). Les sens de l'apprentissage scolaire: Une proposition de classification des sens d'apprendre ce que l'école veut enseigner. Tesis de grado no publicada. Universidad Católica de Lovaina, Bélgica. [ Links ]
Valenzuela, J. (2006). Enseñanza de Habilidades de Pensamiento y Motivación Escolar. Efectos del Modelo Integrado para el Aprendizaje Profundo (MIAP) sobre la Motivación de Logro, el Sentido del Aprendizaje Escolar y la Autoeficacia. Tesis Doctoral no publicada. Pontificia Universidad Católica de Chile, Santiago de Chile, Chile. [ Links ]
Valenzuela, J. (2007). Alpha Comparator. A Test to Compare Cronbach's alphas in k independent samples. [Computer software]. Louvain la Neuve: Laboratory "Motivation & Learning", Faculty of Psychology and Educational Sciences (Unit PSED). University Catholic of Louvain. Recuperado el 2 de diciembre, 2007, de http://www.alphacomparator.googlepages.com [ Links ]
Valenzuela, J. (2008). Comparer les niveaux de precision de tests psychométriques: un outil pour le contraste statistique des alphas de Cronbach. Manuscrito no publicado. [ Links ] ]]>