La prueba de decisión léxica como herramienta para ubicar al estudiante de español en los programas universitarios*1
Lexical Decision Test as a Tool for Spanish University Students Placement
Marta Fairclough**; Carlos J. Ramírez Vera***
** Marta Fairclough es profesora de lingüística y directora del Departamento de Estudios Hispánicos de la Universidad de Houston, donde obtuvo previamente el doctorado. Sus líneas de investigación se centran en sociolingüística y la adquisición de lenguas. Sus publicaciones versan sobre el español en Estados Unidos y la enseñanza del español a hispanohablantes bilingües. Correo elec- trónico: mfairclough@uh.edu
*** Carlos J. Ramírez Vera es coordinador del programa de español en la Universidad de Pittsburgh. Adelantó estudios de doctorado en la Universidad de Toronto; sus investigaciones se enfocan en la relación entre la fonética y la fonología, la fonología experimental y la adquisición y la evaluación de segunda lengua. Correo electrónico: cramirez@pitt.edu
La prueba de decisión léxica ha demostrado ser una medida práctica para medir la habilidad global en un idioma. El presente estudio intenta medir cuán efectiva resulta la prueba de decisión léxica con dos grupos de estudiantes universitarios bilingües en inglés y español, pertenecientes a cuatro niveles diferentes. Para diseñar la prueba se utilizó un diccionario de frecuencia del español (Davies, 2006). En una lista de doscientos ítemes, que incluía palabras reales e inventadas, los participantes marcaron solamente aquellas cuyo significado conocían. A modo de comparación se usó un cloze-test. Los resultados de este estudio piloto muestran una alta correlación entre las dos medidas y sugieren que la prueba de decisión léxica resulta ser una herramienta de evaluación válida, económica, fácil de administrar y de corregir.
Palabras clave: enseñanza de lenguas, examen de ubicación, prueba de decisión léxica
ABSTRACT
The lexical decision test has shown to be a practical measure of overall language proficiency. For this study, the effectiveness of a lexical decision test was measured with two groups of Spanish/English bilingual university students at four levels. The test was designed using a Spanish frequency dictionary (Davies, 2006). Participants marked only those items that they knew on a list of 200 words that included real words and non-words. A cloze-test was used as a comparison measure. The results of this pilot study indicate a high correlation between the two measures, and they suggest that the lexical test is a valid, cost effective testing tool that is easy to administer and score.
Key words: language teaching, placement exam, lexical decision task
RÉSUMÉ
Le test de décision lexicale s'est avéré être une mesure pratique pour évaluer la compétence générale dans une langue. Cette étude a été faite pour mesurer le degré d'efficacité de la décision lexicale grâce à la participation de deux groupes d'étudiants universitaires bilingues en anglais et espagnol, à quatre niveaux différents. Le test a été conçu en utilisant un dictionnaire espagnol de fréquence (Davies, 2006). Sur une liste de 200 items qui comprenait des mots réels et inventés, les participants ont marqué seulement ceux qu'ils connaissaient. Un cloze-test a été utilisé comme mesure de comparaison. Les résultats de cette étude pilote indiquent une forte corrélation entre les deux mesures et ils semblent indiquer que le test de décision lexicale est un outil d'évaluation valable, économique, facile à administrer et à corriger.
Mots-clés: l'enseignement des langues, examen de placement, test de décision lexicale
]]>
1. INTRODUCCIÓN
El diseño o la adaptación de un examen de ubicación para aquellos estudiantes que ingresan a un programa universitario de lengua en Estados Unidos siempre han constituido un gran desafío. Éste es aún mayor si se considera que no sólo se ha de ubicar a estudiantes de segunda lengua, sino también al creciente número de hablantes bilingües que buscan estudiar su lengua de herencia.2 El perfil tan diverso de los hablantes de herencia3 dificulta más la tarea.
De acuerdo con Bachman y Palmer (1996: 35-36) y Brown (2005: 38-39), la funcionalidad constituye uno de los elementos clave en la implementación de un examen de ubicación. Sin embargo, mientras que un considerable número de programas universitarios de español como lengua extranjera ha dependido más de exámenes computarizados y estandarizados para ubicar a los estudiantes que ingresan a sus programas, gran parte de los programas de español como lengua de herencia (comúnmente llamados Heritage Language Programs) utilizan sus propios exámenes, cuestionarios personales y entrevistas con los estudiantes para determinar el nivel del estudiante, o simplemente dejan en manos del estudiante la decisión de qué cursos tomar (González-Pino y Pino, 2000: 28 ; Fairclough, 2006: 595).
Las investigaciones llevadas a cabo sobre el aprendizaje del vocabulario demuestran que el volumen léxico que posee un estudiante sirve para predecir sus destrezas de lecto-escritura (Nation y Waring, 1997: 9-12; Laufer, 1998: 256). Por otra parte, se ha encontrado que la prueba de decisión léxica, cuyo fin es calcular el tamaño del vocabulario pasivo de un individuo, resulta ser una medida práctica y, a la vez, válida y confiable de su destreza lingüística general. Anderson y Freebody (1981: 77-80, 1983: 269) y Zimmerman et al. (1977: 11) han llevado a cabo estudios de la primera lengua utilizando pruebas de decisión léxica, mientras que en la adquisición de una segunda lengua, Meara y Jones (1988: 86) y Meara y Buxton (1987: 148-149) hallaron altas correlaciones entre las pruebas de decisión léxica del inglés como segunda lengua y ciertos exámenes estandarizados, como el Cambridge Proficiency Exam. Más recientemente, Lam, Pérez-Leroux y Ramírez hallaron una relación significativa entre el vocabulario y el conocimiento general del español en un grupo de estudiantes universitarios canadienses. Como indican Lam y sus colegas,
El supuesto de considerar el tamaño del vocabulario como medida equivalente a la habilidad global de un idioma se basa en que los estudiantes que saben más palabras en español deben de haber estado más expuestos a dicha lengua y, en consecuencia, sus habilidades en otros aspectos de la lengua deben de ser superiores también4 (2003: 2) (traducción de los autores).
Siguiendo el modelo de dichos estudios, el propósito de este proyecto es medir la validez de una prueba de decisión léxica, como indicador de la destreza general en la lengua tanto en estudiantes de segunda lengua como hablantes de herencia que cursan español en la universidad en cuatro niveles diferentes. A modo de comparación se utiliza un cloze-test, un instrumento empleado con frecuencia para evaluar la habilidad lingüística general en una segunda lengua. El objetivo de este estudio exploratorio busca responder a los siguientes interrogantes:
1. Teniendo en cuenta que en los niveles más bajos del continuo bilingüe, los hablantes de herencia poseen un amplio conocimiento pasivo del español, ¿se puede considerar la prueba de decisión léxica como una medida válida para conocer la destreza lingüística no sólo de los estudiantes de español como segunda lengua, sino también de los estudiantes de herencia hispana?
2. ¿Permitirá la prueba de decisión léxica discernir entre los diferentes niveles de conocimiento del español de los estudiantes que ingresan a un programa universitario de lengua?
3. ¿Constituye la prueba de conocimiento léxico un examen que, además de ser válido y confiable, sea práctico, es decir, que resulte fácil de diseñar, de administrar y de corregir? De ser este el caso, la prueba de decisión léxica sería una valiosa herramienta de evaluación y ubicación para muchos Departamentos de Lenguas.
]]>2. METODOLOGÍA
El grupo de participantes estuvo conformado por un total de 106 estudiantes —77 mujeres y 29 hombres— (véase tabla 1). La mayoría (82%) tenía entre 18 y 25 años de edad. Aproximadamente, la mitad (55 en total) eran estudiantes de español como segunda lengua (= Grupo L2). Los restantes 51 pertenecían al grupo de herencia hispana (= Grupo LH).
Para el estudio se eligieron, al azar, siete cursos de español de la Universidad de Houston: dos de primer año, dos de segundo, dos de tercero y uno de cuarto, y se les pidió a los estudiantes de dichos cursos que completaran los siguientes instrumentos:
Todas las respuestas obtenidas se codificaron y se creó un banco de datos. Para cuantificar las respuestas acertadas del cloze-test, se sumaron todas las respuestas aceptables en cada contexto.
En cuanto al cómputo de los resultados de la prueba de decisión lexica, se utilizó una variante del método propuesto por Meara y Buxton (1987: 146), el cual, basado en la Signal Detection Theory (teoria de detección de senales), ajusta los resultados teniendo en cuenta los casos en que los estudiantes simplemente adivinan la respuesta. La siguiente es la formula utilizada:
SDT= (RY - IY)
(N - IY)
donde:
SDT = Teoria de detection de senales (Signal Detection Theory)
RY = palabras reales seleccionadas
IY = seudopalabras seleccionadas
N = numero total de palabras en la prueba
Al número total de palabras acertadas se restó el número de seudopalabras marcadas y el resultado se dividio por el número total de palabras menos el número de seudopalabras seleccionadas. De la cuantificación y el analisis de los datos se desprendieron los siguientes resultados.
3. ANÁLISIS Y RESULTADOS
]]> El primer paso fue examinar la relación entre el cloze-test y la prueba de decisión léxica. Un análisis de correlación Pearson muestra que las dos pruebas están altamente correlacionadas: r (106) = 0,906, p < 0,01. Sin embargo, como se muestra en la tabla 3, el análisis por grupo resulta en menor correlación, aunque todavía bastante fuerte (para L2, r (55) = 0,786, p < 0,01 y para LH, r (51) = 0,772, p < 0,01).
La distribución de los resultados revela que los hablantes de L2 obtienen en general menor puntuación que los pertenecientes al grupo de LH. En la figura 1 se ilustra la dispersión de los resultados de cada grupo.
Si se considera que el cloze-test es una buena medida para evaluar el conocimien- to general de una lengua, a grandes rasgos se puede afirmar que también lo es la prueba de decisión léxica.
Los resultados de la prueba de decisión léxica se calcularon usando la fórmula (RY - IY) / (N - IY). La distribución de los resultados por grupo y por nivel dentro de cada grupo se muestra en la tabla 4.
]]> La tabla 4 ilustra cómo los promedios aumentan a medida que sube el nivel. Por ejemplo, el grupo de estudiantes de L2 de primer año obtuvo un promedio 0,21. Este resultado se incrementa paulatinamente con promedios de 0,25 en el segundo año, 0,32 en el tercero y 0,41 en el cuarto. En el grupo de LH, los promedios oscilan entre 0,34 en primer año y 0,53 en el cuarto. La confiabilidad de la prueba en cuanto a consistencia y validez es excelente en casi todos los niveles, como lo demuestran los coeficientes del análisis Alfa de Cronbach, que son mayores de 0,90. El resultado de confiabilidad del grupo de tercer año del grupo de LH, aunque fue bueno (0,893), es el más bajo de su grupo. Este resultado se debe posiblemente a la gran variabilidad que se observó en los resultados de este grupo, en el que los promedios para los ítemes variaron entre 0,042 y 0,958.
Una prueba t bilateral, comparando los promedios totales de los dos grupos, confirma que la diferencia entre los grupos es estadísticamente significativa: t (104) = 12,256, p < 0,001.
A continuación se procedió entonces a hacer un análisis de los datos de cada grupo por separado. Una prueba ANOVA, comparando los cuatro niveles del grupo L2, muestra que hay un efecto significativo de nivel (F (3, 54) = 16,623, p < 0,001). Una prueba subsecuente (Post Hoc Bonferroni) muestra que, en el grupo L2, los resultados por nivel son significativamente diferentes, por lo menos al nivel 0,05, entre el primer año (promedio = 0,21; DE =0,03) y el tercero (promedio = 0,32; DE = 0,09), como también el cuarto (promedio = 0,41; DE = 0,08), pero no del segundo año (promedio = 0,25; DE = 0,05). Los resultados del segundo año son significativamente diferentes del tercero y cuarto años. A su vez, los resultados del tercer año son significativamente diferentes de los del cuarto año.
En conclusión, al realizar contrastes múltiples por medio de la prueba Post Hoc Bonferroni, se observa que distingue entre todos los niveles, excepto entre los 94 niveles básicos (primero y segundo años). Esta falta de diferencia entre los dos primeros años puede atribuirse al hecho de que el vocabulario que se enseña en los cursos básicos de español no siempre coincide con las palabras de mayor frecuencia de uso. Recién cuando los estudiantes comienzan a trabajar con mayor cantidad de textos auténticos (en general en los niveles más avanzados), empiezan a incorporar, a su sistema léxico, el vocabulario más frecuente y a expandir de manera considerable su vocabulario. Sin embargo, es de anotar que, en estudios similares, las pruebas de decisión léxica distinguen acertadamente entre todos los niveles de hablantes de L2 (Lam, Pérez-Leroux y Ramírez, 2003: 6). La distribución de los resultados de la prueba de decisión léxica por nivel se ilustra en la figura 2.
]]> A pesar del número limitado de participantes, en la figura 2 se observa un patrón bastante definido de progreso de un año al siguiente, en el grupo de los estudiantes de L2. Además, los resultados estadísticos sugieren que este tipo de prueba resulta ser un instrumento válido para diferenciar entre los niveles de este grupo de estudiantes.
Con respecto al grupo de estudiantes de LH, los resultados de una prueba ANOVA también permiten distinguir con claridad la diferencia altamente signi- ficativa entre los cuatro niveles (F (3, 50) = 13,146, p < 0,001). El seguimiento con una prueba Post Hoc Bonferroni, de nuevo indica con exactitud dónde están las diferencias. Los resultados del grupo de primer año (promedio = 0,34; DE = 0,07) son significativamente diferentes en relación con los demás niveles. Es decir, los resultados son diferentes tanto del segundo año (promedio = 0,49; DE = 0,06), como del tercero y cuarto años (promedios = 0,50 y 0,53; DE = 0,06 y 0,05, respectivamente).
Resumiendo, en el grupo LH, la prueba léxica revela diferencias significa- tivas entre el primer año y los demás. Los promedios de la prueba léxica de segundo, tercero y cuarto años del grupo LH no difieren significativamente desde el punto de vista estadístico. La figura 3 ilustra la distribución de los resultados por nivel.
Si bien el conocimiento léxico pasivo de los estudiantes del grupo de LH de primer año (que en su mayor parte son bilingües receptivos) es superior al de los de tercer año del grupo LH (recordemos que los promedios son 0,34 y 0,32 respectivamente), éste difiere de manera considerable del que poseen los estudiantes de segundo, tercero y cuarto años. Estos tres niveles del grupo de herencia hispana son muy parejos en cuanto al conocimiento del léxico. Según Nation (1990: 261; 2001: 15), las cinco mil palabras de mayor frecuencia de uso del léxico de una lengua dan cuenta de aproximadamente 89% de un tex- to normal. Añade el autor que al nivel de las cinco mil palabras está situado el límite entre palabras de alta y baja frecuencia. Se podría afirmar que los estudiantes del grupo de herencia hispana ya poseen el conocimiento pasivo del léxico de alta frecuencia del español, en cuyo caso una prueba de decisión léxica que se limita a los cinco mil ítemes más comunes no resulta tan efectiva para distinguir la habilidad lingüística de los diferentes niveles más altos de este tipo de población.
4. CONCLUSIONES
Los resultados de este estudio de aplicación sugieren respuestas a las preguntas planteadas inicialmente. Con respecto a la validez de la prueba de decisión léxica para medir la destreza lingüística, la alta correlación entre los resultados de la prueba léxica y el cloze-test indica que hay una estrecha relación entre el conocimiento pasivo del vocabulario y un conocimiento general de la lengua, lo cual sugiere que un mayor conocimiento del léxico implica mayor contacto con la lengua y mayor conocimiento general de ésta.
En cuanto a la validez de la prueba para determinar la destreza lingüística en español, en términos generales los resultados no sólo permiten distinguir con claridad entre los dos grupos (L2 y LH), sino que muestran, además, un aumento gradual de un nivel al siguiente, tanto en un grupo como en el otro. Sin embargo, si bien la diferencia entre los niveles en el grupo de estudiantes de español como L2 resulta estadísticamente significativa entre casi todos los niveles, no ocurre lo mismo con el grupo de estudiantes de LH, en el que dicha diferencia se distingue sólo entre el primer nivel y los demás niveles. Un léxico de cinco mil palabras no es lo suficientemente amplio como para diferenciar con precisión entre los niveles más avanzados de este último grupo. Con respecto a la funcionalidad de las pruebas de decisión léxica, los resulta- dos demuestran una excelente validez interna en casi todos los niveles, tanto para estudiantes de L2 como para los hablantes de herencia. La prueba es fácil de construir, y requiere poco tiempo para administrarse y calificarse, lo que significa una ventaja sobre otros exámenes que buscan medir la destreza lingüística de los estudiantes. Para concluir, si bien es obvio que la prueba de decisión léxica mide el voca- bulario pasivo de un estudiante, dada la practicidad de este tipo de examen y su alta correlación con el cloze-test, se debería continuar explorando el valor de este tipo de herramienta como medida de la destreza lingüística general de los estudiantes que ingresan a un programa universitario de español, no sólo con un mayor número de participantes, sino también habría que utilizar un margen léxico bastante más amplio, de por lo menos de diez mil lexemas.
]]>BIBLIOGRAFÍA
1. Anderson, R. y Freebody, P. (1981). Vocabulary knowledge. En J. Guthrie (Ed.), Comprehen-sion and Teaching: Research reviews (pp. 77-125). Newarke, DE: International Reading Association. [ Links ]
2. Anderson, R. y Freebody, P. (1983). Reading comprehension and the assessment and acquisition of word knowledge. Language Research, 2, 231-256. [ Links ]
3. Bachman, L. F. y Palmer, A. S. (1996). Language Testing in Practice. Designing and Deve-loping Useful Language Tests. Oxford: Oxford UP. [ Links ]
4. Brown, J. D. (2005). Testing in Language Programs: A Comprehensive Guide to English Language Assessment. New York: McGraw-Hill. [ Links ]
5. Clyne, M. G. y Fernández, S. (2008). Community Language Learning in Australia. En N. H. Hornberger (Ed.), Encyclopedia of Language andEducation, 2.a ed. Vol. 4: Second and Foreign Language Education (pp. 169-181). New York: Springer. [ Links ]
6 Davies, M. (2006). A Frequency Dictionary of Spanish: Core Vocabulary for Learners. Lon-don: Routledge. [ Links ]
7. Darnell, D. K. (1968). The Development of an English Language Proficiency Test of Foreign Students using a Clozentrophy Procedure. Boulder, Colorado: University of Colorado. (ERIC Document Reproduction No. ED 024039). [ Links ]
8. Extra, G. y Yagmur, K. (2004). Introduction. En G. Extra y K. Yagmur (Eds.), Urban Mul-tilingualism in Europe: ImmigrantMinority Languages at Home and School (pp. 1-6). Clevedon, UK: Multilingual Matters. [ Links ]
9. Fairclough, M. (2006). Language placement exams for heritage speakers of Spanish: Learning from students' mistakes. Foreign Language Annals, 39 (4), 595-604. [ Links ]
10. González-Pino, B. y Pino, F. (2000). Serving the heritage speaker across a five-year program. ADFL Bulletin, 32 (1), 27-35. [ Links ]
11. Knoll, J. H. (2001). Minorías en un estado de tensión. Educación de adultos y desarrollo, 56. DVV International. Recuperado 11 de noviembre de 2008, de http://www.iiz-dvv.de/index.php?article_id=464clang=3 [ Links ]
12. Lam, Y., Pérez-Leroux, A. T. y Ramírez, C. (2003). Using lexical decision for Spanish language placement testing. Presentado en AAAL Conference, Washington D.C. [ Links ]
13. Laufer, B. (1998). The development of passive and active vocabulary in a second language: Same or different? Applied Linguistics, 19 (2), 255-271. [ Links ]
14. Meara, P. y Buxton, B. (1987). An alternative to multiple choice vocabulary tests. Language Testing, 4, 141-154. [ Links ]
15. Meara, P. y Jones, G. (1988). Vocabulary size as a placement indicator. En P. Grunwell (Ed.), Applied Linguistics in Society (pp. 80-87). London: Center for Information on Language Teaching and Research. [ Links ]
16. Nation, I. S. P. (1990). Teaching and Learning Vocabulary. Rowley, MA: Newbury House. [ Links ]
17. Nation, I. S. P. (2001). Learning Vocabulary in Another Language. Cambridge; New York: Cambridge UP. [ Links ]
18. Nation, I. S. P. y Waring, R. (1997). Vocabulary size, text coverage and word lists. En Schmitt, N. y M. McCarthy (Eds.), Vocabulary: Description, Acquisition and Pedagogy (pp. 6-19). Cambridge: Cambridge UP. [ Links ]
19. Oller, J. W. (1972). Scoring methods and difficulty levels for cloze tests of proficiency in English as a second language. Modern Language Journal. 56 (3), 151-157. [ Links ]
20. Valdés, G. (2000). Introduction. En AATSP (Eds.), Professional development series. Vol. 1: Spanish for Native Speakers (pp. 1-20). Forth Worth, TX: Harcourt College Publishers. [ Links ]
21. Zimmerman, J., Broder, P. K., Shaughnessy, J. J. y Underwood, B. J. (1977). A recognition test of vocabulary using signal-detection measures and some correlates of word and non word recognition. Intelligence, 1, 5-13. [ Links ]
* Recibido: 16-07-08
Aceptado: 04-12-08
NOTAS
1 Una versión previa de este estudio se presentó en el XXI Congreso del Español en Estados Unidos, ''Español en contacto con otras lenguas'', en Arlington, Virginia, en marzo de 2007.
2 En Estados Unidos y Canadá se conoce a las lenguas de herencia como heritage languages. Por otra parte, en Europa se suele optar por el denominación inmigrant minority languages (lenguas minoritarias de inmigración) (Extra y Yağmur, 2004: 1), aunque a menudo se distingue entre las ''lenguas de las minorías autóctonas'', es decir, aquellas de larga tradición en una región y las ''lenguas de las minorías alóctonas'', producto de inmigraciones recientes (Knoll, 2001: 2). En otros lugares, como en Australia, por ejemplo, optan por llamarlas community languages (Clyne y Fernández, 2008: 169), o sea, lenguas comunitarias.
3 Cabe aclarar que, dentro del ámbito académico estadounidense, por lo general se define a los ''estudiantes de lengua de herencia'' (heritage learners) como individuos que se criaron en un hogar donde se hablaba una lengua que no fuera el inglés, que hablan o apenas entienden la lengua de herencia, y que son bilingües hasta cierto grado en inglés y dicha lengua de herencia (Valdés, 2000: 1).
4 ''The assumption behind using vocabulary size as a measure of overall language proficiency is that learners who know more words would have more exposure to Spanish and therefore, they should be better at other language skills as well'' (2003: 2).
