MARÍA ROCíO ACOSTA BARRETO^a, BERTHA LUCÍA AVENDAÑO PRIETO, MÓNICA MARTÍNEZ, LUISA MARÍA ROMERO
FACULTAD DE PSICOLOGÍA
UNIVERSIDAD CATÓLICA DE COLOMBIA

^a Calle 114A No. 47A - 88, Bogotá - Colombia. rocioacosta93@yahoo.com

Resumen

La función ejecutiva es el constructo que reúne el conjunto de habilidades cognoscitivas que permiten anticipar, iniciar, retroalimentar el comportamiento y tener flexibilidad cognoscitiva. Una de las pruebas útiles para evaluar esta función es el Test de Fluidez de diseños de Ruff que mide la programación visomotora y se asocia con la actividad frontal derecha. En Colombia no se ha validado en adultos y, dada la utilidad del instrumento en población con lesión neurológica, se planteó la necesidad de realizar el estudio para analizar la viabilidad de utilizar esta prueba tanto en la investigación como en la práctica clínica. El objetivo general fue realizar un análisis psicométrico del "Test de fluidez de diseños de Ruff" en población universitaria bogotana. El estudio fue descriptivo, de tipo instrumental. Se contó con la participación de 492 estudiantes universitarios, hombres y mujeres, con edades comprendidas entre 18 y 28 años, de siete universidades de la ciudad de Bogotá. El análisis de consistencia interna arrojó un alfa de Cronbach de 0.876. Se utilizó la subprueba de cubos del WAIS para establecer la validez convergente, y se encontró una correlación de 0.24, con un valor p = 0.001. El análisis factorial arrojó 4 factores, tres de los cuales coinciden con los estudios realizados por el autor del test; el cuarto factor encontrado se relacionó con seguimiento de instrucciones. Se encontraron diferencias por sexo en el factor diseños únicos, en el cual las mujeres obtuvieron una media más alta que los hombres.

Palabras clave: Función ejecutiva, lóbulo frontal, fluidez de diseños, consistencia, validez.

Abstract

Executive function is the construct that comprises the spectrum of cognitive abilities that enable the individual to anticipate, initiate, provide feedback to the behavior and have cognitive flexibility. One of the useful tests to assess this function is the Ruff Figural Fluency Test which measures visuomotor programming and is associated with right frontal activity. In Colombia this test has not been validated with adult population, and considering the usefulness of this instrument for assessing people with neurological injury, the need to carry out a study to analyze the feasibility of using this test both in research and clinical practice was raised. The overall objective was to conduct a psychometric analysis of the Ruff Test with university population in Bogotá. The study was descriptive, of instrumental type. Participants were 492 university students, men and women, aged between 18 and 28 years, enrolled in seven universities of the city of Bogotá. The internal consistency analysis yielded a Cronbach's alpha of 0.876. In order to establish convergent validity, the WAIS cubes subtest was used, and a correlation of 0.24 was found, with p = 0.001. Factor analysis yielded four factors, three of which coincide with the studies conducted by the author of the test. The fourth factor found was related with following directions. Sex differences were found in the unique designs factor, where women obtained a higher average than men.

Key words: Executive Function, frontal lobe, design fluency, consistency, validity.

Resumo

Palavras-chave: Função executiva, lóbulo frontal, fluência de desenhos, consistência, validade.

Introducción

La función ejecutiva (FE) involucra un conjunto importante de procesos entre los cuales se incluyen la anticipación, la elección de objetivos, la planeación, la selección de la conducta, la autorregulación, el autocontrol y el uso de la retroalimentación. Estos procesos están interrelacionados e incluyen la síntesis de estímulos externos, la adopción de estrategias y la regulación emocional (adaptativo para la consecución de los propósitos planteados) (Lozano-Gutiérrez y Ostrosky-Solís, 2011; Ramírez-Flórez y Ostrosky-Solís, 2009; Slachevsky, Pérez, Silva, Orellana, Prenafeta, Alegría, y Peña, 2005; Mercé, 2004).

Los mecanismos cerebrales de las FE relacionan particularmente a las estructuras frontales y sus conexiones córtico-corticales y córtico-subcorticales propias y con otras áreas cerebrales (Torralva y Manes, 2005; Lezak, Howieson y Loring; 2004; Sholberg y Mateer, 2003; Miyake, Friedman, Emerson, Witzki, Howerter y Wager, 2000). Al respecto, diferentes estudios han permitido establecer el papel de regiones como la corteza dorsolateral frontal, la cual permite al ser humano establecer categorías y, sobre todo, actuar de acuerdo con esta capacidad (Kolb y Whishaw, 2007). Además se le ha atribuido el permitir la integración y la valoración de estas claves externas que rigen el comportamiento dirigido a conseguir una meta (Selemon, 2013: Jòrdar-Vicente, 2004: Stuss, Gallup y Alexander, 2001).

Otra función regulada por el lóbulo frontal es la habilidad para desarrollar tareas de fluidez verbal y de diseño. La primera es una tarea compleja desde el punto de vista cognoscitivo en la que intervienen funciones lingüísticas, memoria de trabajo, memoria semántica y funciones ejecutivas como la iniciación, la atención sostenida y las estrategias de búsqueda, y se relaciona con la actividad del lóbulo frontal izquierdo. Por su parte, la fluidez de diseños implica la programación visomotora y se asocia con la actividad frontal derecha y requiere flexibilidad, planeación, inhibición y monitorización para ser realizada (Baldo, Shimamura, Delis, Kramer y Kaplan, 2001).

Para evaluar la función de los lóbulos frontales se han ideado diferentes pruebas, que con alto grado de sensibilidad y especificidad logran diferenciar su funcionalidad; sin embargo, los estudios deben responder a las características regionales, de tal manera que permitan establecer con claridad los puntos de corte en términos de medias y desviaciones por edades y niveles socioeconómicos (Bausela y Santos, 2004).

Entre los diversos instrumentos están aquellos que evalúan la actividad frontal derecha, los cuales están relacionados con el control, la regulación y dirección del comportamiento humano; entre estos se encuentra el test de fluidez de Diseños de Ruff.

La prueba de Fluidez de Diseños de Ruff fue creada por Ruff, Light, y Evans (1987). Para ello evaluaron 358 voluntarios (197 mujeres y 161 hombres) con un rango de edad entre 16 y 70 años, divididos en cuatro grupos de edades y tres diferentes niveles educativos. Aproximadamente el 65% de los participantes vivían en California, el 30% eran de Michigan y el porcentaje restante vivía en el litoral oriental de los Estados Unidos. Excluyeron los participantes con antecedentes de enfermedad psiquiátrica, abuso crónico de sustancias y trastornos neurológicos. Estudiaron las propiedades psicométricas del Ruff, proporcionando evidencias para la fiabilidad y validez de la prueba. El estudio reveló que no hay diferencias significativas entre hombres y mujeres en el total de diseños únicos o errores perseverativos. No obstante, los jóvenes bachilleres graduados produjeron un número significativamente mayor de diseños únicos que los estudiantes de secundaria. Se observaron diferencias relacionadas con la edad: los participantes menores de 25 años obtuvieron mejores puntuaciones, y las personas de mayor edad obtuvieron los puntajes más bajos. Los autores concluyeron que el instrumento es sensible a las diferencias en edad y escolaridad. Los análisis factoriales realizados por los autores arrojaron tres factores que ellos denominaron: total diseños, total perseveraciones y comprensión del instrumento (Ruff, Light y Evans, 1987).

Berning, Weed y Aloia (1998) evaluaron la validez de la prueba de Fluidez de Diseños de Ruff con la participación de 124 estudiantes de secundaria. La fiabilidad interevaluador para diseños únicos, diseños perseverativos y la tasa de error fue de 0.93, 0.74 y 0.66, respectivamente. Estos resultados indican la fiabilidad entre el rendimiento en la prueba de Ruff y las puntuaciones obtenidas entre varios evaluadores.

En Colombia, Puerta, Morales y Pineda (2003) analizaron las propiedades psicométricas del Test de Fluidez de Diseños de Ruff, en hombres y mujeres adolescentes, entre 13 y 19 años de edad, de diferente nivel socioeconómico y de dos grupos de escolaridad (7 y 8 grado; 9 y 10 grado). A todos los participantes les aplicaron un cuestionario de antecedentes neurológicos mayores para descartar lesión cerebral. Los resultados indicaron que las medias comparadas por grupos de edad, sexo y estrato socioeconómico no fueron significativamente diferentes. Las comparaciones de medias por nivel educativo revelaron diferencias significativas (p< 0.01) en la sección uno (1), cuatro (4) y la puntuación total de diseños únicos. Se encontraron resultados de fiabilidad y validez acordes a los encontrados por el autor de la prueba.

El análisis de fiabilidad utilizando el método ítem/ escala, calculando el coeficiente alfa de Cronbach para cada una las puntuaciones obtenidas en diseños únicos, en respuestas perseverativas y para todos los ítems calificados, fue altamente consistente (Puerta, Morales y Pineda, 2003; Morales, Lopera, Pineda y Puerta, 2003).

Teniendo en cuenta que el comportamiento humano está supeditado a cambios que obedecen, no sólo a acontecimientos de índole funcional, sino también a posibles alteraciones neuropsicológicas de tipo estructural que requieren un examen minucioso, y que para evaluar los procesos neuropsicológicos se necesitan instrumentos válidos y confiables, adaptados y estandarizados para la población particular, surgió el interés de las autoras por realizar el análisis psicométrico del Test de Fluidez de Diseños de Ruff en universitarios.

El presente estudio ofrece un aporte, no sólo en el campo psicométrico, sino también en el área de la salud para el contexto colombiano, avanzando hacia la consolidación de una prueba neuropsicológica que cumpla con los estándares de varios criterios utilizados para valorar las pruebas diagnósticas, a saber: facilidad de aplicación, adaptabilidad, confiabilidad, validez, aceptabilidad y equidad hacia los evaluados. Estos indicadores, sin duda, contribuirán al mejoramiento de la calidad de vida de los adultos colombianos.

Objetivo general

Realizar un análisis psicométrico de la prueba de "fluidez de diseños de Ruff" en población universitaria Bogotana.

Objetivos específicos

1. Determinar la consistencia interna de la prueba de "fluidez de diseños de Ruff".

2. Establecer la validez concurrente con la prueba de cubos del WAIS.

MÉTODO

Tipo de estudio

La presente investigación se enmarca en el enfoque de construcción de conocimiento empírico-analítico. Es un estudio descriptivo, de corte transversal; particularmente se trata de un estudio instrumental, de acuerdo con la categorización de Montero y León (2007), por cuanto está encaminado al análisis de las propiedades psicométricas de una prueba.

Participantes

Se contó con la participación de 492 estudiantes de siete universidades de la ciudad de Bogotá, cuatro de las cuales eran privadas. La muestra estuvo conformada por hombres y mujeres con edades comprendidas entre los 18 y los 28 años, pertenecientes a los seis estratos socioeconómicos, quienes voluntariamente aceptaron participar en el estudio. Se excluyeron estudiantes que tuvieran historia de enfermedad neurológica o discapacidad sensorial o motora que lograra afectar su desempeño durante la realización de las pruebas.

Instrumentos

Test de Fluidez de Diseños de Ruff, diseñado para evaluar la funcionalidad del lóbulo frontal derecho al permitir identificar la habilidad visoconstruccional, la flexibilidad cognoscitiva y la velocidad de respuesta. Esta prueba fue desarrollada con el propósito de proveer información clínica relacionada con la capacidad no verbal, el pensamiento fluido y divergente, las habilidades de flexibilidad cognitiva, las estrategias de planeación y las habilidades ejecutivas para coordinar este proceso. El test consta de cinco (5) partes que en conjunto evalúan los anteriores procesos, cada una de las cuales presenta un patrón de estímulos de puntos diferentes. La primera tiene el patrón original de puntos que se mantiene en la segunda y tercera parte, pero con algunos elementos distractores (rombos y líneas); la cuarta y quinta parte contienen una variación del patrón original de puntos. La tarea consiste en dibujar tantos diseños únicos como sea posible en un periodo de tiempo determinado, si el diseño se repite, se puntúa como un error perseverativo.

Para cada una de las partes del test se contabiliza el número total de diseños (o figuras) únicas y el número de errores perseverativos (p.e. repeticiones de la misma figura). Las líneas dibujadas entre los puntos no pueden ser conectadas con el otro cuadro. Para garantizar la precisión de la puntuación, sistemáticamente se chequea cada figura nuevamente con las restantes producciones. La fiabilidad del instrumento original fue de 0.91, la fiabilidad del estudio de Puerta, Morales y Pineda (2003) fue de 0.88.

El Subtest Cubos del WAIS-IV: es una prueba de la escala de Inteligencia de Wechsler que evalúa el razonamiento espacial, la coordinación visomotora y la capacidad de análisis y síntesis. En la adaptación de Wechsler los cubos tienen dos lados rojos, dos blancos y dos mitad rojo y mitad blanco; el sujeto reproduce dibujos de complejidad creciente que requieren desde cuatro hasta nueve cubos.

Fase 1: Traducción del test y validación de contenido con siete (7) jueces expertos en el tema y bilingües.

Fase 2: A través de los directivos de las diferentes universidades se estableció contacto con los estudiantes; el Ruff se aplicó de manera colectiva y la prueba de cubos del Wais, de forma individual.

Fase 3: Digitación de las pruebas aplicadas, elaboración y depuración de la base de datos y procesamiento estadístico y psicométrico de los resultados obtenidos.

Fase 4: Análisis de resultados, elaboración de conclusiones y discusión.

Aspectos éticos

Se tuvieron en cuenta las consideraciones éticas de la normatividad aplicada a la investigación en Psicología. Cap. 1, Artículo 25 de la Ley 1090 de 2006 del Congreso de la República, por la cual se reglamenta el ejercicio de la profesión de psicología, se dicta el código deontológico y bioético y otras disposiciones (Congreso de la República de Colombia, 2006)

Adicionalmente, los procedimientos de este estudio fueron diseñados en conformidad con lo establecido en la Resolución No. 008430 de 1993 del Ministerio de Salud la cual contiene las "Normas Científicas, Técnicas y Administrativas para la Investigación en Salud" y se refiere a la investigación en seres humanos. Cada estudiante dio su consentimiento para la participación en el estudio y luego recibió el protocolo en el cual no se solicitaron datos de importancia personal que llevaran a los investigadores a revelar su identidad.

De igual forma, este estudio es considerado una investigación de riesgo mínimo para los participantes, tanto a nivel físico como psicológico, según criterios establecidos por la Resolución No. 008430 de 1993 del Ministerio de Salud, contenidos en las "Normas Científicas, Técnicas y Administrativas para la Investigación en Salud". La identidad de los participantes se mantuvo en reserva y se les brindó la posibilidad de que se retiraran voluntariamente en cualquier momento del estudio

Finalmente, se aclaró a todos los participantes que los fines de los resultados obtenidos en la investigación tendrían un carácter netamente académico y científico sin representación honoraria ni para los investigadores ni para los sujetos participantes.

El análisis de la prueba evidenció una consistencia interna de 0.88, expresada por el coeficiente alfa de Cronbach (Kerlinger y Lee, 2002).

Para establecer la validez convergente se utilizó la subprueba Cubos del WAIS en una muestra seleccionada aleatoriamente y conformada por 194 participantes. Como el nivel de medición de las dos variables es de intervalo y éstas siguen una distribución normal (verificadas con el estadístico de Kolmogorov-Smirnov cuyos valores fueron K-S = 0.076, p = 0.00 y K-S = 0.106, p = 0.00), se utilizó el coeficiente producto momento r de Pearson; se encontró una correlación positiva de 0.24, con un valor p = 0.001 entre los puntajes totales de ambas pruebas. Según Greene y D'Oliveira (2006, p. 175), una correlación debe ser bastante alta para considerarse significativa; si el número de participantes es elevado (como en la presente investigación), una correlación baja podría resultar significativa; por este motivo se suele partir de una correlación "razonablemente alta", 0,5 o superior, antes de llevar a cabo una prueba para calcular su significación. Teniendo en cuenta lo anterior, no se puede asegurar que la correlación sea significativa.

Para establecer la validez de constructo se realizó un análisis factorial. Se evidenció que los cuatro primeros factores fueron los más representativos dentro de la prueba; el valor KMO fue de 0,613, el valor en la prueba de esfericidad de Bartlett fue de 190, con un valor p = 0.000, significativo; los valores de estos dos estadísticos indicaron que era razonable realizar un análisis factorial con estas variables (Chacón, Pérez, y Moreno, 2000). En la figura 1 se presentan los autovalores frente al número de factores o componentes, estableciendo el gráfico de sedimentación. Este gráfico permite visualizar el número de factores a extraer, recomendándose un número a partir del cual el gráfico se estabilice. Como se ve en el gráfico, el número cae muy rápidamente en los tres primeros componentes y tiene una pendiente muy suave a partir del factor 5; el sistema extrajo 4 factores.

La tabla 1 presenta la matriz de componentes rotados; se utilizó la rotación varimax, la cual permite interpretar los factores, considerando las variables que presentan las saturaciones más altas en cada uno de estos. El sistema arrojó cuatro factores que explican el 67,31 de la varianza. El factor uno quedó conformado por los ítems "total diseños" y "diseños únicos", de las cinco partes; el factor dos, por las "perseveraciones"; el factor tres, por la "cantidad de errores de unión"; el factor cuatro, por "total diseños" y "diseños únicos de las partes 1 y 2" de la prueba.

La tabla 2 presenta las medias y desviaciones del total de diseños únicos y del total de los errores de perseveración de las cinco tareas que conforman el test; se encontró un paulatino incremento en el número de diseños únicos y mantenimiento del número de las perseveraciones.

Teniendo en cuenta los factores encontrados, se realizaron los análisis comparativos por sexo, encontrando diferencia estadísticamente significativa solamente en diseños únicos; el valor de la t de Student fue de -4.187, con un valor p = 0.000. Los valores de la media y la desviación estándar de los hombres fueron 86.34 y 26.69, respectivamente; mientras que los valores de la media y la desviación estándar de las mujeres fueron 96.35 y 26.16. La tabla 3 presenta los percentiles por sexo.

DISCUSIÓN

El análisis psicométrico original del test de Fluidez de Diseños de Ruff, indicó una confiabilidad de 0.91, valor similar al encontrado en el presente estudio (0.88), e igual al obtenido en el estudio realizado en la ciudad de Medellín (Colombia), por lo que se considera que el instrumento presenta consistencia interna independientemente del contexto cultural.

Con respecto a los resultados obtenidos en el análisis factorial, se encontraron cuatro factores en los cuales se agrupan los ítems del instrumento. Se asume que el primer factor, conformado por el total de diseños y diseños únicos de las partes 2, 3, 4 y 5, que dan cuenta de la capacidad frontal derecha del individuo, corresponde con la fluidez misma, es decir, con la capacidad flexible de producir la mayor cantidad de diseños únicos en un tiempo específico (un minuto), teniendo en cuenta que en estas partes de la prueba, el evaluado conoce ya las instrucciones de ésta.

El tercer factor, conformado por la cantidad de errores de unión en cada una de las cinco partes de la prueba, está relacionado con el seguimiento de instrucciones, ya que la instrucción dada al inicio de la prueba y a través de cada una de las prácticas que realiza el evaluado, debe ser mantenida para que los diseños realizados cumplan la consigna de "unir puntos con líneas rectas". Fallas en este factor podrían relacionarse con la atención y la memoria de trabajo.

Este tercer factor es importante, ya que se trata de algo nuevo frente a lo propuesto por los autores originales, quienes no incluyen el seguimiento de instrucciones dentro de sus hallazgos. Este aspecto diferenciador sugeriría que en los jóvenes universitarios evaluados se requiriera contemplar probabilidades de no realizar las uniones de puntos con líneas rectas (gráfica 1), solicitud que se hace dentro de las instrucciones de la prueba; ó más probablemente, estos errores son un factor de impulsividad que lleva a que no se realice la tarea adecuadamente. Al respecto, se sugiere realizar nuevos estudios que permitan identificar si el pobre seguimiento instruccional ó la impulsividad son una característica poblacional colombiana, hipótesis propuesta por las autoras del presente artículo.

El cuarto y último factor está conformado por el total de diseños y diseños únicos de las partes 1 y 2 de la prueba, y se considera que corresponde a la comprensión del instrumento; esto permite identificar si el evaluado entendió la tarea que debía realizar en la prueba. En ocasiones puede contarse con el resultado final del instrumento; pero esta prueba le permite al examinador aclarar si los resultados se debieron a la capacidad de flexibilidad o a la asimilación adecuada de las instrucciones.

La asociación no significativa entre las puntuaciones del subtest de cubos del WAIS y las puntuaciones del Ruff puede deberse a que, si bien el subtest de cubos evalúa el componente ejecutivo en términos de la planeación (Chacartegui y León-Carrión, 2005), razón por la cual se eligió esta prueba, a la vez da cuenta de las habilidades visoconstruccionales de quien las realiza; es factible que las puntuaciones establecidas por el autor del WAIS den cuenta únicamente de este componente, por lo cual sería necesario aplicar otra prueba o establecer otro tipo de puntuación del WAIS, en el que se incluya tanto el número de aciertos como el tiempo de ejecución. En cualquiera de los dos casos es necesario continuar investigando; los resultados encontrados justifican la necesidad de establecer una medida objetiva del componente ejecutivo que permita llenar este vacío en la medición en neuropsicología.

A partir de los resultados obtenidos en el análisis factorial, las autoras de la investigación atribuyen la efectividad del test de Fluidez de Diseños de Ruff a su diseño original, respaldado por el conocimiento y la experiencia del autor. Se sugiere realizar otros análisis psicométricos del instrumento en contextos clínicos y con diferentes rangos de edad, con el objetivo de alcanzar mayor validez externa, aumentando así sus posibilidades de uso en diferentes contextos.

Teniendo en cuenta lo anterior, se deduce que el instrumento puede ser empleado con confianza en estudiantes universitarios. El análisis factorial indicó cuatro factores en los cuales se divide la prueba (flexibilidad ejecutiva, mantenimiento de conducta, seguimiento de instrucciones y comprensión del instrumento), que en la práctica permitirán un mayor aprovechamiento del instrumento. El paso a seguir es realizar un estudio con un mayor tamaño de muestra, participantes de diferentes niveles educativos y rangos de edad más amplios, que permita determinar puntos de corte según las características sociodemográficas de la población a la cual se aplica, como el reportado por Izaks, Joosten, Koerts, Gansevoort y Slaets (2011) en el cual participaron 1651 personas entre 35 y 82 años de edad, a quienes les aplicaron el Test de Ruff por nivel educativo y determinaron los puntos de corte en grupos de cinco años de edad en los rangos desde 35-39 años, hasta más de 75 años.

Referencias

1. Baldo, J., Shimamura, A., Delis, D., Kramer, J. y Kaplan, E.(2001). Verbal and design fluency in patients with frontal lobe lesions. Journal of the International Neuropsychological Society, 7, 586-596.         [ Links ]

2. Bausela, E. y Santos, J. (2004). Disfunción ejecutiva: Sintomatología que acompaña a la lesión y/o disfunción del lóbulo frontal. Avances en Salud Mental Relacional, 5(2).         [ Links ]

3. Berning, L., Weed, N. y Aloia, M. (1998). Interrater reliability of the Ruff Figural Fluency Test. Assessment, 5, 181-186.         [ Links ]

4. Chacón, S., Pérez, J. & Moreno, R. (2000). Validez de constructo: el uso del análisis factorial exploratorio-confirmatorio para obtener evidencias de validez. Psicothema, 12 (extra2), 442-446.         [ Links ]

5. Chacartegui, F. y León-Carrión, J. (2005). Desorganización perceptiva, déficits constructivos y memoria visual en sujetos con delitos violentos. Revista española de Neuropsicología,7(2-4), 117 - 134.         [ Links ]

6. Congreso de la República de Colombia. (2006). Ley 1090 de 6de septiembre de 2006. Bogotá: Diario Oficial No. 46383.Código de Ética del Psicólogo en Colombia.         [ Links ]

7. Demakis, G. y Harrison, D. (1997). Relationships between verbal and nonverbal fluency measures: Implications for assessment of executive functioning. Psychological Reports,81, 443-448.         [ Links ]

8. Greene, J y D'Oliveira, M (2006). Test estadísticos para psicología. Madrid: Mc Graw Hill.         [ Links ]

9. Izaks, JG., Joosten, H., Koerts, J., Gansevoort, RT y Slaets, JP (2011). Reference Data for the Ruff Figural Fluency Test Stratified by Age and Educational Level. PloS One, 6(2),2-8.         [ Links ]

10. Jòrdar-Vicente, M. (2004). Funciones cognitivas del lóbulo frontal. Revista española de Neurología, 39, 179-182        [ Links ]

11. Kerlinger, F. y Lee, H. (2002). Investigación del comportamiento. Métodos de investigación en ciencias sociales. Cuarta edición. México: McGraw Hill.         [ Links ]

12. Kolb, B. y Whishaw, I, (2007). Fundamentos de neuropsicología humana. New York: Labor S.A.         [ Links ]

13. Lezak MD, Howieson DB y Loring DW. (2004). Neuropsychological assessment. New York: Oxford University Press.         [ Links ]

14. Lozano-Gutiérrez, A. y Ostrosky-Solis, F. (2011). Desarrollo de las funciones ejecutivas y de la corteza prefrontal. Revista Neuropsicología, Neuropsiquiatría y Neurociencias, 11(1),159-172.         [ Links ]

15. Mercé, J. (2004). Funciones cognitivas del lóbulo frontal. XXX Reunión anual de la Sociedad Española de Neurología Pediátrica. Sabadell, Barcelona), Revista Española de Neurología,39(2), 178-182.         [ Links ]

16. Ministerio de salud. (4 de Octubre de 1993). Normas científicas, técnicas y administrativas para la investigación en salud. Resolución N° 008430 de 1993.         [ Links ]

17. Miyake A, Friedman NP, Emerson MJ, Witzki AH, Howerter A y Wager TD (2000). The unity and diversity of executive functions and their contributions to complex "Frontal Lobe" tasks: a latent variable analysis. Cognitive Psychology, 41,49-100        [ Links ]

18. Montero, I. y León, O.G. (2007). A guide for naming research studies en Psychology. International Journal of Clinical and Health Psychology. 7 (3), 847-862. Recuperado en mayo 12de 2011, de http://www.aepc.es/ijchp/GNEIP07_es.pdf        [ Links ]

19. Morales, A., Lopera, FJ., Pineda, DA y Puerta, IC (2003). Fluidez de diseños y fluidez verbal en pacientes con lesión del lóbulo frontal. Revista de neuropsicología, neuropsiquiatria, neurociencias, Asociación Latinoamericana de Neuropsicologia,5 (fasc), 103 - 104.         [ Links ]

20. Puerta, I., Morales, A. y Pineda, D. (2003). Manual fluidez de diseños de Ruff. Universidad de San Buenaventura. Material de circulación interna.         [ Links ]

21. Ramírez-Flórez, M.J. y Ostrosky-Solís, F. (2009). Secuelas en las funciones ejecutivas posteriores al traumatismo craneoencefálico en el adulto. Revista Chilena de Neuropsicología, 4(2), 127-137.         [ Links ]

22. Ruff, R, Light, R y Evans, R. (1987). The Ruff Figural Fluency Test: A normative study with adults. Developmental Neuropsychology, 3, 37-51.         [ Links ]

23. Selemon, LD (2013). A role for synaptic plasticity in the adolescent development of executive function. Translational Psychiatry, 3, 1- 9        [ Links ]

24. Sholberg, M. y Mateer, C. (2003). Introducción a la Rehabilitación Cognitiva. Avances en Psicología Clínica Latinoamericana, 21(1120)        [ Links ]

25. Slachevsky, A., Pérez, C., Silva, J., Orellana, G., Prenafeta, M.,Alegría, P. y Peña, M. (2005). Córtex prefrontal y trastornos del comportamiento: Modelos explicativos y métodos de evaluación. Revista Chilena de Neuropsiquiatría, 43(2),109-121. Versión on-line.         [ Links ]

26. Stuss, D., Gallup, G. y Alexander, M. (2001). The frontal lobes are necessary for theory of mind. Brain, 124(2), 279-286.         [ Links ]

27. Torralva, T. y Manes, F. (2005). Funciones ejecutivas y trastornos del lóbulo frontal. Instituto de Neurología Cognitiva(INECO). Centro de Estudios de la Memoria de BuenosAires.         [ Links ]