Análisis preliminar de un protocolo
para la evaluación de marcos deícticos^*

María Isabel Rendón^{** 1}

¹ Universidad Santo Tomás, Colombia

^* Artículo de investigación. Facultad de Psicología, Grupo de investigación "Psicología, Salud y Calidad de Vida". Este artículo es el resultado del proyecto de investigación institucional "Marcos Deícticos y Toma de Perspectiva", con código 17454016, financiado en la V Convocatoria Institucional de Apoyo a la Investigación de la Universidad Santo Tomás. La autora agradece al profesor Sneider Bustos Rodríguez por su colaboración en el desarrollo de esta investigación y al profesor Aldo Hernández por el diseño del aplicativo para la versión del protocolo en computador.

^** Correspondencia: María Isabel Rendón, Facultad de Psicología, Universidad Santo Tomás. Dirección postal: Carrera 9 N.° 51-11, Bogotá, Colombia.
Correo electrónico: mariarendon@usantotomas.edu.co

Recibido: 20 de octubre de 2012 Revisado: 22 de noviembre de 2012 Aceptado: 8 de diciembre de 2012

El propósito de esta investigación es explorar diferencias en la ejecución de tareas deícticas presentadas en el protocolo de McHugh, Barnes-Holmes y Barnes-Holmes (2004a), en relación con variaciones procedimentales que consistieron en exponer a unos participantes al protocolo en un formato de entrevista y a otros en una versión computarizada. La muestra estuvo conformada por 63 participantes entre 9 y 12 años, que fueron pareados por género, edad y nivel educativo, asignados a alguna de las condiciones de aplicación. Se calculó el número de errores cometido por cada participante y grupo de edad en cada marco deíctico y nivel de complejidad relacional, al igual que se estimó el efecto intersujetos mediante un ANOVA de dos vías con edad y versión (cara-a-cara y computador) como variables independientes y tipo de ensayo como variable dependiente. El efecto de la edad fue significativo para el caso de las relaciones invertidas ahora-antes y el de versión para las relaciones simples yo-tú y aquí-allá. En todos los grupos de edad se halló una tendencia a cometer mayor cantidad de errores en la versión computarizada en todos los tipos de ensayo. Los hallazgos se discuten en términos de confiabilidad del procedimiento y validez ecológica de las estrategias no automatizadas para la evaluación de relaciones de estímulo derivadas.

Palabras clave: Teoría de Marcos Relacionales, marcos deícticos, toma de perspectiva, procedimientos cara-a-cara, procedimientos automatizados.

The aim of this study was to explore differences in the performance of deictic tasks presented in the protocol of McHugh, Barnes-Holmes y Barnes-Holmes (2004a) related to procedural variations that consisted of a group of participants exposed to the protocol in a face-to-face interview format, in contrast with another group exposed to the protocol in a computerized version. 63 participants (9 to 12 years old) were paired by gender, age and grade and were assigned to one of the conditions. The number of errors was calculated for each participant and age group in each of the deictic frames and levels of relational complexity and inter-subjects effects were estimated using a two-way ANOVA with age and version (face-to-face and computer) as the independent variables and trial type as the dependent variable. The effect of age was significant for reversed NOW-THEN relations and the effect of version for simple I-YOU and HERE-THERE relations. A trend to produce more errors across all trial types in the computerized version was identified. Findings are discussed in terms of procedural reliability and ecological validity of non automated strategies for the assessment of derived stimulus relations.

Keywords: Relational Frame Theory, deictic frames, perspective-taking, face-to-face procedures, automated procedures

"Marcos deícticos" es un término técnico empleado en la Teoría de Marcos Relacionales (TMR) (Hayes, Barnes-Holmes y Roche, 2001) para designar lo que comúnmente se ha llamado "Toma de Perspectiva" (TP), es decir, la capacidad para identificar y adoptar el punto de vista de otro individuo (Vilardaga y Hayes, 2012).

El término proviene del concepto de "deixis", derivado del griego δε^⟨ξiç, que significa exhibición, demostración o referencia (RAE, 2010), funciones lingüísticas que están relacionadas con persona a través de los pronombres; lugar, usualmente a través de adverbios como "aquí" o "allá" y demostrativos como "esto" o "eso"; y tiempo, normalmente indicado a través de adverbios como "entonces", "ahora" y "pronto", entre otros dispositivos (RAE, 2010).

Así bien, la deixis es la característica de "expresar significados que dependen de la posición (o perspectiva) que ocupen en el tiempo y en el espacio el hablante y el oyente" (RAE, 2010, p. 327). Por ejemplo, si alguien dice "el señor que está a mi derecha", y luego gira 180 grados y repite las mismas palabras, en cada ocasión se estará refiriendo a algo diferente, porque "mi" y "derecha" son relativos a la perspectiva de quien lo dice (RAE, 2010). En otras palabras, no hay una "derecha" o un "mi" universales. Lo mismo sucede con términos como "aquí", "allá", "antes", "yo", "tú", "ahora", etc., en los cuales la relación se define conjuntamente por la posición del objeto de referencia y por la posición de un participante en el acto discursivo (Tanz, 1980).

En la TMR se plantea que la toma de perspectiva implica, como proceso conductual básico, la actividad contextualmente controlada de derivar relaciones deícticas (i.e., marcos deícticos) (McHugh, Barnes-Holmes y Barnes-Holmes, 2004b), esto es, responder a relaciones en términos de la perspectiva espacio-temporal y personal de hablante y oyente, especificada por claves proveídas en el contexto de la conversación, sin que exista un reforzamiento explícito por responder a este tipo de relaciones (McHugh, Stewart y Hooper, 2012), aunque el repertorio sí se aprende en una historia de exposición a contingencias de reforzamiento en las que se abstrae progresivamente la función de las claves, lo que permite que posteriormente la respuesta se generalice y extienda a circunstancias novedosas, sin parecido formal con las situaciones originales en las que se aprendió (McHugh, Barnes-Holmes y Barnes-Holmes, 2009).

Según Vilardaga y Hayes (2012), los marcos deícticos solo se pueden aprender a través de la demostración, porque no hay referentes físicos formales involucrados en los términos deícticos, dada su naturaleza arbitraria y relativa a la perspectiva de hablantes y oyentes. Específicamente, para desarrollar este tipo de responder relacional se requiere una historia de exposición a eventos verbales, en múltiples ejemplares de reforzamiento (usualmente en conversaciones cotidianas), que permita adoptar diferentes puntos de vista en las dimensiones interpersonal (relaciones deícticas yo-tú), espacial (relaciones deícticas aquí-allá) y temporal (relaciones deícticas ahora-antes) (McHugh et ál., 2004a, 2004b; McHugh, Barnes-Holmes, Barnes-Holmes, Whelan y Stewart, 2007; McHugh et ál., 2012).

El establecimiento de un repertorio de marcos deícticos (i.e., de toma de perspectiva) es relevante en la medida en que se ha relacionado con el desarrollo de la competencia social (Bernard y Deleau, 2007), con la capacidad para atribuir estados mentales, predecir el comportamiento con base en ellos y mostrarse empático (Atkins, en prensa) y con la capacidad para engañar y detectar el engaño, así como con la comprensión de falsas creencias y su relación con el comportamiento propio y de otros (McHugh et ál., 2004b; McHugh, Barnes-Holmes, Barnes-Holmes y Stewart, 2006).

Estos hallazgos han motivado a los investigadores en la TMR a reconocer la relevancia teórica y empírica del responder relacional deíctico; sin embargo, aún no se dispone de suficiente información acerca de métodos de evaluación que permitan capturar el fenómeno con base en los postulados de la teoría.

La primera alternativa conocida para este propósito fue un protocolo diseñado por Yvonne Barnes-Holmes (2001), que posteriormente fue modificado para los estudios reportados por McHugh et ál. (2004a). Esta versión adaptada consta de 62 ensayos, cada uno conformado por un enunciado y dos preguntas, distribuidos así: ocho ensayos que evalúan relaciones simples (dos ensayos yo-tú, dos ensayos aquí-allá, cuatro ensayos ahora-entonces), 36 ensayos para evaluar relaciones invertidas (ocho ensayos yo-tú, 12 ensayos aquí-allá, 16 ensayos ahora-entonces) y 18 ensayos para evaluar relaciones doblemente invertidas (seis ensayos yo-tú/aquí-allá y 12 ensayos aquí-allá/ahora-entonces).

Un estudio reportado por McHugh et ál. (2004a) ha sido el único en evaluar directamente si la aplicación del protocolo en formato de entrevista podría relacionarse con que el experimentador presentara a los participantes claves verbales o no verbales que tuvieran algún efecto en sus respuestas. Para controlar dicha variable, expusieron a un grupo de participantes de 18 a 30 años a una versión computarizada del protocolo y hallaron resultados similares a los reportados para el mismo grupo de edad en otra muestra de participantes que se expuso al protocolo en formato de entrevista. En otras palabras, la ejecución de los participantes no se relacionó con la forma de presentación del protocolo, de manera que en el formato de entrevista no parecen haber existido claves provenientes del experimentador que afectaran la ejecución de los participantes.

En investigaciones posteriores se ha usado este protocolo, versiones modificadas del mismo o tareas similares que involucran relaciones deícticas, tanto en versiones automatizadas en computador, como en formato de entrevista, tanto con adultos como con niños, con o sin diagnósticos psiquiátricos. Por ejemplo, McHugh, Barnes-Holmes, Barnes-Holmes, Whelan y Stewart (2006, 2007), Villatte, Monestès, McHugh, Freixa i Baqué y Loas (2008, 2010a, 2010b) usaron versiones computarizadas del protocolo con fines de evaluación, pero no hacen comentarios acerca de la conveniencia de esta herramienta. Por su parte, Baker (2009), O’neill (2012) y Rehfeldt, Dillen, Ziomek y Kowalchuk (2007) emplearon en sus investigaciones alguna versión del protocolo en computador con fines de evaluación y entrenamiento y tampoco hacen apreciaciones acerca de las ventajas o desventajas del uso de versiones computarizadas versus versiones cara-a-cara. En contraste, otros investigadores que han empleado una versión automatizada del protocolo para evaluar marcos deícticos afirman que este tipo de herramientas ofrece ventajas prácticas, ya que se pueden emplear en contextos experimentales en remplazo de tareas de TP que suelen ser complejas desde el punto de vista logístico y en términos del tiempo que demandan (Vilardaga, Estévez, Levin y Hayes, 2012).

Por otra parte, McHugh, Barnes-Holmes, Barnes-Holmes, Stewart y Dymond (2007) han afirmado que se podría criticar el uso de este protocolo en versión computarizada, argumentando que responder a las preguntas presentadas en una pantalla de computador no se asemeja a cambiar de perspectiva en una interacción real con otra persona y que por este motivo las dos situaciones no involucran los mismos procesos conductuales. Ante esta crítica sobre la validez del protocolo, los autores argumentan que si una persona no puede responder de acuerdo con relaciones básicas presentadas en una pantalla, quizá tampoco pueda hacerlo en una situación real, que es más compleja. En cualquier caso, tanto la crítica como el argumento aplican a cualquier forma de presentación del protocolo.

Los investigadores que han optado por una presentación del protocolo en formato de entrevista cara-a-cara han hecho consideraciones acerca de la adecuación de esta forma de evaluación a las características de los participantes. Por ejemplo, Weil, Hayes y Capurro (2011) consideran que se trata de una forma de evaluación y entrenamiento más realista con niños que presentan algún tipo de déficit cognitivo, aunque también reconocen que la aplicación del protocolo se puede ver afectada por factores motivacionales, ya que los participantes suelen cansarse ante la exposición a un elevado número de ensayos. Como puede suponerse, esto también sucede en las versiones automatizadas.

Otros usos cara-a-cara del protocolo se reportan en las investigaciones de Dunne (2011) y Naranjo (2010), aunque estas autoras no evaluaron directamente la pertinencia de este formato de aplicación.

En términos más generales, puede decirse que la evaluación psicológica asistida con tecnologías informáticas no es reciente. Los procedimientos de evaluación computarizada son comunes en psicología para valorar distintos aspectos del funcionamiento cognitivo o en el ámbito clínico (e.g., Barrow, 2012; Courtney, Dinkins, Allen y Kuroski, 2003; Kobak, Reynolds y Greist, 1994; Mollicaa, Maruffab, Colliebc y Vancede, 2005; Skuse et ál., 2004; Vispoel, 2000; Visu-Petra, Benga, Fincas y Miclea, 2007). A pesar del atractivo que supone este tipo de herramientas, que se caracterizan por su versatilidad y que presuntamente aportan confiabilidad y agilidad a la evaluación de diferentes repertorios, existe cierto escepticismo acerca de su pertinencia (Olson-Buchanan y Drasgow, 1999).

Algunas de las razones para este escepticismo tienen que ver, entre otras, con el desafío de crear estímulos realistas y métodos que no resulten muy ajenos a la experiencia cotidiana de las personas, así como con la dificultad inherente al uso de este tipo de procedimientos por fuera del laboratorio, pese a ser confiables. Además, no suelen existir guías metodológicas ni información acerca de cómo otros investigadores han enfrentado las dificultades inherentes al empleo de estas herramientas (Olson-Buchanan y Drasgow, 1999). Estas razones probablemente llevan a muchos a preferir los procedimientos de evaluación en formato de entrevista, con los consiguientes costos en términos de confiabilidad, aunque probablemente se gane en validez ecológica.

En el caso específico de la investigación sobre relaciones de estímulo derivadas, los procedimientos no automatizados se basan en el experimentador para arreglar ensayos y proveer consecuencias (Dymond, Rehfeldt y Schenk, 2005). Este tipo de estrategia ofrece ventajas, tales como la naturaleza interactiva de la tarea y una mayor posibilidad de ajustar la duración de las sesiones a las características del participante; mientras que en algunas ocasiones los procedimientos automatizados pueden ser poco prácticos, innecesarios o incluso imposibles de implementar (Dymond et ál., 2005).

El problema con los procedimientos no automatizados es que implican un riesgo potencial de ser poco confiables. Es por esto que con el fin de salvaguardar la integridad del procedimiento, Dymond et ál. (2005) recomiendan diseñar un ambiente de aplicación cómodo y libre de distracciones, llevar a cabo sesiones cortas para evitar la fatiga y permitir descansos cuando sea necesario, evitar que el participante vea el material de trabajo cuando no debe hacerlo o haga inferencias sobre la evaluación de su ejecución al observar patrones de registro por parte del investigador. Además, proponen que se garantice el entrenamiento de investigadores y observadores para evitar la instigación inapropiada o la facilitación de respuestas y que se defina con claridad qué se considera una respuesta, así como lineamientos para el comportamiento del investigador ante una respuesta correcta o incorrecta. Otros asuntos por considerar son el manejo del tiempo entre ensayos, el cual resulta difícil de programar o estimar manualmente, y la confiabilidad entre observadores. En este último caso, proponen que por lo menos uno de los observadores sea ciego a los objetivos del estudio y que el rango de acuerdo aceptable oscile entre 90% y 100%.

Así bien, contar con un procedimiento de evaluación confiable es el primer paso para profundizar en la explicación de procesos conductuales. El protocolo desarrollado por McHugh et ál. (2004a), aunque ha sido una herramienta ampliamente utilizada en el estudio de marcos deícticos, implica una dificultad fundamental al tratarse de una batería compleja de preguntas que suponen una alta carga de memoria y abstracción, por lo cual resulta conveniente analizar el tipo de formato de presentación de enunciados y peguntas más pertinente y confiable. En consecuencia, la presente investigación tuvo como objetivo explorar si existían diferencias en la ejecución en el protocolo de TP de McHugh et ál. (2004a), resultantes de su aplicación en un procedimiento de evaluación cara-a-cara versus un procedimiento computarizado.

Estudio descriptivo en el que se conformaron dos grupos de participantes apareados por género, edad y nivel educativo.

Se conformó una muestra por conveniencia basada en el asentimiento y consentimiento de participantes entre 9 y 12 años y sus padres, la disponibilidad de tiempo de los niños y la ausencia de reportes escolares sobre dificultades de aprendizaje o del lenguaje. La muestra estuvo conformada por 63 menores (hombres) de un colegio privado de la ciudad de Bogotá. Las edades de los participantes eran: 9 años (31,74%), 10 años (14,28%), 11 años (28,58%) y 12 años (25,40%) y estaban cursando 4° y 5° de primaria (9 y 10 años) y 6° y 7° de bachillerato (11 y 12 años).

Protocolo de evaluación de marcos deícticos. Se usó el protocolo de McHugh et ál. (2004a) en la versión de 56 ensayos reportada por Heagle y Rehfeldt (2006). Ocho ensayos evalúan relaciones simples (2 yo-tú, 2 aquí-allá, 2 ahora-antes), 36 ensayos evalúan relaciones invertidas (8 yo-tú, 12 aquí-allá, 16 ahora-antes) y 12 evalúan relaciones doblemente invertidas (4 yo-tú/aquí-allá, 8 aquí-allá/ahora-antes). Cada ensayo se compone de un enunciado y dos preguntas que el participante debe responder acertadamente para obtener un punto. Si responde solo una pregunta correctamente o ambas de manera incorrecta, el puntaje es 0.

Se empleó el método de traducción directa independiente (Waddington, 1999), en el cual se presenta el texto original a dos traductores bilingües (en este caso, inglés-español), uno nativo de habla inglesa y uno nativo hispanoparlante, para que traduzcan el texto al español. Se espera que ambas traducciones conserven las intenciones comunicativas originales del inglés mediante estructuras sintácticas iguales en español. Si ambas traducciones aplican los mismos criterios gramaticales en español para conservar las intenciones comunicativas originales del inglés, se considera que se ha cumplido el criterio de precisión. Si además la traducción es comprensible en estilo y gramática para la población objetivo, se considera que se ha cumplido el criterio de naturalidad. Las dos traducciones del protocolo fueron idénticas y cumplieron con ambos criterios.

Para preservar la intención comunicativa del protocolo y proteger la naturalidad, las relaciones now-then y here-there/now then, cuya traducción literal sería ahora-entonces, se tradujeron como ahora-antes debido a que en el español colombiano la palabra "entonces" se entiende comúnmente como referida a un pasado remoto o como parte de una expresión condicional. En contraste, la palabra "antes" se entiende como referida a un pasado cercano en el tiempo, tal como el que se expresa en la versión en inglés del protocolo.

Adicionalmente, en las relaciones doblemente invertidas here-there/now-then, en la versión original del protocolo para construir las preguntas se aplicó el tiempo imperfecto would, conforme a su utilización laxa en lengua inglesa, comúnmente entendida por muchos hablantes nativos como la expresión de una relación posible, dependiendo de las circunstancias. Puede tomarse como ejemplo el enunciado "Yesterday I was sitting there on the blue chair, today I am sitting here on the black chair. If here was there and there was here and If now was then and then was now". Para este enunciado las preguntas con tiempo imperfecto, de acuerdo con el uso común de los hablantes nativos de lengua inglesa, se escriben simplemente como: "Where would I be sitting then?" "Where would I be sitting now?". En contraste, en español la conjugación en modo subjuntivo muestra una gran amplitud, así como también fuertes modismos en el habla informal, de manera que las preguntas con verbos conjugados en modo subjuntivo deben diferenciarse así: la primera pregunta: "Where would I be sitting then?", en un sentido gramatical más estricto, debería comprenderse en español como referente a un pretérito pluscuamperfecto de subjuntivo, es decir, "referente a una acción acabada antes de otra acción también pasada" (RAE, 2001, p. 1830). Por consiguiente, le correspondería ser traducida como "¿Dónde hubiera estado sentado(a) yo antes?". Sin embargo, para el hablante nativo colombiano, una frase como la anterior se comprende y se conjuga comúnmente en un tiempo condicional perfecto, es decir, como referido a una "acción futura en relación con el pasado del cual se parte" (RAE, 2001, p. 617). Esto implica que un hablante colombiano entenderá mejor la intención comunicativa de una frase como estas si se traduce como "¿Dónde habría estado sentado(a) yo antes?", y fue esta la traducción adoptada en la versión en español de este protocolo.

Por su parte, la segunda pregunta: "Where would I be sitting now?" correspondería gramaticalmente en español a un pretérito imperfecto de subjuntivo, es decir, a "una acción o un estado de cosas simultáneos a un instante anterior al momento en que se habla" (RAE, 2001, p. 1830). Por consiguiente, a esta segunda pregunta le correspondería ser traducida como "¿Dónde estuviera yo sentado(a) ahora?". Sin embargo, debido a la permutabilidad de la conjugación en pretérito imperfecto de subjuntivo por una conjugación de condicional simple, el hablante nativo colombiano conjuga y comprende comúnmente una frase de este tipo como una condicional simple, es decir, como referida a una acción que "puede expresar, igual que el futuro, la probabilidad, pero referida al pasado" (RAE, 2001, p. 617). En consecuencia, una frase de este tipo se traduce más adecuadamente como "¿Dónde estaría yo sentado(a) ahora?", criterio que fue acogido en la versión en español del protocolo.

Se diseñó un aplicativo en LabView 6.0 que permitió registrar datos sociodemográficos, así como presentar las instrucciones y los ensayos del protocolo en la pantalla de un laptop. Se aleatorizó el orden de los marcos y de los ensayos dentro de cada marco. Tanto en los enunciados como en las preguntas se contrabalancearon todos los elementos de la oración (ver apéndice) y se aleatorizó la posición de las respuestas correctas en la pantalla. Para responder el participante debía presionar con el mouse sobre una de las opciones de respuesta. En cada pantalla aparecía el enunciado y dos segundos después la primera pregunta del ensayo y las dos opciones de respuesta. Para que apareciera la segunda pregunta del mismo ensayo, el participante debía responder a la primera. No se podían modificar las respuestas una vez seleccionada una de las alternativas.

Las sesiones se llevaron a cabo en un salón del colegio que cumplía con condiciones de iluminación y ausencia de distracciones. Investigador y participante ingresaban al salón y allí inicialmente se registraba información sobre nombre, curso, fecha y lugar de nacimiento del participante. Posteriormente se le explicaba que desarrollaría una tarea en el computador, se solicitaba nuevamente su asentimiento y se le invitaba a seguir las instrucciones que aparecerían en la pantalla. A partir de ese momento el investigador se retiraba del salón.

La primera pantalla presentaba las siguientes instrucciones: "A continuación encontrarás unas preguntas. Tu tarea consiste en escoger la respuesta que consideres correcta. Asegúrate de leer las preguntas completas. A medida que vayas contestando irán apareciendo más preguntas".

Después de estas instrucciones el participante iniciaba la aplicación presionando un botón que indicaba que la tarea iba a empezar. En ningún momento se ofreció al participante retroalimentación o reforzamiento por sus respuestas. El participante podía solicitar un descanso en el momento en que lo requiriera. El desarrollo del protocolo completo tomaba 20 minutos en promedio.

Se llevó a cabo con 12 participantes distintos a la muestra del estudio con el fin de evaluar el comportamiento de la versión computarizada. Luego de esta aplicación piloto se hicieron ajustes a la versión final en términos de diagramación y tiempos entre la presentación de ensayos y opciones de respuesta.

La versión PC se desarrolló según lo explicado anteriormente y la versión C-C siguió el mismo procedimiento, pero en formato de entrevista. El protocolo en ambas versiones se aplicó siguiendo los lineamientos de McHugh et ál. (2004a). 31 participantes fueron asignados a la condición C-C y 32 a la condición PC. Los participantes en las dos condiciones eran comparables en términos de género, edad y nivel educativo.

Todas las sesiones de los participantes C-C fueron filmadas y posteriormente analizadas por dos observadores entrenados e independientes y ciegos a los objetivos del estudio. La confiabilidad en la aplicación del protocolo se evaluó mediante la estimación del acuerdo entre observadores, que se calculó dividiendo el total de acuerdos sobre la suma del total de acuerdos y desacuerdos, cociente que después se multiplicó por 100 para obtener un porcentaje de acuerdo.

Los observadores registraban una aplicación correcta en cada ensayo únicamente si el criterio de la categoría se cumplía durante toda la interacción con cada participante. Si el experimentador en algún momento no cumplía con lo estipulado en la categoría, se registraba como un fallo en el procedimiento, aunque solo hubiera sucedido en una fracción del tiempo de la interacción total con el participante.

Las categorías analizadas fueron: dar las mismas instrucciones a todos los participantes, abstenerse de emitir claves verbales y no verbales ante las respuestas correctas o incorrectas del participante y leer textualmente los enunciados y las preguntas del protocolo. En cuanto a instrucciones, el porcentaje de acuerdo entre observadores fue 90%, sobre ausencia de claves verbales el acuerdo fue de 96,7%, sobre ausencia de claves no verbales el acuerdo fue de 100% y en cuanto a la lectura textual de enunciado y preguntas el acuerdo fue de 66,7%

Se garantizó el cumplimiento de la normatividad relacionada con la investigación con participantes humanos. Se tuvo especial consideración con las normas en las que se protegen los derechos de los niños (Declaración Universal de los Derechos del Niño, la Convención de los Derechos del Niño y la Ley de Infancia y Adolescencia), así como el Informe Belmont, la Resolución 8430 de 1993 por la cual esta investigación se considera de riesgo mínimo y la Ley 1090 de 2006.

El proyecto de investigación se presentó a las directivas del colegio y se llevó a cabo un proceso de consentimiento informado con los padres y de asentimiento con los niños. La información obtenida en el desarrollo del estudio se trató confidencialmente y se garantizó su protección. Las sesiones de trabajo con los participantes no interfirieron con sus procesos académicos y no se anticiparon ni se presentaron situaciones de riesgo para su bienestar. Al terminar el proceso investigativo se presentó a la institución un informe general de resultados y a padres y participantes un informe individual en el que se explicaban los hallazgos en términos sencillos.

En el desarrollo de la investigación no se presentaron conflictos de interés entre las partes involucradas.

Se calculó el número de errores cometido por cada participante y grupo de edad y se estimó el efecto intersujetos mediante un ANOVA de dos vías con edad y versión (C-C y PC) como variables independientes y tipo de ensayo como variable dependiente. El efecto de la edad fue significativo para el caso de las relaciones invertidas ahora-antes (F = 3,82, p= 0,015) y el de versión para las relaciones simples yo-tú (F = 7,64, p = 0,008) y relaciones simples aquí-allá (F = 6,76, p = 0,012).

Estos resultados muestran que la edad interactuó con la complejidad relacional (relaciones invertidas) en aquellas relaciones que involucraban marcos temporales, y que la versión aplicada tuvo un efecto diferencial en las relaciones simples que involucran el locus de los hablantes en términos espaciales y personales. Edad y versión no tuvieron un efecto conjunto en la ejecución.

Como puede observarse en la figura 1, los participantes de nueve años cometieron errores en el 25% de los ensayos en las relaciones simples en todos los marcos deícticos cuando los ensayos se presentaron en la versión PC, mientras que en la versión C-C, el porcentaje de error en los mismos ensayos apenas alcanzó el 5% en los marcos ahora-antes y aquí-allá, y fue de 0% en las relaciones yo-tú.

Una tendencia similar a cometer mayor cantidad de errores en la versión PC se observa también en los ensayos de relaciones invertidas (figura 1), en donde los porcentajes de error oscilan entre el 48% y el 62%, en contraste con la media de error de aquellos participantes a quienes se aplicó la versión C-C, cuyos porcentajes oscilaron entre 21% y 35%. En cuanto a las relaciones doblemente invertidas, en la figura 1 se puede ver cómo los porcentajes de error fueron similares (alrededor del 50%) tanto para las versiones C-C como PC.

Al considerar la media total de porcentaje de error en el protocolo en los participantes de este grupo de edad (figura 1), independientemente de la versión y el tipo de ensayo, se observa una media de error mínimo del 33% en la versión C-C y del 51% en la versión PC.

Relaciones Simples Yo-Tú (RSYT), Relaciones Simples Ahora-Antes (RSNT), Relaciones Simples Aquí-Allá (RSAA), Relaciones Invertidas Yo-Tú (RIYT), Relaciones Invertidas Ahora-Antes (RINT), Relaciones Invertidas Aquí-Allá (RIAA), Relaciones Doblemente Invertidas Yo-Tú/Aquí-Allá (RDIYTAA) y Relaciones Doblemente Invertidas Aquí-Allá/Ahora-Antes (RDIAANT).

Por su parte, los participantes de 10 años que respondieron a la versión C-C prácticamente no cometieron errores en los ensayos de relaciones simples, mientras que aquellos que fueron expuestos a la versión PC se equivocaron en sus respuestas entre el 8% y el 25% de los ensayos (figura 2). Independientemente de la versión, los participantes de este grupo de edad cometieron más errores en los ensayos de relaciones simples que involucran marcos temporales (ahora-antes).

De otro lado, como puede observarse en la figura 2, en estos participantes de 10 años la media porcentual de error en todas las relaciones invertidas fue similar en ambas versiones, aunque mayor para el caso de los marcos aquí-allá. En los ensayos de relaciones doblemente invertidas yo-tú/aquí-allá, el porcentaje de error osciló entre el 42% (C-C) y el 58% (PC), mientras que en el mismo nivel de complejidad relacional en los marcos aquí-allá/ahora-antes, se aprecia un mayor porcentaje de error en la versión C-C (71%) en comparación con la versión PC (29%).

La media total de porcentaje de error en el protocolo para los niños de 10 años fue similar (alrededor de 30%) en las dos versiones aplicadas (figura 2). Al igual que los niños de nueve años, parecen haber tenido mayores dificultades en las relaciones doblemente invertidas yo-tú/aquí-allá, y en contraste con ellos, en las relaciones doblemente invertidas aquí-allá/ahora-antes, mostraron una ejecución diferencial, con mayores porcentajes de error en la versión C-C.

Relaciones Simples Yo-Tú (RSYT), Relaciones Simples Ahora-Antes (RSNT), Relaciones Simples Aquí-Allá (RSAA), Relaciones Invertidas Yo-Tú (RIYT), Relaciones Invertidas Ahora-Antes (RINT), Relaciones Invertidas Aquí-Allá (RIAA), Relaciones Doblemente Invertidas Yo-Tú/Aquí-Allá (RDIYTAA) y Relaciones Doblemente Invertidas Aquí-Allá/Ahora-Antes (RDIAANT).

Los niños de 11 años mostraron una ejecución diferencial en las relaciones simples yo-tú en las dos versiones, siendo mayor el porcentaje de error en PC (28%) que en C-C (11%) (figura 3). En las relaciones simples ahora-antes, el porcentaje de error fue bajo para ambas versiones (8%), y en el marco aquí-allá se evidencian nuevamente diferencias entre las versiones, ya que los errores en versión PC exceden en 28 puntos porcentuales los errores en C-C.

En los ensayos de relaciones invertidas se observan porcentajes similares de error en ambas versiones, aunque un poco mayores para PC (figura 3). En las relaciones invertidas, estos niños de once años cometieron más errores en aquellas que involucran marcos espaciales (aquí-allá).

Por su parte, en las relaciones doblemente invertidas para este grupo de edad se observan ejecuciones similares en ambas versiones para el caso de los marcos yo-tú/aquí-allá, y ejecuciones con promedio porcentual de error superior para la versión PC en los marcos aquí-allá/ahora-antes (figura 3). La media total de porcentaje de error en el protocolo es similar para ambas versiones, aunque un poco mayor para la versión PC.

Relaciones Simples Yo-Tú (RSYT), Relaciones Simples Ahora-Antes (RSNT), Relaciones Simples Aquí-Allá (RSAA), Relaciones Invertidas Yo-Tú (RIYT), Relaciones Invertidas Ahora-Antes (RINT), Relaciones Invertidas Aquí-Allá (RIAA), Relaciones Doblemente Invertidas Yo-Tú/Aquí-Allá (RDIYTAA) y Relaciones Doblemente Invertidas Aquí-Allá/Ahora-Antes (RDIAANT).

Por otra parte, en la figura 4 se observa que los participantes de 12 años expuestos a la versión C-C no cometieron errores en los ensayos de relaciones simples yo-tú, aquí-allá, a diferencia de aquellos que fueron expuestos a la versión PC, quienes tuvieron una media de porcentaje de error de 16 y 25 respectivamente. En las relaciones simples ahora-antes, los participantes cometieron errores que oscilaron entre el 25% y el 16% en ambas versiones.

En relaciones invertidas yo-tú para este grupo de edad se registra en la figura 4 un mayor porcentaje de error para la versión PC, aunque muy cercano a la media de error de la versión C-C, mientras que en las relaciones invertidas ahora-antes la media de porcentaje de error fue mayor para la versión C-C, aunque en ambos casos dicha media superó el 30%. En las relaciones invertidas aquí-allá, los participantes tuvieron una media de error superior al 45% en ambas versiones, aunque más alta para el caso de PC y algo similar sucedió en las relaciones doblemente invertidas.

La media total de porcentaje de error en el protocolo también muestra una leve tendencia a un mayor número de errores en la versión PC en los participantes de este grupo de edad (figura 4).

Relaciones Simples Yo-Tú (RSYT), Relaciones Simples Ahora-Antes (RSNT), Relaciones Simples Aquí-Allá (RSAA), Relaciones Invertidas Yo-Tú (RIYT), Relaciones Invertidas Ahora-Antes (RINT), Relaciones Invertidas Aquí-Allá (RIAA), Relaciones Doblemente Invertidas Yo-Tú/Aquí-Allá (RDIYTAA) y Relaciones Doblemente Invertidas Aquí-Allá/Ahora-Antes (RDIAANT).

Al agrupar el porcentaje promedio de error de todos los grupos de edad por tipo de ensayo y versión (figura 5), se puede apreciar de manera casi uniforme una mayor tendencia a cometer errores en la versión PC en todos los tipos de ensayo, especialmente en las relaciones más simples.

Por otro lado, independientemente de la versión, se observa en la figura 5 una media de porcentaje de error mayor a medida que incrementa la complejidad relacional, de manera que a partir de los ensayos de relaciones invertidas AQUí-allá y hasta ambos tipos de ensayo de relaciones doblemente invertidas, el porcentaje promedio de error se acerca al 50%.

Relaciones Simples Yo-Tú (RSYT), Relaciones Simples Ahora-Antes (RSNT), Relaciones Simples Aquí-Allá (RSAA), Relaciones Invertidas Yo-Tú (RIYT), Relaciones Invertidas Ahora-Antes (RINT), Relaciones Invertidas Aquí-Allá (RIAA), Relaciones Doblemente Invertidas Yo-Tú/Aquí-Allá (RDIYTAA) y Relaciones Doblemente Invertidas Aquí-Allá/ Ahora-Antes (RDIAANT).

En la figura 6 se presentan los porcentajes promedio de error en el protocolo total, y se observa que los porcentajes más altos, independientemente de la versión, se produjeron en los grupos de 9 y 12 años.

El objetivo de esta investigación fue explorar si existían diferencias en la ejecución en el protocolo de TP de McHugh et ál. (2004a), atribuibles a su aplicación en un procedimiento de evaluación cara-a-cara versus un procedimiento computarizado. En términos generales se encontró una interacción estadísticamente significativa entre versión y relaciones simples personales y espaciales. Al parecer la diferencia se dio en la versión PC, ya que se observó una tendencia generalizada a cometer más errores en esta versión a través de los diferentes grupos de edad, especialmente en las relaciones más simples.

Al respecto se puede decir que al estar los participantes de ambas condiciones (PC y C-C) apareados por género, edad y nivel educativo, se esperaría que en caso de existir una dificultad sistemática en ciertos marcos deícticos y niveles de complejidad relacional, esta se hubiera presentado independientemente de la forma de presentación del protocolo; sin embargo, este no fue el caso. Uno de los hallazgos más notorios es que los niños en la condición PC, en todos los grupos de edad, cometieron más errores, lo cual lleva a pensar que cuando se enfrentaron a las tareas en el computador probablemente subestimaron su dificultad y respondieron sin leer completamente el enunciado y las preguntas, mientras que los participantes en la condición C-C estaban sujetos a un mayor control por parte del investigador, quien leía las preguntas, de manera que no estaban disponibles visualmente para el participante, lo cual aparentemente lograba captar mejor su atención y esto pudo haber maximizado su ejecución. Así bien, se podría concluir preliminarmente que una aplicación cara-a-cara permite cumplir un criterio fundamental en la evaluación de relaciones de estímulo derivadas y es la garantía de que el participante está atendiendo a la tarea (Dyamond et ál., 2005).

En cuanto a la ejecución en relaciones doblemente invertidas, se podría pensar que sería una ventaja para el participante disponer de enunciados y preguntas escritas en la pantalla de un computador, con lo cual se esperaría encontrar mayores porcentajes de error en la condición C-C, pero esto no sucedió, ya que la tendencia a cometer más errores en la versión PC también se presentó en este nivel de complejidad relacional y es posible que esto haya sucedido por razones similares a las explicadas anteriormente.

En lo que respecta al efecto de la edad en la ejecución en relaciones invertidas ahora-antes, independientemente de la versión, se puede afirmar que el hallazgo es consistente con lo reportado en la literatura sobre una mayor dificultad de los niños para derivar este tipo de relaciones deícticas (McHugh et ál., 2004a). Además, el hecho de que se haya encontrado tal dificultad independiente de la versión, lleva a pensar que el formato PC no constituye un soporte especial para la ejecución en este tipo de tareas.

Por otra parte, los participantes de esta investigación cometieron menos errores en la versión C-C y el hecho de que esta ejecución diferencial esté aparentemente relacionada con el formato de presentación del protocolo y no únicamente con la naturaleza de los marcos deícticos, llama la atención sobre la necesidad de analizar las fuentes de influencia en la ejecución de los participantes.

Este hallazgo se encuentra en contravía con lo reportado por McHugh et ál. (2004a), en cuyo estudio la ejecución de los participantes en versión PC y C-C fue similar. A este respecto se debe tener en cuenta que en el estudio de estos autores los participantes tenían entre 18 y 30 años, mientras que los de la presente investigación eran niños, y a esta edad no necesariamente se encuentra establecido un repertorio de marcos deícticos.

Teniendo en cuenta que una de las principales amenazas para la aceptación de datos obtenidos mediante procedimientos C-C es la dificultad para garantizar su confiabilidad, en esta investigación se acogieron los lineamientos propuestos por Dymond et ál. (2005). Así, las sesiones fueron breves y se promovieron y permitieron descansos, los materiales de registro se usaron de manera tal que el participante no tuvo un contacto inapropiado con ellos, la aplicación del protocolo estuvo a cargo de personas entrenadas, los observadores recibieron entrenamiento para analizar los videos de todas las aplicaciones C-C y se definió la naturaleza de la respuesta a registrar. Estas previsiones permitieron cumplir con el estándar de un mínimo de 90% de acuerdo entre observadores en cuanto a la forma en que se suministraron las instrucciones y la ausencia de claves verbales y no verbales durante la interacción. No obstante, el acuerdo en cuanto a la forma en que se leyeron los enunciados y las preguntas fue bajo (66.7%).

Aunque se podría considerar que este porcentaje de acuerdo constituye la principal limitación de esta investigación, es necesario analizar este dato en relación con el comportamiento típico de los participantes en este tipo de interacciones, que consiste en que en muchas ocasiones solicitan que se repitan las preguntas, y cuando estas se leen nuevamente, suele ocurrir que el niño interrumpe enunciando la respuesta antes de que el experimentador termine de leer la pregunta, de manera que dependiendo del momento exacto en que el niño responda, especialmente si lo hace hacia el final de la oración, el experimentador no siempre termina de leer las últimas palabras.

Frente a este comportamiento de quien aplicaba el protocolo, cada observador parece haber empleado un criterio de registro diferente. Uno de ellos registró como fallo en el procedimiento el hecho de que no se pronunciaran las dos últimas palabras de algunas preguntas, mientras que el otro observador registró la interacción como un acierto en el procedimiento al considerar que el participante se hubiera confundido si el experimentador hubiera continuado leyendo la pregunta aún a pesar de que ya la había respondido.

Esta diferencia en el criterio de registro explica el bajo porcentaje de acuerdo en esta categoría, el cual en ningún caso indica que los ensayos se hubieran presentado de manera diferente a los participantes. Lo que sí indica el hecho de que el acuerdo entre observadores no sea del 100% en todos las categorías de análisis, es que la evaluación de relaciones de estímulo derivadas mediante procedimiento cara-a-cara involucra una serie de situaciones que es deseable controlar desde el punto de vista metodológico, aunque se enfrenta el dilema de que dicho control crea una interacción artificial que se aleja más de lo deseable de la naturaleza de las interacciones cotidianas del participante.

En el ejemplo concreto de ensayos en los que el experimentador no terminó de leer la pregunta porque el participante contestaba rápidamente cuando esta se repetía, se puede observar que pese a haber dado a los participantes la instrucción de escuchar completamente el enunciado y las preguntas antes de contestar, es común que los niños se comporten de esta manera y eso resulta difícil de controlar.

Por otro lado, se podría pensar que la ejecución de los participantes en la versión C-C, que cometieron menos errores que los participantes en la condición PC, es atribuible a la presencia de claves por parte del experimentador que facilitaron las respuestas. No obstante, el porcentaje de acuerdo entre observadores sobre la ausencia de claves verbales y no verbales por parte del experimentador fue de 96,7 y 100% respectivamente, lo cual indica que los datos sobre la ejecución de los participantes en la versión C-C son altamente confiables. Así bien, se puede afirmar que un problema metodológico frecuente en la evaluación de relaciones de estímulo derivadas, que consiste en la dificultad de que el participante establezca contacto perceptual con los estímulos involucrados en cada ensayo (Dymond et ál., 2005), parece ser más fácil de manejar cuando el participante interactúa con otra persona.

Teniendo en cuenta estos hallazgos podría pensarse que la evaluación de repertorios como la TP puede tener mayor validez ecológica cuando se lleva a cabo mediante procedimientos C-C, probablemente por la naturaleza social misma del repertorio a evaluar. El formato C-C es semejante a una interacción conversacional y esto probablemente es más natural que interactuar con la pantalla de un computador. Esta validez ecológica es importante porque puede favorecer la transportabilidad de los hallazgos sobre relaciones derivadas a profesionales encargados de diseñar e implementar programas de intervención y puede favorecer la generalización de los repertorios aprendidos a las interacciones naturales de los participantes (Rehfeldt, 2011).

En suma, la aplicación de procedimientos de evaluación no automatizados supone una ganancia en la medida en que posiblemente capturan mejor facetas de ciertos fenómenos que no pueden evaluarse mediante herramientas no sociales. No obstante, es necesario refinar los métodos de tal manera que favorezcan la validez ecológica sin sacrificar el control y la rigurosidad.

Atkins, P. W. B. (en prensa). Empathy, self-other differentiation and mindfulness. En K. Pavlovich y K. Krahnke (Eds.). Organizing through empathy. Routledge.         [ Links ]

Baker, L. (2009). Does training improve performance on a perspective-taking task? (tesis doctoral inédita). The University of Waikato, Auckland, Nueva Zelanda.         [ Links ]

Barnes-Holmes, Y. (2001). Analysing relational frames: Studying language and cognition in young children (tesis doctoral inédita). National University of Ireland, Maynooth.         [ Links ]

Barrow, W. (2012). Using computer-assisted interviewing to consult with children with autism spectrum disorders: an exploratory study. School Psychology International 33(4):450-464. Doi:10.1177/0143034311429167        [ Links ]

Bernard, S. & Deleau, M. (2007). Conversational perspective-taking and false belief attribution: A longitudinal study. British Journal of Developmental Psychology 25:443-460. Doi: 10.1348/026151006X171451        [ Links ]

Courtney, J.C.; Dinkins, J.P.; Allen, L.M. & Kuroski, K. (2003). Age related effects in children taking the computerized assessment of response bias and word memory test. Child Neuropsychology: A Journal on Normal and Abnormal Development in Childhood and Adolescence 9(2):109-116. Doi 10.1076/chin.9.2.109.14507        [ Links ]

Dunne, S. (2011). Investigating perspective-taking skills in young children with a diagnosis of autistic spectrum disorder (tesis doctoral inédita). National University of Ireland, Maynooth, Ireland.         [ Links ]

Dymond, S.; Rehfeldt, R.A. & Schenk, J. (2005). Nonautomated procedures in derived stimulus research: A methodological note. The Psychological Record 55:461-481.         [ Links ]

Hayes, S.C.; Barnes-Holmes, D. & Roche, B. (Eds.) (2001). Relational frame theory. A post-Skinnerian account of human language and cognition. New York: Kluwer Academic - Plenum Publishers.         [ Links ]

Heagle, A.I. & Rehfeldt, R. A. (2006). Teaching perspective-taking skills to typically developing children through derived relational responding. Journal of Early and Intensive Behavior Intervention 3(1):1-34.         [ Links ]

Kobak, K.A.; Reynolds, W. & Greist, J.H. (1994). Computerized and clinician assessment of depression and anxiety: Respondent evaluation and satisfaction. Journal of Personality Assessment 63(1):173-180. Doi: 10.1207/s15327752jpa6301_14        [ Links ]

McHugh, L.; Barnes-Holmes, Y. & Barnes-Holmes, D. (2004a). Perspective-taking as relational responding: a developmental profile. The Psychological Record 54:115-145.         [ Links ]

McHugh, L.; Barnes-Holmes, Y. & Barnes-Holmes, D. (2004b). Understanding perspective taking, false belief and deception from a behavioural perspective. The Irish Psychologist 30:142-147.         [ Links ]

McHugh, L.; Barnes-Holmes, Y. & Barnes-Holmes, D. (2009). Understanding and training perspective-taking as relational responding. En R. A. Rehfeldt & Y. Barnes-Holmes (Eds.). Derived relational responding. Applications for learners with autism and other developmental disabilities (pp. 281-300). Oakland, CA: New Harbinger Publications.         [ Links ]

McHugh, L.; Barnes-Holmes, Y.; Barnes-Holmes, D. & Stewart, I. (2006). Understanding false belief as generalized operant behavior. The Psychological Record 56(3):341-364.         [ Links ]

McHugh, L., Barnes-Holmes, Y., Barnes-Holmes, D., Stewart, I. & Dymond, S. (2007). Deictic relational complexity and the development of deception. The Psychological Record, 57, 517-531. Recuperado de http://opensiuc.lib.siu.edu/tpr/vol57/iss4/3/        [ Links ]

McHugh, L.; Barnes-Holmes, Y.; Barnes-Holmes, D.; Whelan, R. & Stewart, I. (2007). Knowing me, knowing you: Deictic complexity in false-belief understanding. The Psychological Record 57:533-542. Doi: tpr/vol57/iss4/4        [ Links ]

McHugh, L.; Stweart, I. & Hooper, N. (2012). A contemporary functional analytic account of perspective taking. En: L. McHugh & Stewart, I. (Eds.). The self and perspective taking (pp. 55-71). Oakland, CA: Context Press.         [ Links ]

Mollicaa, C.M.; Maruffab, P.; Colliebc, A. & Vancede, A. (2005). Repeated assessment of cognition in children and the measurement of performance change. Child Neuropsychology: A Journal on Normal and Abnormal Development in Childhood and Adolescence 11(3):303-310. Doi: 10.1080/092970490911306        [ Links ]

Naranjo, G.A. (2010). Evaluación y entrenamiento de la toma de perspectiva: una propuesta analítica-funcional. Diversitas: Perspectivas en Psicología 6(1):141-151. Recuperado de http://ojs.usta.edu.co/index.php/diversitas/article/viewFile/32/pdf_24        [ Links ]

Olson-Buchanan, J.B. & Drasgow, F. (1999). Beyond bells and whistles: An introduction to computerized assessment. En J.B. Olson-Buchanan & F. Drasgow (Eds.). Innovations in computerized assessment (pp. 1-6). Mahwah, New Jersey: Lawrence Earlbaum Associates.         [ Links ]

O'neill, J. (2012). Training deictic relational responding in people with schizophrenia (tesis de maestría inédita). University of South Florida, Estados Unidos. Recuperada de http://scholarcommons.usf.edu/etd/4188        [ Links ]

Real Academia de la Lengua Española (2001). Diccionario de la Lengua Española. Madrid: Espasa.         [ Links ]

Real Academia de la Lengua Española (2010). Diccionario de la Lengua Española. Madrid: España.         [ Links ]

Rehfeldt, R.A. (2011). Toward a technology of derived stimulus relations: an analysis of articles published in the journal of applied behavior analysis, 1992-2009. Journal of Applied Behavior Analysis 44(1):109-119. Doi: 10.1901/jaba.2011.44-109        [ Links ]

Rehfeldt, R.A.; Dillen, J.E.; Ziomek, M.M. & Kowalchuk, R.K. (2007). Assessing relational learning deficits in perspective-taking in children with high-functioning autism spectrum disorder. The Psychological Record 57:23-47.         [ Links ]

Skuse, D.; Warrington, R.; Bishop, D.; Chowdhury, U.; Lau, J.; Mandy, W. & Place, M. (2004). The developmental, dimensional and diagnostic interview (3di): A novel computerized assessment for autism spectrum disorders. Journal of the American Academy of Child and Adolescent Psychiatry 43(5):548-558. doi.org/10.1097/00004583-200405000-00008        [ Links ]

Tanz, C. (1980). Studies in the acquisition of deictic frames. New York: Cambridge University Press.         [ Links ]

Vilardaga, R.; Estévez, A.; Levin, M.E. & Hayes, S.C. (2012). Deictic relational responding, empathy, and experiential avoidance as predictors of social anhedonia: further contributions from Relational Frame Theory. The Psychological Record 62:409-432.         [ Links ]

Vilardaga, R. & Hayes, S.C. (2012). A contextual behavioral approach to pathological altruism. En: B. Oakley, A. Knafo, G. Madhavan y D.S. Wilson (Eds). Pathological altruism (pp. 31-48). New York: Oxford University Press.         [ Links ]

Villatte, M.; Monestès, J.L.; McHugh, L., Freixa i Baqué, E. & Loas, G. (2008). Assessing deictic relational responding in social anhedonia: A functional approach to the development of Theory of Mind impairments. International Journal of Behavioral Consultation and Therapy 4(4):360-373. Recuperado de http://www.baojournal.com/IJBCT/IJBCT-VOL-%204/IJBCT-4-4.pdf        [ Links ]

Villatte, M.; Monestès, J.L.; McHugh, L.; Freixa i Baqué, E. & Loas, G. (2010a). Adopting the perspective of another in belief attribution: contribution of Relational Frame Theory to the understanding of impairments in schizophrenia. Journal of Behavior Therapy and Experimental Psychiatry 41:125-134.         [ Links ]

Villatte, M.; Monestès, J.L.; McHugh, L.; Freixa i Baqué, E. & Loas, G. (2010b). Assessing perspective taking in schizophrenia using Relational Frame Theory. The Psychological Record 60:413-436.         [ Links ]

Vispoel, W.P.(2000). Computerized versus paper-and-pencil assessment of self-concept: Score comparability and respondent preferences. Measurement and Evaluation in Counseling and Development 33(3):130-143.         [ Links ]

Visu-Petra, L.; Benga, O.; Fincas, I. & Miclea, M. (2007). Visual-spatial processing in children and adolescents with Down's syndrome: a computerized assessment of memory skills. Journal of Intellectual Disability Research 51(12):942-952. Doi: 10.1111/j.1365-2788.2007.01002.x        [ Links ]

Waddington, C. (1999). Estudio comparativo de diferentes métodos de evaluación de traducción general (inglés-español). Madrid: Universidad Pontifica Comillas.         [ Links ]

Weil, T.M.; Hayes, S.C. & Capurro, P. (2011). Establishing a deictic relational repertoire in young children. The Psychological Record 61:371-390. Recuperado de http://opensiuc.lib.siu.edu/cgi/viewcontent.cgi?article=1370&context=tpr        [ Links ]