Espanhol (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Enviar este artigo por email
Citado por SciELO 
Citado por Google 
Similares em
SciELO 
Similares em Google 
Permalink
INTRODUCCIÓN
Los estudios lingüísticos han despertado a la idea de que los textos son inherente mente multimodales (Jewitt, Bezemer & O'Halloran, 2016; Kaltenbacher, 2007; Kress, 2010; Machin, 2016; O'Halloran & Lim, 2014). Desde una mirada más amplia se podría señalar, de hecho, que todo evento comunicativo es de naturaleza multimodal o multisemiótica, dependiendo de la terminología empleada. Aun cuando se pueda pensar que los textos no son más que palabras hiladas de manera cohesiva en una página, la realidad muestra que otros recursos semióticos también participan en la creación de significado en estos textos. Artefactos comunicativos tan comunes como una noticia, un afiche publicitario o la portada de un libro son claras evidencias de esto. Por ejemplo, una noticia viene generalmente acompañada de una captura que representa el evento acontecido, los afiches hacen uso efectivo de colores e imágenes representativas de lo que se promociona, y la portada de un mismo libro puede contar con distintas edicio nes, dependiendo del tiempo en el que se publicó y la audiencia que se espera alcanzar.
De igual manera, los textos orales son esencialmente multimodales. Una simple conversación se ve naturalmente acompañada de gestos y, en el caso de situaciones comunicativas más formales, como una ponencia, es de esperar que se utilicen imá genes o videos de apoyo. Es claro que el uso exclusivo del lenguaje oral en todos los casos mencionados haría que estos textos no funcionaran de la misma manera en sus respectivos contextos comunicativos, ya que no serían percibidos como apropiados por su audiencia.
El interés reciente en la multimodalidad se puede asociar con los cambios en las condiciones de producción, diseminación y recepción de estos textos. Una de las causas principales de estos cambios es la globalización (Kress, 2010). Por ejemplo, alrededor del mundo se ha vuelto crecientemente común el paso de la lectura en papel a la pantalla, gracias a la existencia de dispositivos como computadoras, tabletas, lectores de libros electrónicos (e-readers) y celulares. Esto tiene efectos semióticos que traen consigo múltiples posibilidades en distintas áreas relacionadas con el estudio del lenguaje. Entre los intereses investigativos relacionados con las nuevas condiciones, destacan la alfabetización multimodal (González, 2013; Walsh, 2010), la comprensión lectora (Serafini, 2011; Parodi & Julio, 2016) y la identidad disciplinar (Boudon & Parodi, 2014), entre otros.
Ahora bien, el notorio auge en la atención depositada en los artefactos multimodales ha traído consigo la necesidad de propuestas metodológicas para su análisis, en especial desde la mirada del análisis del discurso. La respuesta a esta inquietud intelectual ha sido denominada análisis del discurso multimodal (ADM) o, simplemente, teoría de la multimodalidad (Kress & Van Leeuwen, 2006; Kress, 2010). El ADM ofrece una mirada amplia del objeto de estudio, al considerar como unidad de análisis no solo el lenguaje, sino también imágenes, gestos, música, acciones sonidos y simbolismo científico, los cuales, en su combinación, dan a lugar a expansiones semánticas (O'Halloran, 2012).
Variadas son las miradas que se han hecho cargo de los estudios del discurso mul timodal. Por ejemplo, algunos autores han buscado identificar cuáles son los artefactos multimodales utilizados en comunidades discursivas específicas, a través de análisis de corpus creados con base en distintos discursos académicos (Boudon & Parodi, 2014; Parodi, 2010). Otros han estudiado el sentido y efecto de elecciones de recursos multimodales, tanto desde la teoría sistémico funcional (Kress & Van Leeuwen, 2006 O'Halloran & Lim, 2014; Royce, 2007) como con un énfasis cognitivista (Forceville, 2009). Dentro de la primera línea, destacan el enfoque composicional (Martinec & Salway, 2005) y la teoría sociosemiótica de la multimodalidad (Kress, 2010); mientras que de la segunda, resalta la propuesta de la metáfora multimodal (Forceville, 2008). Además, recientemente se han explorado otras avenidas investigativas, tales como el análisis crítico del discurso multimodal (Machin & Mayr, 2012; Zhao et al., 2018) y el análisis multimodal asistido por software (Roderick, 2016). Estos enfoques han hecho uso de los recursos propuestos por las miradas clásicas, con el fin de estudiar la realización lingüística de la ideología, la posibilidad de automatizar procedimientos analíticos por medio de recursos tecnológicos, y el cuestionamiento de los usos de estos recursos en la sociedad actual.
Pese a la diversidad en el ADM, estas miradas rara vez han sido comparadas, y en los casos en que este ejercicio se ha realizado, este suele centrarse exclusivamente en terminología y/o intereses de investigación concretos (Kaltenbacher, 2007; O'Halloran, 2012; Parodi & Julio, 2017), con lo que se deja de lado la discusión de las metodologías utilizadas para realizar el análisis del artefacto multimodal.
Este artículo toma el desafío de realizar un análisis desde este último foco, con el fin de ofrecer un acercamiento esclarecedor a investigadores interesados en la multimodalidad. Para realizarlo, esta revisión bibliográfica se centra en la explicación y comparación de las propuestas que pueden ser consideradas como representativas de enfoques dominantes en el área: la propuesta de los artefactos multisemióticos (Boudon & Parodi, 2014; Parodi, 2010), el enfoque de cohesión composicional (Martinec & Sa lway, 2005), la teoría sociosemiótica de la multimodalidad (Kress, 2010) y la metáfora multimodal (Forceville, 2008, 2009). Pese a la creciente popularidad del análisis crítico del discurso multimodal, este no será considerado, debido a su metodología ecléctica (Machin & Mayr, 2012; Wodak, 2011). Es decir, este enfoque puede hacer uso de cual quiera de las metodologías aquí planteadas, siempre y cuando tenga como propósito final descubrir patrones de inequidad social y relaciones de poder en contra de grupos minoritarios, tales como los inmigrantes (Martínez-Lirola, 2016, 2017).
Este artículo se propone dos objetivos: por un lado, revisar las principales propuestas metodológicas del análisis del discurso multimodal representativas de la lingüística de corpus, la sociosemiótica y el enfoque cognitivista. Por otra parte, se busca determinar los puntos de encuentro y desencuentro entre estas miradas, tomando como eje sus prácticas metodológicas. En la siguiente sección, se detallan propuestas para el análisis discursivo multimodal. Luego, se revisan estos enfoques desde los posibles puntos de encuentro y diferencias más difíciles de reconciliar. Para cerrar, se presentan conclu siones y reflexiones con base en los hallazgos de esta revisión bibliográfica.
PROPUESTAS DE ANÁLISIS DEL DISCURSO MULTIMODAL
Artefactos multisemióticos y el estudio de corpus
Una propuesta concreta para la caracterización de los artefactos multimodales considerando el objeto de estudio en su forma escrita es la de Parodi (2010). Con el objetivo de conocer los géneros multimodales del discurso que se utilizan en seis disciplinas científicas, el autor realiza un análisis de corpus. Optando por los términos artefactos multisemióticos, multisemiosis y sistema semiótico, el lingüista, desde una mirada filogenética, propone cuatro sistemas semióticos principales, a través de los cuales el potencial de significación del lenguaje puede ser instanciado:
Sistema verbal: expresado por la lexicogramática, compuesto de palabras, frases y oraciones. Se caracteriza por ser de índole exclusivamente lingüística.
Sistema gráfico: expresado generalmente por fotografías, gráficos, diagramas, tablas, bocetos e, incluso, espacios en blanco. Estos pueden expresar, a través de la visualidad, no solo hechos concretos, sino también ideas o valores.
Sistema matemático: se expresa en números, letras, signos y otras representaciones que históricamente han sido acompañadas por sistemas verbales y tipográficos, con el fin de materializar operaciones lógicas y matemáticas.
Sistema tipográfico: se da a través de la forma y color de las letras (cursivas, negritas, etc.). Esta modalidad no es un simple recurso estilístico, ya que contribuye a la transmisión y construcción del significado. Por ejemplo, el uso de negrita en una palabra podría tener como efecto semiótico el destacar la importancia de un término.
Esta operacionalización ha logrado hallazgos por medio de estudios que buscan, por un lado, caracterizar el artefacto multisemiótico y, por el otro, describir su procesa miento. Entre los primeros, destaca el ordenamiento de cuatro grandes sistemas semióticos principales que permiten no solo caracterizar géneros discursivos multimodales conocidos desde un corpus, tales como los esquemas, las fórmulas, los mapas y las tablas, entre otros, sino también proponer otros novedosos, como la red composicional y el complejo estadístico, los cuales combinan las cuatro modalidades (Parodi, 2010; Boudon & Parodi, 2014).
El procedimiento metodológico para la identificación de estos géneros es la operacionalización de definiciones con base en tres criterios: 1) modalidad (¿qué sis temas participan en el artefacto?), 2) función (¿para qué se emplea el artefacto?) y 3) composición (¿de qué se constituye el artefacto?). Junto con estos criterios, se utiliza el juicio de expertos, con el fin de validar los hallazgos. Un ejemplo de la aplicación de los criterios, que toma en cuenta los sistemas semióticos previamente señalados, se puede apreciar en la Tabla 1 (Parodi, 2010).
Entre las investigaciones experimentales bajo esta propuesta, resaltan estudios de eye-tracking, los cuales buscan describir el procesamiento psicolingüístico de los textos multimodales previamente caracterizados. Para ello, se modifican textos de manera que presenten distintos recursos semióticos. Parodi y Julio (2016) muestran que la ruta de lectura en segmentos del género informe de política monetaria no se ve afectada por la organización de los sistemas semióticos (verbal y gráfico) y que, indistintamente de la disciplina, los segmentos verbales de los textos suelen recibir mayor atención que los que hacen uso de otros sistemas semióticos.
Además, en esta línea se ha mostrado que habilidades como la lectura de gráficos están alineadas con el aprendizaje que se adquiere durante la educación universitaria, según el programa especializado en el cual se estudie. De esta manera, el trabajar de manera específica en el desarrollo de competencias lectoras asociadas a la decodifi cación de los sistemas correspondientes le permite a los estudiantes hacerse parte de la comunidad disciplinar respectiva (Parodi & Julio, 2015). Así, en una carrera en la que se trabaje constantemente con gráficos, los estudiantes desarrollan habilidades y estrategias que les permiten decodificar estos sistemas semióticos de manera efectiva.
En resumen, esta propuesta ofrece dos grandes beneficios desde el punto de vista metodológico. En primer lugar, entrega una conceptualización clara de los sistemas semióticos que podrían atenderse al caracterizar un corpus multimodal. Una segunda contribución son las preguntas guías que permiten identificar y describir los distintos géneros multisemióticos de un corpus de forma clara y sin perder de vista la multimodalidad. Haciendo uso de ambas se pueden caracterizar artefactos multisemióticos de manera efectiva.
Pese a las claras contribuciones de estos aportes, esta propuesta presenta la limitación de que su implementación no ha ofrecido sistematizaciones respecto a la interacción entre los distintos sistemas semióticos. Es decir, la multisemiosis se aborda como la presencia de distintas modalidades en un mismo artefacto y la predominancia que una u otra puede cumplir, lo cual impide que el investigador se concentre en las maneras en las cuales la interacción entre modalidades puede contribuir en la construcción de significados.
La semiótica social en las propuestas de ADM
La semiótica social de Halliday (1978), teoría que sustenta la lingüística sistémico funcional (LSF), es una propuesta cuyo supuesto clave es que la lengua es un constructo social, el cual sirve para que los humanos se comuniquen y desarrollen en sociedad. O'Halloran (2012) señala tres principios fundamentales que permiten explicar el rol de la lengua en las prácticas sociales concretas: la estratificación, las metafunciones y la instanciación.
La estratificación del significado
La visión del lenguaje de la semiótica social concibe un modelo del lenguaje estratificado como se aprecia en la Figura 1.
La Figura 1 representa que el sistema lingüístico, compuesto de cuatro estratos, está incrustado en el contexto. Es decir, un contexto determinado motiva y limita el potencial que ofrece el lenguaje. En la Figura 1 se puede apreciar la realización del modo oral, el cual es codificado a través de los sonidos disponibles en una lengua determinada, sus recursos léxicogramaticales y la semántica, nivel en el cual se concibe el texto (Halliday & Hasan, 1989; Halliday & Matthiessen, 2013). Pese a que la Figura 1 representa el uso de la modalidad oral, cualquier modalidad podría codiicar el mensaje expresado. Es decir, se podría transmitir a través de una imagen o por medio de la modalidad escrita, por ejemplo.
La teoría de las metafunciones
Por metafunción, Halliday y Hasan se refieren tanto al uso del lenguaje como a grupos de sistemas semánticos relacionados inherentes al lenguaje, los cuales permiten organizarlo (Halliday & Hasan, 1989). Las metafunciones son muestra del desarrollo filogenético del lenguaje, ya que este ha evolucionado para cumplir ciertos propósitos en la sociedad. Estas metafunciones son tres y expresan tres tipos de significados particulares, los cuales se instancian de manera simultánea a través de cláusulas.
El significado ideacional: permite la representación de la experiencia humana a través de la cláusula. Este se subdivide, a su vez, en dos: el experiencial (caracterizado por el sistema de transitividad) y el lógico (estudiado a través del sistema de taxis y del de la lógico-semántica).
El significado interpersonal: en este caso, la cláusula se ve como la herramienta lin güística que permite establecer una relación entre participantes o con uno mismo.
El significado textual: se refiere al rol que juega el lenguaje en la construcción de discurso de manera organizada y coherente.
Aun cuando la propuesta de Halliday presenta la cláusula como su objeto de es tudio, otros autores han explorado estos sistemas desde una mirada multimodal, en la cual un sistema como el de la transitividad puede ser realizado por una modalidad, por ejemplo, gráfica (Kress & Van Leuwen, 2006; Martinec & Salway, 2005; Royce, 2007).
La instanciación
Explica el movimiento entre el sistema como potencial de significado y la concretización específica de este en un contexto. Esta característica explica la relación bidireccional entre los textos y el potencial de significación, ya que cada instanciación particular no solo hace uso del potencial, sino que también lo impacta a nivel de sistema. Por ejemplo, una presentación en un congreso que integre nuevas modalidades en su realización puede expandir la concepción del potencial para futuras instanciaciones, lo que conllevaría a que otros usuarios del lenguaje sigan este uso novedoso del sistema. Por otra parte, el sistema en sí mismo ofrece las posibilidades de instanciación gracias al contexto de cultura y, por lo tanto, lo limita.
Semiótica social y cohesión composicional
Para el análisis del discurso multimodal, se ha hecho uso de la LSF de manera, a veces, poco sistemática, pero no por ello menos efectiva. Martinec y Salway (2005) proponen un análisis multimodal que tiene como objetivo determinar la cohesión composicional entre los recursos semióticos empleados. Centrándose en la noción de gramática de la LSF y considerando los tres principios previos, los autores postulan un análisis multimodal basado en los sistemas de la metafunción ideacional: el sistema de transitividad y el de combinación clausular (taxis y relaciones lógico-semánticas), los cuales se asocian a las relaciones entre texto e imagen propuestas por Barthes (1977).
Barthes (1977), en su preocupación por una lingüística del discurso y por la semió tica, describe las relaciones entre texto e imagen como de tres tipos:
Anclaje: el texto permite dilucidar la imagen (por ejemplo, los pies de foto).
Ilustración: la imagen permite aclarar el texto (por ejemplo, la foto que acompaña una noticia).
Relevo: tanto el texto como la imagen están a un mismo nivel (por ejemplo, las películas o tiras cómicas).
En esta clasificación, Martinec y Salway (2005) encuentran un paralelo en la noción de taxis de la LSF, la cual denominan estatus y define el vínculo que existe entre cláusulas cuando estas forman un complejo clausular. Esta relación puede ser igual (paratáctica) o desigual (hipotáctica), según la dependencia que se produzca entre los elementos. La Tabla 2 muestra la operacionalización que hacen los autores de estos conceptos para su aplicación en un texto multimodal.
La dimensión lógico-semántica, en cambio, permite vincular los elementos por medio de sus significados, con el fin de formar unidades más complejas. Estas com binaciones pueden ser de proyección o expansión. Las relaciones de proyección hacen referencia al estilo indirecto, el cual permite representar información o pensamientos que uno mismo u otro pueden tener, a través de cláusulas relativas. Por su parte, las de expansión son de elaboración (en el caso de añadirse ejemplos), extensión (al añadirse información nueva) y de realce (al entregarse información circunstancial).
La Figura 2 muestra un ejemplo de relación lógico-semántica por medio de una proyección. La decisión de categorizarla de esta forma yace en el hecho de que el texto es un pensamiento asociado a una imagen que representa al hablante. Es decir, se podría establecer como equivalente un complejo clausular como «él pensaba que le picaba la nariz». Por lo tanto, el texto en el globo nube representa la cláusula hipotáctica que añade un significado que permite establecer el pensamiento del personaje en la tira cómica.
De manera complementaria, se hace uso de la transitividad, entendida como la posibilidad de expresar una idea a través de configuraciones de participantes, procesos y circunstancias. Estos procesos pueden ser de distintos tipos, tales como materiales, mentales y verbales, entre otros, dependiendo de la naturaleza del evento.
Analizar la transitividad permite revelar el rol funcional de cada uno de los ele mentos de una cláusula o, en el caso de la multimodalidad, los recursos semióticos que materializan participantes, procesos o circunstancias en el artefacto multimodal. De este modo, alguno de los componentes de la transitividad puede ser realizado a través de, por ejemplo, una imagen, como es el caso de la Figura 2. El considerar esta posibilidad de realización a través de distintas modalidades da indicios respecto al estatus de la relación entre texto e imagen. A continuación, la Tabla 3 presenta la aplicación de la propuesta de Martinec y Salway (2005).
La Tabla 3 muestra la manera en la que dos textos multimodales poseen cohesión composicional, la cual les permite expresar su mensaje. En el primer caso se puede apreciar una advertencia. En este, la imagen de la calavera y el texto funcionan de forma independiente, ya que tanto la calavera como el texto presentan autonomía de significado. En cambio, el segundo artefacto multimodal presenta un estatus comple mentario en el uso de sus recursos semióticos. Si se observara la imagen por sí misma, aún se necesitaría del texto para contextualizar el tipo de comida al cual se refiere. Las relaciones lógico-semánticas también son de distinta naturaleza. Mientras que en el primer caso hay una elaboración; en el segundo, hay una extensión. A luz del ejemplo de la aplicación de estos principios, la utilización de la tabla emerge como una técnica clave para el análisis desde esta propuesta.
La teoría sociosemiótica de la multimodalidad
Gunther Kress (2010) propone una teoría unificadora con base en estudios previos y en la teoría de la semiótica social. A esta teoría la llama teoría sociosemiótica de la multimodalidad. Esta teoría concibe una mirada enfocada en lo que Kress denomina diseño, en vez de la competencia chomskiana. El diseño equivale a la realización lingüística individual con intereses en el uso presente, tomando en consideración los efectos semióticos que puede tener.
De manera similar, se deja de lado la gramática (y la cláusula como su unidad representativa) como centro de los estudios de la comunicación, pues muestra poca con gruencia con el presente poco estable y las demandas semióticas que la realidad impone. En su lugar, se propone un cambio de foco que considere los «recursos semióticos» como centro de la comunicación, por ser estos más abarcadores y estar más alineados con la comunicación actual, la cual exige que estos sean constantemente reformulados.
Finalmente, esta teoría visualiza un movimiento desde una mirada mentalista y abstracta del lenguaje hacia un entendimiento material y corpóreo de la comunicación. Por lo tanto, existen tres cambios de foco complementarios en esta perspectiva, lo que derivaría en una atención a la realización lingüística individual, a los recursos semió ticos y a un enfoque corpóreo.
Además, la teoría sociosemiótica de la multimodalidad entiende los signos como motivados y siempre rehechos. Es decir, estos signos creados por intereses particulares son evocados por el contexto de uso, el cual, a su vez, hace que los signos no sean sim plemente utilizados, sino resemiotizados en cada situación particular. En este sentido, la relación entre forma y significado es una de adecuación (aptness). La adecuación hace referencia a que la forma tiene los requisitos para transportar el significado que se busca, de manera tal que se puede señalar que todo signo se rehace constantemente (Kress, 2010).
En particular, Kress y Van Leeuwen (2001) han propuesto cuatro estratos analíticos para el análisis de un corpus multimodal, los cuales se ven ya esbozados en la teoría sociosemiótica. En primer lugar, se debe identificar el estrato del discurso entendido como saber social. Es decir, se determinan el o los discursos que se utilizarán en el acto comunicativo, respondiendo a preguntas de quién, cómo, dónde, cuándo y qué, a la luz de los recursos semióticos utilizados. Luego, se estudia el estrato del diseño. En este nivel, se integran los discursos y se estudian desde el plano ideativo (ideas que se desean comunicar) y del material (recursos semióticos para la transmisión del mensaje). En tercer lugar, se analiza el estrato de la producción, nivel en el que se vinculan los discursos con los recursos utilizados que permitieron materializar el diseño. Finalmente, se considera el estrato de la distribución. Allí se genera con ciencia respecto a la fuente de difusión del mensaje y cómo este puede condicionar la diseminación del mensaje. Por ejemplo, un periódico que permite tiras cómicas cortas limitaría al autor a generar un texto multimodal de entre una y tres viñetas (Rodríguez & Velásquez, 2011).
Esta propuesta ha incentivado el análisis de modalidades tan diversas como la escritura, la imagen, los gestos, la mirada, el habla, la postura y el contacto, entre otros (Bezemer et al., 2012; Bezemer & Kress, 2014). Bezemer et al. (2012) utilizan esta teoría desde una mirada educativa, con el fin de analizar la manera en la cual los educadores representan el mundo y el modo en que enseñan a través de «diseños multimodales para el aprendizaje». Lo novedoso de esta mirada es que considera espacios semióticos de dos y tres dimensiones (por ejemplo, un texto educativo o una sala de clases).
Metodológicamente, esta propuesta implica el uso de la etnografía para poder describir la manera en la cual el profesor hace uso de modalidades diversas. Por ejemplo, el estudio de Bezemer et al. (2012) reporta que, en una sala de clases, el profesor de ciencias lee preguntas y objetivos de una pantalla, solicita la creación de un mapa conceptual y muestra distintos tipos de magnetos; todo esto es realizado a través de modalidades como el habla, los objetos tridimensionales, la acción y los gestos. Para describir el estrato de la producción, los investigadores optan por un diagrama en forma de tabla.
Como se observa en la Figura 3, los investigadores han transcrito la experiencia multimodal observada, conservando de manera fidedigna las relaciones intersemióti-cas y la manera en la que estas transmiten el significado. El análisis desde esta teoría permite dar cuenta de esta instanciación, y otras semejantes, como la transposición del mundo social dentro de la sala de clases (Bezemer et al., 2012, p. 5).
Figura 3 Extracto de transcripción multimodal de una demostración en una clase de ciencias (Bezemer et al., 2012, p. 5)
Además, este enfoque puede dar cuenta del desarrollo logogenético de los «diseños de aprendizaje» desde una postura diacrónica (Bezemer & Kress, 2010). Dicho de otro modo, el estudio de la evolución de las relaciones intersemióticas en los diseños de aprendizaje permite indagar en las restricciones impuestas a las condiciones de producción de textos a lo largo del tiempo. Por ejemplo, un profesor actual se ve en el hábito de crear presentaciones de PowerPoint para presentar los contenidos, mientras que los docentes de hace 15 años más rara vez se tenían que enfrentar a esta tarea. La utilización de esta misma presentación de PowerPoint en la sala de clases, puede ser explorada con el uso de procedimientos provenientes de la etnografía. Por lo tanto, el discurso multimodal es visto como una práctica social situada, en la cual las modalidades se estudian en su interacción para la creación de significados.
Tanto el enfoque de cohesión composicional como la teoría sociosemiótica de la multimodalidad, utilizan procedimientos metodológicos que rescatan la importancia de sistemas semióticos distintos al verbal. Estos enfoques le dan una mayor atención a la manera en la cual interactúan estos sistemas semióticos para la creación de significados. En particular, la teoría sociosemiótica ofrece una mirada comprensiva del fenómeno de la multimodalidad, la cual entrega recursos metodológicos para analizar artefactos multimodales distintos a los escritos, como es el caso de una clase en un colegio.
La metáfora multimodal
En el cognitivismo, también se ha mostrado interés por el discurso multimodal, reconociendo el rol clave de la multimodalidad en la expresión del significado. Forceville y Urios-Aparisi (2009) señalan que el potencial semiótico de un modo nunca puede ser completamente expresado por otro. Como unidad de análisis de este fenómeno, se propone la metáfora multimodal.
La metáfora multimodal tiene como antecedente principal la teoría de la metáfora conceptual, propuesta por Lakoff y Johnson (1980). Desde esta óptica, la metáfora pasa de ser entendida como un recurso estilístico ocasional, a ser un mecanismo cognitivo de uso frecuente, el cual permite comprender y experimentar un fenómeno abstracto (dominio meta) gracias a un dominio más concreto (dominio fuente). Un ejemplo de esto es LA VIDA ES UN VIAJE. A través de esta metáfora conceptual, una persona puede generar expresiones metafóricas, tales como «no sé adónde voy con mi vida» o «me siento muy perdido desde que decidí comenzar a trabajar».
Un rasgo fundamental que destaca Forceville (2008) de esta propuesta es que no es exclusivamente lingüística, tal como queda establecido por los trabajos seminales de Lakoff y Johnson (1980). Pese a esto, esta propuesta ha sido casi exclusivamente aplicada al modo verbal, lo cual ha conllevado dos problemas. En primer lugar, se ha evidenciado un razonamiento circular, ya que se analiza el modo verbal para inferir algo de la mente y el cuerpo, lo cual a su vez motiva aspectos de la estructura lingüística y el comportamiento (Gibbs & Colston, 1995). Además, el foco en las manifestaciones verbales de las metáforas puede cegar a los investigadores sobre fenómenos que pueden ocurrir solo de manera no verbal y multimodal (Forceville, 2008). La propuesta de la metáfora multimodal permite superar ambas limitaciones.
Las metáforas multimodales son definidas como metáforas, cuyos dominios son representados a través de modos semióticos distintos (Forceville, 2009, p. 24). Esto se puede expresar, por ejemplo, en la abstracción VERBAL A ES VISUAL B. El dominio meta, en particular, debe ser de una modalidad distinta a la del dominio fuente, o, en su defecto, una combinación de modalidades. Forceville (2009) menciona como ejemplo una escena en una película de animación, en la cual un gato hace el sonido de un elefante. En este caso el dominio fuente de ELEFANTE se ve gatillado por la modalidad del sonido.
En la Figura 4, se presenta un anuncio publicitario en el cual se utilizan las modalidades visuales y verbales para transmitir el dominio fuente de GATO. El anuncio evoca una serie de relaciones que permiten realizar la función persuasiva de la publicidad. En primer lugar, la audiencia debe reconocer la asociación entre el caballo y los caballos de fuerza, término utilizado para referirse a la potencia de un automóvil. Esta conexión se ve, a su vez, reforzada por la imagen del producto en el extremo inferior derecho y el texto «advanced synthetic motor oil by Avia». Una última vinculación, y la central del anuncio, es la de la imagen principal, el caballo con una bola de lana, con el dominio fuente, la cual forma la metáfora conceptual EL CABALLO ES UN GATO. Esta conexión permite inferir que, si el caballo está felizmente jugando, el motor debiese andar sin ningún problema. Además, el texto «Makes your horses purr» refuerza la asociación realizando en una segunda modalidad la misma metáfora. Un último alcance respecto a este análisis es el de la necesidad de entender el dominio fuente de GATO como un ani mal de casa, una mascota feliz y juguetona. Esta última vinculación tiene un trasfondo cultural importante, sobre el cual se está instanciando el texto.
El ejemplo previo es representativo de un enfoque metodológico ascendente (bottom-up), en el cual se recopila un corpus (generalmente acorde a un género particular) y se analiza en búsqueda de metáforas multimodales y no verbales, dando cuenta del interés en el discurso multimodal. Otro estudio que funciona de manera similar, como un estudio de caso, es el de Urio-Aparisi (2009) quien realiza un análisis holístico de cuatro casos prototípicos de interacción multimodal en comerciales de televisión, considerando la metáfora y la metonimia multimodal. El autor crea su corpus prototípico, para luego analizar cada una de las instancias multimodales individualmente. En su análisis, en cuentra metáforas multimodales tan particulares como EL AUTO ES UN ATLETA DE SALTO DE ALTURA y LA ETIQUETA DEL TÉ ES UN RELOJ HIPNOTIZADOR. Sus hallazgos se sistematizan en la Tabla 4, en la cual se ubican las metáforas (en las filas) y las modalidades (en las columnas) empleadas, con el fin de evidenciar la interacción entre modalidades.
Las aplicaciones de la metáfora multimodal, como se ha podido apreciar, tienden a realizarse en el campo del cine y la publicidad. Respecto a este último ámbito, se pueden mencionar dos estudios, los cuales, en vez de seguir una perspectiva ascendente, ocupan una descendente (top-down), por lo que se buscan metáforas ya determinadas en el corpus analizado.
Koller (2009) toma como punto de partida, con base en una revisión teórica, la metáfora conceptual LAS MARCAS SON ORGANISMOS VIVIENTES. Siguiendo esta metáfora, la investigadora analiza su materialización y efectos en la interacción entre modalidades visuales y verbales en el discurso corporativo. Como hallazgos presenta que la adición de modalidades para materializar un mismo dominio fuente permite reforzar la intención persuasiva de los géneros corporativos.
Por otra parte, Yu (2009), en un estudio de caso, analiza un comercial educacional emitido en la televisión central china como manifestación de dos metáforas concep tuales: LA VIDA ES UN VIAJE y LA VIDA ES UN ESCENARIO. El análisis de estas metáforas es realizado a través de cada metáfora conceptual, como se aprecia en la Tabla 5, para el caso de LA VIDA ES UN VIAJE. Además, las reflexiones son posteriormente sistematizadas en una tabla (Tabla 6), similar a la de Urios-Aparisi (2009), consistente de tres colum nas representativas de tres modalidades distintas (visual, auditiva y verbal) y dos filas utilizadas para los dominios (fuente: VIAJE; meta: VIDA; fuente: ESCENARIO).
Tabla 6 Extracto de proyecciones multimodales de la metáfora LA VIDA ES UN ESCENARIO, en el estudio de Yu (2009, p. 138)
Un desafío que tiene esta propuesta yace en la identificación de metáforas multimo dales y monomodales no verbales, ya que ambas juegan un rol importante en el discurso multimodal. Mientras las metáforas monomodales verbales suelen ser develadas en el lenguaje mismo a través de utilizaciones de verbos o preposiciones específicas, tales como ser y como, las metáforas multimodales y monomodales no verbales pueden ser identificadas por la presencia de manera aislada o combinada de tres características principales (Forceville, 2009):
Similitud perceptual: este criterio aplica a metáforas monomodales no verbales, tales como las visuales o de sonido. Por ejemplo, en el caso de la similitud visual, dos cosas se pueden asemejar por su color, posición, textura, etc.
Llenado de espacio esquemático inesperado: ubicar una cosa en un lugar donde se es peraría que haya otra, genera la construcción de proyecciones entre dominios. En otras palabras, pueden fomentarse desviaciones en los esquemas normalmente utilizados. Un ejemplo de esto sería una publicidad de galletas, en la cual al abrirse el paquete se encuentren corazones representativos de cariño.
Pistas simultáneas: se puede generar la proyección entre dominios al representarse ambos de manera clara al mismo tiempo. Por ejemplo, un beso acompañado por el so nido de un choque genera inmediatamente asociaciones como que el AMOR ES UN VIAJE.
Por último, es relevante señalar que esta propuesta, pese a dominar los estudios en la publicidad (Forceville, 2017), también se ha extendido al estudio de otro tipo de textos, tales como los libros ilustrados para niños (picture books). En estos estudios, no solo se reconoce el dominio e importancia de la metáfora multimodal en los estudios multimodales de corte cognitivo, sino que también se rescata el trabajo reciente en metonimias visuales (Moya-Guijarro, 2013). La metonimia visual ocurre cuando los dominios meta y fuente son parte del mismo dominio conceptual (Forceville, 2009). En este trabajo, Moya-Guijarro (2013) analiza las manifestaciones no verbales de metonimias visuales en extractos de textos que representan la realidad narrativa para los niños en dos libros ilustrados. Para esto, el autor hace uso de un enfoque ascendente (bottom-up), a través del cual comienza por identificar las metonimias visuales en los libros, con el in de describir sus funciones comunicativas y sus efectos en las representaciones cognitivas. En este tipo de textos, se suelen utilizar metonimias parte-todo para enfatizar puntos claves de la trama y la creación de un lazo afectivo con el niño-lector. Por ejemplo, McGregor, el villano del libro The Tale of Peter Rabbit, es representado a través de la imagen de su bota en una escena en la cual este está a punto de pisar a Peter, el protagonista, quien en ese momento se esconde de McGregor.
En conclusión, se puede señalar que las metáforas multimodales, desde la mirada de Forceville (2009), son una extensión de lo que usualmente se comprende por metáfora conceptual. Esta expansión se materializa desde la posibilidad de que modalidades distintas representen un mismo dominio fuente.
En cuanto a la metodología, resaltan los estudios de caso, debido a las particularidades que suelen buscarse en los discursos multimodales a analizar. El procedimiento general puede dividirse en cuatro etapas. Primero, se identifica el contexto comunicativo, generalmente entendido como tipo de discurso (corporativo, publicitario, etc.) y los géneros que contextualizan el uso metafórico. Luego de esto, se debe recopilar un corpus asociado al género. En la tercera etapa, los estudios trabajan la metáfora multimodal de manera ascendente (bottom-up), como en el ejemplo del análisis de Urios-Aparisi (2009); o descendente (top-down), como en los casos de Koller (2009) y Yu (2009). Por último, se procede a realizar el análisis correspondiente, dando cuenta de la manera en la que los distintos efectos semióticos se realizan en el discurso multimodal, gracias al uso de metáforas.
La capacidad de dar cuenta de la vinculación de las modalidades, especialmente en contextos de discurso publicitario y empresarial, es una de las principales fortalezas de esta propuesta. No obstante, también se aprecia un interés reciente por la inclusión del análisis de la metonimia visual desde un enfoque cognitivo similar al de la metáfora multimodal, el cual ofrece herramientas para estudiar otro tipo de textos.
ANÁLISIS COMPARATIVO
Tras haber identificado y explicado los supuestos principales y las implementaciones metodológicas de diversas propuestas, se procede a presentar un análisis comparativo, con base en intereses y formas de proceder comunes. Posteriormente, se discuten áreas de desencuentro.
Similitudes
En cuanto a los dominios comunes, destacan la mirada funcional y contextualizada del lenguaje, la concepción del lenguaje como inherentemente multimodal, la creatividad y flexibilidad metodológica y la utilización de tablas para sistematizar el análisis reflexivo.
Mirada funcional y contextualizada del lenguaje
Todos los enfoques comparten la consideración de la comunicación como contextualizada. El concepto de contextualización se refiere, desde esta mirada, a un contexto situacional inserto en un contexto de cultura. Este contexto situacional se ve permeado por prácticas discursivas de comunidades particulares, que hacen uso de géneros con fines particulares. Es en este contexto donde la comunicación se ve inserta y donde las distintas propuestas estudian los artefactos multisemióticos.
Un ejemplo de esto está en la propuesta de los artefactos multisemióticos, la cual los define en el contexto del discurso académico. A través de esta operacionalización, se pueden describir géneros a la luz de sistemas semióticos (Boudon & Parodi, 2014; Parodi, 2010), por lo que la multimodalidad toma el eje central. Por otra parte, los estudios de metáforas multimodales se centran también en discursos especializados, como el de negocios o el publicitario.
Concepción del lenguaje como inherentemente multimodal
Todos los enfoques explorados ven la comunicación y, en consecuencia, el lengua je como multimodal. El llamado «descubrimiento de lo obvio» (Kaltenbacher, 2007; Parodi, 2010) ha conllevado a un alejamiento del logocentrismo y a un acercamiento al análisis de las modalidades que permiten construir discursos.
Por ejemplo, Forceville (2009) distingue, por lo menos, seis modos que se deben explorar al considerarse la metáfora multimodal: el lenguaje escrito, el lenguaje oral, las imágenes estáticas y en movimiento, la música, los sonidos y los gestos. A su vez, reconoce que cada modo puede realizar distintos aspectos del potencial de significación, por lo que no son intercambiables. Cada uno de ellos es intraducible en otro, por lo menos la mayoría del tiempo. Además, el autor reconoce que la modalidad requiere de un análisis intrasemiótico e intersemiótico, debido a los diversos factores que le pueden afectar, tales como los materiales utilizados (papel, piedra, tela, celuloide, etc.), la manera en la cual los géneros hacen uso de estos y sus efectos semióticos. Esto es claramente incorporado en su análisis.
Por su parte, Kress (2010) hace mención de modalidades similares, a las que añade otras relevantes en la sociedad globalizada de hoy en día, como lo son el color y el contacto. Estas modalidades o modos son vistos como investigables en instanciaciones particulares sobre materiales específicos. En otras palabras, cada fenómeno multimodal es regido por principios semióticos universales, pero sus realizaciones son específicas y dependen de la manera en la que estos se construyen. Este es, por lo tanto, el foco de interés de esta propuesta, más que el uso de los artefactos por sí mismos.
Parodi (2010) al centrarse exclusivamente en textos escritos, propone sistemas semióticos más específicos, entre los cuales resalta cuatro: el sistema verbal, el sistema gráfico, el sistema matemático y el sistema tipográfico. La operacionalización de estos cuatro sistemas brinda la posibilidad de analizar un corpus de manera sistemática y reformular géneros desde un punto de vista multimodal.
Por último, cabe destacar que Martinec y Salway (2005), pese a enfocarse en los sistemas verbales y de imagen, añaden un concepto interesante: el de cohesión composi cional. Este concepto permite extender la noción de cohesión a los textos multimodales, entendiendo que cada modalidad es clave en la construcción de un todo uniicado que es independiente del grado de centralidad que alguno de estos modos pueda jugar en un artefacto particular.
Creatividad y flexibilidad metodológica
Cabe destacar la coexistencia de múltiples propuestas metodológicas, incluso dentro de líneas investigativas similares. A modo general, existe una secuencia metodológica de seis pasos: fijación de objetivo, recopilación de un corpus acorde, operacionalización de modalidades, contextualización del corpus (por ejemplo, a la luz de los cuatro estratos de Kress) y análisis del corpus a la luz de un marco metodológico que puede o no combinar propuestas de distintas teorías.
Pese a esta tendencia general, se aprecian variedades en cada uno de los pasos. Por ejemplo, la recopilación del corpus puede variar e ir desde un estudio de caso (a través del cual se busca estudiar alguna ideología o metáfora multimodal particular) a un estudio de un corpus amplio (que permita generar la caracterización de los géneros prototípicos de una disciplina) (Parodi, 2010).
Utilización de tablas para sistematizar el análisis
El análisis multimodal tiende a seguir dos movidas retóricas principales. La primera consiste en un análisis descriptivo y reflexivo a la luz de cómo la teoría conceptualiza las modalidades consideradas. Un paso posterior es la generación de una tabla que permita resumir el análisis de las modalidades descritas, con base en distintos fenómenos explicados en ilas. Estos pueden ser metáforas multimodales (Forceville, 2009; Urios-Aparisi, 2009; Yu, 2009) o pasos de una experiencia multimodal, como la realización de una clase (Bezerman et al., 2012), entre otros. Las columnas, por su parte, explicitarían las modalidades a través de las que se exploraron estos fenómenos. La tabla producida permite llevar a cabo dos objetivos claves: describir fenómenos multimodales, y explicitar la sintonización y alineamiento del uso de estos recursos.
Diferencias
Sin embargo, no todos los enfoques revisados se encuentran en una misma sintonía respecto a su alcance e interés investigativo. Algunas de las distinciones que esta revisión teórica ha permitido notar son las siguientes: énfasis en su concepción del lenguaje y relevancia que se le da a algunas de las modalidades.
Énfasis cognitivo o social
Los efectos semióticos de la multimodalidad parecen ser estudiados también desde dos miradas distintas, dependiendo de la perspectiva. Por ejemplo, la propuesta de la metáfora multimodal recalca la base cognitiva del procesamiento del lenguaje en la comprensión del mundo. Así, la utilización de recursos semióticos variados permite materializar distintos dominios fuente. Esta propuesta enmarca lo social tanto dentro del mundo cognitivo del sujeto quien utiliza metáforas multimodales como de quien las procesa. Además, cabe destacar que el enfoque toma en cuenta también la comunidad discursiva, al insistir en que la metáfora también está gobernada por géneros y por las comunidades discursivas en las cuales estas funcionan.
Por otra parte, propuestas como las de Parodi (2010) y Martinec y Salway (2005) enfatizan la comunicación y el uso de recursos semióticos como recursos lingüísticos utilizados con fines sociales particulares. Kress (2010), por su parte, pese a reconocer la cognición, enfatiza claramente la materialidad y el funcionamiento social de los signos, indicando que estos al ser utilizados en contexto pierden su amodalidad y se vuelven corpóreos.
Foco en la interacción entre modalidades y sus efectos
Existen claros desvíos respecto a la manera en la cual se puede dar cuenta de la interacción entre modalidades. Desde un análisis metodológico, esto se evidencia en la utilización de distintas propuestas para explorar este fenómeno. Algunas propuestas, como la de Parodi (2010), evidencian un interés bajo en la explicación del fenómeno de las relaciones intrasemióticas e intersemióticas, limitándose al reconocimiento de su presencia con el in de caracterizar los artefactos multisemióticos.
No obstante, también se han notado perspectivas que intentan integrar las relaciones intersemióticas de manera más clara, tales como las de Martinec y Salway (2005), Kress (2010) y Forceville (2009). Estas propuestas presentan la ventaja de explorar la multimodalidad como un fenómeno novedoso con complejidades propias y no como un texto que incluye distintas modalidades. Con este in, los enfoques dan cuenta de cada modalidad (especialmente la teoría de la sociosemiótica multimodal) por sí misma y en conjunción con otras. Es decir, pese a que todos los enfoques muestran conciencia de las relaciones intersemióticas, solo algunos se preocupan de dar cuenta de estas.
A modo de resumen, en la Tabla 7 se ofrece un cuadro comparativo que considera algunos de los principales criterios de análisis de las metodologías exploradas.
CONCLUSIONES
En esta revisión se han presentado distintas alternativas de análisis del discurso multimodal: la propuesta de artefactos multisemióticos (Parodi, 2010), el enfoque de cohesión composicional (Martinec & Salway, 2005), la teoría de la sociosemiótica multimodal (Kress, 2010) y la propuesta de la metáfora multimodal (Forceville, 2009). De esta forma, se han podido explicar las distintas perspectivas desde sus propios méritos y visiones. Además, una vez explicitados los lineamientos de cada una de estas teorías, se han identificado puntos de encuentro y diferencias entre las miradas, con el fin de explicar los supuestos comunes que las hacen parte de un mismo campo de estudio y los pilares que permiten darles autonomía.
Entre los hallazgos de esta revisión teórica, está la identificación de cuatro puntos comunes en los estudios del discurso multimodal. En primer lugar, estos se caracterizan por resaltar la importancia de entender los discursos como prácticas discursivas, las cuales se realizan con intenciones particulares en contextos determinados. Junto con esto, los análisis muestran una conciencia común respecto a la existencia de una variedad de modalidades que son dinámicas, las cuales varían dependiendo de las intenciones del autor, el género y el contexto de producción, diseminación y recepción donde se insertan. Una tercera característica es la flexibilidad metodológica, pues estos estudios suelen incorporar propuestas, o elementos de propuestas, de distintos autores, con el fin de integrarlas para dar cuenta de un fenómeno particular. Finalmente, el análisis tiende a necesitar la operacionalización de modalidades y géneros. Además, hace uso de tablas que sistematizan el análisis de la multimodalidad.
Por otra parte, destacan tres diferencias importantes entre los enfoques. En primer lugar, se han distinguido dos formas de identificar los intereses de las investigaciones del discurso multimodal: aquella con una inclinación hacia la descripción contextualizada de los artefactos multisemióticos; y, por otra parte, aquella que utiliza estas prácticas metodológicas con el fin de mostrar cómo las elecciones de recursos semióticos hechos por los autores develan intereses ideológicos ocultos (es decir, prácticas discursivas controladas por discursos de poder que buscan manipular a sus potenciales audiencias). Una segunda distinción se desprende de la conceptualización del lenguaje. Aquí se distinguen aquellos enfoques que presentan una mirada orientada hacia el foco social; y otros, hacia la comprensión de textos como representaciones mentales. En último lugar, se ha mencionado los distintos grados de atención que estos enfoques prestan a la interacción entre los recursos semióticos, con el fin de construir significado.
Algunas de las áreas de oportunidades que se desprenden del análisis son la exploración desde múltiples miradas del artefacto multimodal. Por ejemplo, se podría analizar el discurso de las disciplinas, tomando en cuenta las tendencias de producción de artefactos multimodales que revelan los estudios de corpus, la importancia del uso de metáforas multimodales y la manera en la cual los diagramas ayudan a incrementar la cohesión del sistema verbal. Esto permitiría tener una visión holística de los textos disciplinares y aumentaría la potencial variabilidad de estos entre comunidades disciplinares.
Además de potenciarse los análisis por medio de la triangulación entre propuestas metodológicas, también se pueden superar debilidades haciendo uso de más de un enfoque de análisis multimodal. Así, la debilidad que podría tener la teoría sociosemiótica, al estar principalmente enfocada en las realizaciones verbales, podría superarse con los supuestos de propuestas cognitivas como la de la metáfora multimodal. Esto podría aumentar los recursos teóricos y la flexibilidad metodológica para el análisis de las ideologías en el discurso multimodal, como lo han propuesto miradas más recientes (Zhao et al., 2018). En resumen, una propuesta interdisciplinaria que combine propuestas de estudio del discurso multimodal, podría hacer avanzar el desarrollo de esta área de estudio.
Aun cuando existen méritos en este trabajo que permiten esclarecer el panorama actual en el análisis del discurso multimodal, quedan desafíos que enfrentar. Una de las tareas que fue dejada de lado en este esfuerzo fue la de la clarificación terminológica de los términos que son parte de este campo. Así, por ejemplo, se utilizaron de manera intercambiable términos tales como fenómeno multimodal y artefacto multisemiótico; o recurso multimodal y sistema multisemiótico. Es importante indagar más respecto a estas diferencias encontradas, ya que pese a ser equivalentes desde una mirada generalizadora, cada elección muestra una preferencia por enfatizar el dinamismo en la comunicación o la regularidad en los productos culturales de una comunidad. En otras palabras, el uso de distintas elecciones muestra un deseo por explotar el potencial de significación de una forma particular, y una reflexión más acabada al respecto podría permitir una mirada respecto a las ideologías que subyacen a los estudios de la multimodalidad.
Respecto a las proyecciones de este estudio, se recomienda que se realicen revisio nes bibliográficas similares que busquen la sistematización y comparación de distintas estrategias metodológicas. Al realizarse este tipo de estudios, se pone al alcance del lector lo que las distintas miradas ofrecen, de manera tal que este pueda indagar más en el campo y de manera más asertiva. Asimismo, los investigadores ya imbuidos en una línea de trabajo particular pueden expandir su visión del fenómeno e incrementar las herramientas que poseen para enfrentar el análisis de artefactos multimodales.
En suma, los estudios del discurso multimodal han permitido abordar la comuni cación y, por lo tanto, el lenguaje de una manera más amplia, más enriquecedora, que visiones de la comunicación centradas exclusivamente en el sistema verbal. La aceptación de la naturaleza de la comunicación humana como esencialmente multimodal, ayuda a que los investigadores se acerquen al análisis multimodal y a incentivar la reflexión respecto a la manera en la cual las personas diseñan artefactos multimodales haciendo uso de los distintos recursos semióticos a su disposición.
