SciELO - Scientific Electronic Library Online

 
vol.52Gender differences in theory-based predictors of physical activity in university students with disabilitiesCognitive skills in juvenile offenders, protection normalized youngsters: A contrastive study author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Revista Latinoamericana de Psicología

Print version ISSN 0120-0534

rev.latinoam.psicol. vol.52  Bogotá June 2020  Epub Mar 01, 2021

https://doi.org/10.14349/rlp.2020.v52.15 

ARTÍCULOS

Validación de un diccionario de LIWC para identificar emociones intergrupales

Validation of a LIWC dictionary to identify intergroup emotions

Diana Camila Garzón-Velandia1  * 
http://orcid.org/0000-0001-9561-5021

Idaly Barreto1 
http://orcid.org/0000-0003-3677-852X

Iván Felipe Medina-Arboleda1 
http://orcid.org/0000-0003-3209-9204

1 Universidad Católica de Colombia, Bogotá, Colombia


Resumen

Desde la tradición de analizar constructos psicológicos a partir del lenguaje, esta investigación de tipo instrumental tiene el objetivo de validar un diccionario de emociones intergrupales, cuyo proceso se fundamentó en el diseño, conformación y validación de listados de palabras asociadas a 38 emociones intergrupales, útiles para identificar emociones en corpus lingüísticos, analizados mediante el software Linguistic Inquiry and Word Count (LIWC), cuya función principal es identificar categorías lingüísticas y psicológicas en textos escritos. Nueve jueces, divididos en tres grupos, calificaron las palabras de acuerdo con los parámetros de pertinencia y relevancia de cada palabra, en relación con cada emoción. Enseguida, las puntuaciones se complementaron con una metodología de bloques aleatorios incompletos, a fin de estimar la calificación de las palabras restantes. Se encontró consistencia aceptable entre jueces, así como ajuste de sus puntuaciones en el modelo de Rasch, lo que permitió aceptar los resultados. A partir de las calificaciones, se depuró el 9 % de las palabras raíz, asociadas a 38 emociones (18 negativas, 17 positivas y 3 neutrales), complementadas con sus respectivas desinencias.

Palabras clave: Análisis de contenido; análisis lingüístico; emociones intergrupales; validación de contenido; psicología política

Abstract

Following the tradition of analysing psychological constructs based on language, this instrumental research aims to validate a dictionary of intergroup emotions, whose process was based on the design, conformation, and validation of word lists associated with 38 intergroup emotions, useful to identifying emotions in linguistic corpus analysed, using the Linguistic Inquiry and Word Count software (LIWC), whose main function is to identify linguistic and psychological categories in texts. Nine judges divided into three groups rated the words in two parameters (pertinence and relevance of each word with the emotion) and the scores were complemented with an incomplete random block methodology, to estimate the qualification of the remaining words. Acceptable consistency was found among the judges, as well as adjustment of their scores in the Rasch model, which allowed accepting the obtained results. From these ratings, 9 % of the root words associated with 38 emotions (18 negative, 17 positive, and 3 neutral), subsequently supplemented with their respective endings, were cleared.

Key words: Content analysis; linguistic analysis; intergroup emotions; content validity; political psychology

Introducción

Las emociones humanas son un fenómeno multidimensional al que la psicología ha dedicado un estudio profundo, reflejado en el desarrollo de teorías que explican sus características y funciones (Lewis, Haviland-Jones, & Feldman, 2008; Mir & Revert, 2014), puesto que permiten la adaptación y son el fundamento de la comunicación social (Campos, 1981; Lewis et al., 2008; Mir & Revert, 2014; Palmero, Guerrero, Gómez, Carpi, & Gorayeb, 2011).

Los estudios contemporáneos de las emociones se han enfocado en su función social en el ámbito individual, interpersonal y grupal (Hareli & Parkinson, 2008; van Kleef & Fischer, 2016; Yzerbyt, Kuppens, & Mathieu, 2016). En la dimensión grupal, la evidencia documenta un conjunto de emociones denominadas intergrupales (Giner-Sorolla, Mackie, & Smith, 2007), las cuales corresponden a reacciones socialmente funcionales que las personas experimentan, en cuanto miembros de un grupo, hacia los miembros de otros grupos, como consecuencia de la activación y aceptación de una identidad social (Mackie & Smith, 1998). Estas emociones están en la base de la explicación de fenómenos sociales, pues son producto y esencia de la interacción grupal (Guevara-Rojas & Espinosa, 2014; Mackie et al., 2000; Mackie & Smith, 2017; Maitner, Smith, & Mackie, 2016; Smith, Seger, & Mackie, 2007).

Así, una fuerte identificación con el grupo permite a sus miembros sentir de forma más intensa las emociones compartidas (Mackie & Smith, 2017; Smith & Mackie, 2008; Smith et al., 2007; Tajfel, 1984), incluso, la identidad individual puede fusionarse con la grupal, lo que da lugar a emociones y comportamientos que, por ejemplo, pueden poner en riesgo la vida de los individuos (Henríquez Henríquez, Urzúa Morales, & López-López, 2020; Rico, Alzate, & Sabucedo, 2020). De hecho, las emociones intergrupales (EI) tienen funciones adaptativas en el ámbito social, dado que, por un lado, motivan comportamientos de promoción y protección del grupo (Smith & Mackie, 2008) y, por otro, dependen tanto de la evaluación del contexto social como de la situación de los individuos con respecto a su grupo (más que sobre ellos mismos), como de la valencia de la emoción (García-Prieto, Mackie, Tran, & Smith, 2007). Si la emoción se considera positiva, se promueve el ambiente grupal o de contacto intergrupal. En contraste, si la emoción hacia otro grupo es negativa, favorece las agresiones físicas, de restricción o simbólicas (Mackie & Smith, 2001; Miller, Smith, & Mackie, 2004; Pulido, Rojas, Restrepo, ZambranoHernández, & Barreto, 2020; Smith & Mackie, 2016).

Las EI son un continuo entre extremos (positivo y negativo), cuyas diferentes funciones sociales (Maitner et al., 2016) han sido evaluadas mediante diferentes estrategias metodológicas, entre las que se cuentan cuestionarios, pruebas de desempeño, registros psicofisiológicos, pruebas químicas (Mauss & Robinson, 2009; Scherer, 2005) y el análisis léxico, que evalúa constructos psicológicos a partir del estilo y el contenido de producciones lingüísticas.

En esta última metodología de estudio, el software Linguistic Inquiry and Word Count (LIWC) calcula el porcentaje de participación de palabras presentes en un texto escrito, asociadas con diferentes emociones, procesos cognitivos y preocupaciones sociales. Sobre la base del uso de pronombres, artículos, preposiciones y adverbios (palabras de función), esta metodología permite identificar el estilo lingüístico (Pennebaker, 2018). Para ello, LIWC opera con un diccionario interno que contiene una colección de palabras categorizadas que, en psicología, son consideradas medidas fiables de las emociones, dado que corresponden con estados cognitivos y emocionales, los cuales son estables entre individuos, grupos y estados de ánimo (Boyd & Pennebaker, 2015; Kjell, Kjell, García, & Sikström, 2018; Pennebaker, 2011; Tausczik & Pennebaker, 2010).

El software LIWC (1992-1994) tiene tres versiones en inglés (2001, 2007, 2015) y ha sido traducido y adaptado al alemán (Wolf et al., 2008), el francés ( Piolat, Booth, Chung, Davids, & Pennebaker, 2011), el holandés (Zijlstra, van Meerveld, van Middendorp, Pennebaker, & Geenen, 2004), el árabe (Hayeri, 2014), el chino-mandarín (Huang et al., 2012), el coreano (Lee, Sim, & Yoon, 2008), el tagalog (Andrei, Dingwall, Dillon, & Mathieu, 2014), el serbio (Bjekić, Lazarević, Živanović, & Knežević, 2014), el portugués (Balage, Pardo, & Aluísio, 2013) y el español (Ramírez-Esparza, Pennebaker, García, & Suriá, 2007).

En las versiones de 2007 y 2015 el programa presentó evidencias de confiabilidad y validez para inferir constructos psicológicos a partir de producciones lingüísticas. Las versiones alcanzaron alfas de confiabilidad mayores a .52, lo que evidencia una consistencia interna adecuada de las categorías lingüísticas. Asimismo, al comparar las versiones, se encontraron correlaciones significativas mayores a .60 (< .05), para 2001 y 2007, y mayores a .63, para 2007 y 2015 ( Pennebaker, Boyd, Jordan, & Blackburn, 2015; Pennebaker, Chung, Ireland, Gonzales, & Booth 2007).

En cuanto a validación, se ha reportado evidencia de contenido, criterio y constructo del programa. La primera validación de contenido se realizó para su primera versión (1992-1994), en la cual se consolidaron las categorías lingüísticas, de acuerdo con la consistencia en la evaluación de las palabras por jueces expertos, con acuerdo de más del 86 % (Chung & Pennebaker, 2001). Las versiones 2007 y 2015 actualizaron y complementaron los listados de las palabras de cada categoría, con procesos similares e indicadores de acuerdo más robustos (> 93 %) (Pennebaker et al., 2015; 2007).

Con respecto a la validez de criterio, LIWC demuestra tener correspondencia con la codificación humana (Bantum & Owen, 2009). Pennebaker y Francis (1996) analizaron 210 escritos expresivos y descripciones de objetivos mediante LIWC y los compararon con la codificación de tres jueces expertos. Se encontraron correlaciones significativas entre las codificaciones. En 1997, Pennebaker, Mayne y Francis actualizaron las categorías de LIWC, a partir de la ejecución del software con el programa Wordsmith, con base en la categorización de ocho millones de palabras. Posteriormente, Alpers et al. (2005) analizaron textos de grupos de soporte en línea para personas con cáncer de seno y correlacionaron las frecuencias de LIWC con codificadores humanos. El trabajo reportó correlaciones significativas (mayores de .23, con significancia estadística < .01) entre las codificaciones, especialmente, en categorías emocionales.

Alpers et al. (2005) también validaron el constructo a partir de la comparación de escritos emocionales en la condición experimental de escritura expresiva de Pennebaker y Seagal (1999), con escritos del grupo control. Se encontraron diferencias porcentuales (3-5 %) en la categorización de LIWC con respecto a categorías cognitivas, emocionales y sociales. De igual manera, se encontraron diferencias entre la categorización de los escritos de los participantes del grupo de apoyo a personas con cáncer de seno y artículos comunicativos sobre la enfermedad.

En concordancia con la validez de constructo, Pennebaker y King (1999) analizaron gran número de textos tomados de diarios, trabajos de escuela y resúmenes de revistas científicas, a partir de lo cual determinaron consistencias altas a través del tiempo (e.g., textos escritos en diarios por la misma persona), en cuanto a tema (e.g., escritos de la misma persona con temas diferentes) y el origen del texto (e. g., el mismo tipo de texto, escrito por diferentes personas) (Alfa de Cronbach >.60).

Además, se realizó un análisis factorial exploratorio de las categorías de LIWC® en el que se hallaron cuatro factores estructurales: inmediación (formas verbales singulares, artículos, verbos conjugados en presente y discrepancias), distinciones (preposiciones y negaciones), pasado social (verbos conjugados en pasado, emociones positivas y referencias sociales) y racionalización (emociones negativas, causa y reflexión).

Ahora bien, para la versión en inglés (y por extensión la versión en español), diferentes estudios sugieren que, si bien la sensibilidad y especificidad de LIWC es adecuada para detectar categorías emocionales generales (emociones positivas y negativas), su precisión es menor para detectar emociones específicas, porque no incluye muchas palabras y subcategorías emocionales. Por ejemplo, en emociones negativas, la taxonomía solo incluye ira, tristeza y ansiedad; y en emociones positivas no hay una taxonomía (Bantum & Owen, 2009; Chung & Pennebaker, 2001; Kahn, Tobin, Massey, & Anderson, 2007; McDonnell, 2014).

En cuanto a los estudios psicométricos de la herramienta en la versión en español (Ramírez et al., 2007) se encuentran pocas investigaciones. Pese a esto, su uso se ha incrementado en los últimos años, particularmente, en los ámbitos de la psicología clínica y la psicología política. En el contexto de la psicología clínica, como complemento para la evaluación del proceso y el éxito terapéutico en diferentes modalidades de la técnica de reexperimentación emocional (Moreno-Murcia & Medina-Arboleda, 2020; Tackman et al., 2019), centrada en el contexto terapéutico (el flujo emocional en el yo) con predominancia de la función expresiva del lenguaje (Tackman et al., 2019).

En psicología política, con la versión del diccionario en español, se han investigado temas de movilización emocional en contextos de negociación política (Barreto & MedinaArboleda, en prensa; Castiblanco-González, Medina-Arboleda, & Barreto, 2020); campañas políticas en redes sociales digitales (Fernández-Cabana, Rúas-Araújo, & Alves-Pérez, 2014; Gulías, López, & Boubeta, 2020; Pulido et al., 2020) y discursos políticos (Rúas-Araújo, Alves-Pérez, & FernándezCabana, 2016). En este contexto sociopolítico, el uso de la herramienta demanda un acervo léxico específico para el análisis emocional, pues la producción lingüística ocurre en condiciones con referentes endogrupales y exogrupales y preeminencia de la dimensión pragmática del discurso (Castiblanco et al., 2020). En los contextos intergrupales, se comunica con respecto a los grupos e individuos en cuanto actores políticos y no a título individual, con el propósito de movilizar emociones y acciones con respecto a los grupos.

En este contexto, a través de la calificación de jueces, este estudio validó un diccionario complementario orientado a identificar emociones intergrupales, para el estudio del lenguaje usado en el contexto de las relaciones entre grupos.

Método

Diseño

El estudio corresponde a una investigación del tipo instrumental (Ato, López, & Benavente, 2013; Montero & León, 2002), realizada mediante un diseño de validación de contenido por jueces. El estudio fue complementado con un encadenamiento de bloques aleatorios incompletos, que consiste en un sistema de rotación de ítems en el que un juez califica una muestra aleatoria de ítems (palabras, en este caso), denominada bloques. Con base en estos bloques, se estimó la calificación de los jueces en palabras no evaluadas (Bekman, 2001; Instituto Colombiano para la Evaluación de la Educación (ICFES), 2017).

Instrumento

Para la formulación del diccionario de emociones intergrupales, se utilizaron las siguientes fuentes: el diccionario oficial de LIWC en español (Ramírez-Esparza et al., 2007), las categorías emocionales del diccionario del General Inquirer® (Stone, Dunphy, Smith, & Ogilvie, 1967) y una lista de chequeo de palabras emocionales (Hill, 2014). A estas, se sumaron diccionarios de sinónimos y antónimos, diccionarios de uso y diccionarios académicos.

Procedimiento

Fase 1. Conformación de lista de emociones. De acuerdo con Mackie y Smith (1998), se listaron las emociones vinculadas con la interacción intergrupal y se buscaron sus definiciones en diccionarios de psicología (American Psychological Association (APA), 2018; Carrobles, Becerra, Blanco Abarca, & Palomo, 1996; Consuegra, 2010; Rosello, 1980; Yentzen, 2008), a fin de depurar la lista y seleccionar las palabras objetivo.

Fase 2. Revisión del diccionario oficial en español de LIWC. Se recopilaron las palabras de las categorías LIWC, correspondientes a emociones en general, emociones positivas y emociones negativas (ansiedad, enfado y tristeza), para reasignarlas a una lista de tres emociones neutrales, 18 emociones negativas y 17 emociones positivas. También se revisaron las palabras del diccionario original, particularmente de las categorías cognitivas y sociales.

Fase 3. Revisión de otros diccionarios y material complementario. A partir de las definiciones, se revisaron varios recursos como diccionarios de uso, diccionarios académicos y diccionarios de sinónimos y antónimos (i.e., Rae y Larousse). También, se revisaron las categorías emocionales del General Inquirer® (Stone et al., 1967) y una lista de chequeo de palabras emocionales (Hill, 2014). Asimismo, se revisaron recursos electrónicos de divulgación general, por ejemplo, listas de sinónimos y de adjetivos (i.e., RAE y Word reference).

Fase 4. Validación de contenido. Participaron en la validación nueve jueces (todos psicólogos, con diferentes grados de formación y años de experiencia), divididos en tres grupos, de forma que cada juez evaluara cerca de 1400 palabras y cada emoción fuera evaluada por tres jueces.

La validación se complementó con una metodología de bloques aleatorios incompletos, en la que cada juez revisó una lista de palabras, junto con una muestra aleatoria de otra lista (Bekman, 2001; Universidad de Granada, 2015). Para la calificación, se dio a los jueces la definición de emociones intergrupales y la de cada emoción que debía evaluarse, acompañada de la instrucción (Apéndice). En cada caso, se evaluó la pertinencia de forma dicotómica; mientras que la relevancia se evaluó con cuatro criterios, que van desde muy relacionada, hasta nada relacionada con la emoción.

Fase 5. Análisis de datos. Una vez conformada una base de datos de las valoraciones de los jueces, se identificaron, por medio del Modelo de Rasch, los jueces más severos y los más indulgentes; es decir, quienes calificaron con las puntuaciones más altas y bajas respectivamente (de manera similar a como se estiman los reactivos más o menos difíciles en este modelo). También se analizaron las palabras que más se ajustaban al modelo.

Resultados

En primer lugar, se presentan los análisis correspondientes a los jueces (consistencia entre jueces por medio de los coeficientes alfa de Cronbach y alfa de Krippendorff); enseguida, se presentan los análisis orientados a las palabras (análisis de datos con el modelo de Rasch).

Calidad de los jueces

Con respecto al acuerdo entre jueces, se calcularon los coeficientes alfa de Cronbach y alfa de Krippendorff, en los parámetros de pertinencia y relevancia para el total de las emociones. Lo mismo se hizo para las emociones positivas, negativas y neutrales (Tabla 1). Los jueces mostraron niveles aceptables de consistencia y acuerdo (> .40 en ambos casos). La confiabilidad de acuerdo entre jueces, calculada con el alfa de Krippendorff, arrojó, en promedio, consistencia mínima (> .30).

Tabla 1 Confiabilidad y acuerdo entre los jueces 

A partir del análisis de datos con el modelo de Rasch de los parámetros de pertinencia y relevancia, se evaluaron la indulgencia y la severidad de los jueces. Se entiende indulgencia como la aplicación de los parámetros de pertinencia y relevancia con flexibilidad, contrario a severidad. Se espera que los jueces indulgentes se complementen con los severos y no se encuentren desbalanceados. De igual manera, se evaluaron el ajuste próximo y ajuste lejano, entendidos como la relación de los datos cercanos con los valores de severidad o indulgencia mínimos, máximos (lejano) y medios (cercano). Asimismo, se analizó la consistencia, que indica la forma como el evaluador trabajó durante el proceso (Tabla 2).

Tabla 2 Criterios del modelo de Rasch para jueces en el parámetro de pertinencia 

El parámetro de pertinencia se calificó dicotómicamente: cero (0), si la palabra no pertenece a la emoción y uno (1) si, en efecto, pertenece a ella. La calificación promedio de los jurados fue .82, por lo que la mayoría de las palabras fue valorada como pertinente. Los valores de corte para la severidad se establecieron de acuerdo con la media y la desviación estándar. En concreto, una desviación estándar por encima de la media indica valores de severidad, mientras que valores por debajo de la media implican indulgencia.

Con respecto a los valores de bondad de ajuste cercano y lejano, ninguno de los jueces se desajustó del modelo (los valores de 0.5 a 1.5 son ajustados de acuerdo con el modelo de Rasch). Ello indica que los juicios fueron consistentes. Con respecto a la consistencia, se evidenció que las calificaciones de todos los jurados fueron confiables (Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), 2010). La Tabla 3 presenta los mismos criterios de calificación promedio, severidad/indulgencia, ajuste cercano, ajuste lejano y consistencia para el parámetro de relevancia.

Tabla 3 Criterios del modelo de Rasch para jueces en el parámetro de relevancia 

La calificación promedio de relevancia debe ser considerada bajo las calificaciones posibles del parámetro (en el rango 1-4, donde 1 significa poca relevancia de la palabra en la emoción). En la Tabla 3, se evidencia una dispersión mayor en el parámetro de pertinencia, en contraste con relevancia.

En cuanto a severidad e indulgencia, se determinó que el juez 2 fue el más indulgente. Los valores de ajuste cercano y ajuste lejano permiten señalar que los jueces se ajustan (los valores entre 0.5 a 1.5 se ajustan de acuerdo con el modelo de Rasch). Finalmente, los valores de consistencia permiten identificar que las calificaciones de los jueces fueron confiables (> .40). Complementando los parámetros evaluados de pertinencia y relevancia, la figura 1 muestra su interacción, en los criterios severidad y ajuste externo.

En la Figura 1 se evidencia la correspondencia entre los patrones de calificación de los jueces para los parámetros de pertinencia y relevancia, con base en los criterios de severidad (eje y), outfit -ajuste lejano- (eje x) y desviación de estándar (diámetro de las burbujas). De acuerdo con esto, el juez 4 fue el más severo en la calificación de las palabras con respecto a los dos parámetros; mientras que el juez fue el que reveló menor severidad.

Nota: en color gris se presenta el ajuste de los jueces para el parámetro de relevancia; el parámetro de relevancia se muestra en color negro. Nótese que cada uno tiene sus propios criterios de ajuste en su color respectivo en los dos ejes.

Figura 1 Diagrama de Bond y Fox de severidad y ajuste lejano de los jueces en pertinencia y relevancia. 

En el parámetro de relevancia, los jueces se mantienen en el ajuste sin presentar mayor dispersión, conforme con el diámetro de las burbujas; en contraste con el parámetro de pertinencia. Sin embargo, los jueces 8 y 9 están sobre ajustados, mientras que el juez 6 se encuentra poco ajustado, es decir, pudo verse afectado por variables externas en el parámetro de relevancia.

Calidad de las palabras del diccionario

De otra parte, es fundamental analizar las puntuaciones de las palabras relacionadas en cada emoción. Ello se evidencia en la Tabla 4, que muestra la cantidad de palabras evaluadas por cada emoción, así como la medida de habilidad de las palabras.

Tabla 4 Cantidad de palabras y medida de emociones positivas 

El valor de la medida se refiere a la pertinencia o relevancia de las palabras evaluadas por los jueces. En el parámetro de pertenencia, compasión fue una de las emociones con mayores puntuaciones; mientras que fascinación fue la de menor puntuación. Por su parte, las palabras asociadas a placer tuvieron menores puntuaciones en cuanto a relevancia; al mismo tiempo, las palabras relacionadas con empatía fueron puntuadas como las más relevantes entre las palabras que representan emociones positivas.

En la Tabla 5, se presentan las medidas de las emociones negativas. De acuerdo con los valores de la medida, en el parámetro de pertinencia, miedo es la emoción cuyas palabras tuvieron mayor puntuación, mientras que celos constituye la emoción con las menores puntuaciones. En relevancia, decepción tuvo las palabras con puntuaciones más bajas, mientas que desesperación obtuvo las mayores puntuaciones.

Tabla 5 Cantidad de palabras y medida de emociones negativas 

En la Tabla 6 se presentan los valores de las emociones neutras. En general, las puntuaciones no difieren de forma importante. También se muestran la medida promedio de las emociones para pertinencia, relevancia y la confiabilidad general de los dos parámetros, dividiendo las palabras en grupos de emociones.

Tabla 6 Cantidad de palabras y medida de emociones neutrales 

En correspondencia con el procedimiento, en la Figura 2, se evidencia la cantidad de palabras que integraron las fases de conformación y depuración del diccionario, hasta llegar a la versión final, discriminadas por valencia emocional. Las palabras se listaron y conformaron de acuerdo con las definiciones de las emociones denominadas en la Figura 2 como etapa de conformación. De acuerdo con esto, los jueces las evaluaron, a partir de lo cual tuvo lugar la depuración del 9 % de las palabras evaluadas como no pertinentes o no relevantes, tal como se muestra en la etapa evaluación.

* No corresponde con la suma de las palabras por valencias, puesto que las palabras pueden repetirse entre emociones negativas, positivas y neutrales.

Figura 2 Validación del diccionario y cantidad de emociones por fase. 

Discusión

Esta investigación tuvo como objetivo formular y validar un diccionario en español de emociones intergrupales, compatible con el software LIWC, con el propósito de com plementar las herramientas disponibles y especificar los análisis de emociones intergrupales. Para esto se conformaron listas de palabras para 38 emociones, correspondientes a 3 neutrales, 18 negativas y 17 positivas, provenientes, en su mayoría, del diccionario en español de LIWC (Ramírez Esparza et al., 2007).

Se validó el contenido de las listas con jueces expertos. En la evaluación, una emoción y sus palabras asociadas fueron analizadas por lo menos por tres jueces, de acuerdo con los parámetros de pertinencia (la palabra se asocia a las características de la emoción) y relevancia (la palabra es relevante en la conformación de la lista de la emoción). Adicionalmente, se utilizó una metodología de encadenamiento de bloques aleatorios incompletos, como forma complementaria, a fin de rotar una muestra de las palabras de cada emoción a otros jueces, para estimar su calificación en las otras palabras asociadas a la misma emoción.

A partir de las calificaciones de los jueces, se determinó la confiabilidad entre jueces, mediante el coeficiente alfa de Cronbach, cuyos valores fueron aceptables, como en el porcentaje de acuerdo. No obstante, los valores de la confiabilidad del alfa de Krippendorff fueron mínimos, lo cual puede sugerir la presencia de variables externas en la calificación de los jueces. Por ejemplo, es posible que la longitud de las listas afectara las calificaciones, considerando que cada juez calificó cerca de 1409 palabras.

Los porcentajes de acuerdo entre jueces no fueron superiores a la versión original de LIWC (Pennebaker et al., 2015; 2007), pero son aceptables (> 40 %). Es probable que el acuerdo disminuyera por el formato de validación, debido a la metodología de bloques aleatorios incompletos.

En general, los jueces tuvieron calificaciones altas para las palabras: -.82 para pertinencia (opciones 0 o 1) y 3.26 para relevancia (opciones de 1 a 4). Esto, teniendo en cuenta que la evaluación de jueces fue confirmatoria y no exploratoria, pues las listas ya habían sido filtradas y depuradas por emoción.

Los datos correspondientes a pertinencia se encuentran más dispersos que los valores de relevancia. Tal dispersión puede sugerir que, para los jurados, fue más sencilla la decisión de relevancia. Debido a que fue posterior a la decisión de pertinencia, se tomó como un parámetro confirmatorio. Es oportuno mencionar que las posiciones de los jueces en el parámetro de pertinencia, como en el de relevancia, no tuvieron cambios que los posicionara con distancias significativas entre parámetros, por lo cual, es adecuado concluir que los patrones de calificación de los jurados, contra sí mismos en los dos momentos, fueron consistentes.

Por otra parte, se acepta la calidad de las calificaciones de los jueces, dados los valores de severidad e indulgencia, que se compensan entre sí, y la consistencia individual en los dos parámetros; así como los valores de ajuste al modelo y el error estimado, que no supera el límite de tolerancia (LLECE, 2010; Pardo, 2007).

Esta evidencia de validez de contenido es un paso inicial para la validación, con lo cual se aporta una herramienta de mayor precisión para el análisis lingüístico de emociones intergrupales, debido a que el diccionario original en español del LIWC contiene únicamente emociones positivas(696 palabras), negativas (1088 palabras), ansiedad (136 palabras), enfado (506 palabras) y tristeza (130 palabras) (Ramírez Esparza et al., 2007), mientras que este complementa la valencia con emociones neutrales, desagrega las emociones positivas, con 17 emociones y se complementa con 18 emociones negativas. Además, se amplía el número de palabras por emoción, considerando que el total de palabras asociadas a emociones en el diccionario original es de 1823 y, en cambio, este diccionario está constituido por 49967.

Otro aporte de este diccionario es su precisión, dado que se desagregó cada palabra evaluada en todas las desinencias del idioma español, de forma tal que se evitan raíces que derivan en palabras diferentes, lo que, sumado al amplio número de palabras, brinda mayor sensibilidad a las emociones en un texto, cuando se analizan discursos políticos y fenómenos psicosociales en redes sociales digitales, entre otros. De igual manera, el análisis de las calificaciones puntuadas por los jueces a través del modelo de Rasch constituye un valor agregado para estimar la consistencia del comportamiento de los jueces, los ítems y la prueba en general.

A pesar de lo anterior, si bien este diccionario se enmarca en la teoría de las emociones intergrupales, es necesario que su uso e interpretación tenga lugar bajo el análisis del contexto social intergrupal, debido tanto al carácter polisémico de las palabras como a la fluctuación de las emociones intergrupales de acuerdo con el objetivo por el cual se elicitan y al que van dirigidas (Mackie, Devos, & Smith, 2000).

A partir de este desarrollo, se recomienda continuar con el proceso de validación. En trabajos exploratorios posteriores deberá enfatizarse en la validez de criterios con una comparación del diccionario oficial en español (Ramírez Esparza et al., 2007), en sus categorías emocionales; contrastando el porcentaje de captura y la precisión de las listas de emociones, como se esperaría. De igual manera, se recomienda llevar a cabo un proceso de validación del constructo, particularmente, en la forma tradicional de Pennebaker et al. (2015) 1.

Reconocimientos

Este artículo es producto de la convocatoria 775 de 2017: Joven investigador por la paz del Departamento Administrativo de Ciencia, Tecnología e Innovación, Colciencias, actualmente Ministerio de Ciencia, Tecnología e Innovación, Minciencias.

Referencias

Alpers, G. W., Winzelberg, A. J., Classen, C., Roberts, H., Dev, P., Koopman, C., & Taylor, C. B. (2005). Evaluation of computerized text analysis in an Internet breast cancer support group. Computers in Human Behavior, 21(2), 361-376. https://doi.org/10.1016/j.chb.2004.02.008Links ]

Andrei, A., Dingwall, A., Dillon, T., & Mathieu, J. (2014). Developing a Tagalog linguistic inquiry and word count (LIWC) “Disaster” dictionary for understanding mixed language social media: A work-in-progress paper. EACL 2014, 91, 91-94. [ Links ]

American Psychological Association (APA) (2018). APA Dictionary of Psychology. Recuperado de https://dictionary.apa.org/Links ]

Ato, M., López, J. J., & Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicologia, 29(3), 1038-1059. https://doi.org/10.6018/analesps.29.3.178511Links ]

Balage, P. P., Pardo, T. A., & Aluísio, S. M. (2013). An evaluation of the Brazilian Portuguese LIWC dictionary for sentiment analysis. 9th Brazilian Symposium in Information and Human Language Technology, 7(6), . 215-219 https://www.aclweb.org/anthology/W13-4829.pdfLinks ]

Bantum, E. O., & Owen, J. E. (2009). Evaluating the validity of computerized content analysis programs for identification of emotional expression in cancer narratives. Psychological Assessment, 21(1), 79-88. https://doi.org/10.1037/a0014643Links ]

Barreto, I., & Medina-Arboleda, I. F. (en prensa). Political communication and ideology. En C. Zúniga, & W. López-López (Eds.), Political Psychology from Latin America (APA). [ Links ]

Bekman, R. M. (2001). Aplicação dos blocos incompletos balanceados na teoria de resposta ao item. Estudos em Avaliação Educacional, 24, 119-136. https://doi.org/10.18222/eae02420012202Links ]

Bjekić, J., Lazarević, L. B., Živanović, M., & Knežević, G. (2014). Psychometric evaluation of the Serbian dictionary for automatic text analysis -LIWCser. Psihologija, 47(1), 5-32. https://doi.org/10.2298/PSI1401005BLinks ]

Boyd, R. L., & Pennebaker, J. W. (2015). A way with words: Using language for psychological science in the modern era. En C. V. Dimofte, C. P. Haugtvedt & R. F. Yalch (Eds.), Consumer Psychology in a Social Media World (e-book) (pp. 222-236). Nueva York: Taylor & Francis Group. https://doi.org/10.4324/9781315714790Links ]

Campos, J. J. (1981). Human emotions: their new importance and their role in social referencing. Research & Clinical Center for Child Development, 1-7. [ Links ]

Carrobles, J. A., Becerra, A. A., Blanco Abarca, A., & Palomo, T. (1996). Gran diccionario de psicología. Madrid: Ediciones Del Prado. [ Links ]

Castiblanco-González, P. T., Medina-Arboleda, I. F., & Barreto, I. (2020). Estilo e conteúdo linguístico de mensangens publicadas no Twitter® durante um processo de transição à paz. Em D. Hung Hur, & J. M. Sabucedo (Eds.), Psicologia dos extremismos políticos (pp. 200-239). Petrópolis: Editora Vozes Ltda. [ Links ]

Chung, C. K., & Pennebaker, J. W. (2001). Desarrollo y propiedades psicométricas del LIWC. LIWC Inc. Recuperado de http://www.liwc.net/liwcespanol/liwcdescription.phpLinks ]

Consuegra, N. (2010). Diccionario de psicología. Segunda edición. Bogotá: Ecoe Ediciones. [ Links ]

Devos, T., Silver, L. A., Mackie, D. A., & Smith, E. R. (2003). Experiencing intergroup emotions. En D. Mackie & E. Smith (Eds.), From prejudice to intergroup emotions: Differentiated reactions to social groups (pp. 111-134). Sussex: Psychology Press. https://doi.org/10.4324/9781315783000Links ]

Fernández-Cabana, M., Rúas-Araújo, J., & Alves-Pérez, M. T. (2014). Psicología, lenguaje y comunicación: análisis con la herramienta LIWC de los discursos y Tweets de los candidatos a las elecciones gallegas de 2012. Anuario de Psicología/The UB Journal of Psychology, 44(2), 169-184. [ Links ]

García-Prieto, P., Mackie, D. M., Tran, V., & Smith, E. R. (2007). Intergroup emotions in workgroups: Some emotional antecedents and consequences of belonging. Research on Managing Groups and Teams, 10, 145-184. https://doi.org/10.1016/S1534-0856(07)10007-4Links ]

Giner-Sorolla, R., Mackie, D. M., & Smith, E. R. (2007). Special issue on intergroup emotions: Introduction. Group Processes and Intergroup Relations, 10(1), 5-8. https://doi.org/10.1177/1368430206071661Links ]

Guevara Rojas, L. A., & Espinosa, A. (2014). Estereotipos y emociones intergrupales en Facebook durante las elecciones generales peruanas del 2011. Revista Electrónica de Psicología Política, 13(33), 41-64. [ Links ]

Gulías, E. J., López, P. C., & Boubeta, M. A. (2020). Economía, política social y Twitter: análisis de las emociones negativas en cuatro elecciones presidenciales latinoamericanas a través del LIWC. Revista Ibérica de Sistemas e Tecnologias de Informação, E26, 270-282. [ Links ]

Hareli, S., & Parkinson, B. (2008). What’s social about social emotions? Journal for the Theory of Social Behaviour, 38(2), 131-156. https://doi.org/10.1111/j.1468-5914.2008.00363.xLinks ]

Hayeri, N. (2014). Does gender affect translation? Analysis of English talks translated to Arabic (Tesis doctoral). The University of Texas, Austin, Texas, EE.UU . . [ Links ]

Henríquez Henríquez, D. T., Urzúa Morales, A., & López López, W. (2020). Fusión de identidad: una revisión sistemática. Acta Colombiana de Psicología, 23(2), 383-437. https://doi.org/10.14718/ACP.2020.23.2.15Links ]

Hill, C. E. (2014). Emotion words checklist. En Helping Skills: Facilitating Exploration, Insight, and Action (4a ed., pp. 1-8). Washington: American Psychological Association. [ Links ]

Huang, C.-L., Chung, C. K., Hui, N., Lin, Y.-C., Seih, Y.-T., Lam, B. C. P.,Pennebaker, J. W. (2012). The development of the Chinese linguistic inquiry and word count dictionary. Chinese Journal of Psychology, 54(2), 185-201. [ Links ]

Instituto Colombiano para la Evaluación de la Educación (icfes) (2017). El armado de las pruebas Saber y la comparabilidad en el tiempo. Boletín Saber en Breve, 25, 1-3. Recuperado de https://bit.ly/34caMftLinks ]

Kahn, J., Tobin, R., Massey, A., & Anderson, J. (2007). Measuring emotional expression with the linguistic inquiry and word count. American Journal of Psychology, 120(2), 263-286. Recuperado de https://www.jstor.org/stable/pdf/20445398.pdfLinks ]

Kjell, O. N., Kjell, K., García, D., & Sikström, S. (2018). Semantic measures: Using natural language processing to measure, differentiate, and describe psychological constructs. Psychological Methods, 24(1), 92-115. https://doi.org/10.1037/met0000191Links ]

Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (llece) (2010). Compendio de los manuales del SERCE. Santiago: Oficina Regional de Educación para América Latina y el Caribe (orealc/unesco). Recuperado de http://unesdoc.unesco.org/images/0019/001919/191940s.pdfLinks ]

Lee, C., Sim, J. M., & Yoon, A. (2008). The review about the development of Korean linguistic inquiry and word count. Korean Journal of Cognitive Science, 16(4), 93-121. [ Links ]

Lewis, M., Haviland-Jones, J. M., & Feldman, L. (2008). Handbook of Emotions. Contemporary Sociology (3a ed., Vol. 24). New York: The Guilford Press. [ Links ]

Mackie, D. M., Devos, T., & Smith, E. R. (2000). Intergroup emotions: Explaining offensive action tendencies in an intergroup context. Journal of Personality and Social Psychology, 79(4), 602-616. https://doi.org/10.1037/0022-3514.79.4.602Links ]

Mackie, D. M., Maitner, A. T., & Smith, E. R. (2015). Intergroup Emotion Theory. En T. D. Nelson (Ed.), Handbook of Prejudice, Stereotyping, and Discrimination (2a ed., pp. 149-174). New York: Psychology Press. https://doi.org/10.4324/9780203361993Links ]

Mackie, D. M., & Smith E. R. (1998). Intergroup relations: Insights from a theoretically integrative approach. Psychological Review, 105(3), 499-529. https://doi.org/10.1037/0033-295x.105.3.499Links ]

Mackie, D. M., & Smith, E. R. (2001). Intergroup emotions and the social self: Prejudice preconceptualized as differentiated reactions to out-groups. En J. P. Forgas, & K. D. Williams (Eds.), The Social Self Cognitive, Interpersonal and Intergroup Perspectives (pp. 309-326). Nueva York: Francis & Taylor Group. https://doi.org/10.4324/9781315800516Links ]

Mackie, D. M., & Smith, E. R. (2017). Group-based emotion in group processes and intergroup relations. Group Processes and Intergroup Relations, 20(5), 658-668. https://doi.org/10.1177/1368430217702725Links ]

Maitner, A. T., Smith, E. R., & MacKie, D. M. (2016). Intergroup emotions theory: Prejudice and differentiated emotional reactions toward outgroups. En Ch. Sibley & F. K. Barlow (Eds.), The Cambridge Handbook of the Psychology of Prejudice (pp. 111-130). Cambridge: Cambridge University Press. https://doi.org/10.1017/9781316161579.006Links ]

Mauss, I. B., & Robinson, M. D. (2009). Measures of emotion: A review. Cognition and Emotion, 23(2), 209-237. https://doi. org/10.1080/02699930802204677Links ]

McDonnell, M. (2014). Comparison of text analysis programs for identification of emotional expression (Tesis doctoral). Loma Linda University, Loma Linda, California, EE.UU. Recuperado de https://scholarsrepository.llu.edu/etd/308/Links ]

Miller, D. A., Smith, E. R., & Mackie, D. M. (2004). Effects of intergroup contact and political predispositions on prejudice: Role of intergroup emotions. Group Processes and Intergroup Relations, 7(3), 221-237. https://doi.org/10.1177/1368430204046109Links ]

Mir, J. R., & Revert, X. (2014). Modelos teóricos en el estudio de la emoción. En F. Palmero, F. Martínez, & J. Huertas (Coords.), Motivación y emoción (pp. 95-138). Madrid: McGraw-Hill. [ Links ]

Montero, I., & León, O. G. (2002). Clasificación y descripción de las metodologías de investigación en psicología. Revista Internacional de Psicología Clínica y de la Salud, 2, 503-508. [ Links ]

Moreno-Murcia, L., & Medina-Arboleda, I. F. (2020). Efectos de la reexperimentación emocional mediante lengua de señas colombiana sobre la sintomatología depresiva en personas sordas. Suma Psicológica, 27(2), 88-97. https://doi.org/10.14349/sumapsi.2020.v27.n2.3Links ]

Palmero, F., Guerrero, C., Gómez, C., Carpi, A., & Gorayeb, R. (2011). Manual de teorías emocionales y motivacionales. Castelló de la Plana (Valencia): Publicacions de la Universitat Jaume I. [ Links ]

Pardo, C. A. (2007). Estimación del desempeño de estudiantes de arquitectura en el diseño de un proyecto arquitectónico a partir de la evaluación por jueces utilizando el modelo de facetas. En Segunda Reunión Regional Norte, Centroamérica y Caribe de Evaluación Educativa. Bogotá. [ Links ]

Pennebaker, J. W. (2011). The secret life of pronouns. New Scientist, 211(2828), 42-45. https://doi.org/10.1016/S0262-4079(11)62167-2Links ]

Pennebaker, J. W. (2018). LIWC, how it works. Recuperado de https://liwc.wpengine.com/how-it-works/Links ]

Pennebaker, J. W., Boyd, R. L., Jordan, K., & Blackburn, K. (2015). The Development and Psychometric Properties of LIWC 2015. Recuperado de https://repositories.lib.utexas.edu/handle/2152/31333Links ]

Pennebaker, J. W., Chung, C. K., Ireland, M., Gonzales, A., & Booth, R. J. (2007). The development and psychometric properties of LIWC 2007. Journal of Infectious Diseases and Therapy, 2(6), 1-22. [ Links ]

Pennebaker, J. W., & Francis, M. E. (1996). Cognitive, emotional and language processes in disclosure. Cognition & Emotion, 10(6), 601-626. [ Links ]

Pennebaker, J. W., & King, L. A. (1999). Linguistic styles: Language use as an individual difference. Journal of Personality and Social Psychology, 77(6), 1296-1312. https://doi.org/10.1037/0022-3514.77.6.1296Links ]

Pennebaker, J. W., Mayne, T., & Francis, M. E. (1997). Linguistic predictors of adaptive bereavement. Journal of Personality and Social Psychology, 72, 863-871. [ Links ]

Pennebaker, J. W., & Seagal, J. D. (1999). Forming a story: The health benefits of narrative. Journal of Clinical Psychology, 55(10), 1243-1254. https://doi.org/10.1002/(SICI)1097-4679(199910)55:10<1243::AID-JCLP6>3.0.CO;2-NLinks ]

Piolat, A., Booth, R. J., Chung, C. K., Davids, M., & Pennebaker, J. W. (2011). The French dictionary for LIWC: Modalities of construction and examples of use. Psychologie Francaise, 56(3), 145-159. https://doi.org/10.1016/j.psfr.2011.07.002Links ]

Pulido, P., Rojas, J., Restrepo, H., Zambrano-Hernandez, S., & Barreto, I. F. (2020). Estilos lingüísticos y emociones intergrupales en el plebiscito. Un análisis en la red social digital Twitter®. En D. Rico & I. F. Medina-Arboleda (Eds.), Construcción de paz en el postacuerdo: avances, tensiones y desafíos, (pp. 17-37). Barranquilla: Universidad del Norte - Universidad Católica de Colombia. [ Links ]

Ramírez Esparza, N., Pennebaker, J. W., García, F. A., & Suriá, R. (2007). La psicología del uso de las palabras: un programa de computadora que analiza textos en español. Revista Mexicana de Psicología, 24(1), 85-99. [ Links ]

Rico, D., Alzate, M., & Sabucedo, J. (2020) Participación en comportamientos extremos: fusión de la identidad en la resistencia pacífica. En D. Rico & I. F. Medina-Arboleda (Eds.), Construcción de paz en el posacuerdo: avances, tensiones y desafíos (pp. 201223). Barranquilla: Universidad del Norte - Universidad Católica de Colombia . [ Links ]

Roselló, G. (1980). Diccionario de psicología. Barcelona: Elicien. Recuperado de https://library.biblioboard.com/content/cf5492 4f-6023-4c14-ae28-22b5d74afba5Links ]

Rúas-Araújo, J., Alves-Pérez, M. T., & Fernández-Cabana, M. (2016). Comunicación, lenguaje y política. Análisis de los discursos institucionales del presidente de Ecuador, Rafael Correa (2007-2015), con la herramienta LIWC. Razón y Palabra, 20(95), 591-607. [ Links ]

Scherer, K. R. (2005). What are emotions? And how can they be measured? Social Science Information, 44(4), 695-729. https://doi.org/10.1177/0539018405058216Links ]

Smith, E. R., & Mackie, D. M. (2008). Intergroup emotions. Handbook of Emotions, 2, 428-439. https://doi.org/10.1037/14342-010Links ]

Smith, E. R., & Mackie, D. M. (2016). Group-level emotions. Current Opinion in Psychology, 11, 15-19. https://doi.org/10.1016/j.copsyc.2016.04.005Links ]

Smith, E. R., Seger, C. R., & Mackie, D. M. (2007). Can emotions be truly group level? Evidence regarding four conceptual criteria. Journal of Personality and Social Psychology, 93(3), 431-446. https://doi.org/10.1037/0022-3514.93.3.431Links ]

Stone, P. J., Dunphy, D. C., Smith, M. S., & Ogilvie, D. M. (1967). The General Inquirer, a computer approach to content analysis. Cambridge: The MIT Press. [ Links ]

Tackman, A. M., Sbarra, D. A., Carey, A. L., Donnellan, M. B., Horn, A. B., Holtzman, N. S., Mehl, M. R. (2019). Depression, negative emotionality, and self-referential language: A multi-lab, multi-measure, and multi-language-task research synthesis. Journal of Personality and Social Psychology, 116(5), 817-834. https://doi.org/10.1037/pspp0000187Links ]

Tausczik, Y. R., & Pennebaker, J. W. (2010). The psychological meaning of words: LIWC and computerized text analysis methods. Journal of Language and Social Psychology, 29(1), 24-54. https://doi.org/10.1177/0261927X09351676Links ]

Universidad de Granada (2015). Diseños en bloques incompletos aleatorizados. En Diseño de experimentos (pp. 1-11). Granada (España): Universidad de Granada. Recuperado de http://wpd.ugr.es/~bioestad/wp-content/uploads/Bloques-Incompletos.pdfLinks ]

Van Kleef, G. A., & Fischer, A. H. (2016). Emotional collectives: How groups shape emotions and emotions shape groups. Cognition and Emotion, 30(1), 3-19. https://doi.org/10.1080/02699931.2015.1081349Links ]

Wolf, M., Horn, A. B., Mehl, M. R., Haug, S., Pennebaker, J. W., & Kordy, H. (2008). Computergestützte quantitative Textanalyse: Äquivalenz und Robustheit der deutschen Version des Linguistic Inquiry and Word Count. Diagnostica, 54(2), 85-98. https://doi.org/10.1026/0012-1924.54.2.85Links ]

Yentzen, E. (2008). Diccionario de emociones, actitudes y conductas. Santiago (Chile): Universidad Bolivariana. [ Links ]

Yzerbyt, V., Kuppens, T., & Mathieu, B. (2016). When talking makes you feel like a group: The emergence of group-based emotions. Cognition and Emotion, 30(1), 33-50. https://doi.org/10.1080/02699931.2015.1045454Links ]

Zijlstra, H., van Meerveld, T., van Middendorp, H., Pennebaker, J. W., & Geenen, R. (2004). De Nederlandse versie van de Linguistic Inquiry and Word Count (LIWC), eenge computeriseerd tekst analyse programma (Dutch version of the Linguistic Inquiry and Word Count (LIWC), a computerized text analysis program). Gedrag & Gezondheid, 32, 273-283 [ Links ]

1 Conflictos de interés Los autores manifiestan que no existe ningún conflicto de interés en la publicación de los resultados del presente estudio.

Recibido: 06 de Febrero de 2020; Aprobado: 13 de Agosto de 2020

*Autor de correspondencia: Diana Camila Garzón-Velandia, correo electrónico: dcgarzon@ucatolica.edu.co

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons