SciELO - Scientific Electronic Library Online

 
vol.24 issue1Study of monitoring platforms to select the technology stack as a basis for a software testing specialized analytics systemSteam economy in the sugar manufacturing process of the Risaralda Sugar Mill author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Ingeniería y competitividad

Print version ISSN 0123-3033On-line version ISSN 2027-8284

Ing. compet. vol.24 no.1 Cali Jan./June 2022  Epub Oct 30, 2021

https://doi.org/10.25100/iyc.24i1.11095 

Artículo

Propuesta de una Herramienta para el Análisis de Evaluaciones Heurísticas de Usabilidad Mediante Lógica Difusa

Proposal of a Tool for the Analysis of Usability Heuristic Evaluations Using Fuzzy Logic

Gabriel Elías Chanchí-Golondrino1 
http://orcid.org/0000-0002-0257-1988

Manuel Alejandro Ospina-Alarcón1 
http://orcid.org/0000-0003-4510-0753

Wilmar Yesid Campo-Muñoz2 
http://orcid.org/0000-0001-8585-706X

1 Universidad de Cartagena, Facultad de Ingeniería, Ingeniería de Sistemas, Cartagena de Indias, Colombia. Correo electrónico: gchanchig@unicartagena.edu.co, mospinaa@unicartagena.edu.co

2 Universidad del Quindío, Facultad de Ingeniería, Ingeniería Electrónica, Armenia, Colombia. Correo electrónico: wycampo@uniquindio.edu.co


Resumen

Con el incremento en el número de aplicaciones desplegadas en la nube y el número de usuarios que pueden consumirlas, aspectos como la usabilidad se han vuelto fundamentales a la hora de promover el diseño centrado en el usuario. En este sentido uno de los métodos más difundidos de cara a la evaluación de la usabilidad de un producto software es la evaluación heurística, en la cual un grupo de evaluadores expertos identifica un conjunto de problemas de diseño teniendo en cuenta principios de usabilidad y evalúa dichos problemas usando los criterios de: severidad, frecuencia y criticidad. Con el fin de determinar de manera óptima el nivel de criticidad de los diferentes problemas identificados dentro de una inspección, en este artículo se propone el desarrollo de una herramienta basada en lógica difusa para la determinación del porcentaje de criticidad, a partir de los valores de entrada de severidad y frecuencia de cada problema. Tanto las entradas como las salidas cuentan con funciones de membresía y reglas de inferencia, descritas en el lenguaje FCL (Fuzzy Control Language). Finalmente, la herramienta propuesta fue validada a través del análisis de los resultados de una evaluación heurística realizada al Sistema Gestor de Bases de Datos Sevenet de la Industria Licorera del Cauca, de tal modo que permitió identificar los niveles de criticidad de salida de cada uno de los problemas de dicha inspección.

Palabras clave: evaluación heurística; inspección de usabilidad; lógica difusa; usabilidad

Abstract

With the growth in the number of applications deployed on the Internet and the number of users that can consume them, aspects such as usability have become fundamental to promote user-centered design. In this sense, one of the most widespread methods to evaluate the usability of a software application is heuristic evaluation, in which a group of experts identifies a set of problems according to usability principles and evaluates said problems using the criteria of: severity, frequency and criticality. In order to more clearly determine the level of criticality of the different problems identified within an inspection, this article proposes as a contribution the development of a tool based on fuzzy logic for determining the percentage of output criticality, based on the input values of severity and frequency of each problem. Both the inputs and outputs have membership functions and inference rules, which were described in the FCL (Fuzzy Control Language) language. Finally, the proposed tool was validated through the analysis of the results of a heuristic evaluation carried out to the Sevenet Database Management System of the Licorera del Cauca Industry, in such a way that it allowed to identify the criticality levels of output of each one of the problems of such inspection.

Keywords: fuzzy logic; heuristic evaluation; usability; usability inspection

1. Introducción

A partir del crecimiento en el número de aplicaciones web y móviles desplegadas en internet, aspectos como la usabilidad y la accesibilidad se han convertido en fundamentales de cara a garantizar el diseño centrado en el usuario 1-6. En este orden de ideas, la usabilidad corresponde a un atributo de la calidad del software, el cual puede ser definido de acuerdo a la ISO 9241-11 como la eficacia, eficiencia y satisfacción con la que un sistema software permite alcanzar objetivos específicos a usuarios concretos en un contexto de uso específico 7-11. Así, la usabilidad tiene como función reducir los errores ocasionados por los usuarios, permitiendo que éstos realicen las tareas de manera más eficiente y efectiva, aumentando de este modo su satisfacción y mejorando su experiencia global con la aplicación o sistema con el cual interactúan 12-15.

Dentro de las principales ventajas de la usabilidad se encuentra la posibilidad de que las empresas del sector software sean más competitivas y los usuarios finales de sus desarrollos sean más productivos 16-18. A pesar de lo anterior, no todas las empresas del sector software articulan la usabilidad dentro del proceso de desarrollo, dado que se centran en la funcionalidad o en la agilidad en el desarrollo por encima del diseño centrado en el usuario 19,20. La usabilidad puede ser vinculada al proceso de desarrollo en las fases de diseño e implementación mediante la aplicación de pautas de diseño, mientras que en la fase de evaluación se suele hacer uso de técnicas de evaluación con usuarios finales y expertos 18. Una de las fases del proceso de desarrollo donde más se aplica la usabilidad es en la fase de evaluación, en donde una de las técnicas más difundidas para evaluar la usabilidad de un producto software es la evaluación heurística, dada su facilidad de implementación, los bajos costos de desarrollo de la prueba y la posibilidad de aplicar la prueba en las diferentes fases del proceso de desarrollo 21.

La evaluación heurística es un método de inspección en el que un grupo de 3 a 5 evaluadores expertos exploran un aplicativo software con el fin de identificar un conjunto de problemas de usabilidad a partir de unos principios de diseño específicos 22. Los problemas obtenidos se consolidan y califican por los evaluadores teniendo en cuenta criterios como la severidad, la frecuencia y la criticidad 23. La severidad hace referencia a la gravedad del problema identificado y tiene una escala de 0 a 4, la frecuencia es un indicador de que tanto se repite un problema en la interacción y tiene una escala de 0 a 4, finalmente la criticidad es la suma de la severidad y la frecuencia, por lo cual su escala es de 0 a 8 24. Dado que en una evaluación heurística convencional en la que se cuenta con 5 evaluadores, se tiene por cada problema un total de 5 valores de severidad, frecuencia y criticidad, y ésta última se encuentra en una escala o rango poco inteligible para el coordinador de la prueba, por lo que se hace necesario obtener un nivel de criticidad que resulte más fácil de interpretar tanto en términos lingüísticos como numéricos o porcentuales, de tal modo que se permita clasificar los problemas encontrados, por la prioridad en que estos deben ser solucionados por parte del equipo de desarrollo del software inspeccionado en la evaluación heurística.

Así mismo, dado que normalmente en las evaluaciones heurísticas el coordinador se encarga de consolidar y analizar los resultados de manera manual, se hace necesario también automatizar el proceso de la evaluación heurística. A partir de lo anterior, en este artículo se propone como contribución una herramienta para el análisis automatizado de los resultados de una evaluación heurística empleando la lógica difusa con el fin de determinar los niveles de salida en cuanto severidad, frecuencia y criticidad en términos que resulten más inteligibles para el coordinador de la prueba tanto a nivel numérico como lingüístico.

La lógica difusa se considera una herramienta de carácter matemático que provee una forma sencilla de llegar a una conclusión específica, partiendo de una información de entrada, la cual puede ser indefinida, inexacta o vaga 25-27. De igual modo, la importancia de la lógica difusa radica en el hecho de posibilitar la generación de resultados inteligibles que relacionan datos numéricos con términos lingüísticos que son cercanos al lenguaje natural 28-30. Así se pretende enriquecer los resultados de una evaluación heurística en lo referente al nivel de criticidad de salida mediante el uso de la lógica difusa. Dentro de los diferentes métodos de evaluación de usabilidad, se escogió el de la evaluación heurística dadas las particularidades de ésta en cuanto a la necesidad de procesar las valoraciones cuantitativas en diferentes rangos otorgadas por los evaluadores expertos a nivel de severidad, frecuencia y criticidad.

Diversos estudios se han realizado dentro del área de la usabilidad y de manera específica usando métodos de inspección, los cuales en la mayoría de los casos usan estadística descriptiva para el análisis de los resultados y en algunos casos lógica difusa sin tener en cuenta criterios de evaluación como la severidad, la frecuencia y la criticidad.

Así, en 31 se desarrolló un análisis mediante lógica difusa a los resultados obtenidos en inspecciones de usabilidad convencional. En el análisis se tiene como entrada la valoración promedio general de los evaluadores a un conjunto de criterios definidos previamente para los principios de usabilidad de Constantine. Así mismo, se tiene como salida el nivel de usabilidad a partir de las funciones de membresía y reglas de inferencia definidas. Aunque en este trabajo se realiza una inspección de usabilidad, esta inspección no se centra en el concepto de evaluación heurística, dentro de la cual un grupo de evaluadores califican un conjunto de problemas identificados en el software según severidad, frecuencia y criticidad.

Del mismo modo, en 21 los autores proponen una herramienta para la conducción y análisis de inspecciones heurísticas teniendo en cuenta los principios de accesibilidad de la norma NTC 5854. La herramienta permite a los evaluadores calificar en el rango de 0 a 5 el cumplimiento de los criterios asociados a los principios: perceptible, operable, comprensible y robusto. A nivel del análisis, la herramienta obtiene el promedio de las calificaciones de los evaluadores a cada criterio, así como la desviación estándar de las calificaciones. Finalmente, la herramienta también genera los gráficos radiales que muestran el nivel de cumplimiento de cada principio de la norma NTC 5854. Aunque en este trabajo se realiza una inspección de usabilidad, dicha inspección no se centra en el concepto de evaluación heurística, en donde se identifican y evalúan un conjunto de problemas de usabilidad de acuerdo con los criterios de severidad, frecuencia y criticidad. Del mismo modo, el análisis de los resultados se realiza desde la perspectiva de la estadística descriptiva.

Por otra parte, en 1 los autores realizan una inspección heurística de usabilidad con evaluadores expertos sobre diferentes tipos de aplicaciones de asistencia para personas con discapacidad motriz. Para lo anterior, los autores definieron un conjunto de criterios asociados a los atributos de usabilidad de: eficiencia, eficacia, capacidad de aprendizaje y satisfacción. Los criterios definidos fueron calificados por los evaluadores en la escala de 1 a 5. El análisis de los resultados fue realizado a través del promedio con pesos de los diferentes criterios asociados a los atributos de usabilidad, de tal modo que se obtiene un porcentaje de cumplimiento por cada atributo. Este trabajo no está enfocado en la identificación directa de problemas y la calificación de estos mediante severidad, frecuencia y criticidad. Del mismo modo, este trabajo no realiza el análisis de los resultados mediante el uso de la lógica difusa.

De igual forma, en 32 los autores realizan una inspección heurística de usabilidad sobre los dos principales periódicos digitales de España: El mundo y El País. La inspección es realizada teniendo en cuenta seis heurísticas de usabilidad para aplicaciones web: aspectos generales, identidad e información, lenguaje y redacción, rotulado, estructura y navegación, esquema de la página, búsqueda, elementos multimedia y accesibilidad. A partir de los criterios definidos para cada una de las heurísticas se obtienen resultados cualitativos sobre los aspectos a corregir a nivel de usabilidad dentro de los portales evaluados. Aunque el artículo presenta un conjunto de problemas de acuerdo con las heurísticas mencionadas, no se realiza una evaluación cuantitativa y basada en lógica difusa para identificar el nivel de criticidad de dichos problemas.

A partir de los desafíos identificados en los anteriores trabajos, este artículo propone la inclusión de la lógica difusa en las evaluaciones heurísticas convencionales, con el fin de permitir el análisis del nivel de criticidad de salida de manera porcentual y en términos lingüísticos. En este sentido, en la herramienta de análisis propuesta, se tiene como entrada por cada problema de usabilidad identificado en una evaluación heurística, las calificaciones promedio de severidad y frecuencia asignadas por los evaluadores y como salida el nivel o porcentaje de criticidad obtenido a partir de las funciones de membresía y las reglas de inferencia definidas. De este modo, teniendo en cuenta que la escala convencional de la criticidad es de 0 a 8, mediante la herramienta se genera un nivel de salida en términos lingüísticos (bajo, medio y alto) y porcentuales, el cual puede ser más adecuado para determinar el grado de criticidad de un problema de usabilidad identificado en la evaluación heurística. Con el fin de validar la herramienta desarrollada, se realizó el análisis de los resultados de una evaluación heurística en el Sistema Gestor de Bases de Datos Sevenet de Industria Licorera del Cauca 33.

El resto del artículo está organizado de la siguiente forma: en la sección 2 se presenta el marco teórico considerado para el desarrollo del presente artículo, dentro del cual se aborda la usabilidad y la evaluación heurística; en la sección 3 se describen las diferentes fases de la metodología consideradas para la conducción de la presente investigación; en la sección 4 se presentan los resultados obtenidos del desarrollo de la herramienta, lo cual incluye la herramienta para el análisis de evaluaciones heurísticas mediante lógica difusa y una prueba de concepto para verificar la pertinencia y funcionalidad de la herramienta construida; finalmente en la sección 5 se presentan las conclusiones y los trabajos futuros derivados de la presente investigación.

1.1. Marco Teórico

Uno de los atributos que definen la calidad del software es la usabilidad, esta suele ser incluida dentro del proceso de desarrollo de software en los requisitos no funcionales 34-36. La usabilidad puede ser definida como la facilidad de uso que ofrece un sistema a partir de su interfaz, así como los métodos empleados en la fase de diseño del proceso de desarrollo para mejorar la interacción con el usuario 37,38. También es posible definir la usabilidad como producto o como proceso. Como proceso puede ser definida a partir de la ISO 9241-11 en términos de la eficacia, eficiencia y satisfacción con la que un usuario puede alcanzar un objetivo determinado en un contexto de uso específico 39-42. Así mismo, en términos de producto y a partir de la ISO 9126, la usabilidad puede ser entendida como la facilidad para aprender, recordar y operar un producto software, además de resultar atractivo para el usuario 8,14,43.

La usabilidad puede contribuir a mejorar la calidad de un producto software tanto en la fase de diseño, como en la fases de implementación y de evaluación 44. Una de las técnicas más difundidas y tradicionales para la evaluación de la usabilidad es a través del uso de métodos de inspección como la evaluación heurística 22,45,46. La evaluación heurística es un método para la identificación de problemas de usabilidad en un sistema interactivo, en el cual un conjunto de evaluadores expertos juzgan la usabilidad del sistema teniendo en cuenta un conjunto de principios de usabilidad reconocidos 23,47. De este modo, los resultados de la evaluación heurística permiten clarificar los aspectos a mejorar dentro del software evaluado, de tal modo que se acoplen con un conjunto de principios de diseño 48.

Dentro del proceso de la evaluación heurística una vez los problemas de usabilidad son identificados de manera individual por cada evaluador y concertados entre el grupo de evaluadores, se procede con la calificación individual de cada problema según los criterios de severidad, frecuencia y criticidad. La severidad representa la gravedad del problema, la frecuencia está asociada a que tan frecuente resulta el problema en el software evaluado y la criticidad representa la suma de la severidad y la frecuencia. En la Tabla 1 se presentan los posibles valores que un evaluador puede asignar a los criterios de severidad y frecuencia 23. Como puede apreciarse en la Tabla 1, los valores tanto de severidad como de frecuencia van en el rango de 0 a 4. Así mismo, al ser la criticidad la suma de la severidad y la frecuencia, un problema de usabilidad crítico es aquel que es severo y frecuente.

Tabla 1 Rangos de Severidad y Frecuencia. 

Calificación Severidad Frecuencia (%)
0 No es un problema de usabilidad <1
1 Problema “cosmético”. No requiere ser resuelto a menos que se disponga de tiempo extra en el proyecto. 1-10
2 Problema de usabilidad menor. Solucionarlo tiene baja prioridad. 11-50
3 Problema de usabilidad mayor. Es importante solucionarlo, requiere alta prioridad. 51-90
4 Problema de usabilidad catastrófico. Es imperativo solucionarlo antes que el producto sea liberado. >90

Fuente: adaptado de 33.

Así a partir de la caracterización de las evaluaciones heurísticas, en el presente trabajo se propuso una herramienta basada en lógica difusa, la cual toma coma entrada los valores de las calificaciones de severidad y frecuencia de cada evaluador, de tal modo que a partir de las funciones de membresía y las reglas de inferencia definidas, se pudo determinar el nivel de criticidad de salida en términos porcentuales y lingüísticos para cada problema 30,49. De este modo, mediante la lógica difusa se obtiene como salida un valor porcentual y el nivel de pertenencia de dicho valor a un nivel lingüístico que resultan más comprensibles para el coordinador de la prueba con respecto a la escala definida para la criticidad en las evaluaciones heurísticas convencionales.

2. Metodología

Para el desarrollo del presente artículo se definieron 4 fases metodológicas, las cuales fueron adaptadas a partir de lo presentado en 50: i) caracterización evaluación heurística, ii) definición de funciones de membresía y reglas de inferencia iii) construcción de herramienta de análisis y iv) prueba de concepto (ver Figura 1). En la fase 1 se caracterizaron las diferentes etapas de una evaluación heurística, con el fin de comprender el concepto y las diferentes escalas de calificación asociadas de los criterios de severidad, frecuencia y criticidad. En la fase 2 se definen las funciones de membresía o pertenencia para los valores de entrada promedio de severidad y frecuencia asignados por los evaluadores, así como para el nivel de criticidad de salida. Del mismo modo, en esta fase se definieron un total de 25 reglas de inferencia que relacionan los niveles obtenidos a partir de los valores de entrada con el nivel de salida. Tanto las funciones de membresía como las reglas de inferencia fueron especificadas en el lenguaje de lógica difusa (FCL).

Fuente: elaboración propia.

Figura 1 Metodología considerada. 

Con las funciones de membresía y las reglas de inferencia definidas en las fases 2, en la fase 3 se construyó una herramienta en el lenguaje Java, la cual permite al coordinado de la prueba ingresar las calificaciones de severidad y frecuencia otorgadas por cada uno de los evaluadores a los diferentes problemas identificados en una valuación heurística para determinar el nivel de criticidad de salida en términos numéricos y lingüísticos haciendo uso de la lógica difusa, y de manera específica de la API jFuzzyLogic de Java. Finalmente, en la fase 4 con el fin de verificar la funcionalidad y utilidad de la herramienta propuesta se desarrolló una prueba de concepto tomando como base los resultados obtenidos dentro de una evaluación heurística desarrollada sobre el Sistema Gestor de Bases de Datos Sevenet de Industria Licorera del Cauca, en la cual se identificaron un total de 15 problemas de usabilidad.

3. Resultados

A partir de las diferentes fases propuestas en la metodología, en esta sección se presentan los resultados de esta investigación, los cuales están asociados a la construcción de la herramienta de evaluación y el caso de estudio realizado para validar su funcionamiento. De este modo en primera instancia se presentan las funciones de membresía y las reglas de inferencias empleadas para estructurar la herramienta propuesta.

3.1 Definición de funciones de membresía y reglas de inferencia

Se presentan las funciones de membresía definidas para la herramienta propuesta y asociadas a la severidad y frecuencia promedio de entrada, así como al nivel de criticidad de salida. Del mismo modo se proponen las reglas de inferencia utilizadas para el cálculo del valor de salida. Cabe mencionar que tanto las funciones de membresía como las reglas de inferencia fueron especificadas en el lenguaje FCL (Fuzzy Control Language). Las funciones de membresía para la severidad y frecuencia fueron obtenidas a partir de los rangos presentados en 51 y 23. En cuanto a los valores de entrada promedio de severidad se definió una función de membresía propia para cada una de las categorías o conjuntos difusos asociados a la severidad (no es un problema de usabilidad, cosmético, menor, mayor y catastrófico).

Estos valores corresponden a la posible valoración que el evaluador puede otorgar a un problema de usabilidad dependiendo de su gravedad. Así, en las Ec.1-5 se presentan las funciones de membresía para las categorías o conjuntos difusos relacionados con severidad: “no es un problema de usabilidad” (µno-problema(x)), “cosmético” (µcosmético(x)), “menor” (µmenor(x)), “mayor” (µmayor(x)) y “catastrófico” (µcatastrófico(x)) respectivamente 52,53.

μno-problemax=            1,  {-2x+1    0 x<00x0.5x>0.5 (1)

μcosméticox=    0,  {-2x+35x-23, 0, x<0.41x1.50.4x<1x>1.5 (2)

μmenorx=    0,  {-2x+55x-73, 0, x<1.42x2.51.4x<2x>2.5 (3)

μmayorx=    0,  {-2x+75x-123, 0, x<2.43x3.52.4x<3x>3.5 (4)

μcatastróficox=    0,  {-5x+173      1, x<3.43.4x4x>4 (5)

Las funciones de membresía presentadas en las Ec.1-5 se muestran en la Figura 2, en donde se integran las funciones asociadas a las categorías de los problemas de usabilidad según severidad (no-problema, cosmético, menor, mayor y catastrófico).

Fuente: elaboración propia.

Figura 2 Funciones de membresía severidad. 

En lo referente a los valores de entrada promedio de frecuencia se definió una función de membresía propia para cada una de las categorías o conjuntos difusos asociados a la frecuencia (muy baja, baja, media, alta y muy alta). Cada una de las ecuaciones asociadas a las diferentes categorías de frecuencia tienen el mismo comportamiento matemático presentado en las Ec.1-5, teniendo como única diferencia el nombre de la categoría. Del mismo modo, para la determinación del porcentaje o nivel de criticidad de salida se definieron funciones de membresía para cada una de las categorías definidas (baja, media, alta). Así, en las Ec.6-8 se presentan las funciones de membresía para el nivel de criticidad “bajo” (µbajo (x)), “medio” (µmedio(x)) y “alto” (µalto(x)) respectivamente.

Las funciones de membresía presentadas en las Ec.6-8 se pueden apreciar en la Figura 3, en donde se integran las funciones asociadas a las categorías del nivel de salida de criticidad (bajo, medio, alto).

μbajox={55-x1,550, x<00x55x>55 (6)

μmediox={600-8x1000,,8x-4000,100,  50x<62.5x<5062.5x75x>75 (7)

μaltox={x-700,3 1,x<7075x100x>100 (8)

Fuente: elaboración propia

Figura 3 Funciones de membresía nivel de criticidad. 

Para la obtención del nivel de criticidad de salida a partir de los valores promedio de entrada de severidad y frecuencia, se definieron un total de 25 reglas de inferencia, de las cuales se presenta un extracto de 10 reglas en la Tabla 2. Las reglas se escribieron haciendo uso del lenguaje FCL (Fuzzy Controler Language) y permiten relacionar las entradas (severidad y frecuencia) con la salida (nivel de criticidad).

Tabla 2 Reglas de inferencia definidas. 

Id Regla de Inferencia
R1 IF severidad IS no_problema AND frecuencia IS muy_baja THEN nivel_crit IS bajo
R2 IF severidad IS no_problema AND frecuencia IS baja THEN nivel_crit IS bajo
R5 IF severidad IS no_problema AND frecuencia IS muy_alta THEN nivel_crit IS medio
R8 IF severidad IS cosmetico AND frecuencia IS media THEN nivel_crit IS bajo
R11 IF severidad IS menor AND frecuencia IS muy_baja THEN nivel_crit IS bajo
R14 IF severidad IS menor AND frecuencia IS alta THEN nivel_crit IS medio
R17 IF severidad IS mayor AND frecuencia IS baja THEN nivel_crit IS medio
R20 IF severidad IS mayor AND frecuencia IS muy_alta THEN nivel_crit IS alto
R23 IF severidad IS catastrofico AND frecuencia IS media THEN nivel_crit IS medio
R25 IF severidad IS catastrofico AND frecuencia IS muy_alta THEN nivel_crit IS alto

Fuente: elaboración propia

3.2 Herramienta de evaluación propuesta

A partir de las funciones de membresía y las reglas de inferencia definidas en la sección 4, se desarrolló en el lenguaje Java una herramienta para el análisis de los resultados de una evaluación heurística de usabilidad mediante lógica difusa. La herramienta hace uso de la API jFuzzyLogic, la cual posibilita la definición de las funciones de membresía, las reglas de inferencia en el lenguaje FCL, así como el análisis matemático y gráfico de los valores de entrada y el nivel de criticidad de salida. De este modo, en la Figura 4 se presenta la interfaz principal de la herramienta, que consta de tres pestañas: “Problemas”, “Análisis Fuzzy”, “Gráficas de Membresía”.

En la pestaña “Problemas” se diligencian las valoraciones de severidad y frecuencia para cada uno de los problemas identificados en la evaluación heurística por parte de los 5 expertos considerados en el desarrollo de la inspección de usabilidad. Para ilustrar el funcionamiento adecuado de la herramienta se configuraron 5 problemas con 5 valoraciones arbitrarias para severidad y frecuencia en el rango de 0 a 4.

En la pestaña “Análisis Fuzzy” (ver Figura 5) se presenta el promedio de las evaluaciones de severidad, frecuencia y criticidad para cada uno de los 5 problemas de usabilidad considerados.

Fuente: elaboración propia.

Figura 4 Herramienta de evaluación propuesta. 

Al seleccionar cada uno de los problemas se obtiene en el área de texto inferior, el valor de membresía para la severidad, la frecuencia y la criticidad, así como la regla de inferencia que se activa a partir de los valores de entrada. En la misma pestaña de la Figura 5, en la parte superior derecha, se obtiene la gráfica del nivel de criticidad de salida.

Así, a modo de ejemplo, en la Figura 5, el problema 1 (P1) tienen como severidad promedio un valor de 1.7, como frecuencia un valor promedio de 2.42 y como criticidad un valor promedio de 4.12 equivalente, de acuerdo con las reglas de inferencia, a un valor porcentual de 28.4% (bajo). A partir de los valores de entrada promedio de severidad y frecuencia, se obtiene para la severidad un grado de pertenencia de 0.5 en la categoría “menor”, mientras que para la frecuencia se obtiene un grado de pertenencia de 0.16 en la categoría “media” y un grado de pertenencia de 0.033 en la categoría “alta”. De acuerdo con lo anterior, para el problema 1 se activan las reglas 13 y 14 con un grado de pertenencia respectivo de 0.16 y 0.033. La regla de inferencia 13 corresponde a: “IF severidad IS menor AND frecuencia IS media THEN nivel_crit IS bajo”, mientras que la regla 14 es: IF severidad IS menor AND frecuencia IS alta THEN nivel_crit IS medio. A partir del nivel mayor de la regla 13, se obtienen para el problema P1 el nivel de salida de criticidad en la categoría “bajo” con un grado de pertenencia de 0.4835 y un porcentaje de criticidad de 28.40%.

Fuente: elaboración propia.

Figura 5 Pestaña de “Análisis Fuzzy”. 

En la Figura 6 se muestra la pestaña “Gráficas de Membresía”, donde se presentan las funciones de membresía de los valores promedio de entrada de severidad y frecuencia para cada problema seleccionado y la función de membresía del nivel de criticidad de salida. Estas funciones de membresía corresponden a las presentadas en las Figuras 2 y 3, con el valor estimado por el sistema para la severidad, frecuencia y criticidad. Al seleccionar el problema P1, se corrobora que para un valor promedio de severidad de 1.7 se obtiene gráficamente un nivel de pertenencia en la categoría “menor”, mientras que para un valor promedio de frecuencia de 2.42 se obtiene en la gráfica dos grados de pertenencia en las categorías “media” y “baja”, siendo mayor en la categoría “media”. El nivel de criticidad de salida es categorizado gráficamente en la categoría “bajo”.

Fuente: elaboración propia

Figura 6 Pestaña de “Gráficas de Membresía”. 

Finalmente, la herramienta permite obtener un reporte “.csv” con los niveles de criticidad resultantes para cada uno de los problemas y su respectivo valor de membresía en las categorías “alto”, “medio” y “bajo” (ver Figura 7). En el reporte .csv generado por la herramienta se muestra por cada fila el porcentaje de criticidad obtenido para cada problema y se aprecia como los dos primeros problemas tienen un grado de pertenencia en la categoría “bajo”, mientras que los tres problemas restantes tienen un grado de pertenencia en la categoría “alto”.

Fuente: elaboración propia

Figura 7 Reporte Generado por la Herramienta. 

3.3 Prueba de concepto

Con el fin de verificar la pertinencia de la herramienta propuesta en el presente artículo, se desarrolló una prueba de concepto a partir de los resultados obtenidos en una evaluación heurística realizada sobre el Sistema Gestor de Bases de Datos Sevenet de Industria Licorera del Cauca, la cual contó con la participación de 5 evaluadores y fue realizada teniendo en cuenta los 10 principios heurísticos de Nielsen 33. Como resultado de esta evaluación se obtuvieron un total de 15 problemas de usabilidad, los cuales fueron calificados según severidad, frecuencia (ver Tabla 3)

Tabla 3 Reglas de inferencia definidas. 

Problema Evaluador 1 Evaluador 2 Evaluador 3 Evaluador 4 Evaluador 5
S F S F S F S F S F
P1 4 5 3 5 4 5 4 3 3 3
P2 4 3 3 3 4 4 4 5 3 5
P3 3 3 3 4 2 3 4 4 4 3
P4 3 1 4 1 2 3 4 3 3 3
P5 2 3 2 3 4 3 4 4 4 1
P6 4 3 5 4 4 3 2 3 4 3
P7 3 2 2 2 1 2 4 1 2 3
P8 4 3 2 3 4 1 4 3 2 3
P9 5 4 4 3 3 5 4 5 4 1
P10 4 3 4 5 3 5 3 5 4 5
P11 4 3 2 3 4 1 4 3 2 3
P12 3 5 5 4 4 3 3 5 4 3
P13 3 4 2 3 3 5 4 5 3 5
P14 3 5 4 5 4 5 4 1 5 4
P15 4 5 4 1 3 5 3 5 4 5

Fuente: adaptado de 33

A partir de los datos mostrados en la Tabla 3, la herramienta determina los valores promedio de severidad y frecuencia de cada problema como entrada y obtiene mediante las funciones de membresía y reglas de inferencia definidas, el nivel porcentual de criticidad de salida. Una vez ingresadas en la pestaña “Problemas” de la herramienta propuesta, las evaluaciones de severidad y frecuencia para cada problema de cada evaluador, se obtuvo en la pestaña “Análisis Fuzzy” el nivel de criticidad porcentual de salida de cada problema y el grado de pertenencia de este a las categorías: bajo, alto y medio (ver Figura 8). A partir de lo anterior, en la Tabla 4 se muestran los resultados obtenidos por la herramienta propuesta en cuanto a los niveles de criticidad porcentual para cada problema y el grado de pertenencia a cada categoría definida en las funciones de membresía de la criticidad.

Tabla 4 Resultados nivel de criticidad caso de estudio 

Problema Nivel criticidad Alto Bajo Medio Nivel de salida
P1 87.31 0.58 0 0 Alto
P2 87.31 0.58 0 0 Alto
P3 86.42 0.55 0 0 Alto
P4 62.50 0 0.99 0.99 Medio
P5 88.83 0.63 0 0 Alto
P6 88.83 0.63 0 0 Alto
P7 24.83 0 0 0.55 Bajo
P8 87.31 0.58 0 0 Alto
P9 87.31 0.58 0 0 Alto
P10 87.31 0.58 0 0 Alto
P11 87.31 0.58 0 0 Alto
P12 89.14 0.64 0 0 Alto
P13 89.97 0.67 0 0 Alto
P14 89.97 0.67 0 0 Alto
P15 87.31 0.58 0 0 Alto

Fuente: elaboración propia

Fuente: elaboración propia

Figura 8 Pestaña “Análisis Fuzzy” del estudio de caso. 

Teniendo en cuenta el grado de pertenencia a estas categorías, se obtienen el término lingüístico que representa el nivel de criticidad de salida para cada problema, permitiendo tener una visión más clara sobre los problemas que son prioritarios de resolver en el software evaluado. De este modo, se obtuvo que para la evaluación heurística realizada sobre el Sistema Gestor de Bases de Datos Sevenet de Industria Licorera del Cauca, 13 problemas son de alta criticidad, 1 problema es de mediana criticidad y 1 problema es de baja criticidad.

Lo presentado en la Tabla 4 se puede apreciar de manera más clara en la Figura 9 donde se presentan los niveles de criticidad porcentual de salida obtenidos por la herramienta para cada uno de los problemas. Se puede apreciar que los 13 problemas con criticidad alta tienen un nivel porcentual mínimo del 87.31%, mientras que el problema con criticidad media tiene un nivel porcentual del 62.50% y el problema con criticidad baja tiene un nivel del 24.83%. Los anteriores resultados sirven de base para que los desarrolladores del sistema evaluado revisen de manera prioritaria los problemas identificados de acuerdo con su nivel porcentual de criticidad.

Fuente: elaboración propia

Figura 9 Niveles de criticidad porcentual de salida. 

Tal como se mostró en esta sección, la herramienta automatizada propuesta permite la obtención del nivel de criticidad de cada uno de los problemas identificados por parte de los evaluadores expertos en términos porcentuales y lingüísticos haciendo uso de la lógica difusa, de tal modo que con respecto a la forma tradicional de analizar los resultados de una evaluación heurística convencional en las cuales por cada problema se obtiene un valor de severidad, frecuencia y criticidad en una escala poco inteligible, la herramienta propuesta obtiene la criticidad en términos de los niveles: bajo, medio y alto, así como un valor porcentual asociado a dichos niveles, los cuales son calculados a través de las funciones de membresía y las reglas de inferencia definidas por la lógica difusa. A nivel de las limitaciones de la herramienta, es importante aclarar que la herramienta no permite la conducción de la evaluación heurística y se limita al análisis de los resultados obtenidos en estas de cara a mejorar la claridad e interpretación de estos por parte del coordinador o coordinadores de la prueba.

4. Conclusiones y trabajos futuros

En este trabajo se propuso como aporte el uso de la lógica difusa para el análisis de los resultados de una evaluación heurística convencional de usabilidad, permitiendo obtener como salida un nivel de criticidad en términos de porcentaje y en términos lingüísticos, orientando de manera más clara a los coordinadores de la prueba con respecto a la prioridad de los problemas a corregir en el software inspeccionado.

La herramienta desarrollada en el lenguaje Java permite aprovechar las ventajas suministradas por la API jFuzzyLogic en cuanto al análisis de los valores promedio de entrada de severidad y frecuencia a través de funciones de membresía, así como la obtención del nivel de criticidad de salida mediante funciones de membresía y reglas de inferencia. Está API permite la personalización de las funciones y las reglas usando el lenguaje FCL. Lo anterior hace que se pueda aplicar de manera sencilla el análisis difuso para la toma de decisiones en diferentes contextos de aplicación.

La herramienta propuesta pretende servir de apoyo en el análisis de los resultados de evaluaciones heurísticas de usabilidad, basadas en la identificación de problemas de acuerdo con principios de diseño y en la calificación de estos, teniendo en cuenta los criterios de severidad, frecuencia y criticidad. Dado que el rango de valores de la severidad y frecuencia varían entre 0 y 4, y el rango de valores que puede tomar la criticidad varía entre 0 y 8 (escalándolo a un porcentaje de 0 a 100), la herramienta hace uso de la lógica difusa para determinar los niveles de severidad y frecuencia de entrada, así como el porcentaje de criticidad de salida, lo cual puede ser de ayuda en la priorización de los problemas de usabilidad a enfrentar en el software evaluado a través de la inspección.

Como resultado del caso de estudio realizado en el presente artículo, se obtuvo que la herramienta propuesta permitió obtener mediante el uso de la lógica difusa que 13 de los problemas tienen un nivel de criticidad porcentual alto, 1 de los problemas tiene un nivel de criticidad medio y 1 de los problemas en el nivel bajo. Estos resultados permiten a nivel porcentual y lingüístico obtener indicadores sobre los problemas de usabilidad a los cuales se les debe dar una mayor prioridad dentro del sistema Sevenet de la Industria Licorera del Cauca.

Si bien la herramienta propuesta permite obtener de manera más clara el nivel de criticidad porcentual de los problemas identificados en una evaluación heurística, como trabajo futuro se propone incluir dentro de la herramienta, el nivel de criticidad total obtenido al consolidar la criticidad del total de los problemas, así como la generación automática de un ranking de problemas a partir del nivel de criticidad obtenido por cada uno de estos. Del mismo modo es posible incluir la funcionalidad automática de generar un diagrama de barras con los niveles de criticidad de cada problema, tal como el presentado en la Figura 7. Finalmente, como trabajo futuro derivado de la presenten investigación, se pretende aplicar la lógica difusa para el análisis de los resultados de otros enfoques de evaluación desde la perspectiva de la usabilidad y la accesibilidad.

5. Agradecimientos y declaración de financiación

Esta investigación no ha recibido ningún tipo de financiación de ninguna entidad u organización y no existe ningún conflicto de intereses en relación con esta investigación

6. Referencias

1. Sánchez-Álvarez JF, Zapata-Jaramillo CM, Jimenez-Builes JA. Evaluación heurística de la usabilidad de software para facilitar el uso del computador a personas en situación de discapacidad motriz. Rev EIA. 2017;14(27):63-72. Doi: 10.24050/reia.v14i27.785. [ Links ]

2. Dzulfiqar MD, Khairani D, Wardhani LK. The Development of University Website using User Centered Design Method with ISO 9126 Standard. In: 2018 6th International Conference on Cyber and IT Service Management, CITSM 2018. Parapat: IEEE; 2018. p. 1-4. Doi: 10.1109/CITSM.2018.8674325. [ Links ]

3. Prahasiwi TG, Kurniawan S, Satriaji W, Suhartono, Endah SN, Kusumaningrum R. Usability Testing for Batik 4.0: A Web Application for Generating 3D Batik Semarang. In: 2018 2nd International Conference on Informatics and Computational Sciences, ICICoS 2018. Semarang: IEEE; 2018. p. 1-6. Doi: 10.1109/ICICOS.2018.8621843. [ Links ]

4. Adhy S, Noranita B, Kusumaningrum R, Wirawan PW, Prasetya DD, Zaki F. Usability testing of weather monitoring on a web application. In: Proceedings - 2017 1st International Conference on Informatics and Computational Sciences, ICICoS 2017. Semarang: IEEE; 2017. p. 131-136. Doi: 10.1109/ICICOS.2017.8276350. [ Links ]

5. Naqvi HF, Chandio FH, Soomro AF, Abbasi MS. Software as a Service Acceptance Model: A User-Centric Perspective in Cloud Computing Context. In: 2018 IEEE 5th International Conference on Engineering Technologies and Applied Sciences, ICETAS 2018. Bangkok: IEEE; 2018. p. 1-4. Doi: 10.1109/ICETAS.2018.8629200. [ Links ]

6. Axinte SD, Bacivarov IC. Improving the Quality of Web Applications Through Targeted Usability Enhancements. In: 2018 10th International Conference on Electronics, Computers and Artificial Intelligence (ECAI). Iasi: IEEE; 2018. p. 1-4. Doi: 10.1109/ECAI.2018.8679098. [ Links ]

7. Surma-aho A, Hölttä-Otto K, Nelskylä K, Lindfors NC. Usability issues in the operating room - Towards contextual design guidelines for medical device design. Appl Ergon. 2021;90:103221. Doi: 10.1016/j.apergo.2020.103221. [ Links ]

8. Gozález-Sánchez JL, Montero-Simarro F, Gutiérrez-Vela FL. Evolución del concepto de usabilidad como indicador de calidad del software. Prof De la Inf. 2012;21(5):529-536. Doi: 10.3145/epi.2012.sep.13. [ Links ]

9. Feroz I, Ahmad N, Iqbal MW. Usability based rating scale for mobile health applications. In: 2019 International Conference on Engineering and Emerging Technologies, ICEET 2019. Lahore: IEEE; 2019. p. 1-7. Doi: 10.1109/CEET1.2019.8711845. [ Links ]

10. Apaza-Yllachura Y, Paz-Valderrama A, Corrales-Delgado C. SimpleAR: Augmented Reality high-level content design framework using visual programming. In: 2019 38th International Conference of the Chilean Computer Science Society, SCCC. Concepción: IEEE; 2019. p. 1-7. Doi: 10.1109/SCCC49216.2019.8966427. [ Links ]

11. Blanco-Gonzalo R, Sanchez-Reillo R, Goicoechea-Telleria I, Strobl B. The mobile pass project: A user interaction evaluation. IEEE Trans Human-Machine Syst. 2018;48(3):311-315. Doi: 10.1109/THMS.2018.2791571. [ Links ]

12. Solano A, Ceron JC, Collazos CA, Fardoun HM. ECUSI: Herramienta software para la evaluación colaborativa de la usabilidad de sistemas interactivos. In: 2015 10th Colombian Computing Conference, 10CCC 2015. Bogotá: IEEE; 2015. p. 157-163. Doi: 10.1109/ColumbianCC.2015.7333418. [ Links ]

13. Rozali NBN, Said MYB. Usability testing on government agencies web portal: A study on Ministry of Education Malaysia (MOE) web portal. In: 2015 9th Malaysian Software Engineering Conference, MySEC 2015. Kuala Lumpur: IEEE; 2015. p. 37-42. Doi: 10.1109/MySEC.2015.7475192. [ Links ]

14. Weichbroth P. Usability of mobile applications: A systematic literature study. IEEE Access. 2020;8:55563-55577. Doi: 10.1109/ACCESS.2020.2981892. [ Links ]

15. Fu J. Usability evaluation of software store based on eye-tracking technology. In: Proceedings of 2016 IEEE Information Technology, Networking, Electronic and Automation Control Conference, ITNEC 2016. Chongqing: IEEE. 2016. p. 1116-1119. Doi: 10.1109/ITNEC.2016.7560538. [ Links ]

16. Mascheroni M, Greiner C, Petris R, Dapozo G, Estayno M. Calidad de software e ingeniería de usabilidad. In: XIV Workshop de Investigadores en Ciencias de la Computación. Posadas. La Plata: Universidad Nacional de la Plata; 2012. p. 656-659. Available from: http://sedici.unlp.edu.ar/handle/10915/19202. [ Links ]

17. Sanchez W. La usabilidad en ingeniería de software: definición y características. Ing-novación. 2011;(2):7-21. [ Links ]

18. Madhavan R, Alagarsamy K. Usability Issues in Software Development Lifecycle. Int J Adv Res Comput Sci Softw Eng. 2013;3(8):1131-5. [ Links ]

19. Hurtado N, Ruiz M, Torres J. Modelado y simulación de la evaluación heurística de usabilidad. In: XV Jornadas de Ingeniería del Software y Bases de Datos - JISBD. Barcelona: CIMNE; 2006. p. 1-10. [ Links ]

20. Hering D, Schwartz T, Boden A, Wulf V. Integrating usability-engineering into the software developing processes of SME: A case study of software developing SME in Germany. In: Proceedings - 8th International Workshop on Cooperative and Human Aspects of Software Engineering, CHASE 2015. Florence: IEEE; 2015. p. 121-122. Doi: 10.1109/CHASE.2015.22. [ Links ]

21. Rengifo Y, Chanchí GE, Pérez D, Campo W. Aplicativo web para la ejecución de evaluaciones heurísticas de accesibilidad en portales web según la norma NTC 5854. Rev Ibérica Sist e Tecnol Informação. 2020;(E26):501-13. [ Links ]

22. Ssemugabi S, de Villiers MR. Effectiveness of heuristic evaluation in usability evaluation of elearning applications in higher education. South African Comput J. 2010;45:26-39. Doi: 10.18489/sacj.v45i0.37. [ Links ]

23. Allen M, Currie LM, Bakken S, Patel VL, Cimino JJ. Heuristic evaluation of paper-based Web pages: A simplified inspection usability methodology. J Biomed Inform. 2006;39(4):412-23. Doi: 10.1016/j.jbi.2005.10.004. [ Links ]

24. Saavedra-Calderon MJ. Heurísticas para la experiencia del usuario en redes sociales [Pregrado]. Pontificia Universidad Católica de Valparaíso; 2018. Disponible en: https://catalogo.pucv.cl/cgi-bin/koha/opac-detail.pl?biblionumber=431225. [ Links ]

25. Hilletofth P, Sequeira M, Adlemo A. Three novel fuzzy logic concepts applied to reshoring decision-making. Expert Syst Appl. 2019;126:133-143. Doi: 10.1016/j.eswa.2019.02.018. [ Links ]

26. Zadeh L. Fuzzy Logic, Neural Networks, and Soft Computing. Commun ACM. 1994;37(3):77-84. Doi: 10.1142/9789814261302_0040. [ Links ]

27. Mittal K, Jain A, Vaisla KS, Castillo O, Kacprzyk J. A comprehensive review on type 2 fuzzy logic applications: Past, present and future. Eng Appl Artif Intell. 2020;95:103916. Doi: 10.1016/j.engappai.2020.103916. [ Links ]

28. Aznar E, Royo J. Conceptos y aplicaciones de la lógica borrosa. Técnica Ind. 2007;(269):58-63. [ Links ]

29. Ramírez N, Laguna M. La lógica borrosa: conjuntos borrosos, razonamiento aproximado y control borroso. Pist Educ. 2012;(100):55-65. [ Links ]

30. Buckley JJ, Eslami E. An Introduction to Fuzzy Logic and Fuzzy Sets. 1st ed. Verlag Berlin Heidelberg: Springer; 2002. p. 275. Doi: 10.1007/978-3-7908-1799-7 [ Links ]

31. Chanchi GE, Ospina MA, Monroy ME. Aplicación de la lógica difusa en el análisis de inspecciones heurísticas de usabilidad. Rev Espac. 2020;41(27):159-73. [ Links ]

32. Roa Amaya M, Caldera Serrano J. Evaluación Heurística de las sedes web de los medios digitales: El País y El Mundo. Cuad Doc Multimed. 2012;22(0):128-50. Doi: 10.5209/rev_CDMU.2011.v22.38340. [ Links ]

33. Inga M, Zemanate L, Chanchí G. Evaluación Heurística De Usabilidad Sobre El Sistema Gestor De Base De Datos (SGBD) De Sevenet De La Industria Licorera Del Cauca (ILC). In: Avances y Experiencias Innovadoras en Computación e Informática. Pasto, Colombia: Universidad CESMAG; 2020. p. 231-47. [ Links ]

34. Raza A, Capretz LF. Usability as a Dominant Quality Attribute. In: International Conference on Software Engineering Research and Practice. Las Vegas: 2015 [cited 2020 Oct 20]. p. 571-5. Available from: http://arxiv.org/abs/1508.06195. [ Links ]

35. Lew P, Olsina L, Zhang L. Integrating Quality, quality in use, actual usability and user experience. In: 6th Central and Eastern European Software Engineering Conference (CEE-SECR2010), Moscow: IEEE. 2010. p. 117-123, Doi: 10.1109/CEE-SECR.2010.5783161. [ Links ]

36. Anjum N, Sarker M, Ishteaque Ahmed S. Evaluation of Web Usability Requirement Model and Web Application Interface Components. International Journal of Advanced Research in Computer Science and Software Engineering. 2019;9(6):1-8. Doi: 10.23956/ijarcsse.v9i6.919. [ Links ]

37. Sánchez-Macías A, Veytia-Bucheli M, Azuara-Pugliese V. La usabilidad de las TIC y las competencias de docentes de posgrado. Rev Espac. 2020;41(06):13 [ Links ]

38. Lodhi A. Usability heuristics as an assessment parameter: For performing usability testing. In: 2nd International Conference on Software Technology and Engineering, Proceedings (ICSTE 2010). San Juan (Puerto Rico): IEEE; 2010. p. V2-256-V2-259. Doi: 10.1109/ICSTE.2010.5608809. [ Links ]

39. Yoshiaki Nakagawa F, Felinto A, Omori M. Inclusion of teaching slides in games: Analysis of the efficiency, effectiveness and satisfaction. IEEE Lat Am Trans. 2013;11(6):1372-1377. Doi: 10.1109/TLA.2013.6710386. [ Links ]

40. Turbo O. La usabilidad pedagógica en la formación del profesorado: un estudio de caso. Rev Espac. 2018;39(15):6. [ Links ]

41. Arthana IKR, Pradnyana IMA, Dantes GR. Usability testing on website wadaya based on ISO 9241-11. Journal of Physics: Conference Series. 2019;1165:012012. Doi: 10.1088/1742-6596/1165/1/012012. [ Links ]

42. Dietlein CS, Bock OL. Development of a usability scale based on the three ISO 9241-11 categories "effectiveness," "efficacy" and "satisfaction": a technical note. Accredit Qual Assur. 2019;24:181-189. Doi: 10.1007/s00769-018-01368-2. [ Links ]

43. Hoorn JF. Stakeholder logistics of an interactive system. J Syst Softw. 2014;95:52-69. Doi: 10.1016/j.jss.2013.11.1095. [ Links ]

44. Paz F, Paz FA, Villanueva D, Pow-Sang JA. Heuristic Evaluation as a Complement to Usability Testing: A Case Study in Web Domain. In: 12th International Conference on Information Technology: New Generations, ITNG 2015. Las Vegas: IEEE; 2015. p. 546-551. Doi: 10.1109/ITNG.2015.92. [ Links ]

45. Lam D, Sajjanhar A. Heuristic Evaluations of Cultural Heritage Websites. In: 2018 International Conference on Digital Image Computing: Techniques and Applications, DICTA 2018. Canberra: IEEE; 2018. p. 1-6. Doi: 10.1109/DICTA.2018.8615847. [ Links ]

46. Enriquez G, Casas S. Usabilidad en aplicaciones móviles. Inf Científico Técnico UNPA. 2013;5(2):25-47. Doi: 10.22305/ict-unpa.v5i2.71. [ Links ]

47. Nikookar A, Jahanshah S, Tavakkol S. Heuristic Evaluation Method: A Proposed Workflow. Int J Innov Manag Technol. 2013;4(1):80-2. [ Links ]

48. Liu K, Chan F yee, Or CK, Sun DT fung, Lai W see, So H yu. Heuristic evaluation and simulated use testing of infusion pumps to inform pump selection. Int J Med Inform. 2019;131:103932. Doi: 10.1016/j.ijmedinf.2019.07.011. [ Links ]

49. Georde JK, Bo Y. Fuzz set and fuzz logic Theory and Applications. Prentice Hall; 1995. p. 588. [ Links ]

50. Chanchí G, Sierra-Martínez L, Campo W. Aplicación de la lógica difusa en la implementación de rúbricas de evaluación en el contexto universitario. Rev Ibérica Sist e Tecnol Informação. 2021;(E42):174-87. [ Links ]

51. Cordovez P, Jiménez C, Lata V. Patrones de usabilidad para sitios de gobierno electrónico. Novasinergia. 2018;1(1):41-50. [ Links ]

52. Ponce Cruz P. Inteligencia Artificial con aplicaciones a la ingeniería. 1st. Alfaomega, editor. Alfaomega. México D.F.; 2010. 376 p. [ Links ]

53. Gúzmán G, Castaño V. La lógica difusa en ingeniería: Principios, aplicaciones y futuro. Cienc y Tecnol. 2006;24(2):87-107. [ Links ]

Recibido: 23 de Marzo de 2021; Aprobado: 15 de Julio de 2021

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons