1. INTRODUCCIÓN

Los dispositivos móviles, como los smartphones y las tablets, son cada vez más comunes en la cotidianidad de las personas. Esto ha llevado a un crecimiento permanente no solo de la cantidad de usuarios de este tipo de dispositivos, sino también de las aplicaciones que se desarrollan para ofertar contenidos y servicios en ellos ^[1].

En el proceso de desarrollo de software se debe llevar a cabo una etapa llamada “especificación de requisitos”, en la que se definen las características que debe tener la aplicación a desarrollar. Dichas características definen lo que se conoce como los requisitos funcionales y los requisitos no funcionales de la aplicación.

Los primeros hacen referencia a las características que el sistema debe proveer al usuario para que este realice un conjunto de tareas con ayuda del sistema. Los segundos especifican todas aquellas características y restricciones que condicionan el funcionamiento del sistema. Por ende, los requisitos no funcionales pueden afectar la adopción de la aplicación por parte de los usuarios.

Con base en lo anterior, las características que definen la usabilidad y la accesibilidad de una aplicación forman parte de los requisitos no funcionales. La norma ISO 9241-11 define la usabilidad como el grado en que un producto de software puede ser usado por determinados usuarios para lograr sus objetivos con eficacia, eficiencia y satisfacción en un contexto de uso específico ^[2]; es decir, la usabilidad hace referencia a cómo los usuarios se pueden desenvolver al interactuar con la aplicación ^{[3], [4]} y, por tanto, esta puede ser considerada una medida de calidad de parte del usuario. Por otro lado, la accesibilidad debe permitir que cualquier persona, sin importar su condición, pueda utilizar la aplicación para lo que está diseñada, es decir, la accesibilidad de una aplicación debe garantizar que la información se despliegue adecuadamente para poder ser comprendida por todos los usuarios, independientemente de las condiciones especiales que pueda tener una persona y de las especificaciones del dispositivo usado ^[5].

Un factor común que se presenta durante el proceso de desarrollo de software es que, por desconocimiento o por falta de conciencia social, el grupo de requisitos que deben asegurar la usabilidad y la accesibilidad del software son rara vez considerados en las etapas de diseño, desarrollo y pruebas ^[6]. Incluso, en su mayoría, las personas que conforman los equipos de desarrollo no están familiarizadas con las prácticas de accesibilidad ^{[6], [7]}. Esto conlleva que dichas prácticas no sean consideradas en la definición de los proyectos de software, marginando a futuros usuarios con capacidades especiales ^[6], también denominados personas en condición de discapacidad.

Lo anterior ha creado un escenario en el que la accesibilidad de un producto de software es considerada, en el mejor de los casos, una característica deseable más no necesaria. Esto va en contra de las normas que determinan que el acceso a la información es un derecho para la población, tal como dictamina la legislación a través de la Norma Técnica Colombiana 5854 del 2001 ^[8]. En este sentido, el desconocimiento de las prácticas de accesibilidad ha llevado a que la usabilidad sea considerada únicamente durante el proceso de desarrollo de software, dejando de lado las consideraciones de accesibilidad.

Así, en aras de realizar una evaluación más general de la que puede ofrecer la usabilidad, los equipos de desarrollo de software deben considerar durante todo el ciclo del software tanto a las personas en condición de discapacidad como los estándares definidos por la W3C para la accesibilidad ^[9].

En esa línea, este trabajo propone un método para la evaluación de la accesibilidad y la usabilidad en aplicaciones móviles. Para ello, este manuscrito se ha estructurado de la siguiente manera. En la Sección 2 se presenta el problema de estudio. En la Sección 3 se sintetizan los antecedentes y se hace una comparación entre los métodos para la evaluación de accesibilidad o usabilidad tanto para las aplicaciones móviles como para las aplicaciones web (La evaluación de la usabilidad y la accesibilidad en aplicaciones para dispositivos móviles es reciente y cuenta con pocos métodos definidos para su evaluación. En aras de tener un referente más amplio para hacer las comparaciones, se incluyen los métodos definidos para la evaluación de aplicaciones web, por ser afines a las aplicaciones móviles). En la Sección 4 se describe el modelo propuesto para la evaluación de la accesibilidad y la usabilidad en aplicaciones móviles. En la Sección 5 se presentan los resultados obtenidos tras aplicar el método propuesto a un caso de estudio específico. En la Sección 6 se discuten los resultados obtenidos y, finalmente, en la Sección 7 se presentan las conclusiones y el trabajo futuro.

2. DEFINICIÓN DEL PROBLEMA

Los dispositivos móviles son cada vez más útiles para las empresas, haciendo que la expectativa de utilizarlos crezca cada día, buscando una ventaja competitiva, ahorrando tiempo y dinero ^[10]. No obstante, muchas de las aplicaciones diseñadas para estos dispositivos tienen dificultades que limitan su uso por parte de personas en condiciones de discapacidad.

Hay un gran número de esas aplicaciones que ofrecen pocas o ninguna ayuda para aquellos internautas que tienen algún tipo de conflicto al realizar las operaciones o acciones necesarias para llevar a cabo alguna tarea con estas ^[11]-[12].

Por otro lado, el número de personas en condición de discapacidad se acrecienta debido a diversas causas, entre ellas: las enfermedades cardiovasculares, la diabetes, trastornos mentales y la vejez ^[13]. El aumento de la población en condición de discapacidad incrementa el número de personas que tienen dificultades para acceder a la información.

Por esto, se hace necesario incluir, de manera urgente, las pruebas de accesibilidad sobre los productos de software que se desarrollan para dispositivos móviles.

3. ANTECEDENTES

En esta sección se presenta una síntesis de los temas abordados por diferentes autores respecto a enfoques previos de solución para el problema descrito anteriormente. La evaluación de la usabilidad se ha convertido en una tarea importante en el ciclo de vida del software.

Es por esto que en la literatura se encuentran autores quienes plantean diversas aproximaciones para evaluar la usabilidad tanto en aplicaciones web como en aplicaciones móviles ^{[9], [14], [15]}. Uno de los referentes es el trabajo propuesto en ^[14], en el cual se plantea la modificación de los métodos de pruebas de aplicaciones de escritorio. En este sentido, en ^[14] se especifican dos aproximaciones para evaluar la usabilidad de una aplicación móvil: la primera consiste en hacer un experimento de laboratorio, que consiste en realizar pruebas virtuales en máquinas de escritorio; la segunda, radica en el desarrollo de estudios de campo, los cuales requieren simular un ambiente de producción que haga más evidente la experiencia de usuario para minimizar el número de fallos reportados por comportamientos suscitados por emuladores o ambientes de pruebas ^[14].

Otros autores plantean que la usabilidad puede ser evaluada a través de la aplicación de pruebas en entornos controlados que requieren definir las características poblacionales, las especificaciones de los dispositivos a utilizar y las tareas que el usuario debe desarrollar ^[14-16]. Este tipo de pruebas se acompañan de cuestionarios virtuales que deben ser diligenciados por los participantes y contienen preguntas cerradas que, generalmente, definen una escala de puntuación de uno a cinco, en la que uno se considera “totalmente en desacuerdo” y cinco, “totalmente de acuerdo” ^[15]. Una aproximación diferente plantea la evaluación de la usabilidad en dos fases ^[16]: la primera consiste en un conjunto de preguntas cerradas con respuestas dadas por puntuación de cero a cinco que evalúan la percepción del usuario, mientras que en la segunda fase se evalúan criterios específicos de la aplicación, entre los que están: la comunicación y comprensibilidad, la facilidad estética, la operatividad, la facilidad de uso, el aprendizaje (factores humanos), la facilidad de comprensión, el entrenamiento y la documentación.

Hay otros trabajos en los que se afirma que la usabilidad debe tenerse en cuenta a lo largo de todo el ciclo de vida del software, y no solo al final del proceso de desarrollo. En este sentido, en ^[17] proponen que la evaluación de usabilidad se desarrolle por medio de informes que se entregan después de las etapas del proceso de desarrollo, específicamente, después del diseño, de la transformación de modelos y de la implementación del software. Para cada etapa se evalúa el cumplimiento de los requisitos no funcionales relacionados con la accesibilidad y usabilidad de forma tal que se evidencia la trazabilidad entre los modelos, esto usando listas de chequeo.

Cada informe de una etapa debe evaluar los aspectos de las etapas anteriores; cambios o inconformidades deberán ser presentados en estos textos ^[17]. En esta misma línea, algunos autores proponen integrar al usuario en cada fase del proyecto, de modo que los errores se puedan corregir a tiempo tras cada etapa del proceso de desarrollo, y así mejorar la satisfacción del usuario y la calidad del producto de software ^{[9], [18]}. Sin embargo, esta forma de trabajo se ve limitada por el tipo de metodología de desarrollo con la cual se aborde el proyecto.

Respecto a la evaluación de la accesibilidad, esta busca que el desarrollo de una aplicación se centre en el usuario, esto con el fin de garantizar que dicha aplicación pueda ser usada por una persona sin importar su condición física.

Así, en la implementación de la evaluación de la accesibilidad se deben considerar ciertas pautas tanto en la definición estructural, como en la programación de las funcionalidades que la aplicación tendrá.

Algunas de esas pautas pueden ser evaluadas a partir de la revisión del código, sin embargo, otras requieren una revisión exhaustiva de los contenidos de la aplicación, puesto que están orientadas a evaluar la calidad y la coherencia de la información presentada. De ahí que algunos autores hayan propuesto herramientas que evalúan de manera semiautomática la accesibilidad, centrándose en aquellas pautas que deben implementarse en el código de la aplicación. Entre estas herramientas están: MATE (Mobile Accessibility Testing) ^[19], Accessibility checker ^[6], Accessibility tools frameworks ^[20] y XValid ^[21], las cuales evalúan aspectos importantes de WCAG 2.0 (Web Content Accessibility Guidelines) y MWBP (Mobile Web Best Practice). Este tipo de herramientas suelen ser bastante utilizadas en la evaluación de la accesibilidad, ya que son rápidas haciendo la evaluación y no conllevan gastos extras por ser herramientas de libre acceso.

A modo de resumen, la Tabla 1 muestra los aspectos que este tipo de herramientas consideran para evaluar la accesibilidad de una aplicación.

Tabla 1 Criterios evaluados por herramientas automatizadas según mwbp 

Fuente ^[22].

Dada la naturaleza de las pruebas que deben realizarse para la evaluación de accesibilidad en aplicaciones web y móviles, no es posible llevar a cabo una validación automática completa ^[23] debido a que estas no cumplen con todos los estándares definidos por la W3C (WCAG, MWBP) y la Sección 508 de la ley estadounidense de rehabilitación de 1973.

Como consecuencia, la evaluación manual debe ser el primer paso a seguir ^[12], antes de la evaluación automática.

Lo anterior da paso a que la accesibilidad de una aplicación pueda ser valorada por personas que, además de conocerla, sean sus potenciales usuarios.

Para ello, la evaluación se puede orientar partiendo de los cuatro principios definidos por la W3C y adaptados por la norma NTC5854, los cuales son: percepción, operación, comprensión y robustez. Estos principios se pueden valorar con un cuestionario de preguntas cerradas que, normalmente, se califican en una escala de uno a cinco.

Específicamente, ^[24] mencionan que una evaluación de este tipo se puede desarrollar en cinco etapas que son: la exploración de los recursos de la norma, la definición de las heurísticas de evaluación de accesibilidad, la relación de criterios, la construcción de un test heurístico y la aplicación en un caso de estudio.

Por otro lado, en la literatura se han propuesto métodos que buscan hacer una evaluación tanto de la accesibilidad como de la usabilidad. En esta línea algunos autores proponen un proceso de evaluación compuesto en el que se valora cada componente de manera independiente utilizando tanto usuarios del común, que incluyen personas en condición de discapacidad, como evaluadores expertos.

En esta línea, en ^[25] proponen realizar la evaluación de forma iterativa de tal manera que en cada iteración se define un grupo de usuarios y un ambiente o espacio de pruebas. Tras cada iteración se reportan los errores y se hacen los cambios pertinentes en la aplicación. El proceso de evaluación termina cuando haya un número de errores despreciable.

En ^{[26] y [27]} otros autores proponen evaluar con los usuarios presenciales y grabar las sesiones de evaluación, a lo que se le conoce como experimento de laboratorio. De acuerdo con los autores, este tipo de evaluación facilita la identificación de los elementos que se deben mejorar en la aplicación. En un método de evaluación similar al anterior, los usuarios interactúan con la aplicación y la valoran en una escala de calificación específica. De manera simultánea, un grupo de observadores o bien toma nota de los errores de la aplicación y evalúa como los usuarios ejecutan las tareas asignadas ^[28] o diligencia una lista de chequeo de posibles errores, como lo indican los autores en ^[29].

Finalmente, otros trabajos consideran importante tener en cuenta la opinión de los usuarios que interactúan con la aplicación por medio de encuestas de satisfacción. De acuerdo con a ^[30], dichos usuarios deben estar en condición de discapacidad.

Como se puede observar, la evaluación de la accesibilidad y de la usabilidad suele realizarse de forma independiente. Por tanto, para realizar la evaluación de ambas características es necesario aplicar varios métodos de evaluación al tiempo.

Aun así, la valoración de la accesibilidad puede quedar incompleta, principalmente porque métodos como MATE y XValid, entre otros, son asistidos por un software y hacen una evaluación semiautomática de las pautas propuestas en la W3C, dejando por fuera aquellas pautas orientadas a la calidad y coherencia de la información presentada en el sitio.

Pasando a la evaluación de la usabilidad, una de las formas de hacerlo es a través del estudio de experiencias en ambientes controlados con un público objetivo determinado.

Este tipo de evaluaciones permiten controlar o planificar las tareas a desarrollar por el usuario y por tanto facilitan el registro de los fallos encontrados. Por otro lado, las evaluaciones en ambientes de pruebas no controlados ayudan a determinar qué tan práctica es la aplicación en su contexto de uso, aunque esta dificulta la identificación de los fallos y de la respuesta de los usuarios ante los mismos.

Finalmente, los métodos que realizan una evaluación de ambas características (usabilidad y accesibilidad), basan la evaluación de la accesibilidad en herramientas semiautomáticas y no plantean estrategias para complementar dicha evaluación, por tanto, reflejarán resultados incompletos de las aplicaciones evaluadas.

4. MATERIALES Y MÉTODOS

Con base en la revisión de la sección anterior, aquí se propone un método para la evaluación de la usabilidad y accesibilidad de aplicaciones móviles. Este busca recoger los puntos fuertes de los métodos analizados, para lo cual se propone seguir las seis fases del gráfico de la Fig. 1. Estas fases se detallan a continuación:

Fuente: elaboración propia.

Fig. 1 Flujograma fases del método propuesto 

Fase 1: evaluación del cumplimiento de los estándares de accesibilidad establecidos por la W3C a partir de las mejores prácticas para aplicaciones móviles web.

En esta fase se considera hacer un diagnóstico inicial de la aplicación a partir de los criterios establecidos por la W3C en el MWBP 1.0 (Mobile Web Best Practice) ^[22].

Dichos criterios están categorizados en tres niveles: el nivel básico (A), el cual define el conjunto de requisitos que una aplicación debe cumplir para ser accesible por un grupo amplio de usuarios; el nivel intermedio (AA), que establece las características que debe tener una aplicación con miras a eliminar las barreras de acceso al contenido; y, por último, el nivel avanzado (AAA), el cual presenta las pautas a seguir con el fin de mejorar de manera significativa la accesibilidad, orientadas especialmente hacia la robustez y la escalabilidad de la aplicación. La Tabla 2 resume los criterios del mwbp y su categoría correspondiente.

Tabla 2 Criterios establecidos por la W3C en el mwbp y su nivel correspondiente 

Fuente: elaboración propia

Para la evaluación de estos criterios, se propone usar una rúbrica de evaluación que debe ser aplicada a cada pantalla de la aplicación, con la escala: No cumple (0 ptos); Cumple, pero puede mejorar (1 pto); Cumple (2 ptos) o No aplica (N/A).

Para obtener mayor confiabilidad en los resultados de la evaluación se recomienda que esta evaluación sea realizada por al menos una persona con conocimiento del estándar.

Fase 2: definición del público objetivo de la aplicación y selección de la muestra.

Una vez superada la Fase 1 y se dé por “Aceptada la aplicación como accesible”, se debe caracterizar el público objetivo de la aplicación a evaluar. Esta caracterización debe indicar si la aplicación está orientada a un público en general o a personas en condición de discapacidad. A continuación, se debe seleccionar el tamaño de la muestra poblacional, el cual se recomienda que sea de al menos el 30 % de la cantidad de usuarios regulares esperados para la aplicación. Se debe tener en cuenta que esta muestra debe incluir personas en condición de discapacidad. Después, los participantes se deben dividir en dos subgrupos, el primero evaluará la aplicación siguiendo el método de estudio de campo y el segundo hará la evaluación en un experimento de laboratorio. Ambos grupos harán las mismas tareas (las cuales se definen en la Fase 3), pero tendrán metas diferentes. Las metas se refieren a la cantidad de tiempo que se requiere para la realización de las tareas y varían según la tarea, público objetivo y aplicación. A continuación, se describen las características del estudio de campo y del experimento de laboratorio.

Características del estudio de campo: este método consiste en la evaluación de la aplicación simulando un ambiente de producción. En este se debe definir un espacio en el cual se puedan supervisar a todos los participantes del estudio, se debe contar con dispositivos móviles que tengan previamente instalada la aplicación, además de cámaras de vídeo para grabar la sesión. En caso de que la población sea muy grande, se recomienda adelantar varias sesiones.

Características del experimento de laboratorio: este consiste en hacer pruebas virtuales en emuladores. Esto permite tener un mejor control sobre los movimientos que el usuario puede realizar en la aplicación.

Así, para la ejecución de este método se debe contar con un ambiente cerrado y que contenga computadoras que cuenten con emuladores de diferentes dispositivos. Los emuladores la aplicación debe estar instalada y en funcionamiento en dichos aparatos. Además, se necesitan cámaras de video para grabar los movimientos y expresiones físicas y faciales de los usuarios y un software para grabar la pantalla y hacer el seguimiento del mouse ^[31], lo cual ayudará a analizar cómo responde el usuario ante una tarea asignada en la aplicación.

Fase 3: diseño de la prueba y encuesta de satisfacción. En esta fase se definen las tareas que los usuarios deben hacer a fin de verificar la accesibilidad y usabilidad de la aplicación. Para ello es necesario:

Estos tiempos se establecen por una evaluación previa en la que los usuarios interactúan con la aplicación para determinar un tiempo promedio.

En este trabajo, la encuesta de satisfacción que se propone tiene 22 preguntas, las cuales están organizadas por secciones de la siguiente manera: sección de identidad de la marca (4 preguntas), en donde se evalúa si es posible la identificación de la empresa propietaria del software; sección de contenido (4 preguntas), para identificar si el contenido de la aplicación es de fácil comprensión; sección de navegación (4 preguntas), la cual evalúa la forma de navegar entre las pantallas de la aplicación; sección de interfaz (4 preguntas), que identifica aspectos como el contraste, los tonos de colores y la claridad de las imágenes, entre otros; sección de información de ayuda (4 preguntas), que valora la información de ayuda que presta la aplicación; por último, la sección de utilidad (2 preguntas), que evalúa si la aplicación satisface las necesidades del usuario.

Fase 4: aplicación de pruebas. En esta fase se les solicita a los grupos definidos en la Fase 2 que adelanten las pruebas que fueron predefinidas en la Fase 3. Esta fase está dividida en dos subfases.

Fase 5: aplicación de la encuesta de satisfacción. Cada usuario que participa de las pruebas debe resolver la encuesta de satisfacción diseñada en la Fase 3. Las respuestas de esta encuesta deben ser utilizadas para re-diseñar la aplicación y hacer una actualización de la misma que considere los comentarios de los usuarios y que trate de corregir los errores encontrados durante el desarrollo de la prueba.

Fase 6: reporte de fallos. Por último, una vez terminada la actualización, se debe volver a aplicar el método desde la Fase 4. Este procedimiento se hace las veces que sean posibles y necesarias para obtener cada vez un mayor nivel de satisfacción que garantice la accesibilidad de aplicación.

Es importante aclarar que durante las pruebas no se puede brindar ningún tipo de ayuda al usuario para que adelante las tareas propuestas. Las personas encargadas de la aplicación de las pruebas solo pueden solucionar dudas puntuales, no deben ayudar a los usuarios a hacer las tareas.

5. RESULTADOS EN UN CASO DE ESTUDIO

El método propuesto fue utilizado para evaluar la accesibilidad y la usabilidad de la aplicación “Diccionario de neologismos” desarrollada como herramienta de soporte académico para la comunidad del programa de inclusión en el Instituto Tecnológico Metropolitano de Medellín (ITM). La aplicación consiste en un diccionario de términos técnicos en Lengua de Señas Colombiana (LSC), y tiene el propósito de proveer un repositorio de fácil acceso para la población académica del ITM.

A continuación, se describe el método de evaluación de accesibilidad y usabilidad propuesto y los resultados obtenidos tras la ejecución de cada fase para las seis pantallas con las que cuenta la aplicación.

5.1 Evaluación de los criterios de accesibilidad

Cómo especifica el método propuesto en la Fase 1, se inició con la evaluación de los criterios de accesibilidad. Esta evaluación fue desarrollada en tres iteraciones y finalizó cuando se obtuvieron los valores de cumplimiento establecidos para esta fase.

En cada iteración se practicó la evaluación de los trece criterios definidos en cada una de las vistas de la aplicación, obteniendo los resultados presentados en la Tabla 3 de cada iteración.

Para analizar los resultados de la Tabla 3, se debe tener en cuenta que la máxima valoración para la aplicación es de 158 puntos; sin embargo, en cada vista de la aplicación hay diferentes criterios que no deben ser considerados, debido a que no están inmersos en la aplicación.

Tabla 3 Resultados de la primera evaluación de los criterios de accesibilidad 

Fuente: Autores.

En consecuencia, hay un total de 70 puntos no asignables, dejando una calificación máxima de 88 puntos. Con base en los resultados de la Tabla 3, tras la primera iteración se obtienen los siguientes resultados:

• Criterios del Nivel A: 14 puntos obtenidos de 24 posibles (58.3 % de cumplimiento)

• Criterios del Nivel AA: 23 puntos obtenidos de 40 posibles (57.5 % de cumplimiento)

• Criterios del Nivel AAA: 7 puntos obtenidos de 24 posibles (29.2 % de cumplimiento).

Dado que los parámetros planteados por el método requieren un cumplimiento del 80 % en los niveles A y AA, se sugiere realizar los correctivos necesarios y evaluar nuevamente.

Una vez finalizada la iteración, se debe reportar al equipo de desarrollo qué pautas obtuvieron una evaluación de 0, lo cual significa que no hay evidencia de desarrollo o de la programación necesaria para el cumplimiento de la pauta en la página específica. De igual forma, los criterios que obtienen una evaluación igual a 1 deben ser mejorados, pues pueden presentar deficiencias en algunas áreas de la página evaluada. Este proceso se debe llevar a cabo en cada iteración de esta fase.

Con base en los resultados de la Tabla 3, tras la segunda iteración, se pueden inferir los siguientes resultados:

• Criterios del Nivel A: 20 puntos obtenidos de 24 posibles (83.3 % de cumplimiento)

• Criterios del Nivel AA: 27 puntos obtenidos de 40 posibles (67.5 % de cumplimiento)

• Criterios del Nivel AAA: 11 puntos obtenidos de 24 posibles (45.8 % de cumplimiento).

En esta evaluación se evidenció un avance en las mejoras de los criterios de accesibilidad. Al finalizar esta iteración se cumplió con los criterios del nivel A, pero se detectó que aún se presentaban criterios por mejorar para cumplir el nivel AA. Por tanto, se sugiere corregir lo que sea necesario y hacer una nueva iteración de evaluación.

Con los datos consignados en la Tabla 3, tras la tercera iteración se pueden inferir los siguientes resultados:

• Criterios del Nivel A: 23 puntos obtenidos de 24 posibles (95.8 % de cumplimiento)

• Criterios del Nivel AA: 32 puntos obtenidos de 40 posibles (80.0 % de cumplimiento)

• Criterios del Nivel AAA: 12 puntos obtenidos de 24 posibles (50.0 % de cumplimiento).

Como se puede observar, al final de esta evaluación se encuentra que los niveles A y AA cumplen con el porcentaje mínimo requerido para ser aceptados. Sin embrago, no hubo mejoras sustanciales en el nivel AAA. En consecuencia, se procede a la Fase 2 del método.

5.2 Evaluación de usabilidad

Después de practicada la evaluación de los criterios de accesibilidad, se prosiguió a ejecutar las fases siguientes del método propuesto, de la dos a la seis.

5.2.1 Resultados de la Fase 2:

La aplicación “Diccionario de neologismos” se desarrolló para facilitar los procesos de gestión y difusión entre la comunidad perteneciente al programa de inclusión del ITM, específicamente de las señas asociadas a la terminología utilizada en los diferentes ambientes académicos de la institución. Para el semestre académico 2019-2, el ITM contaba con los siguientes profesionales: tres intérpretes, dos logogenistas y quince estudiantes en condición de discapacidad auditiva. De esa población participaron en la evaluación cuatro estudiantes, dos intérpretes y un logogenista.

5.2.2 Resultados de la Fase 3:

Se diseñan tres tareas para evaluar la interacción de los usuarios con las funcionalidades básicas de la aplicación.

Dichas tareas son:

1. Buscar señas asociadas a palabras clasificadas por áreas de conocimiento

2. Buscar señas asociadas a palabras específicas y descarga de los videos correspondientes

3. Usar las ayudas y el acceso a la información del equipo de desarrollo.

Adicionalmente, se diseñó la encuesta de 22 preguntas (Anexo 1) mencionada anteriormente.

5.2.3 Resultados de la Fase 4:

Para el estudio de campo se utilizaron smartphones de diferentes referencias y marcas, todos ellos con el sistema operativo Android. En este caso los usuarios fueron los estudiantes seleccionados en la Fase 2.

Las instrucciones de la prueba fueron comunicadas con la ayuda de los intérpretes porque quienes dirigieron la prueba no son usuarios del lenguaje de señas. Por otro lado, el experimento de laboratorio fue efectuado por los intérpretes buscando facilitar los procesos de comunicación entre ellos y el equipo que dirige las pruebas. En este experimento no se consideraron personas en condición de discapacidad, puesto que no tienen experiencia en las pruebas de software y, al ser poco tolerantes a los fallos, podrían abandonar el experimento en curso. No obstante, los intérpretes que participaron del experimento tienen un completo conocimiento de las características que debe cumplir la aplicación como producto terminado. La Fig. 2. muestra algunas fotografías tomadas durante la prueba de campo y el experimento de laboratorio.

Fuente: elaboración propia.

Fig. 2 (a) Y (b) Corresponden a imágenes del estudio de campo, mientras que (c) y (d) son imágenes del experimento de laboratorio 

Durante el proceso de evaluación se tomó el tiempo de duración de la prueba.

En el diseño de esta se determinó que un participante debería tardar aproximadamente 3.4 minutos en hacer las tareas definidas. Este lapso se determinó con base en el tiempo promedio que tardaron tres personas en hacer las tareas.

Es importante mencionar que dos de ellas son personas en condición de discapacidad auditiva. Como resultado se evidenció que el 71,42 % de los participantes logró terminar la prueba en el tiempo estimado, el 14,29 % finalizó la prueba en un tiempo menor y el 14,29 % restante no logró finalizar la prueba.

En este último caso el usuario manifestó una dificultad para entender el objetivo de la prueba, por tanto, consumió el total del tiempo que tenía disponible únicamente para desarrollar la primera tarea.

Al realizar las pruebas, se evidenció que la Tarea 2, búsqueda y descarga de términos, fue la única que generó errores durante su ejecución, ya fuera por fallos propios de la aplicación, o por no presentar mensajes informativos adecuados en el momento de ocurrir un fallo.

5.2.4 Resultados de la Fase 5:

Después de practicada la prueba se procedió a realizar la encuesta para identificar las fortalezas y debilidades de la aplicación. En esta fase se vio la necesidad de la presencia de las intérpretes no solo para presentar instrucciones en la ejecución de la prueba, sino para ayudarles a los participantes a plasmar sus percepciones en la encuesta. Lo anterior dado el poco dominio del español como lengua escrita de los participantes en condición de discapacidad.

5.2.5 Resultados de la Fase 6:

Las pruebas realizadas y la percepción de los participantes en la encuesta permitieron detectar errores de navegación, de identidad corporativa, de estructura y organización de la información. A partir de este reporte, se formularon las sugerencias para que el equipo de desarrollo implementara las correcciones pertinentes y desarrollara una nueva versión de la aplicación.

La nueva versión de la aplicación fue evaluada nuevamente a la luz del método propuesto considerando un nuevo grupo de usuarios con las mismas características del grupo inicial. La Tabla 4 muestra una comparación de los resultados de las dos evaluaciones realizadas.

Tabla 4 Cuadro comparativo de primera prueba por última prueba 

Fuente: elaboración propia.

En la Tabla 4, se puede observar que, tras aplicar la primera evaluación y actualización de la aplicación, los tiempos de respuesta de los usuarios fueron menores; teniendo en cuenta que en la primera prueba un usuario no logró terminar, se eliminaron los errores de la primera versión. Adicionalmente, el estudio de campo mostró que era más fácil para los usuarios manejar la aplicación.

6. DISCUSIÓN

Con los avances tecnológicos y el éxito de los dispositivos móviles, se hace vital la integración de la accesibilidad y la usabilidad en las aplicaciones para dispositivos móviles ^[32]. Partiendo de la revisión del estado del arte, se encontró que la accesibilidad es evaluada de manera sucinta, en lo que respecta a las personas con capacidades especiales. Esto puede ser un problema puesto que dichas evaluaciones no consideran todos los aspectos que una persona en condición de discapacidad puede tener.

Lo anterior da pie a que se desarrollen métodos para hacer evaluaciones de accesibilidad que permitan hacer una valoración presencial a través de los estudios de campo y los experimentos de laboratorio teniendo en cuenta a esta población.

En el estudio de campo, los usuarios deben llevar a cabo un conjunto de tareas haciendo uso de la aplicación en dispositivos móviles. Una vez finalizadas las tareas, se les solicita que emitan su concepto de la aplicación, dando respuesta a una encuesta previamente definida: el estudio de laboratorio busca evaluar las variaciones de la experiencia del usuario al probar la aplicación emulando dispositivos con diferentes características de hardware.

Este método se vuelve efectivo para evaluar aspectos de usabilidad para un grupo de personas en condición de discapacidad, aunque su tiempo de respuesta se vuelve lento cuando se hacen demasiadas iteraciones, perdiendo recursos y tiempo por parte del grupo de desarrollo. Por otro lado, su efectividad llega a incrementar, los usuarios cada vez hacen las tareas más rápidas, es decir, la aplicación es cada vez más intuitiva para ellos y su número de errores disminuye considerablemente.

7. CONCLUSIONES

En este trabajo, se desarrolló un método que permite evaluar la accesibilidad y la usabilidad de una aplicación móvil. Dicho método considera como actores a personas en situación de discapacidad sensorial. Con respecto a la evaluación de la accesibilidad, el método considera los criterios para el cumplimiento de los niveles A y AA de acuerdo con las regulaciones del W3C en el estándar MWBP, que son a su vez los mínimos exigidos por la norma técnica colombiana NTC5854. Por otro lado, respecto a la evaluación de la usabilidad, el método adaptó la propuesta de ^[33] para su aplicación en dispositivos móviles. En este sentido, el método propuesto permite realizar una evaluación más completa de la accesibilidad al incluir los aspectos visuales, de interacción y coherencia del contenido en la aplicación.

Adicionalmente, el caso de estudio aplicado permite evidenciar que el método propuesto ayuda a mejorar la interacción del usuario tras cada iteración de la evaluación. Esto se soporta en la disminución del tiempo de duración de la prueba y en los resultados obtenidos en las encuestas de satisfacción de cada iteración.

Estas últimas muestran que, de 154 preguntas que se realizaron a todos los participantes, 134 fueron de aspectos favorables, es decir, más del 87 % de las opiniones de los participantes fueron positivas.

Se debe resaltar que un buen porcentaje de las personas en condición de discapacidad sensorial no son usuarios del español como lengua escrita, esto dificultó ejecutar las pruebas sin la intervención de un intérprete o herramienta lectora de pantallas. Este elemento afecta de forma negativa las pruebas puesto que el tiempo de ejecución de las mismas es más largo comparado con los métodos semiautomáticos.

Finalmente, como recomendación, es importante explicar a la población seleccionada la naturaleza de las pruebas de software, esto para evitar frustraciones o deserciones durante la prueba por la cantidad de errores que pueden ser detectados durante la ejecución de las mismas.