EVALUACIÓN HEURÍSTICA DE LA USABILIDAD DE SOFTWARE PARA FACILITAR EL USO DEL COMPUTADOR A PERSONAS EN SITUACIÓN DE DISCAPACIDAD MOTRIZ¹

HEURISTIC ASSESSMENT OF SOFTWARE USABILITY TO FACILITATE COMPUTER USE FOR PEOPLE WITH MOTOR DISABILITIES

AVALIAÇÃO HEURÍSTICA DA USABILIDADE DE SOFTWARE PARA FACILITAR O USO DO COMPUTADOR A PESSOAS EM SITUAÇÃO DE DISCAPACIDADE MOTRIZ

Jhon Fernando Sánchez-Álvarez², Carlos Mario Zapata-Jaramillo³, Jovani Alberto Jiménez-Builes⁴

1 El presente artículo se deriva del proyecto de investigación "Creación de un entorno computacional para la inclusión de personas con discapacidad motriz en miembros superiores y el habla" identificado con código Hermes 19697 y que auspicia la Vicerrectoría de Investigación de la Universidad Nacional de Colombia.
2 Ingeniería de sistemas, Maestría en ingeniería de sistemas (en curso). UNAL. Medellín, Colombia. Universidad Nacional, Cra. 80 Nro. 65-223, M8A-309. Medellín, Colombia. Tel.: (574) 4255222. Correo electrónico: jfsanchezal@hotmail.com.
3 Ing. Civil, Magister en ingeniería de sistemas, Doctorado en ingeniería - sistemas. UNAL. Medellín, Colombia.
4 Lic. Doc. en computadores, Magister en ingeniería de sistemas, Doctorado en ingeniería - sistemas. UNAL. Medellín, Colombia.

RESUMEN

Existen enfermedades que dificultan el uso de herramientas computacionales de manera eficiente. Por esto, algunas entidades y centros de investigación desarrollan aplicaciones de software para facilitar el acceso al uso de los computadores a las personas que padecen alguna enfermedad que altera de manera significativa su motricidad. Para garantizar que el producto de software cumpla las funciones para las que se diseñó se le realizaron algunas pruebas. Una de ellas fue la evaluación de usabilidad del software que, a menudo, se realiza de forma empírica. En este artículo se propone un método con enfoque heurístico para evaluar la usabilidad de software diseñado para facilitar el acceso a la computación a personas con discapacidad motriz. A menudo, en temas de usabilidad, un desarrollador que no conoce las necesidades específicas de las personas aborda erróneamente los lineamientos en el diseño del software. Esta investigación toma importancia debido a que los usuarios con patologías asignan pesos a características del software que los expertos en usabilidad consideran importantes.

PALABRAS CLAVE: Heurísticas, usabilidad, software especializado en personas con discapacidad, interacción persona-ordenador, discapacidad motriz.

ABSTRACT

There are diseases that make it difficult to use computational tools efficiently. Of course, some entities and research centers develop software applications to facilitate the accessibility and usability of equipment for people suffering from diseases that significantly alter their motor skills. Tests are conducted to ensure the software product performs the functions for which it was designed. One of them is the usability evaluation of the software, which is often done empirically. This article proposes a method with a heuristic approach to evaluate the utility of software designed to facilitate computing access for people with motor disabilities. Often, as regards usability issues, a developer who does not know the specific needs of the people mistakenly approaches the software design guidelines. This research is particularly relevant because users with medical conditions assign weight to software features that usability experts consider important.

KEY WORDS: Heuristic, Usability, Specialized Software for People with Disabilities, Human-Computer Interaction, Motor Disabilities.

RESUMO

PALAVRAS-CHAVE: Heurísticas, usabilidade, software especializado em pessoas com deficiência, interação pessoa-computador, deficiência motriz.

1. INTRODUCCIÓN

El uso de los computadores está creciendo como parte de la vida cotidiana, posibilitando diferentes actividades en diversos espacios como el laboral, la educación y el acceso al entretenimiento e información. Sin embargo, a los usuarios con discapacidad motriz les resulta difícil hacer uso de las aplicaciones de software comunes (Gajos, Wobbrock & Weld, 2008). Mientras algunos expertos argumentan que las necesidades y expectativas para que estas personas accedan a la tecnología se satisfacen con dispositivos de apoyo especializados, estos se asocian con tres defectos: su alto costo, la complejidad de su uso y excesiva alta demanda de mantenimiento. Los anteriores defectos hacen que los dispositivos se abandonen tiempo después de su creación (Koester, 2003, Phillips & Zhao, 1993, Scherer, 2002). A menudo, la empresas perciben que diseñar artefactos exclusivos para las personas con discapacidad motriz es inviable económicamente, debido a que es una población reducida (Keates, Clarkson, & Robinson, 2000).

Es importante mencionar que los dispositivos se diseñan para el usuario promedio y, por ende, los usuarios con discapacidad motriz se deben adaptar a las características de ellos (Keates, Langdon, Clarkson, & Robinson, 2002). Otros expertos justifican que estas limitaciones de hardware se deben solventar con aplicaciones de software que permitan superar las barreras de los costos anteriormente mencionadas (Law, Sears, & Price, 2005). Entre las alternativas, se encuentran aplicaciones versátiles que permiten a las personas en situación de discapacidad el uso de otras aplicaciones como, por ejemplo, software genérico de oficina, sin necesidad de dispositivos adicionales.

La Organización Internacional de Normalización (ISO por sus siglas en inglés) en el estándar 9241-11, define la usabilidad como "el grado en el que un producto lo pueden utilizar usuarios específicos para conseguir objetivos específicos con efectividad, eficiencia y satisfacción en un determinado contexto de uso" (Jokela, Iivari, Matero, & Karukka, 2003). Los anteriores atributos toman importancia al momento de valorar la calidad de una aplicación de software (Ferré Grau, 2005). En relación con la usabilidad se encuentran los métodos de: recorridos cognitivos, inspección de estándares, observación de campo, grupos de discusión dirigidos, entrevistas, grabación del uso, estudio de campo proactivo y cuestionarios.

En este artículo se propone un método heurístico que permite evaluar la usabilidad de las aplicaciones de software diseñadas para brindar acceso a la tecnología a las personas con discapacidad motriz. Esta investigación contribuye a la literatura especializada en el desarrollo de un método para evaluar este tipo de aplicaciones de acuerdo con las preferencias de los usuarios finales. El método que se propone en este trabajo difiere de los métodos existentes en que toma en cuenta las preferencias de los usuarios y, con base en esto, se categorizan mejor las heurísticas, debido a que los expertos no conocen las necesidades específicas de las personas. La posibilidad de que el usuario final asigne pesos a las características heurísticas, indicando cuáles son las más importantes para ellos y no que el experto fije pesos sin conocer los requisitos de estas personas es lo innovador del método propuesto (además de ser el único diseñado para el propósito de evaluar este tipo de aplicaciones de software).

El artículo tiene la siguiente estructura: en la Sección 2 se presentan los antecedentes y el marco teórico de referencia; en la Sección 3 se propone el desarrollo del método heurístico de evaluación de la usabilidad; en la Sección 4 se presentan los resultados y su discusión; finalmente, en la Sección 5 se presentan las conclusiones..

2. MATERIALES Y MÉTODOS

A continuación, se presentan los problemas en el área del uso de los computadores, diseño de software y métodos de evaluación de usabilidad en aplicaciones de software para personas en situación de discapacidad. Lo anterior sirve de insumo para el desarrollo de la heurística.

Enfermedades tales como parálisis cerebral, distrofia muscular, ataxia de Friedreich y trastornos de la columna vertebral, provocan espasticidad, espasmos, mala coordinación, movimientos restringidos y fuerza muscular reducida (Keates et al., 2000). Las personas que padecen estas enfermedades carecen de la movilidad necesaria o la capacidad para operar por un tiempo prolongado los periféricos de un computador, tales como el teclado y el mouse (Lazar, 2007). También, los errores de rendimiento en el uso del teclado se suelen asociar con problemas físicos. Un ejemplo de un error de rendimiento es presionar las teclas por demasiado tiempo, lo que genera letras repetidas o presionar involuntariamente teclas adyacentes a la deseada (Trewin & Pain, 1999).

El bajo costo de los teclados y los mice genera una dependencia hacia ellos. No obstante, muchas personas con discapacidad motriz no logran hacer uso de los mismos de manera adecuada. Sin embargo, estos periféricos se pueden potenciar mediante aplicaciones de software que se adapten a las habilidades de los usuarios. Esta alternativa contrasta con el enfoque más tradicional de crear hardware especializado para que las personas con discapacidad puedan acceder al software no adaptado para ellos (Wobbrock, Kane, Gajos, Harada, & Froehlich, 2011).

Algunas de las herramientas existentes para que las personas que padecen las anteriores enfermedades utilicen los computadores se listan en la Tabla 1.

2.2. Diseño de aplicaciones de software para personas con discapacidad

El diseño de aplicaciones de software para personas con discapacidad motriz requiere la adopción de prácticas de diseño fuertemente centradas en el usuario y la realización de pruebas rigurosas de usabilidad. Las técnicas de ingeniería de usabilidad permiten a un diseñador construir un producto final más usable (Jakob Nielsen, Blatt, Bradford, & Brooks, 1994).

La mejor solución al momento de diseñar aplicaciones de software para este tipo de población es buscar que las interfaces sean adaptables a las necesidades específicas de cada usuario. Sin embargo, debido a la gran variedad de deficiencias entre estos usuarios, se hace poco práctico desarrollar interfaces para esta población, las cuales, además, no son escalables (Law et al., 2005).

2.3. Métodos de evaluación de usabilidad en software para personas con discapacidad

Algunos estudios previos tienen como objetivo evaluar la accesibilidad de los sitios web. Por lo tanto, no se consideran métodos de evaluación de usabilidad en aplicaciones de software para personas en situación de discapacidad, porque no incorporan características de evaluación relativas a estas aplicaciones.

Jafari, Adams, Tavakoli, Wiebe, & Janz (2017) desarrollaron un sistema robótico con asistencia virtual, el sistema está diseñado para realizar la actividad de pintar una figura geométrica. Este estudio es interesante debido a que incorpora una evaluación de usabilidad donde se muestran características de evaluación. No obstante, estas son incluidas arbitrariamente sin dar ningún tipo de sustento a las mismas.

An, Kim y Kim (2013) contemplan la evaluación de un teclado virtual que se acciona con señales biológicas, que incluye pruebas a seis personas (dos personas sanas, dos personas con problemas motores severos y dos personas con esclerosis lateral amiotrófica). Los resultados se agrupan en cuatro temas: apariencia del sistema, nivel de comodidad, intención de compra y nivel de satisfacción. Los resultados de este estudio son subjetivos y, por ende, manipulables según el punto de vista del desarrollador.

Otro estudio (Hornof & Cavender, 2005) se dirige a sustentar el desarrollo de una aplicación de software que permite realizar dibujos por medio del movimiento ocular. Se contempla la evaluación de la aplicación mediante una serie de preguntas antes de su uso inicial. Luego de concluir su uso, se plantean nuevas preguntas, las cuales brindan retroalimentación a los desarrolladores para crear una nueva versión de la aplicación de software.

En la revisión de literatura no se encontró un método formalmente constituido para evaluar este tipo de aplicaciones de software. Esta investigación incluye el enfoque heurístico de Nielsen (1994a). Este enfoque se usa en una investigación que desarrolla una heurística ponderada basada en las preferencias de las personas de edad adulta (Lynch, Schwerha, & Johanson, 2013). En este artículo se adapta este método para construir uno nuevo de evaluación heurística para software especializado en personas con discapacidad motriz.

2.4. Usabilidad

ISO 25010:2011 define la usabilidad como "el grado en que un producto o sistema lo pueden usar determinados usuarios para conseguir objetivos específicos con efectividad, eficiencia y satisfacción en un contexto de uso específico". En el estándar ISO 9241-11 (1998) se define la usabilidad en términos de eficiencia, eficacia y satisfacción del usuario (Seffah, Donyaee, Kline, & Padda, 2006).

Nielsen (1994) especifica cinco descomposiciones que describen el término usabilidad, a saber: facilidad de aprendizaje, eficiencia, recuerdo en el tiempo, tasa de errores y satisfacción.

2.5. Evaluación heurística

Es un método de evaluación de la usabilidad por inspección que realizan jurados expertos a partir de unos principios previamente establecidos. La evaluación heurística tiene como objetivo medir la calidad de la interfaz para que la pruebe un grupo de usuarios en un contexto específico (Abran, Khelifi, Suryn, & Seffah, 2003).

Existen algunos modelos desarrollados para evaluar la usabilidad (J Nielsen, 1994a, Holzinger, 2005, Bradford, 1994, Camargo, Wendling, & Bonjour, 2014, Macleod & Rengger, 1993). No obstante, estos modelos se diseñaron para evaluar software de propósito general. Existe una necesidad creciente de un modelo que mida cuantitativamente la capacidad de las aplicaciones de software para ser usables, mientras que se da un mayor nivel de importancia a ciertas heurísticas que categoriza el usuario (Lynch et al., 2013).

El primer paso en el desarrollo de un nuevo método de evaluación consistió en decidir qué directrices utilizar como heurística. Luego, se recopilaron elementos de varias fuentes y se construyó una lista de diez características deseables en un sistema de apoyo a las personas con discapacidad motriz por medio de un estudio Delphi donde siete autores reconocidos en Scopus aportaron dos características, posteriormente se enviaron a cada experto las características que otros autores consideraron pertinentes con el propósito que evaluaran dichos ítems dando una calificación de 1 (no aportante) a 5 (muy aportante)( el puntaje para que una característica fuera incorporada fue de 18/30). Estas características se agruparon en cuatro categorías, a saber: eficacia, eficiencia, satisfacción y capacidad de aprendizaje (ISO, 2009). En la Tabla 2 se detallan las características.

Tabla 2

Posteriormente, se realizó una recopilación de datos de los usuarios. Dichos usuarios presentaban enfermedades de tipo neuromuscular cuya motricidad está severamente afectada y síntomas como espasticidad, rigidez muscular era notorio. En este proceso se hizo evidente que algunas características tienen un mayor impacto sobre la usabilidad que otras (Lynch et al., 2013). Por ejemplo, el hecho que una aplicación de software ofrezca autonomía en las tareas que se realizan tiene un mayor efecto sobre la usabilidad que un conjunto de ayudas mientras el usuario se entrena.

Para determinar el valor de los pesos de cada heurística, se realizó una encuesta a cinco personas con diferente afectación motriz (Faulkner, 2003). Las encuestas se distribuyeron vía correo electrónico, previa aceptación del consentimiento informado a un familiar de la persona o a la persona misma con el fin de asegurar la confidencialidad (Lorda, 1993). El familiar se encargaba de trasmitir las preguntas a la persona con la discapacidad, si su condición le impedía hacerlo de manera autónoma. El análisis estadístico de esta encuesta se muestra en la Tabla 3.

Tabla 3

Luego de que se asignaron los pesos, se seleccionaron cinco aplicaciones de software especializadas en brindar acceso a personas con discapacidad motriz, con el fin de que dos expertos las evaluaran. El método heurístico usado produjo puntuación porcentual en las cuatro categorías medidas (eficiencia, eficacia, capacidad de aprendizaje y satisfacción) generando una puntuación total. El cálculo de la puntuación incluyó la "puntuación de presencia", la cual asignan los expertos y se caracteriza con los números 2, 1 o 0, siendo 2 la presencia total de la característica en el software y 0 la carencia total de la característica. La puntuación total es el producto entre "puntuación de presencia" y la puntuación que asigna el usuario (Ferré Grau, 2010).

4. RESULTADOS Y DISCUSIÓN

Las aplicaciones de software fueron evaluadas usando el nuevo método heurístico descrito en la Sección 3 se caracterizan por reemplazar periféricos de entrada como mouse y teclado. Dos evaluadores independientes valoraron las cinco aplicaciones. Los resultados de ambos se promediaron como se muestra en la Tabla 4. En dicha Tabla se aprecia que un alto índice de usabilidad fue el valorado de 80% a 100%, un índice de usabilidad moderada fue de 70% a 90% y un bajo índice de usabilidad fue de 0% a 70%.

El total de usabilidad reflejado en la Tabla 4 se obtuvo siguiendo el método de Lynch. No obstante, desde el punto de vista de los autores, el promedio aritmético aplicado para obtener la usabilidad total de las cinco aplicaciones es un método inadecuado en este caso, debido a que asigna igual importancia a una característica de usabilidad que posee un ítem (eficacia) a otra que posee cuatro ítems (eficiencia). Para evitar esto se usó un promedio con pesos (véase la Ecuación 1).

El mayor cambio usando el promedio con pesos fue en la usabilidad total de la aplicación 2 que pasó de una usabilidad total de 54% a 66%. Es importante destacar la reducción de la usabilidad en las aplicaciones 3 y 5 de 4 y 3 puntos porcentuales cada uno (véase la Figura 1).

5. CONCLUSIONES

La investigación en ingeniería de factores humanos, psicología y otros campos similares relacionados con la interacción persona-ordenador aún cuenta con poco trabajo (Trewin & Pain, 1999, Barreto, Scargle, & Adjouadi, 1999, Istance, Spinner, & Howarth, 1996, An et al., 2013). Por esto, existe un vacío en la literatura especializada en esta área. En cuanto a la usabilidad de aplicaciones de software que garanticen el acceso a personas con discapacidad motriz, los estudios se limitan a evaluaciones particulares de ciertos dispositivos adicionales, pero no toman en consideración la percepción de los usuarios de este tipo de aplicaciones.

Esta es la razón por la cual en este artículo se diseñó y probó la heurística contra las métricas de rendimiento y estudios de usabilidad cuantitativos usando personas con discapacidad motriz. Esta investigación generó un índice usabilidad que es el primero de su tipo para asignar un peso y puntuación de presencia a cada heurística y se usa para clasificar cuantitativamente la usabilidad de software especializado para personas con discapacidad motriz. Es importante destacar que según el estudio los software evaluados poseen baja usabilidad, esto resulta que no sean usados por los usuarios finales. Para procurar una mejoría en este atributo se debe incorporar a los usuarios en la etapa de diseño con el fin de extraer los requisitos de estos.

Este estudio marca un punto de partida en este campo para que lo usen diseñadores de software: la posibilidad de que el usuario final pueda asignar pesos a las heurísticas, indicando cuáles son las más importantes para ellos. La heurística con mayor promedio es aquella en la que la aplicación de software ofrece autonomía desde el inicio del sistema al usuario. Lo anterior no sólo indica que es la métrica con mayor peso en el método heurístico que se propuso. Desde el punto de vista psicológico del usuario, se señala que la autonomía es parte fundamental de la calidad de vida del usuario con alguna discapacidad motriz.

5.1. Trabajo futuro

• Incrementar el número de heurísticas para obtener una mejor puntuación.
• Incrementar la cantidad de usuarios para mejorar el ajuste en los pesos de las heurísticas.
• Correlacionar las categorías de usabilidad analizadas con las subcaracterísticas de usabilidad que ofrecen estándares como el ISO/IEC 25000. Establecer la relación de las métricas correspondientes a este estándar con la evaluación que se generó y adaptar los resultados para aplicaciones que garanticen el acceso de personas con discapacidad motriz.

REFERENCIAS

Abran, A., Khelifi, A., Suryn, W., & Seffah, A. (2003l). Consolidating the ISO usability models. Proceedings of 11th international software quality management conference. Glasgow, Scotland, UK. pp. 23-25.         [ Links ]

An, K. O., Kim, D. H., & Kim, J. (2013). Development of a Virtual Keyboard System Using a Bio-signal Interface and Preliminary Usability Test. Human-Computer Interaction. Towards Intelligent and Implicit Interaction. Springer Berlin Heidelberg. pp. 3-9.         [ Links ]

Aipo, A. I. (2002). Promoción de la Internación Personal-Ordenador, la Usabilidad y el Diseño centrado en el usuario. Libro IPO, El Diseño Ubicuo. Madrid, España.         [ Links ]

Barreto, A. B., Scargle, S. D., & Adjouadi, M. (1999). A real-time assistive computer interface for users with motor disabilities. ACM SIGCAPH Computers and the Physically Handicapped. 64. pp. 6-16.         [ Links ]

Bradford, J. S. (1994, June). Evaluating high-level design: Synergistic use of inspection and usability methods for evaluating early software designs. Usability inspection methods. New York, USA. John Wiley & Sons, Inc. pp. 235-253.         [ Links ]

Camargo, M., Wendling, L., & Bonjour, E. (2014). A fuzzy integral based methodology to elicit semantic spaces in usability tests. International Journal of Industrial Ergonomics, 1. pp. 11-17.         [ Links ]

Faulkner, L. (2003). Beyond the five-user assumption: Benefits of increased sample sizes in usability testing. Behavior Research Methods, Instruments, & Computers, 3. pp. 379-383.         [ Links ]

Ferré Grau, X. (2005). Marco de integración de la usabilidad en el proceso de desarrollo software. Tesis Doctoral. Universidad Politécnica de Madrid, Madrid.         [ Links ]

Grau, X. F. (2000, November). Principios Básicos de Usabilidad para Ingenieros Software. V Jornadas de Ingeniería del Software y Bases de Datos. Valladolid, España. pp. 39-46.         [ Links ]

Gajos, K. Z., Wobbrock, J. O., & Weld, D. S. (2008, April). Improving the performance of motor-impaired users with automatically-generated, ability-based interfaces. Proceedings of the SIGCHI conference on Human Factors in Computing Systems. New York, USA. ACM. pp. 1257-1266.         [ Links ]

Holzinger, A. (2005). Usability engineering methods for software developers. Communications of the ACM, 48, pp. 71-74.         [ Links ]

Hornof, A. J., & Cavender, A. (2005, April). EyeDraw: enabling children with severe motor impairments to draw with their eyes. Proceedings of the SIGCHI conference on Human factors in computing systems. New York, USA. ACM. pp. 161-170.         [ Links ]

Istance, H. O., Spinner, C., & Howarth, P. A. (1996). Providing motor impaired users with access to standard Graphical User Interface (GUI) software via eyebased interaction. Proceedings of the 1st European Conference on Disability, Virtual Reality and Associated Technologies. Maidenhead, UK. pp. 109-116.         [ Links ]

Jafari, N., Adams, K., Tavakoli, M., Wiebe, S., & Janz, H. (2017). Usability testing of a developed assistive robotic system with virtual assistance for individuals with cerebral palsy: a case study. Disability and Rehabilitation: Assistive Technology, 1-6.         [ Links ]

Jokela, T., Iivari, N., Matero, J., & Karukka, M. (2003, August). The standard of user-centered design and the standard definition of usability: analyzing ISO 13407 against ISO 9241-11. Proceedings of the Latin American conference on Human-computer interaction. New York, USA. ACM. pp. 53-60.         [ Links ]

Keates, S., Clarkson, J., & Robinson, P. (2000, November). Investigating the applicability of user models for motion-impaired users. Proceedings of the fourth international ACM conference on Assistive technologies. New York, USA. ACM. pp. 129-136.         [ Links ]

Keates, S., Langdon, P., Clarkson, P. J., & Robinson, P. (2002). User models and user physical capability. User Modeling and User-Adapted Interaction, 12. pp. 139-169.         [ Links ]

Koester, H. H. (2003, June). Abandonment of speech recognition by new users. Procedure Rehabilitation Engineering and Assistive Technology Society of North America. Salt Lake City, UT. Vol. 3.         [ Links ]

Law, C., Sears, A., & Price, K. (2005). Issues in the categorization of disabilities for user testing. Proceedings International Conference on Human-Computer Interaction. Las Vegas, USA.         [ Links ]

Lazar, J. (Ed.). (2007). Universal usability: Designing computer interfaces for diverse user populations. Chichester, England. John Wiley & Sons.         [ Links ]

Lorda, S., & eta Concheiro, P. (1993). L. El consentimiento informado: teoría y práctica. Medicina Clinica. 100, pp. 659-663.         [ Links ]

Lynch, K. R., Schwerha, D. J., & Johanson, G. A. (2013). Development of a weighted heuristic for website evaluation for older adults. International Journal of Human-Computer Interaction, 29. pp. 404-418.         [ Links ]

Macleod, M., & Rengger, R. (1993). The development of DRUM: A software tool for video-assisted usability evaluation. VIII, proceedings of the HTC 93 Conference. Loughborough. UK. Pp. 293-293.         [ Links ]

Manzari, L., & Trinidad-Christensen, J. (2006). User-centered design of a web site for library and information science students: Heuristic evaluation and usability testing. Information technology and libraries, 25(3), 163.         [ Links ]

Nielsen, J. (1994, April). Usability inspection methods. Conference companion on Human factors in computing systems. New York, USA. ACM. pp. 413-414.         [ Links ]

Nielsen, J. (1994). Jakob Nielsen, Usability Engineering, San Francisco, CA, Morgan Kaufmann Publishers Inc.         [ Links ]

Nielsen, J. (1994, April). Usability inspection methods. Conference companion on Human factors in computing systems. New York, USA. ACM. pp. 413-414.         [ Links ]

Phillips, B., & Zhao, H. (1993). Predictors of assistive technology abandonment. Assistive Technology, 5. pp. 36-45.         [ Links ]

Romen, D., & Svanaes, D. (2008, October). Evaluating web site accessibility: validating the WAI guidelines through usability testing with disabled users. In Proceedings of the 5th Nordic conference on Human-computer interaction: building bridges (pp. 535-538). ACM.         [ Links ]

Romen, D., & Svanaes, D. (2012). Validating WCAG versions 1.0 and 2.0 through usability testing with disabled users. Universal Access in the Information Society, 11(4), 375-385.         [ Links ]

Scherer, M. J. (2002). The change in emphasis from people to person: introduction to the special issue on Assistive Technology. Disability and rehabilitation, 24. pp. 1-4.         [ Links ]

Seffah, A., Donyaee, M., Kline, R. B., & Padda, H. K. (2006). Usability measurement and metrics: A consolidated model. Software Quality Journal, 14. pp. 159-178.         [ Links ]

Trewin, S., & Pain, H. (1999). Keyboard and mouse errors due to motor disabilities. International Journal of Human-Computer Studies, 50. pp. 109-144.         [ Links ]

Wobbrock, J. O., Kane, S. K., Gajos, K. Z., Harada, S., & Froehlich, J. (2011). Ability-based design: Concept, principles and examples. ACM Transactions on Accessible Computing (TACCESS), 3. pp. 9.         [ Links ]