Modelo de medición y evaluación de la usabilidad en sitios web de la banca virtual en Colombia*

A Model for Measuring and Evaluating the Usability of Web Sites in Colombian Virtual Banking Services

Modelo de mediçao e avaliaçao da usabilidade dos sitios web dos bancos virtuais na Colômbia

Elkin René Pulido Granados**

Víctor Hugo Medina García***

* Fecha de recepción: 8 de noviembre de 2007. Fecha de aceptación para publicación: 26 de marzo de 2008. El artículo se deriva del trabajo de grado con el mismo título, presentado por el primer autor para optar por el título de Magíster en Teleinformatica.

** Ingeniero de Sistemas, Universidad de Boyaca, Tunja, Colombia. Estudiante de Maestría en Teleinformatica, Universidad Distrital Francisco José de Caldas, Bogotá, Colombia. Correo electrónico: erpulido@gmail.com

*** Ingeniero de Sistemas, Universidad Distrital Francisco José de Caldas, Bogotá, Colombia. Magíster en Informática, Universidad Politécnica de Madrid, España. Doctor en Ingeniería Informática, Universidad Pontificia de Salamanca, España. Director de la Especialización en Teleinformàtica de la Universidad Distrital Francisco José de Caldas y profesor asociado de la Universidad Pontificia de Salamanca. Correo electrónico: victorhmedina@gmail.com

Resumen

El propósito de este trabajo es desarrollar un modelo para medir y evaluar la usabilidad de los sitios web de banca virtual en Colombia, producto de la metodología de evaluación heurística por expertos y que contemple los objetivos propios del dominio y las necesidades de los navegantes, además de su perfil. Existen varias metodologías para evaluar dicha usabilidad. Las más conocidas son: revisión iterativa, ClickStream, cuestionario en línea, evaluación heurística por expertos, test de usuarios, simulación cognitiva, simulación en conjunto, entrevistas a usuarios, pensar en voz alta, técnica de categorización de contenidos, método científico, estudio etnográfico, SUMI-QUIS, ESPRIT MUSiC, evaluación de la usabilidad intercultural, evaluación de la accesibilidad, estudios de documentación y modelos predictivos del desempeño del sistema. Se seleccionó la evaluación heurística por expertos, ya que se cuenta con la experticia del evaluador sobre el tema; además, es una metodología informal, rápida de aplicar, de bajo costo y de resultados concretos, precisos y veraces sobre lo que ocurre en el sitio web en términos de usabilidad. Luego de obtener los resultados de la evaluación, se pretende realizar un informe que les permita a los bancos conocer qué está pasando con los usuarios que realizan transacciones en su página de internet, si están satisfaciendo de forma fácil y segura sus necesidades y objetivos y si el sitio les provee accesibilidad, confiabilidad y funcionalidad.

Palabras clave

Simulación por computadores, páginas web, métodos heurísticos, instituciones financieras-innovaciones tecnológicas

Abstract

The work here presented is the development of a model for the measurement and evaluation of the usability of web sites of the Colombian virtual bank; the methodology used was that of a heuristic evaluation by experts, which takes into account the inherent objectives of the domain and the necessities of the navigators, in addition to their profile. There are several methodologies to evaluate the usability of web sites, such as: iterative revision, ClickStream, on-line questionnaire, heuristic evaluation by experts, users' test, cognitive walkthrough, pluralistic walkthrough, interviews with users, thinking aloud, card sorting, scientific method, ethnographic study, SUMI - QUIS, ESPRIT MUSiC, evaluation of the intercultural usability, evaluation of the accessibility, studies of documentation, and predictive s yst em per for mance models. The heuristic evaluation by experts was selected due to several reasons: it is based on the evaluators' expertise on the subject; it is an informal, easy-to-apply methodology; it has low cost and concrete results; it is accurate and reliable in terms of web site usability. Evaluation results can be used to make a report that allows banks to know what is happening to users who make transactions through their Internet pages, whether the web sites efficiently satisfy their needs and objectives, and also if each site provides them with accessibility, trustworthiness and functionality.

Key words

Computer simulation, web sites, heuristic methods, financial institutions — technological innovations.

Resumo

O propósito deste trabalho é o desenvolvimento de um modelo que seja utilizado para a mediçào e avaliaçào da usabilidade dos sítios web dos bancos virtuais na Colombia, produto do uso da metodologia de avaliaçào heurística por especialistas, que contemple os objetivos próprios do domínio e as necessidades dos navegantes, alem do seu perfil. Existem varias metodologias para avaliar essa usabilidade; as mais conhecidas sào: revisào iterativa, ClickStream, questionários online, avaliaçào heurística por especialistas, teste de usuários, simulaçào cognitiva, simulaçào em conjunto, entrevistas a usuários, pensar em voz alta, técnica de categorizaçào do conteúdo, método cientifico, estudo etnográfico, SUMI - QUIS, ESPRIT MUSiC, avaliaçào da usabilidade intercultural, avaliaçào da acessibilidade, estudos de documentaçào e modelos preditivos do desempenho do sistema. Foi selecionada a avaliaçào heurística por especialistas, já que contase com a proficiéncia do avaliador com o tema. É uma metodologia informal, rápida de aplicar, de baixo custo e de resultados concretos, precisos e verazes sobre o que acontece no sitio web em termos de usabilidade. Ao obter os resultados da avaliaçào, pretendese realizar um informe que permita os bancos conhecer o que esta acontecendo com os seus usuários que realizam transaçòes pela pagina web, se está satisfazendo, de forma fácil e segura, as suas necessidades e objetivos e se o site oferece acessibilidade, confiabilidade e funcionalidade.

Palavras chaves

Avaliaçào heurística, acessibilidade, confìabilidade, funcionalidade, sitios web de bancos.

Introducción

Los sitios web de la banca en Colombia han adquirido especial relevancia en los últimos años para los clientes de las entidades financieras. Beneficios como el ahorro de tiempo, el evitar el desplazamiento, la seguridad y la reducción de riesgos que la red ofrece a los usuarios, han hecho que actualmente la totalidad de las entidades bancarias ofrezcan el servicio de banca virtual, como lo indican los resultados de la encuesta de banca por internet realizada por la Asobancaria (Nieto y Duarte, 2006).

Los usuarios de banca por internet correspondían al 58% de los navegantes en el país en 2006 (Figura 1). De este porcentaje, 2'245.600 son cuentahabientes de las diferentes entidades, que realizan algún tipo de transacción monetaria o no monetaria en el sitio web. Este número representa un aumento del 10% con respecto al año 2005 (Arbeláez et al., 2006).

En cuanto a los costos, una transacción realizada por internet le costaría a la entidad financiera en promedio $824, mientras una transacción realizada directamente en las oficinas tendría un costo promedio de $2.083. De acuerdo con las cifras reportadas por la Comisión de Regulación de Telecomunicaciones (CRT, 2006), se estima que un 10,6% de los usuarios de internet en 2005 ingresaron a la banca virtual y, por alguna razón, desistieron de realizar alguna transacción. Por otra parte, se calcula que un 81,7% de los cuentahabientes, potenciales usuarios de los servicios de banca virtual, no ingresan a este servicio a pesar de estar habilitados (Superintendencia Financiera de Colombia, 2005).

Con la evaluación heurística como método para medir la usabilidad de diversos sitios web, las normas existentes del diseñado centrado en el usuario, la interacción persona-computador (Nielsen y Loranger, 2006), para este caso sitio web, y los estándares de arquitectura de información, además del conocimiento adquirido a lo largo del trabajo en cuanto al desarrollo e implementación de sitios web (Segovia, 2007), se obtienen los fundamentos para elaborar un modelo que permita medir y evaluar la usabilidad de los sitios web de banca virtual en Colombia. El modelo resultante no tiene antecedentes en Colombia; en otros países como España, Chile y México se han diseñado modelos similares, pero ninguno que tome en cuenta los criterios de usabilidad, accesibilidad, funcionalidad, contenido, confiabilidad y eficiencia. Los anteriores criterios se definen de la siguiente manera para su evaluación en el modelo:

• Usabilidad: mide la facilidad de uso del sitio, de cómo se siente el usuario navegando por el sitio y las facilidades que el sitio provee para que el usuario se sienta cómodo navegando por él.

• Accesibilidad: mide las facilidades que provee el sitio a personas con alguna discapacidad, tanto auditiva como visual.

• Funcionalidad: mide el comportamiento del sitio en diferentes navegadores, la permanencia de las imágenes institucionales y otros controles durante la navegación.

• Contenidos: la medición de esta variable está dada por el contenido de los sitios web de banca virtual, los productos y servicios que cada una de las entidades financieras ofrecen por su página.

• Confiabilidad: mide la seguridad y las posibles deficiencias que hacen que el sitio web le brinde al usuario la suficiente confiabilidad para hacer sus transacciones.

• Eficiencia: hace referencia al rendimiento y al tiempo que se demora una página en ser cargada dentro del sitio web y al tiempo que tarda en hacer una transacción.

1. Materiales y métodos

Se han desarrollado muchas herramientas basadas en una misma técnica de soporte para aplicar determinados métodos de evaluación de usabilidad, pero no se ha logrado establecer un acuerdo respecto a los verdaderos criterios de evaluación, ni a los estándares de la técnica seleccionada (Martín, s. f.). La metodología escogida en este trabajo es la de evaluación heurística por expertos. En la Tabla 1 se describen las principales características de la metodología seleccionada.

A fin de poner en práctica la metodología, se empleó una lista de verificación en cada una de las páginas evaluadas. Se definió una escala de 0 a 10 para medir las variables referidas a usabilidad, accesibilidad, funcionalidad, contenido, confiabilidad y eficiencia. En la Tabla 2 se relacionan las variables definidas y los porcentajes correspondientes.

Los bancos que se tuvieron en cuenta para la evaluación heurística por expertos se listan en la Tabla 3.

Los tres evaluadores seleccionados tenían que otorgar una calificación a cada una de las variables presentadas. No obstante, los criterios que se relacionan a continuación no fueron objeto de evaluación y tenían previamente asignada la calificación correspondiente:

• Variable 5.2. Utilización de estándares del W3C: la calificación se obtuvo sometiendo cada página al verificador de accesibilidad de los sitios web, usando las pautas de accesibilidad del contenido web (WCAG 1.0) del W3C, llamado Test Accesibilidad Web (TAW). Dentro de ello se analizaron la aplicación de HTML 4.01 y la aplicación de hojas de estilo CSS.

• Variable 6.3. Tiempos de descarga: en esta variable se asignó una calificación fija al tiempo de descarga de la página de inicio (Figura 2) y al tiempo trascurrido hasta la carga de la página de solicitud de datos del usuario y de la clave para el ingreso a la página transaccional del sitio web (Figura 3). La toma de tiempo en segundos se realizó desde octubre de 2006 hasta marzo de 2007 en cada uno de los sitios web de los bancos relacionados en la Tabla 3. Para ello se utilizó el navegador Mozilla Firefox 2.0 y el complemento Fasterfox 2.0.0, el cual arroja el tiempo trascurrido entre el inicio de la carga de la página hasta haberse completado totalmente su descarga, incluyendo la carga total de imágenes, iconos o textos.

Después de aplicar la lista de verificación de la Tabla 1 a cada una de las páginas de los bancos, se tabularon los resultados de la evaluación de los tres evaluadores. Además, se priorizaron cada una de las variables y se eliminaron redundancias y aquellas variables no relevantes para el análisis. De esta manera se obtuvo una lista de características fundamentales para el diseño del modelo de medición y evaluación de los sitios web de banca virtual en Colombia.

2. Resultados y discusión

Después de la evaluación heurística por expertos utilizando la lista de verificación, se obtuvieron los resultados que se presentan en la Tabla 4.

Al promediar los valores de la Tabla 4 se obtienen los resultados que se muestran en la Figura 4.

La calificación promedio de las variables medidas con la evaluación heurística por expertos en los 19 sitios web de banca virtual en Colombia es de 6,71 en la escala de cero a diez. Además, el 36,84% de los sitios web de banca virtual obtienen una calificación que se encuentra por debajo del promedio general. Los resultados de las variables de usabilidad, accesibilidad, funcionalidad, de contenidos, de confiabilidad y eficiencia se muestran en la Figura 5.

3. Conclusiones

• Aunque en Colombia la totalidad de los bancos cuenta con sitios de banca virtual, en su afán de competir han descuidado aspectos relevantes como los estándares de interacción persona-computador, para el caso en estudio la interacción persona-página web, estándares asociados con la usabilidad y la accesibilidad de un sitio web.

• Muy pocos de los sitios web evaluados tienen etiquetado textual o etiquetado con íconos. Algunos tienen la opción de búsqueda global, pero en algunos

casos no funciona correctamente. La mayoría cuenta con una demostración para enseñar a navegar en la página transaccional del sitio, pero no en las demás páginas, lo que ocasiona que nuevos usuarios no entiendan la lógica de uso del sitio.

• En algunos de los sitios web de banca virtual evaluados, la página inicial no refleja la idea del sitio y, mucho menos, deja claro qué se puede hacer en este. Tal situación lleva a que nuevos usuarios con deseos de obtener los productos o servicios del banco simplemente desistan, por el hecho de no transmitírsele de manera correcta la información.

• Dentro de las reglas de accesibilidad que se deben cumplir está el soporte que el sitio debe proveer a personas con alguna discapacidad. La banca virtual de Colombia no permite que una persona con discapacidad visual total pueda acceder al sitio web. No obstante, personas con discapacidad visual parcial (ceguera al color) o aquellas que necesiten el texto de diferentes tamaños sí lo pueden hacer.

• Son pocas las deficiencias encontradas al evaluar las páginas de los bancos en diferentes navegadores, ya que la mayoría de los sitios web se comporta de manera estable en navegadores no comunes como Mozilla Firefox, Nestcape, Avant, NetCaptor y Opera.

• En cuanto a los contenidos, se encontró en la evaluación que se mantiene un estándar y que los bancos con productos similares tratan de mostrar en su sitio web las ventajas con respecto a la competencia y, de esta forma, acrecentar la vinculación de clientes a sus productos y servicios.

• Con respecto a la información institucional del banco que debe suministrárseles a los clientes nuevos y a los clientes potenciales, son pocos los sitios web de banca virtual que lo tienen. Información relevante como la misión, la visión, la historia del banco, la información geográfica y de contacto y los reglamentos se ha omitido en algunos de ellos.

• En la evaluación de seguridad del sitio, todos cuentan con un certificado digital en su página de ingreso de datos del cliente, por lo general Verisign y protocolo HTTPS. Sin embargo, muy pocos bancos cuentan con un teclado virtual y que sea aleatorio, algo de suma importancia al ingresar a estos sitios web en lugares públicos.

• Al medir la eficiencia de los sitios web de banca virtual en Colombia se encontró que algunas páginas se demoran mucho en el tiempo de descarga; esta es una variable determinante del servicio del sitio web.

• En lo que respecta a la usabilidad, el 53% de los sitios web evaluados son fáciles de usar; su navegabilidad es aceptable, su página principal refleja la idea del sitio y lo que se puede hacer en él. Además, presentan alta uniformidad y permanencia de controles.

• De los puntos anteriores puede deducirse que, a partir de la lista de verificación utilizada en la evaluación heurística por expertos, se puede desarrollar un modelo genérico que permita medir y evaluar la usabilidad de mencionados sitios web. El modelo propuesto por los autores se presenta en forma detallada en la Tabla 5.

4. Recomendaciones

• Realizar un informe producto de los resultados obtenidos en la presente medición y evaluación de usabilidad, con destino a los gerentes de tecnología de cada una de las entidades bancarias evaluadas, a fin de que se utilice para un mejor diseño del sitio web correspondiente.

• Mejorar la mayoría de los sitios web de banca virtual en Colombia, en cuanto a la utilización de los estándares del W3C y a los estándares para la interacción persona-página web, en cuanto a facilidad de uso y accesibilidad se refiere. Así mismo, es importante mejorar los tiempos de descarga de las páginas del sitio web e incluir en dichos sitios ayudas explicatorias del sitio y visitas guiadas para los clientes nuevos y potenciales de la entidad.

• Para complementar esta investigación, evaluar algunos de los sitios web presentados en esta investigación, utilizando el test de usuarios, aplicado a una muestra de clientes y no clientes de esas entidades bancarias. De esta forma se podrían evidenciar aspectos no tenidos en cuenta en el modelo propuesto.

• Evaluar todos los sitios web aquí señalados con un navegador tipo texto como Lynx, Links, BobCat o W3m, que no pudieron instalarse en las máquinas desde donde se realizó el análisis. Esta nueva evaluación permitiría verificar cómo se despliegan las páginas de los sitios evaluados en un navegador que no muestra imágenes, sino sólo texto, y de esta forma complementar el modelo de medición.

Referencias        [ Links ]

COMISIÓN DE REGULACIÓN DE TELECOMUNICACIONES (CRT). Internet. En Informe semestral de internet-2005 [documento en línea]. 2006, núm. 7, <http://www.crt.gov. co/Documentos/BibliotecaVirtual/InformeInternet/Informe_Internet_diciembre_2005. pdf>. [Consulta: 27-09-2006].        [ Links ]

HOM, James. Heuristic Evaluation. The Usability Methods Toolbox- Usability Methods Toolbox Contextual Design Heuristic Evaluation Inspection Inquiry usable engineering [documento en línea]. 2003. <http://jthom.best.vwh.net/usability> [Consulta: 28-02-2007].        [ Links ]

MANCHÓN, Eduardo. Evaluación heurística por expertos [documento en línea]. 2003a. <http:// www.webestilo.com/guia/articulo.phtml?art = 40>. [Consulta: 25-02-2007].        [ Links ]

—. Tipos de evaluación [documento en línea]. 2003b. <http://www.webestilo.com/guia/articulo. phtml?art = 39>. [Consulta: 25-02-2007].        [ Links ]

MARTÍN, César. Manual de usabilidad. Area directivos. Alicante: Grupo DIGISOFT, s. f. 113 p.         [ Links ]

MÁRQUEZ, Joaquín. Guía para evaluación experta [documento en línea]. 2005. <http://www.jmarquez.com/documentos/jm_checklist.pdf> [Consulta: 30-04-2008]. NIELSEN, Jakob. How to Conduct a Heuristics Evaluation [documento en Línea]. 1994. <http://www.useit.com/papers/heuristic/heuristic_evaluation.html> [Consulta: 28-02-2007].         [ Links ]         [ Links ]

—. Designing Web Usability. The Practice of Simplicity. Indianapolis: Peachpit Press, 1999a. 432 p. ISBN: 156205810X.         [ Links ]

NIELSEN, Jakob. How to Conduct a Heuristics Evaluation [documento en línea]. 1999b. <http://www.useit.com/papers/heuristic/heuristic_evaluation.html> [Consulta: 28-02-2007].         [ Links ]

— y LORANGER, Hoa. Prioritizing Web Usability. Berkeley: New Riders Press, 2006, 432 p. ISBN 0321350316.        [ Links ]

NIETO, Ricardo y DUARTE, Patricia (eds.). Internet, un canal indispensable. La Semana Económica [documento en línea]. 2006, núm. 540, <http://www.asobancaria.com/uplo-ad/docs/docPub2941_3.pdf>. [Consulta: 28-2-2007]. ISBN 0122-6657.        [ Links ]

SEGOVIA, Claudio. Accesibilidad e internets, para que todas las personas, con distintas capacidades o recursos, puedan lacceder a internet [libro en línea]. 2007 [Argentina]: Creative Commons. <http://www.inclusiondigital.net/albergue/accesibilidad.pdf>. 220 p. [No disponible actualmente].        [ Links ]

SUPERINTENDENCIA FINANCIERA DE COLOMBIA. Distribución de las captaciones por rango e instrumentos financieros. Consolidado a diciembre de 2005 [documento en línea]. <http:// www.superfinanciera.gov.co/Cifras/informacion/mensual/captaciones/cxr122005 .xls >. [Consulta 28-02-2007. No disponible actualmente].        [ Links ]