Artículo de investigación/Research article

Propuesta para la evaluación de Entornos Virtuales de Enseñanza Aprendizaje con base en estándares de Usabilidad

Evaluation of Virtual TeachingLearning Environments based on usability standards

José I. CocunuboSuárez¹, Jorge A. ParraValencia², y Jorge E. OtáloraLuna³

¹ Especialista en Diseño de Ambientes de Aprendizaje, Corporación Universitaria Minuto de Dios UNIMINUTO, Bogotá Colombia, indaleciococunubo@gmail.com

² PhD en Ingeniería Área Sistemas, Ingeniería de Sistemas, Universidad Autónoma de Bucaramanga, Bucaramanga Colombia, andrick.parra@gmail.com

³ PhD en Ingeniería del Software, Facultad e Ingeniería, Universidad Pedagógica y Tecnológica de Colombia, TunjaColombia, jorge.otalora@uptc.edu.co

Fecha de recepción: 13 de marzo de 2017/ Fecha de aceptación: 06 de octubre de 2017

Como citar / How to cite

J. I. CocunuboSuárez, J. A. ParraValencia, y J. E. OtáloraLuna, Propuesta para la evaluación de Entornos Virtuales de Enseñanza Aprendizaje con base en estándares de Usabilidad, TecnoLógicas, vol. 21, no. 41, pp. 135147, 2018.

Resumen

Este artículo de revisión tiene como objetivo principal determinar las subcaracterísticas o aspectos necesarios para la evaluación de Entornos Virtuales de Enseñanza Aprendizaje, en adelante EVEA, como producto final o terminado; con base en los estándares ISO 9126, 14598 y 25000SQuaRE. Se realizó una búsqueda sistemática de información, obteniendo 108 documentos con temáticas como: usabilidad Web, ambientes virtuales de aprendizaje, usabilidad, software educativo, evaluación de Web educativa, evaluación de usabilidad y evaluación de usabilidad Web. De los 108 documentos, se seleccionaron 70 mediante el análisis de inclusión y exclusión; documentos, de los cuales se identificaron las ocho subcaracterísticas de mayor frecuencia estadística y se integraron como propuesta al estándar 25000SQuaRE.

Palabras clave: Entorno Virtual de Enseñanza Aprendizaje (EVEA), Ambiente Virtual de Aprendizaje (AVA), Usabilidad, Evaluación de Usabilidad, Elearning, Software Educativo Web.

Abstract

The main objective of this review article is to determine the necessary subcharacteristics or aspects for the evaluation of Virtual TeachingLearning Environments (VTLEs) as final or finished products based on ISO 9126, 14598 and 25000SQuaRE standards. A systematic information search was carried out. A total of 108 documents were retrieved about subjects such as web usability, virtual learning environments, usability, educational software, educational web evaluation, usability evaluation and web usability evaluation. Out of the 108 documents, 70 were selected by inclusion and exclusion analysis. The eight subfeatures of greater statistical frequency were identified among the subset of documents and then integrated as a proposal for standard 25000SQuaRE.

Keywords: Virtual TeachingLearning Environment (VTLE), Virtual Learning Environment (VLE), Usability, Usability Evaluation, Elearning, Webbased Educational Software.

1. Introducción

De acuerdo con [1], “la Ingeniería de Software (IS) es una disciplina o área de la informática o ciencias de la computación, que define métodos y técnicas para desarrollar y mantener software de calidad, enfocado a resolver problemas de todo tipo”. Por su parte, Alfonzo [2] indica que “La Ingeniería Web (IW) es una rama de la IS que define un conjunto de métodos, técnicas y herramientas que deben ser utilizadas para ayudar al desarrollo correcto de aplicaciones Web”. Los EVEA son una clase de software web educativo que ofrecen formación virtual o elearning basada en el uso de las Tecnologías de Información y Comunicaciones (TIC) [3]. Los requerimientos de un sistema de software se clasifican en funcionales y no funcionales y dentro de los no funcionales se encuentra la usabilidad [1]. Una de las problemáticas de la usabilidad es el bajo nivel, responsable de la pérdida de tiempo, desmotivación, frustración del usuario en su proceso de navegación por la red [4]. Otra de las dificultades según  [5] es la relacionada con los “evaluación de usabilidad  ya que no se sabe a veces qué se está evaluando realmente debido a la heterogeneidad y falta de consenso en la definición”.  En la evaluación de un EVEA usable según el estándar ISO 9126 y 25000, se debe identificar las características, subcaracterísticas y atributos para determinar si el EVEA cumple con los objetivos propuestos. El objetivo de esta revisión sistemática es seleccionar la documentación que permita determinar las subcaracterísticas que servirán como base para evaluar la usabilidad de un EVEA.

1.1 Revisión sistemática

Una revisión sistemática o metaanálisis es un tipo de investigación científica mediante la cual se revisa la literatura científica sobre un tópico, partiendo de una pregunta formulada de forma clara y objetiva, utilizando métodos sistemáticos y explícitos para localizar, seleccionar y valorar críticamente las investigaciones relevantes a dicha pregunta y aplicando protocolos sistemáticos para la recogida de datos e información de dichas investigaciones, con el objetivo de alcanzar conclusiones válidas y objetivas sobre qué es lo que dicen las evidencias sobre dicho tópico [6].

1.2 Usabilidad

La Organización Internacional para la Estandarización (ISO) propone una serie de definiciones de usabilidad en sus estándares, que han ido evolucionando a lo largo del tiempo. Se dividen en dos tipos: los orientados al producto, como son ISO 91261, ISO 14598 e ISO 25000; y las orientadas al proceso: ISO 924111 e ISO 13407. El estándar define a la usabilidad, como la capacidad que tiene un producto software para ser entendido, aprendido, operable, atractivo para el usuario y conforme a estándares/guías, cuando es utilizado bajo unas condiciones específicas.  Considera que la usabilidad es un atributo que forma parte de la calidad del software. El término es utilizado para referirse a la capacidad de un producto para ser usado fácilmente. Como se ilustra en la Fig. 1  [7] , la usabilidad es analizada en términos de cinco subcaracterísticas: comprensibilidad, aprendizaje, operabilidad, atractividad y conformidad.  [7] .

1.3 Usabilidad Web

De acuerdo con [8], la usabilidad Web, “es la capacidad de un producto o servicio (como un sitio Web o producto hipermedial interactivo) de ser comprendido aprendido y usado por el usuario final, de forma natural, intuitiva, sin esforzar mucho el pensamiento”.

1.4 Estándar ISO 25000

Según [5], “el estándar ISO 25000 se denomina Software Quality Requirement Evaluation (SQUARE). Básicamente se trata de una unificación y revisión de los estándares ISO/IEC 9126 e ISO/IEC 14598”. Está dividida en cinco partes: ISO/IEC 2500n, ISO/IEC 2501n, ISO/IEC 2502n, ISO/IEC 2503n, e ISO/IEC 2504n] [7].

El estándar ISO/IEC 25000, proporciona una guía para el uso de las nuevas series de estándares internacionales, llamados Requisitos y Evaluación de Calidad de Productos de Software (SQuaRE); las cuales, constituyen una serie de normas basadas en la ISO 9126 y en la ISO 14598, y su objetivo principal es guiar el desarrollo de los productos de software con la especificación y evaluación de requisitos de calidad, permitiendo definir el modelo de calidad y el proceso a seguir para evaluar dicho producto [2], estableciendo criterios para su especificación, su medición y su evaluación [5].

Se puede evaluar la usabilidad de los EVEA en dos contextos diferentes: la usabilidad durante el proceso de desarrollo y la usabilidad evaluada por los usuarios finales, es decir cuando el EVEA se encuentra como producto terminado. Este artículo se enfocará en determinar las características o aspectos necesarios para la evaluación del EVEA como producto final o terminado; con base en estándares (ISO 9126, 14598 y 25000SQuaRE) [5], para lo cual se definen algunas características que debe tener un EVEA según estándares orientados al producto.

La ISO 25000SQuaRE propone que la usabilidad de un producto software puede ser descompuesta en las siguientes características: facilidad de entendimiento (appropriateness recognisability), facilidad de aprendizaje (learnability), facilidad de uso (ease of use), facilidad de ayuda (helpfulness), accesibilidad técnica (technical accesibility), grado de atracción (attractiveness), y adherencia a normas o convenciones (compliance) [5], como se ilustra en la Tabla 1.

1.5 Entorno Virtual de Enseñanza Aprendizaje (EVEA)

Según [9], “un EVEA hace referencia a un ámbito, de carácter virtual, que rodea tanto al proceso de enseñanza/aprendizaje. Los términos entornos virtuales; entornos virtuales de enseñanza; entornos virtuales de aprendizaje; plataforma; webtool”; [5] “plataforma educativa; campus; campus virtual; aula virtual; lo integran a dos aspectos: el tecnológico y el educativo”; creados con la finalidad específica de facilitar la docencia y promover aprendizajes [10]. Para [11], “en general los ambientes que integran herramientas TIC se denominan Entornos Virtuales de EnseñanzaAprendizaje (EVEA), Ambientes Virtuais de Aprendizagem (AVA, por sus siglas en portugués) o Virtual Learning Environment (VLE, por sus siglas en inglés)”.

2. Metodología

Como propuesta de los autores de la investigación y con base en lo expuesto por [6] [6], [1216] [12] [13] [14] [15] [16], se definen 4 pasos del para la revisión sistemática:

Paso 2: Especificación de los criterios de inclusión y exclusión de los estudios
En la búsqueda de información se incluyeron estudios sobre temáticas relacionadas con: usabilidad, Entornos Virtuales de Aprendizaje (EVEA), Ambientes Virtuales de Aprendizaje (AVA), software educativo vía Web, Elearning, curso virtual y metodologías, métodos y técnicas que se utilizaron para definir sus características.

Paso 3: Formulación del plan de búsqueda de los estudios
Se definió un intervalo de tiempo entre los años 1979 y 2017; por otro lado, se construyó una frase de búsqueda [13], identificando las siguientes palabras claves: “usabilidad”, “usabilidad web”, “Evaluación Entorno Virtual de Aprendizaje”, “EVEA”, “Ambiente Virtual de Aprendizaje”, “características usabilidad”, “Web Usability”, “Usability”, “Features Usability”, ELearning”.

La frase de búsqueda se introdujo en el buscador Google académico, arrojando como resultado miles de documentos en español e inglés (artículos, libros, conferencias, tesis), alojados en las siguientes bases de datos: Springer Link, Elsevier, Redalyc, ResearchGate, Scielo, Scopus, Web of Science e IEEE/IEE Electronic Library, entre otras. Se seleccionaron para descargar 108 documentos con base en temáticas relacionadas con: usabilidad, EVEA, software educativo y evaluación de dichas temáticas.

Paso 4: Registro de los datos y evaluación de la calidad de los estudios seleccionados
En este punto se definió la validez de los 108 estudios seleccionados, teniendo en cuenta el prestigio del autor y del medio de divulgación que tiene relación con los siguientes aspectos.

1. Artículos publicados en revistas impresas con código ISSN (Internacional Estándar Serial Number) y electrónicas DOI (Digital Object Identifier). El número de veces que cada artículo ha sido citado.

2. Revistas con visibilidad y accesibilidad. Son indexadas y están inscritas en una base de datos.

3. Las bases de datos que alojan las revistas seleccionadas son influyentes [15] (Scielo, Redalyc, Researchgate, Dialnet.unirioja.es, SpringerLink, entre otras).

Paso 5: Organización de la Información
De los 108 documentos se seleccionaron, analizaron y validaron 70 fuentes [17], relacionadas con características o aspectos que se deben tener en cuenta para evaluar que un Entorno Virtual de Aprendizaje o software Educativo vía Web sea usable.

3. Resultados y Discusión

Al realizar el análisis de la documentación se identificaron subcaracterísticas que los autores seleccionados en la revisión sistemática recomiendan para evaluar un Entorno Virtual de Aprendizaje o Software Educativo vía Web. Cada artículo, tesis, conferencia, congreso tiene un número de citaciones con su respectivo autor, que avalan su prestigio y calidad.  La Tabla 2 muestra los 15 documentos más representativos que ayudaron a determinar las características y subcaracterísticas que un EVEA debe tener para ser evaluado.

De las 70 fuentes se hizo un análisis para determinar los aspectos que cada autor propone para que un EVEA sea de calidad y usable. Se concluye según orden de prioridad (Ver Tabla 3) las siguientes subcaracterísticas: pedagogía, soporte ayuda documentación, contenido, interfaz de usuario, manejo de errores, herramientas y estándares; son las 8 subcaracterísticas cruciales que determinan el éxito del EVEA.  En adelante para mayor claridad se llamarán características a los aspectos según norma ISO 9126 e ISO 25000 y subcaracterísticas a los aspectos que concluyó el análisis de la revisión sistemática de este artículo.

De las 8 subcaracterísticas, 4 de ellas: pedagogía, contenido, interfaz de usuario y herramientas no se encuentran claramente definidas en los Modelo ISO 9126 y 25000, pero, como resultado del análisis de la revisión sistemática se integran a las características definidas por el estándar ISO 25000.

La revisión sistemática permitió identificar los autores expertos en usabilidad, evaluación de usabilidad y Entornos Virtuales de Aprendizaje y acceder a las fuentes primarias, que determinaron las 8 subcaracterísticas de la propuesta.

Un Entorno Virtual de Aprendizaje es un escenario para impartir enseñanza [31]. Los aspectos relacionados con usabilidad y pedagogía son fundamentales para que el ambiente virtual sea exitoso y cumpla con los objetivos propuestos en el proceso enseñanzaaprendizaje.

Se presenta cierta dificultad en Evaluación Usabilidad EVEA, porque en las fuentes consultadas no hay consenso respecto a qué es una característica, aspecto, atributo, heurística, criterio.  La revisión define la característica o aspecto como una entidad principal compuesta por subcaracterísticas y atributos que permitirán su medición.

Los estándares ISO 9126 y ISO 25000 no definen claramente o no se tienen en cuenta las subcaracterísticas: pedagogía, contenido, interfaz de usuario y herramientas relacionadas con el proceso de enseñanza aprendizaje; aspectos que se deben evaluar para que un EVEA o software educativo Web sea usable.

En la revisión se determinaron las características y subcaracterísticas que se deben tener en cuenta en la evaluación de la usabilidad de un EVEA.

Esta revisión sirve como base para determinar los atributos de cada característica o subcaracterística; dichos atributos permitirán medir la usabilidad de un EVEA.

Para presentar con precisión los aportes de esta revisión a la literatura, se presenta a continuación una comparación (ver Tabla 4) relacionada con semejanzas y diferencias entre la documentación encontrada y la propuesta de los autores, con relación a la evaluación de la usabilidad de sitios Web educativos.

Los autores y la investigación coinciden en que la usabilidad es una dimensión importante que debe evaluarse para determinar si un sitio Web cumple con los objetivos propuestos.

La propuesta cambia el nombre de la primera característica: facilidad de aprendizaje por facilidad de pedagógica y las otras subcaracterísticas se integraron al estándar ISO 25000, Ver Tabla 5.

Facilidad pedagógica: en [19], “esta categoría hace referencia a las funcionalidades que el entorno provee a docentes y alumnos para el desarrollo del proceso de enseñanza y aprendizaje”.

Soporte, ayuda y documentación: en [55], “la información de este tipo debe ser fácil de buscar, centrada en la tarea del usuario, la lista de pasos concretos que se llevará a cabo, y no ser demasiado grande”.

Contenido: en [21], “los contenidos o courseware es el material de aprendizaje que se pone a disposición del estudiante”.

Interfaz de usuario: en [66], [63], de un sistema consiste en aquellos aspectos del sistema con los que el usuario entra en contacto, física, perceptiva o conceptualmente.

Manejo de errores: cancelación, revocación de acciones, prevención de errores, detección de errores, reconocimiento del error, mensajes visibles y claros de error, mecanismos de recuperación y solución ante el error [49].

Herramientas: se utilizan para la gestión de contenidos académicos, permitiendo mejorar la competencia de los usuarios y la intercomunicación [34].

Flexibilidad: en [29] [66], “hace referencia a la multiplicidad de maneras en el que el usuario y el sistema intercambian información”. Implica brindar control al usuario, capacidad de sustitución y capacidad de adaptación [18].

Estándares: en [5]. “hace referencia a cómo la aplicación Web es conforme respecto a normas, estándares, convenciones o guías de diseño en el dominio Web”.

La Tabla 5 resume la propuesta. Se basa en las 7 Características del estándar ISO 25000. Las 8 subcaracterísticas producto de la revisión sistemática se integran la estándar ISO 25000.

4. Conclusiones

En este artículo se presenta una revisión sistemática de 70 publicaciones sobre la problemática de cómo evaluar un EVEA con base en las características del estándar ISO 25000, desde 1970 hasta 2017.

A partir de dicha revisión, se concluye que hay diversidad de conceptos relacionados con el aprendizaje virtual para [43] [46] [51] [53] es EVEA; para [23] [40] lo definen como: Ambientes Virtuales de Aprendizaje (AVA); para [9] [3] [21] es E_learning  y para [25] [24] Software Web Educativo. En esencia dichos ambientes de aprendizaje buscan el mismo objetivo, enseñar a través de las Tecnologías de Información y Comunicación.

También se concluye por los resultados que arrojó la revisión sistemática que para evaluar un EVEA es fundamental tener en cuenta 4 aspectos pedagógicos (contenido, modelo, evaluación, interfaz de usuario, herramientas); sin relación con ninguna característica del estándar ISO 25000. Por consiguiente, se propone incluir en el estándar ISO 25000, reemplazando la característica facilidad de aprendizaje por facilidad pedagógica.  También se propone integrar 4 aspectos (soporteayudadocumentación, manejo de errores, flexibilidad y estándares), a diferentes Características del estándar 25000.

El análisis de la documentación realizada durante los últimos años muestra un interés en implementar ambientes de aprendizaje denominados EVEA, que se definen como espacios abiertos, flexibles, interactivos y dinámicos; pero ante la heterogeneidad de dichos ambientes se hace necesario evaluarlos y determinar si los objetivos pedagógicos se cumplen. La propuesta define un modelo que servirá para determinar la usabilidad del EVEA.

El artículo no determina qué atributos se deben evaluar, temática para otra investigación.

Se espera que este trabajo sirva como base para determinar los atributos de cada una de las características y subcaracterísticas de un EVEA usable.  Se invita a la comunidad académica a seguir discutiendo estos resultados.

Referencias

[1] R. S. Pressman, Ingeniería del Software un enfoque práctico, Séptima. 2010.         [ Links ]

[2] L. Alfonzo, “Revisión de modelos para evaluar la calidad de productos Web,” Universidad Nacional de la Plata, 2012.         [ Links ]

[3] J. R. H. González and R. H. Marín, “Estándares de elearning: guía de consulta,” p. 234, 2010.         [ Links ]

[4] M. del C. S. Torrente, “SIRIUS: Sistema de Evaluación de la Usabilidad Web Orientado al Usuario y basado en la Determinación de Tareas Críticas,” Universidad de Oviedo, 2011.         [ Links ]

[5] A. F. Martínez, “WUEP: Un Proceso de Evaluación de Usabilidad Web Integrado en el Desarrollo de Software Dirigido por Modelos,” Universidad de Valencia, 2009.         [ Links ]

[6] J. Sánchez Meca, “Cómo realizar una revisión sistemática y un metaanálisis,” Aula Abierta, vol. 38, no. 2, pp. 5364, 2010.         [ Links ]

[7] A. Ferreira Szpiniak, “Diseño de un modelo de evaluación de entornos virtuales de enseñanza y aprendizaje basado en la usabilidad,” Universidad Nacional de La Plata, 2013.         [ Links ]

[8] M. L. Gómez, A. L. Hoyos, and L. X. Tabares, “Usabilidad de proyectos Web 2.0,” Comunicación Organizacional, RP y Medios Sociales, 2008. [Online]. Available: https://comorg.wordpress.com/documentos/medios/socialmediainternet/usabilidaddeproyectosweb20/.         [ Links ]

[9] I. A. Juárez, J. A. D. la Vega, O. L. Espinosa, and A. Z. Hidalgo, “Análisis de criterios de evaluación para la calidad de los materiales didácticos digitales,” Rev. Iberoam. Ciencia, Tecnol. y Soc., vol. 9, no. 25, pp. 7389, 2014.         [ Links ]

[10] M. A. Rainolter, “Aportes de la tecnología informática para la evaluación de los aprendizajes en el ámbito de la enseñanza universitaria en entornos virtuales,” Universidad Nacional de Mar del Plata, 2015.         [ Links ]

[11] M. D. L. A. Vanderland, S. I. Mariño, and M. V. Godoy, “Desarrollo de un EVEA Utilizando Herramientas de Software Libre. El Caso de la Asignatura Inteligencia Artificial.,” IEEERita, vol. 6, no. 4, pp. 147154, 2011.         [ Links ]

[12] Ó. A. Beltrán, “Revisiones sistemáticas de la literatura,” Rev. Colomb. Gastroenterol., vol. 20, no. 1, pp. 6069, 2005.         [ Links ]

[13] P. J. BenitoPeinado, V. DíazMolina, F. J. CalderónMontero, and A. B. PeinadoLozano, “La revisión bibliográfica sistemática en fisiología del ejercicio: recomendaciones prácticas. (Literature review in exercise physiology: practical recommendationspractical recommendations).,” RICYDE. Rev. Int. ciencias del Deport., vol. 3, no. 6, pp. 111, Jan. 2007.         [ Links ]

[14] M. C. Estupiñán and G. O. Arias, Redacción y Publicación de Artículos científicos: Enfoque discursivo, Bogotá: Ecoe Ediciones, 2012.         [ Links ]

[15] L. A. Montenegro, “¿Cómo elaborar un artículo de revisión?,” Universidad Mariana, 2013. Recuperado de: http://www.umariana.edu.co/EditorialUnimar/artrevision.pdf        [ Links ]

[16] L. Perurena Cancio and M. Moráguez Bergues, “Usabilidad de los sitios Web , los métodos y las técnicas para la evaluación,” Rev. Cuba. Inf. en Ciencias la Salud, vol. 24, no. 2, pp. 176194, 2013.         [ Links ]

[17] C. Rusu, S. Roncagliolo, V. Rusu, and C. Collazos, “A Methodology to Establish Usability Heuristics,” in 4th International Conference on Advances in ComputerHuman Interactions, 2011, pp. 5962.         [ Links ]

[18] A. F. Szpiniak and C. V. Sanz, “Un modelo de evaluación de entornos virtuales de enseñanza y aprendizaje basado en la usabilidad,” in IV Congreso de Tecnología en Educación y Educación en Tecnología, 2009, pp. 382392.         [ Links ]

[19] J. M. Boneu, “Plataformas abiertas de elearning para el soporte de contenidos educativos abiertos.,” Rev. Univ. y Soc. del Conoc., vol. 4, no. 1, pp. 3647, 2007.         [ Links ]

[20] P. Nokelainen, “An empirical assessment of pedagogical usability criteria for digital learning material with elementary school students,” Educational Technology & Society, vol. 9, no. 2, pp. 178197, 2006.         [ Links ]

[21] M. Á. Herrera Batista, “Consideraciones para el diseño didáctico de ambientes virtuales de aprendizaje: una propuesta basada en las funciones cognitivas del aprendizaje,” Rev. Iberoam. Educ., vol. 5, no. 38, pp. 119, 2006.         [ Links ]

[22] M. E. A. Obeso, A. B. M. Prieto, C. S. Torrente, H. S. Chigne, and M. C. Lovelle, “Definiendo una estructura de evaluación para medir la usabilidad de sitios Web educativos,” Conferecia IADIS IberoAmericanancia, pp. 137144, 2007.         [ Links ]

[23] J. Onrubia, “Aprender y enseñar en entornos virtuales: actividad conjunta, ayuda pedagógica y construcción del conocimiento,” Rev. Educ. a Distancia, no. 50, pp. 116, Jul. 2016.         [ Links ]

[24] T. G. i Saltiveri, “MPIu+a. Una metodología que integra la ingeniería del software, la interacción personaordenador y la accesibilidad en el contexto de equipos de desarrollo multidisciplinares,” Universitat de Lleida, 2004.         [ Links ]

[25] J. Salinas, “Nuevas modalidades de formación: entre los entornos virtuales institucionales y los personales de aprendizaje,” en Estrategias de innovación en la formación para el trabajo, J. Tejada, (coord.), Madrid: Tornapunta Edicione, 2009, pp. 209224.         [ Links ]

[26] J. Nielsen, “10 Usability Heuristics for User Interface Design,” in CHI '94 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 152158.         [ Links ]

[27] Y. Hassan Montero, “Web design impact in the satisfaction and nonfrustration of users,” Rev. española Doc. Científica, vol. 29, no. 2, pp. 239257, Jun. 2006.         [ Links ]

[28] A. F. Szpiniak and C. V Sanz, “MUsa un modelo de evaluación de Entornos virtuales de enseñanza y aprendizaje . Aplicación a un caso de estudio,” Rev. Iberoam. Educ. En Tecnol. y Tecnol. En Educ., no. 8, pp. 94103, 2012.         [ Links ]

[29] Z. Y. Cama, “Medición y Evaluación Cuantitativa de la Calidad de Entornos Virtuales de Enseñanza Aprendizaje ( EVEA ) en el Posgrado Basado en la Norma Open ECBCheck,” Rev. PGI, no. 1, pp. 109120, 2014.         [ Links ]

[30] C. Calero, J. Ruiz, and M. Piattini, “Classifying web metrics using the web quality model,” Online Inf. Rev., vol. 29, no. 3, pp. 227248, Jun. 2005.         [ Links ]

[31] M. E. Del Moral Pérez and L. Villalustre Martínez, “Indicadores de calidad en la docencia virtual: adaptación de los entornos a la diversidad cognitiva de los estudiantes,” Aula abierta, no. 84, pp. 155172, 2004.         [ Links ]

[32] L. S. V. Pérez, A. F. G. Tornés, and E. M. Riverón, “MECHDAV: un Modelo y su Herramienta para la Evaluación Técnica de la calidad de las Herramientas RAD para Ambientes Visuales,” RPMAemes, vol. 3, no. 2, pp. 3744, 2006.         [ Links ]

[33] M. Pinto, C. GomezCamarero, and A. FernándezRamos, “Los recursos educativos electrónicos: perspectivas y herramientas de evaluación,” Perspect. em Ciencia da Informacao, vol. 17, no. 3, pp. 8299, Sep. 2012.         [ Links ]

[34] J. Adell, J. Castellett, and J. Gumbau, “Selección de un entorno virtual de enseñanza/aprendizaje de código fuente abierto para la Universitat Jaume I,” Universitat Jaume I,  pp. 129, 2004.         [ Links ]

[35] B. De Benito and J. Salinas, “Situaciones didácticas en los entornos virtuales de enseñanzaaprendizaje (EVEA) en la enseñanza superior: elaboración de un instrumento de análisis,” in Congreso Internacional EDUTEC., 2015, p. 12.         [ Links ]

[36] C. E. Clunie B., “Un modelo para la evaluación de la calidad de la formación en entornos virtuales de enseñanza aprendizaje,” SENACYT, p. 13, 2007.         [ Links ]

[37] A. Ferreira Szpiniak and C. V. Sanz, “Hacia un modelo de evaluación de entornos virtuales de enseñanza y aprendizaje. La importancia de la usabilidad.,” Rev. Iberoam. Tecnol. en Educ. y Educ. en Tecnol., no. 4, pp. 1021, 2009.         [ Links ]

[38] J. S. Moncada Cerón, “Las estructuras cognitivas en la construcción de un modelo didáctico para Ambientes Virtuales de Aprendizaje (AVA),” Itiner. Educ., vol. 27, no. 61, p. 63, Jun. 2013.         [ Links ]

[39] G. J. Covella and L. A. Olsina, “Specifying quality characteristics and attributes for ELearning sites,” in IV Workshop de Investigadores en Ciencias de la Computación, pp. 160164, 2002.         [ Links ]

[40] A. Kukulska Hulme and L. Shield, “Usability and Pedagogical Design : are Language Learning Websites Special ?,” AACE Digit. Libr. EDMEDIA 2004, pp. 42354242, 2004.         [ Links ]

[41] K. M. F. Ferrer and M. de la S. Bravo, “Metodología PACIE en los ambientes virtuales de aprendizaje para el logro de un aprendizaje colaborativo,” Diálogos Educ., vol. 12, pp. 317, 2012.         [ Links ]

[42] A. D. G. Ricardo, Y. A. González, and Y. M. Norchales, “Propuesa de un Manual de usabilidad y accesibilidad para el desarrollo de personalizaciones de la plataforma de teleformación Moodle.,” Edutece, no. 34, pp. 114, 2010.         [ Links ]

[43] A. C. AlarcónAldana, E. L. Díaz, and M. CallejasCuervo, “Guía para la evaluación de la Usabilidad en los Entornos Virtuales de Aprendizaje (EVA),” Inf. tecnológica, vol. 25, no. 3, pp. 135144, 2014.         [ Links ]

[44] S. Díaz V., “Método Divás de evaluación de curso en línea,” Visión Gerenc., no. 2, pp. 140155, 2006.         [ Links ]

[45] M. J. Rubio, “Enfoques y modelos de evaluación del elearning,” Rev. ELectrónica Investig. y EValuación Educ., vol. 9, no. 2, pp. 101120, 2003.         [ Links ]

[46] T. M. C. López, “Propuesta metodológica para la realización de pruebas de usabilidad aplicado al entorno virtual de aprendizaje de la ESPOCH,” Escuela Superior Politécnica de Chimborazo, 2014.         [ Links ]

[47] W. Sanchez, “La usabilidad en Ingeniería de Software : definición y características,” Rev. Ing. e Innovación la Fac. Ing., no. 2, pp. 721, 2011.         [ Links ]

[48] E. M. Morales, D. A. Gómez, and F. J. García, “HEODAR: Herramienta para la evaluación de objetos didácticos de aprendizaje reutilizables,” Actas del X Simp. Int. Informática Educ. SIIE’08, Salamanca, pp. 181186, 2008.         [ Links ]

[49] M. O. Basurto Guerrero and M. E. Zambrano Rivera, “Aplicación conjunta de las metodologías OOHDM y PACIE para el diseño y desarrollo de cursos en línea utilizando herramientas web 2.0 y second life con un lms. caso de estudio: curso en línea para la materia de programación ii del departamento de ciencias,” Universidad Israel, 2014.         [ Links ]

[50] I. Claros and C. Collazos, “Propuesta Metodológica para la Evaluación de la Usabilidad en Sitios Web: Experiencia Colombiana,” VII Congr. Int. Interacción Pers., p. 10, 2006.         [ Links ]

[51] B. L. C. Aguilar and R. E. Navarro, “La usabilidad de TIC en la práctica educativa,” Rev. Educ. a Distancia, no. 30, pp. 111, 2012.         [ Links ]

[52] P. Angeleri, M. Santi, R. Titiosky, and A. Dávila, “Evaluación de Productos de Software,” pp. 113, 2015. Recuperado de: http://docplayer.es/14629340Evaluaciondeproductosdesoftware.html        [ Links ]

[53] J. A. Pastor Sánchez, “Bases para un Diseño Web Integral a través de la convergencia de la Accesibilidad, Usabilidad y Arquitectura de la Información,” Scire. Represent. y Organ. del Conoc., vol. 16, no. 1, pp. 6580, 2010.         [ Links ]

[54] K. K. Singh, “A Quantitative Method for Evaluation of Websites Quality using WebQEM Tool,” J. Glob. Res. Comput. Sci. Technol., pp. 111, 2016. Recuperado de: https://pdfs.semanticscholar.org/0582/9908edcfede63d78e6654b3e209eb86ab36e.pdf?_ga=2.149794166.118897268.15174263461418826786.1517426346        [ Links ]

[55] M. A. G. Castañon, “Evaluación de software educativo: Orientaciones para su uso pedágogico,” en Conexiones, Informática Y Escuela: Un Enfoque Global, Universidad Pontificia Bolivariana, 2000.         [ Links ]

[56] A. Fernandez, E. Insfran, and S. Abrahão, “Integrating a Usability Model into ModelDriven Web Development Processes,” in Web Information Systems Engineering WISE 2009, 2009, pp. 497510.         [ Links ]

[57] M. Blázquez Ochando and E. Serrano Mascaraque, “Análisis de la web y usabilidad: prueba de funcionamiento de Mbot webcrawler,” X Congr. ISKO CAPÍTULO ESPAÑOL, 2011.         [ Links ]

[58] S. Abrahao and E. Insfran, “Early Usability Evaluation in Model Driven Architecture Environments,” in 2006 Sixth International Conference on Quality Software (QSIC’06), 2006, pp. 287294.         [ Links ]

[59] Á. DeJuanas, R. Pardo, A. Diestro, A. Ferro, and J. Sampedro, “Construcción de un instrumento de verificación de la calidad de portales y redes de investigación de carácter científico en Internet,” Rev. española Doc. Científica, vol. 35, no. 4, pp. 555572, Dec. 2012.         [ Links ]

[60] A. Caro, C. Calero, and M. Piattini, “A Portal Data Quality Model for Users and Developers,” in ICIQ2007, The 12th International Conference on Information Quality, 2007, pp. 462476.         [ Links ]

[61] F. R. L. Sabater, “Diseño e Implementaciónde un entorno virtual para las titulaciones deportivas del periodo transitorio en la C.A. de las islas Baleares,” in XV Congreso Internacional de EDUTEC 2012, 2012, pp. 585594.         [ Links ]

[62] M. del C. Peñalva, “Un modelo de evaluación de la calidad de aplicaciones web en egovernment,” Universidad Nacional de la Plata, 2014.         [ Links ]

[63] M. Á. Marzal, J. Calzadaprado, and M. Vianello, “Criterios para la evaluación de la usabilidad de los recursos educativos virtuales : un análisis desde la alfabetización en información,” Inf. Res., vol. 13, 2008.         [ Links ]

[64] J. Girao, A. Olmedo, and E. Ferrer, “El artículo de revisión,” Rev. Iberoam. Enferm. Comunitaria, vol. 6, no. 1, pp. 125, 2008.         [ Links ]

[65] T. Granollers, J. Lorés, and F. Perdrix, “Modelo de proceso de la Ingeniería de la Usabilidad. Integración de la ingeniería del Software y la de la Usabilidad.,” Proc. Work. Investig. sobre nuevos Paradig. interacción en entornos Colab. Apl. a la gestión y difusión del Patrim. Cult. COLINE, vol. 2, pp. 1112, 2002.         [ Links ]

[66] Z. Cataldi, “Una metodología para el diseño, desarrollo y evaluación de software educativo,” Universidad Nacional de la Plata, 2000.         [ Links ]

[67] L. A. Olsina Santos, “Metodología Cuantitativa para la Evaluación y Comparación de la Calidad de Sitios Web Agradecimientos,” Universidad Nacional de La Plata, 1999.         [ Links ]