Optimización de sistemas de gestión académica. Una propuesta de gestión, medición y procesamiento de datos en un entorno virtual de aprendizaje para la toma de decisiones en instituciones educativas

Optimization of Systems far Academic Management. A Design for Data Management, Measurement and Processing in Virtual Learning Environments to Make Decisions in Educational Institutions

Optimisation des systèmes de gestion académique: proposition de gestion, mesure et traitement des données pour la prise de décisions des institutions éducatives tournées vers l'apprentissage virtuel

Otimização de sistemas de gestão acadêmica. Uma proposta de gestão, medição e processamento de dados num ambiente virtual de aprendizagem para a tomada de decisões em Instituições Educativas

Giovanni Ortegón Cortázar^*

^* PhD. Tecnologías de la información, comunicaciones y matemática computacional; Maestría en Sistemas y servicios en la sociedad de la información; Ingeniero en Automatización electrónica.

FECHA DE RECEPCIÓN: 23 de junio FECHA DE APROBACIÓN: 17 de julio

RESUMEN

El presente artículo propone una serie de indicadores académicos para entornos virtuales de aprendizaje y la creación de un sistema de información que integra dichos indicadores. La consolidación y procesamiento de la información en cuanto a modelos de gestión, sistemas de evaluación, procesos y procedimientos permitió obtener resultados estadísticos para la toma de decisiones.

Palabras clave: Educación virtual, indicadores académicos, medición, procesamiento de información, monitoreo de estudiantes, inteligencia de negocios.

ABSTRACT

This paper aims at proposing a set of academic indicators for virtual learning environments and the creation of an information system to integrate them. The consolidation and processing of information concerning management models, evaluation systems, processes and procedures allowed to get statistics results for decision- making.

Those outcomes allow to quantify cognitive, attitudinal and integral dimensions of students to set the bases for measurement and control criteria as group and individual standards, study time, tasks management, analysis of notes, systematic feedback, alarms for student low performance, among others.

Key words: Virtual education, academic indicators, measurement, information processing, student monitoring, business intelligence.

RESUMÉÉ

Cet article propose une série d'indicateurs académiques pour les environnements d'apprentissage virtuels ainsi que la création d'un système d'information les regroupant. La consolidation et le traitement des informations correspondant aux modèles de gestion, aux systèmes d'évaluation, aux processus et procédures ont donné lieu à l'obtention de résultats statistiques pour la prise de décision.

Ces résultats ont permis de mesurer les dimensions cognitives et comportementales des étudiants pour l'établissement de critères de contrôle et de mesure comme par exemple les moyennes individuelles et groupales, le temps dédié aux études, la gestion des activités, l'analyse des notes, la rétroalimentation automatique, la génération d'alertes pour résultats déficients, entre autre.

Mots clefs Enseignement Virtuel, Indicateurs Académiques, Mesure, Traitement des données, Suivi des élèves.

O presente artigo propõe uma série de indicadores acadêmicos para ambientes virtuais de aprendizagem e a criação de um sistema de informação que os integra. A consolidação e processamento da informação de acordo a modelos de gestão, sistemas de avaliação, processos e procedimentos, permitiu obter resultados estatísticos para a tomada de decisões.

Esses resultados permitiram quantificar as dimensões cognitivas, atitudinais e integrais dos estudantes ao estabelecer critérios de medição e controle como médias individuais e grupais, tempo de estudo, administração de atividades, análise de anotações, retroalimentações automáticas, geração de alarmes por baixo desempenho, entre outros.

Palavras-chave: Educação virtual, Indicadores acadêmicos, Medição, Processamento de Informação, Monitoramento dos estudantes, Inteligência dos Negócios.

1. INTRODUCCIÓN

Cada día es mayor el aumento de herramientas virtuales que permiten adquirir competencias, la búsqueda de contenidos específicos y desarrollo de habilidades sin restricciones como el tiempo, la distancia y los costos, son factores decisivos en la búsqueda de conocimiento (Gallego, 2003). La necesidad de crear nuevas formas de acceso al conocimiento obligan a rediseñar servicios y productos de la gestión de información (Artiles, 2002). Una de las herramientas que permiten acceder al conocimiento son los sistemas de gestión de aprendizaje puesto que fomentan y potencian el aprendizaje autodirigido.

El aprendizaje autodirigido está conformado por el uso de "materiales autosuficientes" que contienen toda la información, secuencia y procesos necesarios para aprender un contenido específico de un modo significativo para un aprendizaje autónomo (Coll, 2008). Los entornos virtuales de aprendizaje no sólo presentan los contenidos temáticos, también integran componentes matemáticos para la consolidación y procesamiento de los datos permitiendo de esta manera identificar y controlar el rendimiento de los estudiantes y docentes que participan en dicho entorno virtual.

"En especial, las TIC están reorientando actualmente la práctica pedagógica hacia enfoques cada vez más constructivistas, que obligan a repensar las formas tradicionales de enseñanza dado que es ahora el estudiante quien tiene un gran protagonismo en los escenarios de aprendizaje, y el profesor por su parte transforma su rol hacia un acompañamiento y jalonamiento en actividades caracterizadas por el desarrollo de la autonomía pero también ligadas a la colaboración (Cifuentes, 2007)".

Al identificar la tipología, estructura, taxonomía y características específicas de la información que contiene un entorno virtual de aprendizaje, se establecen criterios, variables y parámetros de medición que son expresados en indicadores de gestión, cumplimiento, evaluación, eficiencia, eficacia, calidad y demás elementos que son relevantes en la formación académica.

Luego de identificar y analizar trabajos relacionados con la propuesta y teniendo presente la administración de indicadores mediante aplicaciones virtuales de aprendizaje, se identificaron 18 sitios Web que cumplen con dicho propósito. Al analizar el funcionamiento de la mayoría de estas aplicaciones¹ se concluyó en aprovechar algunas utilidades en cuanto a los criterios de evaluación, gestión, organización y estructura de contenidos. El principal objetivo de la investigación que es el procesamiento de información y presentación de gráficas estadísticas utilizando indicadores personalizados para la toma de decisiones, no se encontró en ninguno de los sitios Web referenciados (Tabla 1).

La estructura del artículo consta de cinco secciones. La primera sección es la introducción donde se contextualiza la investigación. En la segunda sección se describe el trabajo realizado conceptualizando los indicadores académicos y explicando la decisión de crear un sistema de gestión académica en vez de utilizar un Sistema de Gestión de Aprendizaje (LMS). En la tercera sección se explica la implementación del sistema y la funcionalidad de los módulos más representativos. En la cuarta sección se describen los resultados obtenidos en cuanto a la consolidación de la información y procesamiento de los datos. En esta sección también se presentan los resultados de la evaluación procedimental mediante entrevistas y opiniones de los estudiantes y docentes que utilizaron el sistema. Finalmente, la quinta y última sección son las conclusiones de la investigación.

2. MATERIALES Y MÉTODOS

La estructuración y procesamiento de los datos en el sector académico, posee un especial interés e importancia por parte de las instituciones educativas debido a que permite identificar, organizar, caracterizar, gestionar, controlar, motivar, prevenir, categorizar, agrupar y segmentar los elementos que componen la academia (Crane, 2008). Una vez identificados, analizados y procesados, se pueden obtener grandes resultados como la consolidación de información, el ahorro de tiempo, el control de conjuntos homogéneos, la identificación de singularidades, la gestión semiautomática de estudiantes, el monitoreo constante e incluso retroalimentaciones automáticas.

Cuando un sistema presenta la información de manera estructurada consolidando varios procesos y estableciendo un conjunto de reportes y herramientas enfocadas a la administración y creación de conocimiento mediante el análisis de esos datos existentes, se infiere el concepto de inteligencia de negocios (Chen, 2008).

Llegar a predecir el desempeño de un estudiante es un desafío que en el futuro se espera conseguir con el sistema, actualmente el procesamiento de la información solo permite presentar en forma gráfica la consolidación de los datos como sustento en la toma de decisiones.

La accesibilidad, usabilidad y navegación, se convierten en elementos indispensables a tener en cuenta en el momento de realizar una revisión de medición del e-Learning en ambientes educativos, pues son indicadores comunes entre los sistemas de indicadores de la sociedad de la información (Cardona, 2010).

Es tan importante la necesidad de medir y procesar los datos en el sector académico que actualmente existen diversas tecnologías, una de ellas es denominada Education Management Information System (EMIS). Aunque este sistema de información en gestión de la educación está diseñado para grandes entidades reguladoras de educación puesto que les permite tomar decisiones de carácter nacional (Haiyan Hua, 2003), se han tomado algunas características de confrontación de información como la comparación entre materias, comparación entre estudiantes, comparación entre docentes y comparación entre periodos de tiempo.

Para establecer los indicadores académicos, se utilizaron tres tipos de fuentes:

]]> Fuentes bibliográficas que enuncian y describen indicadores académicos para integrar en el aula (Cárdenas, 2009; Carrillo, 2012; Garbanzo, 2007; Gil, 2014; Hernández, 2014; Arteaga, 2012 y Quesada, 2006).
• Fuente empírica debido al criterio metodológico cualitativo de experticia del autor como docente universitario para la identificación, delimitación y alcance de los indicadores.
• Fuentes de expertos en el campo del aprendizaje virtual debido a que se realizaron varias entrevistas entre docentes universitarios que utilizan LMS y personal administrativo responsable de los ambientes virtuales de aprendizaje de las siguientes instituciones de educación superior:

- Universidad de La Salle.

- Universidad Militar Nueva Granada

- Universidad Politécnico Gran Colombiano.

Las tres fuentes de referencias permitieron establecer los siguientes indicadores académicos (Tabla 2).

De los muchos LMS que existen en el mercado, a continuación se describe un análisis orientado a los objetivos de la investigación que se hizo a los que oficialmente utilizan dos universidades de Bogotá (Tabla 3).

Al analizar las dos plataformas a la luz de los objetivos de la investigación, se identificaron bastantes debilidades. Estas debilidades que son la base de la decisión de crear un nuevo sistema en lugar de utilizar una plataforma existente son:

• Moodle no cuenta con el nivel usabilidad y seguridad deseado.
• Blackboard no es de libre uso, su utilización y cambios a las funcionalidades depende de una licencia.
• En las dos plataformas es difícil integrar técnicas de gestión de indicadores fuera de los que ya tienen establecidos, las técnicas de Procesamiento analíto en línea-OLAP, ya se encuentran configuradas y no permiten cambiar su parametrización.
• Aunque las dos plataformas podrían permitir la minería de datos mediante backups, el procesamiento de la información debe ser en tiempo real, la consolidación y presentación de los datos la debe realizar el mismo sistema.
• El sistema que gestione los indicadores debe ser modular, se debe tener control sobre todos los componentes del sistema a nivel de código, las dos plataformas tienen dificultades con esta observación.
]]> Otro de los factores que influyo en la decisión de crear una plataforma fue el criterio metodológico de conveniencia. Al crear y diseñar un sistema sin que exista dependencia técnica, se pueden especificar y desarrollar todas las condiciones y requerimientos que se soliciten a lo largo de la investigación.

3. IMPLEMENTACIÓN DEL SISTEMA

Crear el sistema de información como instrumento para probar los indicadores fue una tarea de bastante tiempo, aunque se utilizaron lenguajes agiles de programación como: PHP², JQUERY, AJAX, JAVASCRIPT, CSS y MYSQL, el desarrollo del sistema tuvo una duración de más de un año.

Una vez se diseñaron y desarrollaron las funciones de captura, almacenamiento, procesamiento y presentación de los datos (Kendall, 2012), se desarrollaron las técnicas para presentar los indicadores de forma gráfica.

Con objeto de organizar la información, se estableció una estructura de conjuntos homogéneos que permitió segmentar la información en los siguientes módulos: gestión de usuarios, gestión de actividades, gestión de recursos y documentos, gestión de temas, gestión del sistema de evaluación, gestión de investigaciones, gestión de retroalimentaciones y gestión de clases. A continuación se representa la interfaz del sistema, describe la ubicación de los módulos, el contenido y la estructura de los enlaces (Figura 1).

También se describe el tablero de control del sistema donde en una sola interfaz se puede gestionar los estudiantes, actividades, notas, retroalimentaciones, comunicaciones y soportes de cualquier actividad. En dicho panel de control existen herramientas como la descripción técnica de la actividad entregada (Fecha, hora, tipo, tamaño y formato) y una herramienta de búsqueda que funciona sin recargar la pantalla (Figura 2).

]]>

A continuación se muestra la gestión del sistema de evaluación, se consolidan las notas de las actividades mediante la asignación de un porcentaje y existen varias opciones para graficar los datos y poderlos exportar a otros formatos normalizados como Excel y PDF (Figura 3).

En cuanto a la gestión de la clase, se monitorea e integran los datos de las secciones más importantes del sistema como el avance y cronograma de las temáticas, número y tipos de actividades, promedio de notas, cantidad de retroalimentaciones y una opción de filtrado que permite obtener la información por cortes o periodos (Figura 4).

A continuación se ilustra la manera como se gestionan las entregas de las actividades, se retroalimenta a todo el curso y se consolidan las notas de una sola actividad (Figura 5); se describe el desempeño de cada estudiante con cada una de las actividades de la clase. Se confrontan los desempeños de todo el curso (Figura 6); se describe y consolidan los resultados de cada una de las actividades que se desarrollaron en la clase (Figura 7).

Se muestra la confrontación del desempeño del estudiante con el promedio del curso; cuando se tienen al menos tres notas, el sistema las promedia y envía una alerta al correo electrónico del estudiante y del docente, si es que está por debajo de un parámetro de rendimiento que define el docente al iniciar la materia (Figura 8).

El desempeño de los estudiantes se observa a continuación, la interfaz representa dicho rendimiento por colores, y los rangos de las notas son agrupadas por el número de estudiantes que las tienen (Figura 9).

• Administrador
• Director
• Docente
• Estudiante

El sistema procesa los datos en función de los indicadores que se establecieron previamente cuya información consolidada permite la toma de decisiones en función de:

• Medición en la gestión de materias, temas, Syllabus, competencias y tesis de grado. Medición en la gestión de usuarios (docentes y estudiantes).
• Medición en la gestión y seguimiento a las tesis de grado.
• Medición en el seguimiento a estudiantes comparándolos con el entorno, (cursos, temas, periodos y competencias). Medición del acceso a temas y recursos de la clase (Planificador de temas, nivel de profundización de un tema, nivel de integración con el Syllabus, tiempo de visualización y periodicidad de acceso por estudiantes a los temas).
]]> Medición en la gestión de competencias. (integración de rubricas y criterios de evaluación).
• Medición en la gestión de retroalimentaciones (medición individual, grupal y de todo el curso).
• Medición en la gestión de apuntes (módulo que permite identificar las ideas, nivel de abstracción y calidad en la toma de apuntes).
• Medición en la gestión de notas

• Nivel de desempeño (mediante un modelo matemático que integra y promedia otros indicadores, se puede obtener un nivel de rendimiento académico).
• Nivel de participación por estudiante. (Se extrae gracias a la medición de los canales de comunicación: mensajes, foros, chat, wikis y acceso en general).
• Nivel de estudio (se extrae de la visualización, descarga, tiempo y periodicidad de acceso a los temas y recursos del curso).
• Medición en la gestión de actividades. (Cinco tipos de actividad: entrega de archivos, foros, wikis, redacción de documentos y gestión de exámenes).
• En el tipo de actividad, redacción de documentos, se pude establecer si existe plagio y la identificación de las palabras más relevantes. El plagio se obtiene gracias al programa interfaz de programación de aplicaciones -API- (permite utilizar funciones de sistemas complejos en aplicaciones Web) del motor de búsqueda de BING que confronta los párrafos redactados con los que aparecen en internet. La identificación de palabras más relevantes se obtiene gracias a que el sistema contabiliza el número de apariciones de una palabra en un texto y presenta dicha cantidad de forma ordenada.
• En la actividad gestión de exámenes, la calificación y retroalimentación es automática gracias a que la composición de las preguntas y respuestas puede depender de los mismos estudiantes; el docente solo aprueba las preguntas a utilizar. (Los mismos estudiantes fabrican el examen).
]]> Las actividades también pueden realizarse en grupos, el sistema de igual forma puede procesar individualmente el nivel de participación por estudiante.
• Medición en la gestión de exámenes (medición del nivel de dificultad de preguntas y nivel de pertinencia a materias, temáticas o periodos).
• Medición en la gestión de tésis o proyectos (medición de avance en investigaciones, control de versiones y cantidad de bibliografía).
• Medición en la gestión de alarmas tempranas (al medir e identificar promedios bajos, el sistema presenta una alarma; dicha acción permite que el estudiante corrija su desempeño a tiempo.)

4. RESULTADOS

Los indicadores académicos permitieron homogenizar gran cantidad de parámetros presentes en el desarrollo de las clases virtuales con objeto de estandarizarlos y reutilizarlos sin importar el docente, la materia e incluso la institución.

La prueba tuvo una duración de dos semestres académicos, el pilotaje de utilización del sistema por parte de los docentes tuvo poca acogida puesto que la plataforma promovida por la Universidad de la Salle es Moodle, los cinco docentes que utilizaron el sistema lo hicieron por cuanto conocían la dimensión del sistema al tener funcionalidades que no encontraron en el LMS institucional.

La mayor parte de los resultados provenientes de los docentes y estudiantes de la Universidad de La Salle son de comparación puesto que conocían y manejaban el LMS Moodle. Luego de utilizar ambos sistemas dieron sus apreciaciones orientándose a la confrontación de las utilidades y funcionamiento de cada uno de estos sistemas.

Al automatizar algunos procedimientos académicos, los docentes que utilizaron el sistema ahorraron mucho tiempo a la hora de calificar, retroalimentar y comunicarse con los estudiantes. Mejoró el control sobre los temas y actividades de cada una de las materias que dictaban.

La muestra de usuarios y materias con que se realizó la prueba se considera suficiente para seguir con una segunda etapa de investigación, el sistema al ser utilizado por cinco profesores, 12 materias y 340 estudiantes genera resultados sólidos que permiten que la investigación tenga un buen nivel científico.

El procedimiento de evaluación que se llevó a cabo en la prueba del sistema fue aplicado con dos instrumentos diferentes:

• Cada uno de los estudiantes que utilizó el sistema, dio su opinión utilizado un formulario de calificación docente que la universidad de La Salle publica al finalizar cada semestre. Esta información cualitativa se organizó por materias donde los resultados se agruparon con el segundo instrumento de evaluación.
• El segundo instrumento que se utilizó como procedimiento de evaluación del sistema fueron las entrevistas, cada uno de los docentes que lo utilizó dio su opinión del mismo. Todas las opiniones se centran en:
• El sistema desarrollado es más eficiente en muchos aspectos; el más representativo es la interfaz y el nivel de usabilidad puesto que al manejar máximo dos click para realizar cualquier operación, la lógica, la percepción y la sencillez del sistema son muy altos.
• Al integrar un sistema de análisis de competencias en las actividades, se evidencia por medio de cada rubrica, el criterio que se espera obtener de cada estudiante.
• Al resumir y consolidar en módulos toda la información del curso en una sola interfaz, el grado de claridad y eficiencia es muy alto. La identificación y gestión de materias, temas, actividades, notas, retroalimentaciones, mensajes, recursos, enlaces, etc. mejora la calidad del proceso de aprendizaje.
• Al consolidar las actividades, notas y retroalimentaciones en un tablero de control, se generan muchas ventajas como el ahorro de tiempo al calificar, fácil identificación de criterios de evaluación, aumento en la cantidad de retroalimentaciones, control de notas y centralización de los documentos entregados por estudiante.
• Al comparar de forma gráfica el desempeño de un estudiante con el promedio del curso, se puede identificar rápidamente las debilidades en temas o competencias, es allí donde el docente luego de analizar la información puede tomar decisiones.
]]> Al utilizar un sistema de control de apuntes que puede medir el nivel de claridad y abstracción de los temas, se pueden identificar que ideas son las más representativas a la hora de tomar apuntes.
• La gestión automatizada en algunos procesos como la creación y calificación de exámenes mediante la opción de que estudiantes puedan crear las preguntas, asegura notas concertadas puesto que los estudiantes son conscientes de los temas que se van a evaluar y cada pregunta y respuesta puede depender de cualquier estudiante siempre y cuando el docente lo haya aprobado en el sistema.
• El control de cada elemento: materia, tema, profesor, estudiante, actividad y notas por parte de la dirección institucional, permite medir, controlar y optimizar las temáticas, pedagogía, recursos y transparencia de cada una de las materias.
• Al existir alarmas tempranas en cuanto a promedio de notas muy bajas, el docente y el estudiante pueden actuar a tiempo en la recuperación de dichas notas.
• Al incluir en el sistema un módulo de gestión documental, se puede realizar la administración detallada de los archivos, se pueden crear anotaciones, tipologías documentales, ordenación por fechas o tamaños, control de versiones y compartir documentos según criterios del autor.

5. CONCLUSIONES

Descomponer la información académica en indicadores de gran relevancia para estructurar un sistema de información que permita analizar y realizar seguimiento a los estudiantes y elementos académicos, tuvo grandes resultados ya que permitió establecer indicadores de calidad, identificar variables proporcionales y realizar el procesamiento de los datos para la toma de decisiones.

Consolidar y graficar los resultados de los procesos que hacen parte del mundo académico permitió mejorar la gestión de los "\ docentes y cuerpo directivo. El rápido análisis y toma de p.193 - decisiones ante situaciones que anteriormente no se podían evidenciar, generó un impacto positivo por quienes utilizaron el sistema. Al verificar el potencial y ahorro de tiempo en el procesamiento de la información, se simplifican los procesos y se mejora la gestión académica y administrativa.

La utilidad de presentar el procesamiento de la información del sistema en forma gráfica, permite identificar fácilmente las relaciones, proposiciones, variables dependientes, variables independientes, parámetros, cifras, picos, etc. De elementos académicos que normalmente en una clase no se podrían ver.

La plataforma que se diseñó y desarrollo no busca llegar a ser como un sistema de información en gestión de la Educación (EMIS), está orientada a la identificación, medición y análisis de lo que se encuentra en una materia o en una institución en particular. La plataforma se creó con el propósito de ahorrar tiempo, automatizar procedimientos, ser utilizada en la planificación estratégica, controlar materias, controlar recursos, realizar seguimiento a estudiantes y docentes, evaluar los procesos de aprendizaje y como sustento a la toma de decisiones.

Pie de página

6. REFERENCIAS BIBLIOGRÁFICAS

Ángel, C. (2005). Tecnología para el desarrollo de aplicaciones Web. Ediciones Díaz de Santos.         [ Links ]

Arteaga, G. (2012). Diseño de instrumentos de evaluación en ambientes virtuales. Quaderns Digitals / Quaderns número 74.         [ Links ]

Artiles, S. (2002). Las redes del conocimiento como producto de la gerencia de la información en ambientes académicos. Faloh, R. y Fernández, M.: Gestión del Conocimiento: Concepto, Aplicaciones y Experiencias. Empresa de la Gestión del Conocimiento y la Tecnología. La Habana.         [ Links ]

Cardona, D., & Sánchez, J. M. (2010). Indicadores Básicos para Evaluar el Proceso de Aprendizaje en Estudiantes de Educación a Distancia en Ambiente e-Learning. Formación universitaria, 3(6).         [ Links ]

Cifuentes, G., & Montoya, D. (2007). Repensar la evaluación del aprendizaje: las TIC en la educación superior (s.c) (s.e).         [ Links ]

Chen, H., Chiang, R. , & Storey, V. (2012). Business Intelligence and Analytics: From Big Data to Big Impact. MIS quarterly, 36(4), pp.1165-1188.         [ Links ]

Coll C. (2008). Psicología de la educación virtual. Ediciones Morata, p. 412.         [ Links ]

Crane, B. (2008). Using WEB 2.0 tools in the K-12 classroom. Neal-Schuman Publishers, Inc.         [ Links ]

Gallego A., & Martínez, E. (2003). Estilos de aprendizaje y e-Learning. Hacia un mayor rendimiento académico. (s.c.) (s.e.         [ Links ]).

González, A; Acosta Y. y Yenieris N. (2010). Propuesta de un manual de usabilidady accesibilidad para el desarrollo de personalizaciones de la plataforma de teleformación Moodle. Cuba: Universidad de las Ciencias Informáticas.         [ Links ]

Haiyan, H., Herstein, J., (2003). Education Management Information System (EMIS): Integrated Data and Information Systems and Their Implications In Educational Management. Harvard.         [ Links ]

Helma, S. (2010). Programación de bases de datos con MYSQL y PHP. Marcombo.         [ Links ]

Hernández, Y., Peñaloza, Y., Sánchez, M. (2014). Indicadores de la educación virtual. Universidad nacional abierta, 3 ed.         [ Links ]

Ponce, M. (2007). Usabilidad en un sistema de e-Learning. Chile: Pontificia Universidad Católica de Valparaiso.         [ Links ]

Tomás, G. (2014). Análisis del sistema español de indicadores de la educación. Una revisión crítica, DOI: 10.13042/Bordon.         [ Links ]

Quesada, R. (2006). Evaluación del aprendizaje en la educación a distancia "en línea". RED, Revista de Educación a Distancia, 6.         [ Links ]

Kenneth E.; Kendall, J.; (2010). Análisis y diseño de sistemas. Pearson Educación.         [ Links ]