Diseño y elaboración de un cuestionario acorde con el método Delphi para seleccionar laboratorios virtuales (LV)^*

Design and preparation of a questionnaire according to Delphi method to select virtual laboratories (VL)

Campo Elias Riaño^** Martha Palomino^***

^*Artículo resultado del proyecto PG-14 Enfoque e implantación de un entorno virtual de prácticas para la enseñanza y el aprendizaje de un curso metodoló- gico experimental: Tecnología de café. Financiado por la UNAD.

^**PhD. EaD y Tecnología Instruccional, Nova Univerity, Mg. en Ciencias de la Ingeniería Docente Universidad Nacional Abierta y A Distancia, Escuela de Ciencias Básicas Tecnología e Ingeniería ( campo.riano@unad.edu.co).
^***Mg. Educación. Docente , Universidad Nacional Abierta y A Distancia, Escuela de Ciencias Sociales Artes y Humanidades ( marta.palomino@unad.edu.co)

Resumen

La selección de herramientas informáticas para trabajar virtualmente el componente práctico en la formación universitaria es una decisión compleja en donde intervienen múltiples factores. El propósito del artículo es describir el diseño, la adaptación y validación de un cuestionario para seleccionar laboratorios virtuales (LV). Se utilizó la metodología de consulta de expertos-Delphi para identificar los criterios que determinan la pertinencia de los LV en la educación superior. Para el efecto se crearon dos grupos de trabajo cooperativo y se partió de un cuestionario estructurado al que se le fueron adicionando o modificando los criterios o variables acorde con las diferentes opiniones de los expertos durante tres rondas sucesivas. Las respuestas fueron analizadas estadísticamente. Se obtuvo un coeficiente de correlación máxima de r=0.93, lo que muestra un alto grado de validez. Para la fiabilidad se utilizó el método de consistencia interna alfa de Cronbach con un coeficiente de r=0.814, y un nivel de confianza del 95% (p≤0.05), mientras que para el método de dos mitades, el coeficiente de consistencia interna en el alfa de Cronbach de la primera mitad es de 0.736 y el de la segunda mitad de 0.718, los coeficientes resultantes de la prueba de dos mitades indican un índice de fiabilidad muy alta. La rúbrica para su administración quedo constituida por 10 criterios. Se concluyó que el cuestionario que se ha construido y convalidado para la evaluación de LV está compuesto por características válidas y fiables.

Palabras clave: confiabilidad, Delphi, fiabilidad, laboratorios virtuales, método,validación de cuestionario.

Abstract

Selecting computer tools to virtually operate the practical component in university education is a complex decision which involves many factors. The purpose of this article is to describe the design, adaptation, and validation of a questionnaire in order to select virtual laboratories (VLs).The methodology of consulting Delphi experts was used to identify criterions which determine LVs pertinence in higher education. Two groups of cooperative work were created, and a structured questionnaire was used; criterions or variables were included or added according to opinions provided by experts during three successive rounds. Answers were statistically analyzed. A maximum correlation coefficient of r=0.93 was obtained that shows a high validity.For reliability, the method of Cronbachs internal consistence alpha was used with a coefficient of r=0.814, and confidence level of 95% (p mayor 0,05), while for the method of two halves, the internal consistence coefficient in Cronbachs alpha of the first half is 0.736, and 0.718 for the second half; resulting coefficients of the two halves test show a very high reliability index. Endorsement for its administration is composed by 10 criterions.It was concluded that the questionnaire prepared and confirmed for LVs evaluation is composed by valid and reliable characteristics.

Keywords: validation of a questionnaire, DELPHI method, reliability, dependability, virtual labs.

Introducción

En el proyecto denominado “Espacio Europeo de Educación Superior” (EEES), Acosta & Páez (2007) exponen que se le deben proporcionar al estudiante conocimientos, técnicas y habilidades que le sean útiles una vez finalizada la carrera. De forma tal que se le garantice en los estudiantes una mayor profesionalización y competitividad al enfrentar el actual mundo globalizado. De allí que el componente práctico en la educación superior sea fundamental para el desarrollo de competencias (Unesco, 2012). Son muchas las instituciones que usan los softwares educativos como instrumento de ayuda instruccional en el proceso de enseñanza-aprendizaje (Díaz, 2002; Sicardi, 2004; Lee & Lee, 2007). Para que estos medios informáticos afirmen o garanticen el desarrollo de las competencias que se proponen para un curso académico, requieren de una cuidadosa selección (Sicardi, 2004; Lee & Lee, 2007). Proceso para el cual se consiguen varias listas de chequeo. Otros autores han utilizado técnicas cuantitativas con cierto grado de interpretación y dificultad para su aplicación (Verma, Gupta & Singh, 2008; Cataldi, Chiarenza, Dominghini, Donnamaria & Lage, 2012) sin que exista consenso entre las diferentes propuestas. Igualmente no explicitan el procedimiento seguido para seleccionar las variables. Estando latente la necesidad de consensuar las características o conceptos a estándares de evaluación según las normas (Jadhav & Sonar, 2009).

Para solucionar este tipo de problemas complejos Linston & Turoff (1975), Okoli & Pawlowski (2004) y Hurtado & Mendez (s.f) proponen la técnica Delphi como un método efectivo para estructurar y consensuar un proceso de comunicación grupal que tiene como fin solucionar un problema complejo con ayuda de expertos previamente seleccionados. El propósito de la investigación fue diseñar, crear y validar mediante un método de consulta a expertos, como es el método Delphi, una herramienta para seleccionar LV.

Perspectiva teórica

El método Delphi se basa en el principio de la inteligencia colectiva y consiste en la aplicación sucesiva de cuestionarios a un grupo de expertos en varias rondas (Bruner, 2005; Hsu & Sandford, 2007). Entre cada ronda se analizan estadísticamente los resultados y se compilan las respuestas en nuevos cuestionarios que, a su vez, son redistribuidos a los expertos nuevamente Okoli & Pawlowski (2004) y Hurtado & Méndez (s.f). El grupo de expertos, debate de manera anónima-esto para evitar los efectos de líderes, la importancia y pertinencia de los criterios seleccionados; obteniendo el consenso por un procedimiento matemático de agregación de juicios individuales utilizando cuestionarios. El proceso se detiene cuando se logra el consenso o la estabilidad de los resultados (Luna, Infante & Martínez, 2006; Pozo, Gutiérrez, Pérez & Rodríguez, 2007). Ver figura 1.

Sin embargo, es imperioso asegurarse de que el instrumento sea válido y fiable para la investigación en donde se va aplicar. Razón por la cual estudiosos recomiendan calcular el estadístico de fiabilidad, Alfa de Cronbach o índice de consistencia interna para estimar la precisión con la que un conjunto de preguntas mide un aspecto conductual, al reflejar la interrelación entre sus elementos (Hernández, Fernández, & Baptista, 2006). El grado de validez concurrente se cuantifica utilizando el coeficiente de correlación de Spearman-Brown.

La investigación tuvo un enfoque cualitativo cuando se recolectaron datos sin medición numérica y se identificaron los atributos-características y escalas de evaluación más comunes para construir y evaluar una práctica virtual (Hernández, Fernández & Baptista, 2003). Un enfoque cuantitativo cuando expertos siguiendo los postulados teóricos que plantea el Método Delphi, calcularon la fiabilidad de un cuestionario para evaluar LV (Brunner, 2005; (Luna, Infante & Martínez, 2006; Cruz, 2006). La secuencia metodológica del método Delphi se compone de tres fases fundamentales. Ver figura 1.

Fase preliminar

En esta fase se conformaron dos grupos diferenciados como grupo coordinador y grupo de expertos encargados de validar el instrumento diseñado. El grupo coordinador se conformó a partir de los miembros del grupo de investigación social de la UNAD, encargado de desarrollar la investigación, grupo que siguió la ruta propuesta por varios autores (Hsu & Sandford, 2007; Romero, Salicetti, 2011). Este grupo estuvo conformado por un doctor, un magister y un ingeniero industrial. En este: a) se delimito el tema de estudio a partir del problema de investigación planteado en el proyecto PG-014, b) se seleccionó el grupo de expertos, c) se consiguió el compromiso de colaboración de estos con el estudio, d) se interpretaron los resultados parciales y finales de la investigación, e) se superviso la marcha correcta de la investigación realizando los ajustes y correcciones, y f) se convalido e implemento el cuestionario. Ver figura 1.

Todos los procesos se realizaron por correo electrónico en archivo adjunto, el cual estaba conformado por una primera página con una breve introducción al tema de investigación, la explicación clara del objetivo de la investigación, el método que se utiliza, la fase en que se encontraba el proceso de investigación, las instrucciones para complementar el cuestionario, seguido del correspondiente instrumento para la validación (Luna, Infante & Martínez, 2006). Para evitar la introducción de sesgos y/o el efecto de liderazgos en el estudio, este se realizó anónimamente (Cruz, 2006).

Selección de expertos

Como la composición del grupo es crucial para los resultados a obtener, en el presente estudio los expertos evaluadores se seleccionaron acorde con: la profesión, el cargo, los años de experiencia, la categoría docente, el grado científico, la pertenencia con su labor en determinado grupo o centro y el vínculo actual con la actividad (Cruz, 2006; Hsu & Sandford, 2007). Además se tuvo en cuenta el número de investigaciones afines y el número de publicaciones que sobre el tema hayan desarrollado. Este grupo quedó conformado por tres doctores en educación, dos especialistas, un ingeniero industrial, y un especialista en ingeniería de sistemas, siguiendo las exigencias para el grupo coordinador propuestas por Landeta (2002), quien señala un mínimo de siete expertos, pero no más de 30. Los integrantes de este grupo: a) conocen el método Delphi, b) son investigadores académicos en el tema, y c) tienen gran facilidad de intercomunicación para trabajar conjuntamente; como lo aconsejan Brunner (2005) y Hsu & Sandford (2007). Ver tablas 1 y 2.

Fase exploratoria

En esta parte los autores extractaron los aspectos críticos o atributos a evaluar, comunes en las rúbricas convalidadas por investigadores reconocidos en la temática en estudio como Marques (2004) y Cataldi (2009). Seguidamente se tomaron las definiciones de los criterios seleccionados (Norma ISO/IEC 9126, s.f). En una encuesta de opinión se le solicitó a cada uno de los expertos participantes indicar en una escala dicotómica (sí, no) cuáles de los 18 criterios contemplados en esta conducirían a la correcta selección de un LV. Con la información recopilada y analizada se construyó una primera versión consensuada del cuestionario de evaluación, y se envió a una segunda ronda para la validación por el grupo de expertos seleccionados, para perfeccionar los criterios y establecer la escala apropiada para el estudio. Para facilitar el trabajo de los expertos, se acompañó cada criterio del análisis estadístico realizado y de la escala de Likert propuesta por Hsu & Sandford (2007). Ver tabla 3. Además de una pregunta abierta para recoger las valoraciones cualitativas de cada uno de los expertos acerca de los criterios planteados o a la introducción de alguno nuevo (tabla 3).

El plazo máximo que se acordó para responder el cuestionario fue de 10 días. Los resultados de la segunda ronda de consulta para la validación por parte del grupo de expertos, fueron tabulados y analizados estadísticamente-media, mediana, desviación típica, máximo, mínimo, varianza, frecuencia, frecuencia acumulada y puntos de corte, y junto con el cuestionario definitivo, fueron enviados al grupo, lográndose la unanimidad de las respuestas del 90 por ciento de los expertos participantes en el proceso.

Fase final

En esta última fase se sintetizaron los resultados de todo el proceso de validación mediante consulta interactiva a los expertos con la versión definitiva del cuestionario para su posterior aplicación en el proceso de investigación. Quedando como cuestionario y escala definitivas las mostradas en las tablas 4 y 5. Además se solicitó la valoración por parte de los expertos de la relevancia, la pertinencia y la coherencia del sistema de características corroboradas para prever, diseñar y medir el impacto sobre el desarrollo del proyecto de investigación.

Los análisis estadísticos se llevaron a cabo mediante el programa estadístico Statistical Package for the Social Sciences (SPSS versión 16.0). La fiabilidad del cuestionario se analizó mediante el alfa de Cronbach para elementos tipificados y el procedimiento de las dos mitades con corrección de Spearman-Brown.

Resultados

El grupo coordinador se conformó tal como lo sugieren expertos en el método Delphi y se explicó en la metodología (Cruz, 2006; Luna, Infante & Martínez, 2006). Este a su vez seleccionó al grupo de expertos acorde con los valores del coeficiente de competencia (medio) para estudiar, analizar y dar criterios válidos y confiables sobre el trabajo a realizar (Gonzàles, Guerrero & Maldonado, 2001; Astigarraga, s.f; Cruz, 2006). Ver tablas 1 y 2.

Cuatro de los expertos provienen de tres instituciones académicas diferentes, relacionados directamente con la temática de los softwares educativos y la investigación. Los tres restantes son de la UNAD. El índice de competencia de los expertos fue medio. Ver tabla 1. La fase exploratoria se realizó en tres rondas de consulta para la validación de los criterios como lo propusieron González, Guerrero y Maldonado (2001). En las primeras dos rondas se logró el consenso del grupo y la versión final del cuestionario, el cual quedó finalmente conformado por 10 criterios. Ver tabla 3.

Los resultados cuantitativos de las valoraciones realizadas en la segunda ronda se procesaron mediante análisis estadístico/aplicando la metodología descrita en la sección de materiales y métodos. Ver tablas 4 y 5.

Pinche Aquí:(Tabla 3)

Como las puntuaciones marcadas en un cuestionario no son la evidencia de su validez entonces se debe determinar los coeficientes de Spearman-Brown y el alfa de Cronchbach. Ver tabla 5.

La valoración por parte de los expertos de la importancia, la pertinencia y la coherencia del sistema de indicadores resultó en el 14 %, el 57.1% y en el 28.6% respectivamente. Ver tabla 6 y figura 3.

Pinche Aquí:(Tabla 7)

Discusión y conclusiones

Los expertos se seleccionaron atendiendo a las características propuestas por Hsu & Sandford (2007); Romero, Salicetti (2011); lo cual propicio la obtención de resultados confiables como concluyen. Las estrategias de selección de expertos (coeficiente de Kcomp) permiten un agrupamiento fundamentado en un procedimiento más objetivo que la sola revisión de un currículum.

Los resultados obtenidos avalan la fiabilidad y validez del cuestionario para evaluar LVs. En la forma que están estructurado los indicadores, son suficientes para futuras investigaciones sobre la temática, razón por la cual no se hace necesario realizar una nueva ronda como señalan Landetta (2002), Cruz (2006) y Miller (2006).

El estadístico de fiabilidad, Alfa de Cronbach o índice de consistencia interna es estimador de la precisión con la que un conjunto de preguntas mide un aspecto conductual, al reflejar la interrelación entre sus elementos (Hernández, et al, 2006). Y que según Hernández, Fernández & Baptista (2006), si se encuentra por encima de 0,70 es aceptable, siendo considerado 0,814 un nivel notable de aceptación, tal como se alcanzó en este trabajo (tabla 3), indicando una consistencia interna adecuada para las diferentes preguntas. Por lo tanto el análisis del cuestionario muestra unos coeficientes de correlación que pueden catalogarse como excelentes.

Agradecimientos

Referencias bibliográficas

Acosta, M. & Páez, H. (2007). Estrategias didácticas para educar en valores: 10 valores con intencionalidad. Revista educación en valores, 8, 57-69.         [ Links ]

Astigarraga, E. (s.f.). El Método Delphi (en línea). Universidad de Deusto. Tomado de: http://www.prospectiva.eu/zaharra/Metodo_delphi.pdf         [ Links ]

Bruner, J. (2005). A Delphi method of teaching applied phylospphy. Teaching philosophy 8 (3), 207-220.         [ Links ]

Cataldi, Z., Chiarenza, D., Dominighini, C., Donnamaría, L. & Lage, F. (2012).TIC en la enseñanza de la química: Propuesta de Evaluación Laboratorios Virtuales de Química (LVQs) . Revista Iberoamericana de Educación en Tecnología y Tecnología en Educación. 3(7),50-59        [ Links ]

 Cruz, M  . (2006). El Método Delphi en las investigaciones educacionales. Informe Final del Proyecto de Investigación "Estadística para la Educación", Universidad Valladolid 1-40.         [ Links ]

Díaz, G. (2002). Uso de software educativo de calidad como herramientas de apoyo para el aprendizaje. En: Jornadas educativas: La escuela como instrumento de cambio, IEA. Caracas. Tomado de: http://www.ufrgs.br/niee/eventos/RIBIE/2002/actas/paper-010.pdf.         [ Links ]

González, A; Guerrero, A; Maldonado, J. (2001). Desarrollo de un sistema de experto para la aplicación del Método Delfos (Delphi). BEIO, 17(4),9.         [ Links ]

Hernández, R; Fernández, C & Baptista, P. (2006). Metodología de la investigación.México: Mc Graw Hill.         [ Links ]

Hsu, Ch. & Sandford, B. (2007). The Delphi Technique: Making Sense of Consensus. Practical Assessment Research & Evaluation, 12(10), 1-8 .         [ Links ]

Hurtado, S & Mendez, D. (2007). Software educativo, Método de Consulta a Expertos (Delphi). CECOFIS, (en línea). Disponible en: http://www.cecofis.cu/artículo3.asp.ISO/IEC 9126.         [ Links ]

Jadhav, A & Sonar, R.(2009) Evaluating and selecting software packages: A review. Information and Software Technology. 51(3), 555-"563.         [ Links ]

Landeta, J. (2002). El método Delphi. Barcelona: Ariel.         [ Links ]

Le, Q., & Le, T. (2007). Evaluation of educational software: Theory into practice. Technology and teaching, 1-10.         [ Links ]

Linstone H. & Turroff, M. (1975). The Delphi method, techniques and applications, Addison wesley publishing.         [ Links ]

Luna, P., Infante, A. & Martínez, F. J. (2006). Los Delphi como fundamento metodológico predictivo para la investigación en sistemas de información y tecnologías de la información (IS/ IT). Píxel-Bit. Revista de Medios y Educación, 26, 89-112.         [ Links ]

Marqués, P. (2001). Plantilla para la Catalogación y Evaluación Multimedia vol 3. Consultado el 08/09/2012 en: http://peremarques.pangea.org/evalweb.htm.         [ Links ]

Miller, L. E. (2006). Determining what could/should be: The Delphi technique and its application. In meeting of the 2006 annual meeting of the Mid-Western Educational Research Association, Columbus, Ohio.         [ Links ]

Okoli, C., & Pawlowski, S. D. (2004). The Delphi method as a research tool: an example, design considerations and applications. Information & management,42(1), 15-29.         [ Links ]

Pozo, M.; Gutiérrez, J. & Rodríguez, C. (2007). El uso del Método Delphi en la definición de los criterios para una formación de calidad en animación sociocultural y tiempo libre. RIE 25(2),351-366.         [ Links ]

Cerezo, C. R., & Fonseca, A. S. (2011). Elaboración y validación de un cuestionario para la aplicación de diferentes estrategias metodológicas en estudiantes universitarios. Universidad de Costa Rica.         [ Links ]

Sicardi, I. (2004). Análisis de la utilización del software educativo como material de aprendizaje. Revista de Informática Educativa y Medios Audiovisuales. 1(3),1-20.         [ Links ]

Unesco (2012). Informe de 2012. Los jóvenes y las competencias: trabajar con la educación. En línea http://www.unesco.org/new/es/education/themes/leading-the-international-agenda/ efareport/reports/2012-skills        [ Links ]