Artículo de Investigación/Research Article
Búsquedas desde una Federación de Repositorios de Objetos de Aprendizaje: Una Evaluación Experimental
Search of Learning Objects From a Repositories Federation: An Experimental Assessment
Néstor D. Duque-Méndez1, Julián Moreno-Cadavid2, Rosa M. Vicari3
1Departamento de Informática y Computación, Universidad Nacional de Colombia, Manizales-Colombia, ndduqueme@unal.edu.co
2Departamento de Ciencias de la Computación y la Decisión, Universidad Nacional de Colombia, Medellín-Colombia, jmoreno1@unal.edu.co
3Centro Interdisciplinar de Novas Tecnologias na Educação, Universidade Federal do Rio Grande do Sul, Porto Alegre-Brasil, rosa@inf.ufrgs.br
Fecha de recepción: 06 de septiembre de 2012 / Fecha de aceptación: 07 de noviembre de 2012
En este artículo se presenta la evaluación de la eficiencia de las búsquedas sobre una federación de repositorios de objetos de aprendizaje, en particular la Federação de Repositórios Educa Brasil – FEB, respecto a la velocidad de respuesta y cantidad de registros recuperados. El objetivo es determinar las bondades de esta arquitectura en las búsquedas centralizadas sobre recursos distribuidos, pensando en un futuro cercano en realizar una implementación similar para Colombia. Tal evaluación se llevó a cabo mediante un experimento, usando 10 términos de búsqueda del campo de la salud, y se hizo una comparación entre FEB y dos repositorios reconocidos: MERLOT y The Gateway. Para no tener sesgos respecto a los momentos y orígenes de las búsquedas, estas se realizaron 30 veces, cada una desde 3 ubicaciones diferentes: Brasil, Colombia y España. Los resultados obtenidos demostraron un menor tiempo promedio de respuesta estadísticamente significante comparado con MERLOT (valor P < 0,001), pero mayor comparado con The Gateway (valor P < 0,001). Finalmente, se evidenció un crecimiento constante de la cantidad de objetos de aprendizaje registrados en FEB durante los últimos dos años.
Palabras clave: Objetos de aprendizaje, repositorios, federación, búsqueda.
Abstract
In this paper, it is presented the assessment of the searching performance over a federation of learning objects repositories, in particular the Federação de Repositórios Educa Brasil – FEB, with regard to the response speed and quantity of retrieved records. The aim is to determine the benefits of this structure in the centralized searches over distributed resources, thinking in a near future to build a similar implementation for Colombia. Such an evaluation was done throughout an experiment with 10 search terms in the health field and a comparison was made between FEB and two well-known repositories: MERLOT and The Gateway. In order to avoid biases regarding the searching times and locations, such searches were done 30 times from 3 different locations each: Brazil, Colombia and Spain. The results obtained showed a lower mean response time which was statistically significant compared to MERLOT (P value < 0,001), but a larger time compared to The Gateway (P value < 0,001). Finally, a continuous grow was evident in the amount of learning objects registered in FEB during the last two years.
Keywords: Learning objects, repositories, federation, search.
1. Introducción
Pese a que existen múltiples definiciones de lo que es un objeto de aprendizaje (OA), se puede decir que es cualquier recurso digital empleado de manera simple o compuesta para soportar el proceso de enseñanza/aprendizaje (Moreno et al., 2010). Para ampliar esta definición, puede decirse que los OAs poseen un conjunto de características que los han convertido en uno de los principales enfoques para encapsular contenido educativo, tanto en la educación presencial tradicional como en la educación a distancia. Una de estas características es que permiten separar la estructura del dominio de conocimiento del contenido, brindando flexibilidad y reusabilidad. Otra, es que pueden ser descritos a través de metadatos que facilitan su administración (Wiley, 2001). Dichos metadatos pueden ser expresados por medio de estándares, siendo el más conocido LOM (Learning Object Metadata) definido por la IEEE (IEEE, 2002). También existen diversas iniciativas conocidas como especificaciones, que procuran capturar un consenso entre investigadores, resumiendo o extendiendo ciertos aspectos de un estándar ya existente. Entre ellos, uno de los más conocidos en el ámbito internacional, es DublinCore (Powell et al., 2007), mientras que en el ámbito regional es OBAA (Padrão de Objetos de Aprendizagem Baseados em Agentes) (Bez et al., 2009; Vicari et al., 2010).
Finalmente, una tercera característica es que existen en la actualidad un número considerable de repositorios -muchos de ellos libres- donde profesores, estudiantes, desarrolladores de contenido, y muchos otros actores relacionados al campo educativo, pueden tener acceso a un gran número de OAs en innumerables áreas del conocimiento (Neven, 2002; Mohan, 2005; López et al., 2007; López et al., 2008). Un listado de algunos de esos repositorios se presenta en la Tabla 1.
]]>
Considerando que son estos repositorios las fuentes principales para almacenar, catalogar, buscar, y acceder a los OAs, es de suma importancia evaluar cómo se realizan en ellos estos procesos, siendo de interés particular la búsqueda y el acceso. Una búsqueda eficiente no solamente disminuye los tiempos de trabajo de los usuarios que la realizan, sino que permite, en última instancia, que los beneficiarios finales cuenten con la mayor cantidad posible de recursos educativos apropiados para apoyar su proceso de aprendizaje.
Como una alternativa para facilitar precisamente el almacenamiento y búsqueda de OAs, surgen las federaciones de repositorios, que a grueso modo pueden describirse como un «meta-buscador» en el sentido que permiten realizar, de manera centralizada y en paralelo, búsquedas en varios repositorios distribuidos suscritos a las federaciones. En Latinoamérica por ejemplo, existen varias implementaciones exitosas de federaciones, siendo dos de las más conocidas LAFLOR (Latin American Federation of Learning Object Repositories) y FEB (Federação de repositorios Educa Brasil), ambas con decenas de miles de materiales registrados. La evaluación del funcionamiento de una federación en particular (FEB en este caso) respecto a la búsqueda de OAs, es precisamente el foco de este artículo, teniendo en ello dos objetivos en mente. El primero es validar su uso para la comunidad en general respecto a la eficiencia de las búsquedas considerando su naturaleza distribuida. El segundo, es evaluar, aunque sea preliminarmente, la conveniencia de este esquema para una propuesta en marcha en Colombia. Lo anterior, puesto que en este país la popularización de OAs es aún incipiente, y contar con una federación sería una alternativa interesante en el sentido que diferentes instituciones podrían unir esfuerzos para compartir sus recursos.
El resto del texto está organizado así: en la siguiente sección se describe de manera mucho más detallada a FEB, tanto respecto a su funcionalidad como a su arquitectura. En la Sección 3 se describen los experimentos llevados a cabo y se reportan los resultados obtenidos. Finalmente, en la Sección 4, se presentan las conclusiones de la evaluación y se expone el trabajo futuro.
2. Descripción de FEB
FEB es un servicio ofrecido por la RNE (Rede Nacional de Ensino e Pesquisa) de Brasil con el fin de tener disponible una infraestructura para la confederación de repositorios de OAs a partir de un único punto de búsqueda, pregonando como principio guía la reutilización de estos recursos (FEB, 2010). Dentro de su filosofía, FEB está destinado básicamente a cualquier institución educativa o de investigación que desee hacer uso precisamente de esa reutilización y compartir sus repositorios para que los OAs que contienen lleguen a manos de otras personas diferentes a sus creadores.
Más específicamente, FEB provee mecanismos para integrar varios repositorios de OAs a través de la recuperación de sus metadatos para hacerlos accesibles desde un sistema de búsqueda centralizado. Para eso la propuesta de FEB permite la inclusión de cualquier repositorio siempre que estos utilicen algún estándar de metadatos. El sistema soporta principalmente el estándar OBAA, pero también permite el uso de cualquier otro como por ejemplo LOM o DublinCore siempre que exista previamente un esquema de mapeo con OBAA. Es importante mencionar sin embargo que el sistema manipula solamente los metadatos, más no los contenidos.
Para almacenar los datos propios de cada repositorio, FEB utiliza un esquema de directorios a partir de una estructura de árbol, como se muestra en la Fig. 1. En dicho esquema para el caso de FEB los nodos representan instituciones o regiones (metadirectorios), mientras que las hojas representan los repositorios. De esta manera se puede segmentar la administración de los repositorios en regiones permitiendo su autonomía sin perder la centralización de los datos.
]]> Respecto al proceso de búsqueda, este puede ser llevado a cabo tanto de manera extensiva (dentro de todos los repositorios que hacen parte de FEB) como de manera específica (en un repositorio en particular). El resultado de la búsqueda en cualquiera de los casos corresponde a los enlaces de los OAs que satisfacen los criterios de búsqueda, así como la información de los repositorios de origen correspondientes. Otra característica relevante de FEB es que posee una herramienta de sincronización para determinar si hubo cambios en los repositorios para así, por ejemplo, incluir nuevos OAs o excluir los que fueron eliminados.3. Experimentos y resultados
Para evaluar, desde el punto de vista del usuario el proceso de búsqueda de OAs desde FEB, se buscaron 10 términos en un área del conocimiento determinada. En este caso se trató del área de la salud, más específicamente términos relacionados a patologías comunes. Se eligió en particular esta área del conocimiento por considerarse general, y por suponer que se obtendrían una cantidad considerable de recursos relacionados. La búsqueda se realizó en 30 ocasiones diferentes (3 veces para cada uno de los 10 términos) en un período comprendido entre mayo y julio de 2012, y desde ubicaciones 3 distintas: Brasil, Colombia y España. Se eligieron diferentes momentos y diferentes puntos geográficos buscando disminuir el impacto de variables exógenas en los resultados (proveedor de servicio e internet, congestión de la red, etc.). En cada búsqueda se midió el tiempo empleado para obtener los registros por medio de la herramienta webwait (http://webwait.com).
Para tener un punto de comparación, se realizó el mismo procedimiento desde dos repositorios populares no federados: MERLOT y The Gateway. En el caso de FEB las consultas se hicieron en el idioma portugués, mientras que en los otros dos se hicieron en inglés. En la Tabla 2 se muestran los datos obtenidos. Para cada repositorio se reporta el tiempo promedio en segundos de obtención de registros para cada término buscado junto con su desviación estándar y la cantidad de OAs encontrados.
Para visualizar más fácilmente los datos de los tiempos de respuesta, en la Fig. 2 se muestra el valor promedio como una línea gruesa, mientras que el intervalo de +/- una desviación estándar se muestra por medio de las líneas delgadas.
Como puede observarse, tanto en la Tabla 2 como en la Fig. 2, el tiempo promedio de respuesta FEB fue inferior al de MERLOT pero superior al de The Gateway para todos los términos consultados. Sin embargo, esta evaluación preliminar no es suficiente puesto que, a diferencia de FEB, tanto en MERLOT como en The Gateway se presentaron unas desviaciones estándar considerables. Para realizar una evaluación más contundente se aplicaron pruebas de hipótesis para muestras independientes empleando el estadístico t. La hipótesis nula (H0) fue que los promedios eran iguales y consecuentemente la hipótesis alterna (H1) fue que no lo eran.
Al comparar FEB con MERLOT tomando un consolidado de los datos presentados en la Tabla 2 se obtuvo un valor del estadístico t de 16,622 con un correspondiente valor P menor a 0,001. Entre tanto, al comparar FEB con The Gateway se obtuvo un valor del estadístico t de 13,487 con un correspondiente valor P menor a 0,001. En ambos casos se rechaza la hipótesis nula en favor de la alterna con lo cual se puede afirmar que hay una diferencia estadística significativa.
]]> Ahora, en lo que respecta a los OAs encontrados, tal como puede observarse en la Tabla 2 y en la Fig. 3, FEB obtuvo una mayor cantidad para todos los términos consultados. De hecho, puede notarse que en el total FEB sobrepasa a MERLOT en una proporción de casi 5:1 y a The Gateway en una proporción de casi 8:1.Como último análisis, aprovechando que se tenían datos de la cantidad de OAs encontrados durante unas búsquedas realizadas en 2010 y 2011, se hizo una comparación con algunos de los términos empleados en el experimento anterior, tal como se muestra en la Tabla 3. En este caso el resto de términos de búsqueda no fueron incluidos pues no se contó con los datos correspondientes. No se incluyó una comparación con The Gateway por la misma razón.
A partir de los datos consignados en la Tabla 3 puede notarse que FEB exhibe un crecimiento considerable respecto a la cantidad de OAs para los términos de búsqueda utilizados año a año. Si se toma la variación total de los tres términos se obtiene que el crecimiento entre 2010 y 2011 fue de 224,7%, mientras que el de 2011 a 2012 fue de 55,5%. Esto comparado con unas variaciones de 1,7% y 41,7% para el caso de MERLOT en los mismos años. Si bien estos resultados no pueden generalizarse –ni siquiera para el caso específico del área de la salud–, sí dan cuenta de la acogida y crecimiento que han tenido los repositorios suscritos a FEB. Esto es consistente con uno de los principios de una federación: el crecimiento en cada uno de los repositorios federados es acumulativo a favor de la federación, en este caso de FEB.
4. Conclusiones
Considerando la importancia que han adquirido los OAs, tanto para la educación a distancia como para la presencial, es de gran interés para la comunidad educativa y científica contar con herramientas que permitan su administración de manera eficiente. Dentro de este contexto FEB, y en general las federaciones de repositorios, se vislumbran como una alternativa novedosa en cuanto propone un esquema jerárquico para la organización de repositorios de OAs que posibilita un monitoreo centralizado que finalmente se traduce en la posibilidad de realizar búsquedas desde un único punto con el fin de brindar una mayor cantidad de recursos en un menor tiempo de respuesta.
En la evaluación presentada en este artículo se encontró que en el caso de 10 términos comunes dentro del área de la salud, FEB quedó en segundo lugar respecto a la velocidad de respuesta, comparado con dos repositorios populares. Este resultado demuestra –diferente a lo que se podría pensar- que una arquitectura distribuida no implica tiempos más altos de búsqueda. En otras palabras, para los usuarios finales (profesores, estudiantes y comunidad en general) puede llegar a ser transparente como se encuentren localizados los OAs como tal, siempre y cuando la búsqueda se realice desde un punto central.
Respecto al número de registros encontrados, parece ser que el tratarse de una federación es una ventaja puesto que se suman los esfuerzos de cada uno de los repositorios asociados. En el caso de FEB por ejemplo, el número de OAs registrados, al menos los relacionados con los términos de búsqueda empleados, es evidentemente superior al de los dos repositorios de comparación. No solo eso, sino que se muestra un constante crecimiento año a año.
]]> Si bien este fenómeno no necesariamente se debe a la arquitectura de esta alternativa, sino al compromiso y las políticas de los repositorios asociados, sí es un indicio claro de que este tipo de iniciativas, donde los controles de los repositorios individuales residen en los mismos repositorios, pero los resultados de todos se unen en un punto común, poseen un gran potencial en el contexto educativo. Vale la pena mencionar en este sentido que alternativas diferentes de control centralizado, como el portal «Colombia Aprende» por ejemplo, evidencian por el contrario una falta de crecimiento e incluso un estancamiento que desmotivan su utilización.A la luz de estas evidencias, se puede concluir que experiencias exitosas como es el caso de FEB en Brasil son ejemplos que podemos seguir en Colombia, en particular en lo que respecta a la suma de esfuerzos de diversas instituciones «encontrándose» en un mismo punto, pero siendo autónomos en el control de sus recursos (los OAs en este caso). Precisamente en este sentido se ha venido trabajando en la Universidad Nacional de Colombia en las sedes Manizales y Medellín con un proyecto llamado FROAC (Federación de Repositorios de Objetos de Aprendizaje en Colombia) para adoptar estas buenas prácticas. Dentro del trabajo a mediano plazo de dicho proyecto se encuentra la definición de una arquitectura de federación, así como de los mecanismos de socialización para alcanzar esa suma de esfuerzos.
5. Agradecimientos
La investigación presentada en este artículo fue parcialmente financiada por Colciencias mediante el proyecto titulado «ROAC, Creación de un modelo para la Federación de OAs en Colombia que permita su integración a confederaciones internacionales», con código PRE00503024289. Agradecemos a los miembros del grupo de investigación GAIA, en especial a Valentina Tabares y Paula Andrea Rodríguez, que contribuyeron con la obtención y análisis de algunos de los datos presentados en este artículo.
Referencias
Bez, M., Carvalho, J., Santos, E., Primo, T., Bordignon, A. (2009). OBAA project: An approach to interoperable learning objects based on Web and digital television. World Conference of Computers in Education - WCCE, Bento Gonçalves, Brasil. [ Links ]
Federação de Repositórios Educa Brasil - FEB. (2010). O que é FEB? En http://feb.ufrgs.br, Consultado el 5 de agosto de 2011. [ Links ]
IEEE. (2002) Draft Standard for Learning Object Metadata. En: http://ltsc.ieee.org/wg12/files, Consultado el 5 de agosto de 2011. [ Links ]
López, M. G., Maestre, A. J., Sánchez-Alonso, S. (2007). Reusabilidad de los Objetos de Aprendizaje almacenados en Repositorios de Libre Acceso. IV Simposio Pluridisciplinar sobre Diseño, Evaluación y Desarrollo de Contenidos Educativos Reutilizables - SPDECE, Bilbao, Spain. [ Links ]
López, M. G., Miguel, V., Montaño, N. E. (2008). Sistema generador de Ambientes de Enseñanza-Aprendizaje Constructivistas basados en Objetos de Aprendizaje (AMBAR): la Interdisciplinariedad en los ambientes de aprendizaje en línea. Revista de Educación a Distancia, 8(19). [ Links ]
Mohan, P. (2005). Learning Object Repositories. Informing Science and IT Education Joint Conference. Flagstaff, USA. [ Links ]
Moreno, J., Ovalle, D., Vicari, M. (2010). Método para la selección de Objetos de Aprendizaje a partir de características cognitivas del estudiante. 21° Simpósio Brasileiro de Informática na Educação - SBIE, João Pessoa, Brasil. [ Links ]
Neven, F., Duval, E. (2002). Reusable learning objects: a survey of LOM-based repositories. 10th ACM international conference on Multimedia, New York, USA. [ Links ]
Nicolao, M., Viccari, R. M., Tarouco, L., Nunes, M., Andrade, C., Rossi, L. (2010). Federação de Repositórios Educa Brasil - FEB. Quinta Conferencia Latinoamericana de Objetos de Aprendizaje - LACLO, São Paulo. Brasil. [ Links ]
Powell, A., Nilsson, M., Naeve, A., Johnston, P., Baker, T. (2007). DCMI Abstract Model. En: http://dublincore.org/documents/abstract-model, Consultado el 15 de Julio de 2010. [ Links ]
Vicari, R. M., Ribeiro, A., Carvalho, J. M., Santos, E. R., Primo, T., Bez, M. (2010). Brazilian Proposal for Agent-Based Learning Objects Metadata Standard - OBAA. Metadata and Semantic Research, Communications in Computer and Information Science, 108, 300-311. [ Links ]
Vicari, R, M. (2011). OBAA Standard & FEB: Where are we?. 6to Congreso Colombiano de Computación - 6CCC, Manizales, Colombia. [ Links ]
Wiley, D. (2001). Connecting learning objects to instructional design theory: A definition, a metaphor, and a taxonomy. En: The Instructional Use of Learning Objects. Agency for Instructional Technology. [ Links ]
]]>
