¹Ing. de Sistemas, candidato a Magíster en Computación, Integrante del grupo IDIS (Investigación y Desarrollo en Ingeniería de Software), Popayán, Colombia, afsolano@unicauca.edu.co
²Ing. de Sistemas y Licenciada en Educación con Especialidad en Matemáticas, candidata a Magíster en Computación, Integrante del grupo IDIS (Investigación y Desarrollo en Ingeniería de Software), Popayán, Colombia, ymendal@unicauca.edu.co
³Ing. de Sistemas, Ph. D., Profesor titular de la Universidad del Cauca, Coordinador del grupo IDIS (Investigación y Desarrollo en Ingeniería de Software), Popayán, Colombia, ccollazo@unicauca.edu.co

Fecha de recepción: 2 de noviembre de 2011 Fecha de aprobación: 4 de diciembre de 2010

RESUMEN

En la actualidad, la usabilidad es un atributo fundamental para el éxito de un producto software. La competitividad entre organizaciones obliga a mejorar el nivel de usabilidad de los productos, debido al riesgo que existe de perder clientes, si el producto no es fácil de usar y/o fácil de aprender. Aunque se han establecido métodos para evaluar la usabilidad de productos software, la mayoría de estos métodos no consideran la posibilidad de involucrar a varias personas trabajando de forma colaborativa en el proceso de evaluación. Por esta razón, convendría utilizar la Metodología para el Diseño de Métodos de Evaluación de Usabilidad Colaborativos, de tal forma que se diseñen métodos que permitan a varias personas de diversas áreas de conocimiento, trabajar de forma colaborativa en el proceso de evaluación. Este artículo presenta de forma general, la metodología mencionada y hace especial énfasis en los thinklets, como elementos clave para el diseño de procesos colaborativos.

Palabras Clave: usabilidad, métodos de evaluación de usabilidad, trabajo colaborativo, patrón de colaboración, thinklet.

ABSTRACT

Currently, usability is a critical attribute to success of software. The competition among organizations forces to improve the level of product usability due to the risk of losing customers if product would not be easy to use and/or easy to learn. Methods have been established to evaluate the usability of software products; however, most of these methods don't take into account the possibility to involve several people working collaboratively in the evaluation process. Therefore, Methodology for Design of Collaborative Usability Evaluation Methods should be used to design methods that allow several people from a range of knowledge areas to work collaboratively in the evaluation process. This paper presents the methodology mentioned and gives special emphasis on Thinklets, as key elements for design of collaborative processes.

Key Words: usability, usability evaluation method, collaborative work, collaboration pattern, thinklet.

INTRODUCCIÓN

En muchas organizaciones, el proceso de desarrollo de software incluye personas de diversas áreas de conocimiento. De igual forma, en el proceso de evaluación de la usabilidad de productos software, convendría disponer de un grupo de evaluadores interdisciplinarios, por ejemplo: expertos en usabilidad y diseño centrado en el usuario, arquitectos de información, diseñadores gráficos, psicólogos, etc., ya que realizar la evaluación de usabilidad es muy difícil sin la colaboración de otras personas, debido a que constantemente se encuentran actividades más complejas que requieren la experiencia de diversas personas. Además, la colaboración "permite coordinar toda una serie de actividades que apoyan la comunicación, la coordinación y la negociación entre varias personas, con el fin de aumentar la productividad" [1], y de esta manera, se tiende a maximizar los resultados y minimizar la pérdida de tiempo e información en el proceso de evaluación.

aunque se han establecido métodos para evaluar la usabilidad de software, el inconveniente radica en que un gran número de ellos, se han diseñado para ser utilizados en un ambiente de trabajo individual. Desde esta perspectiva, este artículo presenta de forma general la aplicación de la Metodología para el Diseño de Métodos de Evaluación de Usabilidad Colaborativos, tomando como caso de estudio la generación del método colaborativo Entrevista, el cual permite que varias personas se involucren en el proceso de evaluación, con el objetivo de que los resultados de la evaluación sean más adecuados y se contribuya significativamente en el desarrollo de productos software usables. En el contenido del artículo, se destacan los thinklets como elementos clave en el diseño de procesos colaborativos, por que se pueden usar y adaptarse con facilidad para construir este tipo de procesos, inmersos en la evaluación de usabilidad de software.

En la siguiente sección, se presentan algunos referentes teóricos relacionados con la temática del artículo; luego, se presenta de forma general información sobre la Metodología para el Diseño de Métodos de Evaluación de Usabilidad Colaborativos y los resultados obtenidos en la ejecución de cada una de sus fases para el método de la Entrevista. Posteriormente, se presentan algunos thinklets generados mediante el desarrollo de la metodología, y por último, se presentan conclusiones y trabajo futuro.

1. REFERENTES TEÓRICOS

1.1. USABILIDAD Y MÉTODOS PARA SU EVALUACIÓN

La usabilidad se define como "el grado en el que un producto puede ser utilizado por usuarios específicos para conseguir objetivos específicos con efectividad, eficiencia y satisfacción en un determinado contexto de uso" [2]. La usabilidad es vista por lo general, para asegurar que los productos interactivos sean fáciles de aprender, efectivos y agradables para sus usuarios. Al realizar la tarea para la cual se ha desarrollado un software de manera intuitiva, eficiente y fácil, se puede pensar que el uso de este software será más fácil. La facilidad en el desarrollo de una tarea, se puede medir, verificando la rapidez con la cual se realiza, el número de errores cometidos y el grado de satisfacción del usuario al utilizar el software [3].

Existen muchos métodos de evaluación de usabilidad y algunos de ellos, parten de que el sistema ya está hecho o al menos hay un prototipo viable. Estos métodos se pueden "clasificar en diferentes categorías, tales como: inspección, indagación y prueba" [4]. La ejecución de estos métodos permite introducir mejoras en la usabilidad de un producto software, prototipo o versión definitiva de un sistema interactivo. Además, se realiza con el fin de detectar fallos o aspectos susceptibles de mejorar en cuanto a su uso.

1.2. TRABAJO COLABORATIVO

En décadas recientes, se han dado diferentes definiciones relacionadas con el trabajo colaborativo. Entre ellas se destacan las siguientes: Marx, en 1884, define el término trabajo colaborativo como: "múltiples individuos trabajando juntos de una manera planificada en un mismo proceso de producción o en procesos de producción diferentes pero conectados" [5]. De manera similar, Bannon define el trabajo colaborativo como "la nominación general y neutral de múltiples personas que trabajan juntas para producir un producto o servicio" [6]. El trabajo colaborativo persigue "el desarrollo de conocimiento compartido, la aceleración de los flujos de información, la coordinación de los flujos de recursos para producir economías de costos y tiempos" [7].

El aspecto más importante de trabajar en grupo, es el hecho de contar con un objetivo común que canaliza los esfuerzos individuales y ofrece un sentido de pertenencia que fomenta la unión. Los miembros del grupo tienen la oportunidad de aprender, tomando en consideración otros puntos de vista, maneras distintas de hacer las cosas, interpretaciones diferentes de conceptos, experiencia de otros y la forma como dan solución a problemas similares [8].

1.3.  PATRONES DE COLABORACIÓN

Aunque se conozcan los pasos que un grupo de personas debe seguir para llevar a cabo un proceso y se tenga un conocimiento general de los resultados obtenidos durante la ejecución de cada paso, no se conoce necesariamente cómo el grupo ejecutará cada uno de ellos. De esta manera, los patrones de colaboración son una guía del cómo se ejecutará el proceso, y "definen la manera como los participantes de una actividad grupal van de un estado inicial a un estado final" [9].

1.4.  THINKLETS

Los thinklets son bloques de construcción que se pueden unir para especificar cómo un determinado patrón de colaboración debe realizarse cuando el proceso está en ejecución. un thinklet "constituye la unidad más pequeña del capital intelectual necesario para crear un patrón de la colaboración repetible y predecible, entre las personas que trabajan hacia un objetivo" [10].

La documentación que provee un thinklet, cuenta con la siguiente información [11]: un nombre metafórico o representativo relacionado con los patrones que crea el thinklet, criterios para decidir cuándo escoger o no el thinklet, información general del thinklet (como entradas y salidas), cómo usar el thinklet (pasos que conforman el thinklet), una historia exitosa que ayuda a clarificar las circunstancias bajo las cuales el Thinklet es útil y una explicación del nombre, la cual hace más fácil recordar el nombre del thinklet.

2. INCORPORACIÓN DE TRABAJO COLABORATIVO A LOS MÉTODOS DE EVALUACIÓN DE USABILIDAD

2.1. METODOLOGÍA PARA EL DISEÑO DE MÉTODOS DE EVALUACIÓN DE USABILIDAD COLABORATIVOS

En los procesos que conforman los métodos de evaluación de usabilidad, el trabajo colaborativo se incorpora mediante la aplicación de la Metodología para el Diseño de Métodos de Evaluación de Usabilidad Colaborativos (figura 2) [12]. Esta metodología se obtuvo a partir de la Metodología para el Desarrollo de Procesos Colaborativos (figura 1) [13], planteada por investigadores de Ingeniería de Colaboración.

La Metodología para el Desarrollo de Procesos Colaborativos (metodología original propuesta por los investigadores), se compone de las siguientes fases [13]: Diagnóstico de la tarea, Evaluación de la actividad, Descomposición de la actividad, Relación de thinklets, Documentación de diseño y Validación del diseño (figura 1). Las fases de la metodología sufrieron algunas modificaciones, de tal manera que su uso permite generar métodos colaborativos para evaluar la usabilidad de software, es decir, métodos que permitan compartir conocimiento, recursos, etc., a varias personas durante su ejecución. La metodología propuesta, presenta modificaciones en la primera fase, entradas y salidas de las fases y algunas fases adicionales.

La primera fase que se denomina "Diagnóstico de la tarea", pasa a ser "Diagnóstico de los métodos de evaluación de usabilidad", y de acuerdo con lo anterior, se adicionaron las siguientes fases al proceso: Determinación de los métodos objeto de estudio, Justificación del aspecto colaborativo y Generación de nuevos thinklets (figura 2). En las figuras 1 y 2, las cajas en una tonalidad gris clara de la parte superior, son las entradas que se requieren en cada fase y las cajas en una tonalidad gris oscura de la parte inferior, describen la salida de cada fase. En la figura 2 las cajas en blanco de la parte superior, corresponden a las fases adicionales propuestas en la metodología. En la siguiente sección, se presenta de forma general información relacionada con las fases que conforman la metodología.

2.2. EJECUCIÓN DE LA METODOLOGÍA PARA EL DISEÑO DE MÉTODOS DE EVALUACIÓN DE USABILIDAD COLABORATIVOS

La primera fase de la metodología (fase adicional), planteada para generar métodos de evaluación de usabilidad colaborativos, consiste en determinar los métodos objeto de estudio. Mediante una encuesta realizada a un grupo de expertos en usabilidad, se identificaron los métodos más utilizados en la actualidad y corresponden a la categoría de indagación, que son: Observación de Campo, Entrevista y Grupo de Discusión Dirigida. El grupo de encuestados estuvo conformado por:

• Toni Granollers, experto en usabilidad y diseño centrado en el usuario de la Universidad de Lleida, España.
• Martha González, experta en usabilidad de la Universidad de Lleida, España.
• María Lili Villegas de la Universidad del Quindío, Colombia.
• William Giraldo de la Universidad del Quindío, Colombia.
• Mauricio Candamil, Comunicador Social y Web Máster del portal Web de la Universidad del Cauca, Colombia.
• July Jiménez de la Universidad del Cauca, Colombia.

En el presente artículo, el método de la Entrevista será objeto de estudio para incluir aspectos de trabajo colaborativo de los procesos que los conforman. A continuación, para este método se presenta de forma general, los resultados obtenidos en la realización de cada fase de la metodología.

2.2.1. Fase: Diagnóstico de los métodos de evaluación de la usabilidad

En esta fase, se realiza una descripción del método objeto de estudio, en la cual se incluyen los entregables, requerimientos y demás información relevante del método. En la tabla 1, se presenta la descripción del método de la Entrevista.

2.2.2. Fase: Evaluación de la actividad

En esta fase, se identifican las actividades generales que componen el método objeto de estudio y se determina la secuencia entre ellas. En la tabla 2, se listan las actividades generales que componen el método de la Entrevista.

2.2.3. Fase: Descomposición de la actividad

En esta fase, se especifican las subactividades que componen cada actividad general identificada en la fase anterior. Luego de obtener las subactividades, se definen cuáles se realizarían de forma colaborativa, y a cada una de ellas se le asocia un patrón de colaboración.

Para determinar el conjunto de subactividades que conforman el método de la Entrevista, y cuáles requieren trabajo colaborativo, se realizó una encuesta a un grupo de expertos en usabilidad (conformado por las mismas personas que participaron en la encuesta mencionada anteriormente), con el objetivo de identificar las subactividades que requieren trabajo colaborativo para su ejecución. Por ejemplo: en la tabla 3, se listan las subactividades que componen la actividad general 10: Análisis de los datos obtenidos y conclusiones.

Respecto de la fase adicional: Justificación del aspecto colaborativo. Para determinar cuáles subactividades requieren trabajo colaborativo para su ejecución, es fundamental tener en cuenta los siguientes criterios [12]:

• La ejecución de la actividad y el plan de trabajo requieren incluir varias personas que pueden tener diferentes roles.
• Se requiere contar con personas que tienen un alto grado de experticia en un área específica de conocimiento, para ejecutar las actividades.
• Es necesario compartir conocimiento, recursos e información con otras personas.
• Es necesario tener en cuenta los diferentes aportes, opiniones y puntos de vista de otros integrantes del grupo que está ejecutando la actividad.

Posterior a la identificación de las subactividades que requieren trabajo colaborativo, se asocian patrones de colaboración a dichas subactividades. Por ejemplo, en la tabla 4, se presentan los resultados de asociar patrones de colaboración a la subactividad colaborativa 10.1: Analizar el contenido del documento de las entrevistas para obtener información de la percepción de los usuarios frente a las funcionalidades del sistema.

2.2.4. Fase: Relación de Thinklets

Luego de asignar los patrones de colaboración a las subactividades colaborativas, se requiere asociar a cada patrón seleccionado un thinklet que se adecúe a los procesos que conforman dicha subactividad. Los thinklets identificados deben adecuarse a los recursos, al grupo y hasta las propias habilidades de las personas involucradas en la ejecución de los procesos colaborativos [9]. En la tabla 5, se presentan los resultados obtenidos de la relación de thinklets a la subactividad 10.1: Analizar el contenido del documento de las entrevistas para obtener información de la percepción de los usuarios frente a las funcionalidades del sistema.

Respecto de la fase adicional: Generación de thinklets, se propusieron los thinklets: Discussion Circle y Analysis Content. La información relacionada con estos thinklets se presenta en las secciones 3.2.1 y 3.2.2.

2.2.5. Fase: Documentación del diseño

A partir de la información obtenida en las fases anteriores, se genera la documentación definitiva del método colaborativo objeto de estudio. Para tal fin, la Ingeniería de Colaboración ha defnido los siguientes elementos [13]:

Descripción del Proceso: presenta información general relacionada con el proceso colaborativo diseñado. En la tabla 6, se presenta la descripción del proceso de la actividad general 10: Análisis de los datos obtenidos y conclusiones, que está conformada por subactividades colaborativas.

Agenda Detallada: presenta de manera clara y detallada la información relacionada con cada actividad que hace parte del proceso diseñado. La agenda detallada contiene información como: número, actividad, entregable, thinklet y patrón de colaboración, proceso colaborativo, tiempo estimado y participantes de cada actividad que conforma el método objeto de estudio. La información del proceso colaborativo es una descripción detallada de los pasos que se requieren para ejecutar la actividad (estos corresponden a los pasos propuestos en el thinklet asociado, con sus respectivas adaptaciones). En la tabla 7, se presenta una porción de la agenda detallada con las subactividades que conforman la actividad general 10: Análisis de los datos obtenidos y conclusiones. En la porción de la agenda detallada no se incluye información relacionada con el proceso colaborativo.

La información relacionada al Thinklet Analysis Content se presenta en la sección 3.2.2, el Thinklet Straw Poll ha sido generado a partir de investigaciones en ingeniería de Colaboración [15].

Modelo de Facilitación del Proceso (MFP): es utilizado para mostrar el flujo del proceso y los elementos tales como thinklet, identificador correspondiente a la agenda detallada, tiempo estimado de duración, patrón de colaboración y descripción, relacionados con cada actividad que conforma el proceso. En la figura 3, se presenta una porción del MFP con las subactividades que conforman la actividad general 10: Análisis de los datos obtenidos y conclusiones.

2.2.6. Fase: Validación del diseño

Por último, se debe validar el diseño del método colaborativo objeto de estudio; para tal fin, la metodología ofrece las siguientes formas de validación [13]:

• Prueba piloto: consiste en ejecutar el método colaborativo diseñado para evaluar la efectividad del proceso. El objetivo es verificar si la ejecución de los métodos se puede llevar a cabo en el tiempo estimado y con los recursos defnidos.
• Recorrido: consiste en realizar la evaluación del método colaborativo con algunos de los participantes en la ejecución del mismo, para identificar falencias y difcultades durante la ejecución.
• Simulación: el equipo de trabajo que diseñó el método colaborativo, responde a una serie de preguntas; esta validación prueba la lógica del diseño y si a cada paso se le creará el entregable requerido. Las respuestas generadas servirán de referente para realizar las mejoras respectivas.
• Revisión: consiste en generar discusión sobre los diseños realizados entre el equipo de trabajo y los potenciales usuarios que ejecutarán el método colaborativo, para ayudar a identificar partes del diseño ineficientes.

Para la validación preliminar del método colaborativo de la Entrevista, se utilizaron dos formas de validación de las establecidas por la metodología, las cuales son: Simulación y Prueba Piloto. Estas formas de validación permitieron probar la lógica del diseño, comprobar que a cada paso se le crean los entregables requeridos, identificar problemas en el diseño, verificar si la ejecución de las actividades colaborativas se puede llevar a cabo en el tiempo estimado y con los recursos defnidos y de esta manera, mejorar el diseño del método.

3. GENERACIÓN DE THINKLETS

3.1. IMPORTANCIA DEL THINKLET EN EL DISEÑO DE MÉTODOS COLABORATIVOS PARA EVALUAR USABILIDAD DE SOFTWARE

Los thinklets pueden usarse para construir grupos de procesos que conforman métodos de evaluación de usabilidad de software; son elementos creados para ser utilizados por personas con poca experiencia, ya que son fácilmente aprendidos, recordados y pueden adaptarse a un diseño de proceso [16]. En el contexto de los métodos de evaluación de usabilidad, el uso de thinklets resulta conveniente por que:

• Soportan el diseño de procesos colaborativos.
• Sirven como lenguaje común entre los diseñadores de procesos colaborativos.
• Sirven como punto de partida para la ejecución de un proceso colaborativo.
• Sirven como instrumento de investigación para comparar la ejecución de diferentes procesos colaborativos.

Una de las grandes ventajas de los thinklets es que los diseñadores de procesos colaborativos pueden emplearlos para escoger soluciones conocidas y no invertir esfuerzos en inventar y probar nuevas. Esto puede reducir tanto el esfuerzo como el riesgo, durante el desarrollo de procesos colaborativos [15]. Con el propósito de contribuir en estos aspectos, en la siguiente sección se presentan algunos thinklets, generados por el grupo de trabajo, que intentan facilitar el desarrollo de procesos colaborativos.

3.2. THINKLETS GENERADOS

El grupo de trabajo ha generado nuevos thinklets, que se consideran útiles a la ingeniería de Colaboración, estos son: DiscussionCircle, DiscussionChips y AnalysisContent. Los thinklets: DiscussionCircle y DiscussionChips, se basan en las técnicas de aprendizaje colaborativo: Inside-Outside Circle y Talking Chips [17], respectivamente. Estas técnicas permiten que un grupo de personas hablen de un tema común, con la particularidad de que se garantiza igual participación de las personas. El Thinklet AnalysisContent se basa en la técnica de análisis de contenido [18], que es de gran utilidad para analizar grandes cantidades de información de una manera objetiva, sistemática y cuantitativa. A continuación, se presenta la descripción de los thinklets DiscussionCircle y AnalysisContent.

3.2.1. Thinklet: DiscussionCircle

Este Thinklet se basa en la técnica de aprendizaje colaborativo Inside-Outside Circle, que "permite a un grupo de personas intercambiar ideas con la participación de todos" [17]. El proceso de la técnica fue adecuado de tal manera que pudiera ser utilizado en la ejecución de métodos colaborativos de evaluación de usabilidad. En la tabla 8, se presenta la descripción del thinklet DiscussionCircle.

3.2.2. Thinklet: Analysis Content

El Thinklet AnalysisContent se basa en la técnica de análisis de contenido que es de gran utilidad para la reducción de datos. En la tabla 9, se presenta la descripción del thinklet AnalysisContent.

4. CONCLUSIONES Y TRABAJO FUTURO

Las empresas desarrolladoras de software se podrían beneficiar con los métodos colaborativos para evaluar la usabilidad de software obtenidos a partir del desarrollo de la metodología propuesta, ya que al integrar varias personas de diferentes áreas de experticia en el proceso de evaluación de usabilidad de los productos, comparten conocimiento y recursos, garantizando así la obtención de productos software más usables para los usuarios finales.

Debido a que en los métodos de evaluación de usabilidad se intenta fomentar el trabajo colaborativo entre los integrantes de un grupo, se contribuye significativamente para que durante la realización de las actividades colaborativas se generen resultados más adecuados al respecto del trabajo grupal. Al trabajar de forma colaborativa, se generan para los integrantes del grupo ventajas como: permitir entender mejor un problema, facilitar la detección de errores, dar más alternativas de solución a un problema, acceder a un mayor volumen de información útil, entre otras. Esta forma de apoyar los procesos de evaluación de la usabilidad puede mejorar notablemente la calidad del producto y el método de una manera innovadora.

En cada actividad colaborativa, se intenta fortalecer la colaboración entre los diferentes miembros del grupo, es decir, se intenta promover la comunicación, la coordinación y la negociación, con el fin de aumentar la productividad. La colaboración permite a los miembros del grupo, unir esfuerzos intelectuales para buscar un objetivo común que en este caso particular, es lograr evaluar la usabilidad de productos software de una manera más acertada.

La generación de nuevos thinklets es muy pertinente para la ingeniería de Colaboración, debido a que los existen no son suficientes; algunos de estos, no se adaptan a las necesidades específicas de un proyecto y se incrementa el número de opciones para seleccionar en el momento de asociar thinklets a una actividad colaborativa. Los nuevos thinklets: DiscussionCircle y AnalysisContent, integran aspectos como: el análisis de contenido y técnicas que permiten la discusión de temas comunes, garantizando la participación de todas las personas que conforman el grupo.

Sería un gran aporte diseñar de forma colaborativa todos los métodos de evaluación de usabilidad, pertenecientes a las categorías de inspección, indagación y prueba. Es conveniente continuar mejorando el diseño del método colaborativo de la Entrevista y generar nuevos thinklets, debido a que algunos de estos no se adaptan a las necesidades específicas de un proyecto. Además, es adecuado continuar mejorando los thinklets generados por el grupo de trabajo.

AGRADECIMIENTOS

Este trabajo ha sido parcialmente financiado por los proyectos: Implementación de un Framework para la evaluación de la Usabilidad de aplicaciones software soportado en la creación de un Colaboratorio de usabilidad, código 111345221103 de COLCIENCIAS; Lineamientos de usabilidad para el diseño y desarrollo de servicios educativos para Televisión Digital Interactiva, código 2713 de la Vicerrectoría de Investigaciones de la universidad del Cauca (Colombia), y el proyecto ST-CAV: Servicios de T-learning para el soporte de una Comunidad Académica Virtual, Código 110348925425, financiado por COLCIENCIAS y el SENA.

REFERENCIAS BIBLIOGRÁFICAS

[1] Lucero, M. (2004). Entre el Trabajo Colaborativo y el Aprendizaje Colaborativo; En: revista iberoamericana de educación. Facultad de Ciencias Fisico-matemáticas y Naturales. ISSN: 1681-5653.        [ Links ]

[2] ISO 9241-11 (1998). Ergonomic requirements for office work with visual display terminals.        [ Links ]

[3] Lores, J., Granollers, T., Sergi, L. (2002). Introducción a la Interacción Persona Ordenador, Universidad de Lleida.        [ Links ]

[4] Alzate, B. (2008). Evaluación de Interfaces Gráficas: ¿Qué, Cómo, Cuándo, Quién, Cuánto y a Qué Precio? Grupo de Investigación Centro Imagen GICI Escuela de Arquitectura y Diseño Universidad Pontificia Bolivariana, Medellín, Colombia.        [ Links ]

[5] Marx, R. (1884). La "Neue Rheinische Zeitung. Organ der Demokratie"; Nueva Gaceta del Rin, Órgano de la Democracia.        [ Links ]

[6] Bannon, L., Schmidt, K. (1989). CSCW: Four Characters in Search of a Context. in Proc. First European Conf. On CSCW, Gatwick, UK.        [ Links ]

[7] Díaz, M. (2000). E-business: Tecnología de información y redes de negocios. Debates IESA.        [ Links ]

[8] Trabajo colaborativo. Consultada en marzo de 2011. En: http://www.ucla.edu.ve/dac/investigaci%F3n/compendium6/Tecnologia%20de%20trabajo%20colaborativo.htm        [ Links ]

[9] Kolfschoten, G., Briggs, R., Vreede, G. (2006). Definitions in Collaboration Engineering; Proceedings of the 39 Hawaii International Conference on System Sciences. Delft University of Technology, University of Arizona.        [ Links ]

[10] Chatterjee, S., Fuller, M., Sarker, S. (2007). An Ethical Design Theory for Thinklet-based Collaboration: Washington State University.        [ Links ]

[11] Briggs, R., Vreede, G., Nunamaker, J., Tobey, D. (2001). Thinklets: Achieving Predictable, Repeatable Patterns of Group Interaction with Group Support Systems (GSS); Proceedings of the 34^th Hawaii International Conference on Systems Sciences. Delft University of Technology, University of Arizona.        [ Links ]

[12] Solano, A., Parra, C., Collazos, C., Méndez, Y. (2010). Evaluación de Usabilidad de Software desde una Perspectiva Colaborativa; Conferencia Latinoamericada de Medios Audiovisuales en Red - LACNEM 2010.        [ Links ]

[13] Kolfschoten, G., Vreede, G., Chakrapani, A., Koneri, P. (2006). The Collaboration Engineering Approach for Designing Collaboration Processe; Proceedings of the 39 Hawaii International Conference on System Sciences. Delft University of Technology, University of Arizona.        [ Links ]

[14] Nielsen, J. (1993). Usability Engineering. AP Professional. Boston, USA.        [ Links ]

[15] Kolfschoten, G., Briggs, R., Appelman, J., Vreede, G. (2004). Thinklets as Building Blocks for Collaboration Processes: A Further Concept. Lecture notes in computer science, Berlin, Springer Verlag.        [ Links ]

[16] Vreede, G., Briggs, R. (2005). Collaboration Engineering: Designing Repeatable Processes for HighValue Co. Proceedings of the 38 Hawaii International Conference on System Sciences, Delft University of Technology, University of Arizona.        [ Links ]

[17] Kagan, S. (1992). Cooperative Learning; San Juan Capistrano, CA: Kagan Cooperative Learning, USA.        [ Links ]

[18] Krippendorf, K. (1990) Metodología de análisis de contenido: Teoría y práctica. Barcelona, Piados Ibérica, p.11.        [ Links ]

[19] Piñuel, J. (2002). Epistemología, metodología y técnicas del análisis de contenido: Universidad Complutense de Madrid, España.        [ Links ]