ARTÍCULOS

DOI: 10.22395/rium.v15n28a13

Evidencia empírica de la influencia de atributos contextuales en el proceso de educción de requisitos del software

Empirical evidence of the influence of contextual attributes in the software requirements elicitation process

Dante Carrizo Moreno^*

^* Phd. Dpto. Ing. Informática y Cs. de la Computación. Universidad de Atacama. Avda. Copayapu 485, Copiapó, Chile. Fono: 56-52-2206903. E-mail: dante.carrizo@uda.cl

Recibido: 12/12/2014

Aceptado: 11/12/2015

RESUMEN

La educción de requisitos utiliza varias técnicas para capturar la información relevante para la conformación de los requisitos del software. Sin embargo, la efectividad de estas técnicas depende del contexto en que este ocurre. Este artículo pretende analizar la evidencia empírica existente de la influencia de los atributos de este contexto. Para ello, se realiza una revisión sistemática y no sistemática de la literatura científica para determinar cuáles son estos atributos y llevar a cabo un contraste de los estudios teóricos y empíricos relacionados. El resultado de este análisis arrojó que casi la mitad de los atributos contextuales no se ha estudiado empíricamente, lo que significa una baja coordinación entre teoría y empirismo. Además, para solo un tercio de los atributos se halló evidencia consistente de su influencia. Este estudio pretende contribuir a orientar futura investigación empírica sobre la educción de requisitos señalando los posibles factores experimentales a considerar.

PALABRAS CLAVE

educción de requisitos, atributos contextuales, revisión sistemática

ABSTRACT

The requirements elicitation uses several techniques to capture information relevant to the shaping of software requirements. However, the effectiveness of these techniques depends on the context in which this occurs. This article aims to analyze the empirical evidence of the influence of these contextual attributes. For this, a systematic and non-systematic review of the literature was conducted to determine which are these attributes and perform a test of the theoretical and empirical studies related. The result of this analysis showed that almost half of contextual attributes has not been studied empirically, which means a low coordination between theory and empiricism. Also, for only a third of the attributes consistent evidence of their influence was found. This study helps to guide future empirical research on requirements elicitation pointing put possible experimental factors to consider.

KEY WORDS

requirements elicitation, contextual attributes systematic review

INTRODUCCIÓN

El proceso de requisitos comprende actividades como educción, análisis, especificación, validación y gestión de requisitos [1]. La educción de requisitos, en particular, trata la captura y descubrimiento de las necesidades de los stakeholders. Su objetivo es identificar información acerca del dominio del problema, lo que ayuda a que los ingenieros de requisitos adquieran conocimiento del mundo del usuario, y determinen las propiedades deseadas del sistema software. Para capturar la información relevante, los analistas, muy a menudo, utilizan únicamente entrevistas. Sin embargo, hay otras técnicas de educción que también pueden ser utilizados para esta actividad. Muchas de ellas han sido adoptadas de otras disciplinas como la psicología cognitiva, la antropología, la sociología o la lingüística [2], y han sido exitosamente utilizadas en ingeniería del conocimiento y, posteriormente, en ingeniería de software.

Debido a la diferencia de naturaleza de las técnicas de educción, es posible esperar que sus desempeños sean mejores en unas situaciones que en otras. Es decir, determinados atributos del contexto del proyecto influyen en el comportamiento de las técnicas de educción y, por lo tanto, en la efectividad del proceso. Los atributos contextuales tienen que ver con aspectos del entorno del proceso de educción. Es la variación de estas características exógenas la que prescribe las facetas propias que deberían poseer las técnicas para que su uso sea adecuado.

Estos atributos pueden corresponder a características de los participantes, de la problemática a resolver, o del proyecto de desarrollo. Las características de los participantes tienen que ver con su experiencia, su conocimiento del dominio o sus capacidades cognitivas. La problemática se relaciona con aspectos del dominio o disciplina al que pertenece el problema o las características de la solución requerida. Finalmente, los atributos relacionados con el proyecto tienen que ver con restricciones existentes sobre el mismo o aspectos relacionados con la forma como se lleva a cabo el proceso de educción. Por esta razón, los atributos contextuales son categorizados en factores ampliamente en literatura: atributos del que realiza la educción, atributos del que posee la información, atributos del dominio del problema, atributos del dominio de solución y atributos del proceso de educción.

De esta manera, la determinación de los atributos contextuales que influyen en la efectividad de las técnicas de educción es una necesidad prioritaria para llegar a diferenciar la adecuación de las técnicas y poder seleccionar acertadamente la que puede ser más efectiva en una sesión de educción. La influencia del contexto en la efectividad de las técnicas de educción ha sido enunciada en literatura de requisitos [3]. Estas opiniones se asientan en la experiencia y conocimiento adquirido por cada autor. Sin embargo, sería deseable la validación empírica de estas aseveraciones. Esta evaluación puede realizarse mediante estudios empíricos que contrastan comportamiento de las técnicas de educción en diferentes contextos.

Este artículo presenta una revisión de literatura sobre los atributos contextuales relevantes para la selección de técnicas de educción. El análisis de esta revisión permitirá, en trabajo posterior, conocer la coordinación existente entre los expertos que proponen atributos contextuales con base en su experiencia y en los experimentadores que realizan estudios para comprobar empíricamente si estos atributos influyen en la efectividad de las técnicas de educción de requisitos software.

En la jerarquía de diseños de estudios para la ingeniería de software, la evidencia obtenida desde opinión experta basada en teoría está abajo, y los estudios experimentales, en la cima. Parece deseable, entonces, que la confirmación de la influencia de los atributos en el uso de las técnicas de educción provenga de estudios que utilicen métodos empíricos.

Sin embargo, los distintos métodos empíricos también presentan diferencias que deben ser consideradas. En preguntas de investigación de causalidad del tipo "el atributo X influye en la efectividad de la técnica Y", cada método otorga una validez a la respuesta encontrada dependiente de la postura filosófica que lo sustenta: los positivistas prefieren experimentos controlados, encuestas y estudios de caso; el constructivismo (o interpretivismo) es más cercanamente asociado con la etnografía, aunque constructivistas a menudo usan también estudios de casos exploratorios y encuestas; los teoristas críticos a menudo usan estudios de caso para centrar la atención en cosas que necesitan cambios, sin embargo, es investigación-acción lo que mejor refleja su filosofía; y los pragmáticos usan cualquiera de los métodos disponibles, y principalmente prefieren mezclar métodos de investigación. En ingeniería de software empírica, la visión dominante es el pragmatismo y los investigadores usan métodos múltiples.

En literatura científica existen varias propuestas para establecer una jerarquía de estudios científicos, principalmente relacionados con evidencia obtenida de los diferentes métodos de investigación empírica. Cabe notar que, aunque en estas jerarquías las opiniones expertas se consideran en el nivel más bajo del escalafón, nosotros las consideramos independientes en el caso de publicaciones con propuestas teóricas. Esto es debido a que utilizamos las propuestas teóricas como referencia de control para compararlas con los métodos empíricos que sí presentan evidencias.

Los resultados de este estudio pueden contribuir, además, a la planificación de futura investigación empírica en el área de educción de requisitos.

El artículo ha sido estructurado como sigue: la sección 1 explica la metodología utilizada, en este caso el mapeo sistemático de literatura; luego, en el apartado 2, se presentan los resultados obtenidos del mapeo por cada uno de los factores estudiados; finalmente, la sección 3 presenta una discusión de estos resultados.

1. MATERIALES Y MÉTODOS

1.1. Diseño del estudio

Este estudio requiere una revisión menos exhaustiva que una revisión sistemática de literatura que pretende generar un cuerpo de conocimiento en un área. En este caso, se desea obtener una visión amplia del campo científico, focos de atención y tendencias de los investigadores. Por este motivo se ha considerado un mapeo sistemático de la literatura.

La pregunta de investigación a responder es:

¿Qué atributos contextuales influyentes en la efectividad de las técnicas de educción han sido identificados en la literatura tanto por investigaciones teóricas como por empíricas?

La búsqueda de información se basó en una revisión sistemática de artículos de investigación y libros relacionados con las técnicas de educción de requisitos. Para esto, se realizaron búsquedas en tres bases de datos bibliográficas con fecha de inicio ilimitada y fecha final diciembre 2013 (inclusive): Scopus, IEEE XPLORE y ACM DL. La cadena de búsqueda utilizada en las bases de datos de publicaciones consideró cuatro aspectos relevantes: tipo de investigación, área de investigación, tipo de actividad y tipo de instrumentación. Esta cadena se ajustó a los propios formatos de cada base de datos, como puede verse en la figura 1.

Adicionalmente a esta búsqueda, también se realizó una búsqueda no sistemática considerando las referencias bibliográficas de artículos seleccionados, revisiones de libros relacionados con requisitos y búsquedas oportunistas en Internet. La figura 1 muestra los resultados obtenidos en estas búsquedas en formato DCM. También muestran las cadenas de búsquedas respectivas y los filtros considerados: uno revisando el título y resumen (1F: primer filtro), y otro revisando el artículo completo (2F: segundo filtro).

1.2. Criterios de inclusión y exclusión

Para seleccionar los trabajos útiles se tuvieron en cuenta algunos aspectos considerados como criterios de filtro. Serán de interés los atributos que tienen relación con el proceso de educción de requisitos. Hay atributos propuestos en la literatura que pueden influir sobre el resto de las actividades de requisitos, pero no sobre educción. Por ejemplo, volatilidad de los requisitos y número de requisitos son atributos que pueden ser establecidos una vez que los requisitos son capturados por lo que su influencia es relacionada con las actividades posteriores [4].

En los estudios empíricos, la efectividad de las técnicas de educción puede ser medida de diferente forma. Esta diversidad de medición de la adecuación de las técnicas puede ser relevante para la agregación de resultados de experimentos pero no es importante para decidir si un atributo influye en la diferenciación de técnicas. Los estudios sobre caracterización de las técnicas de educción, en general, no fueron seleccionados, ya que se refieren más bien a aspectos intrínsecos, descriptivos o prescriptivos que dependen de la naturaleza de las técnicas, que a aspectos del contexto en que pueden ser aplicadas. Por ejemplo, un atributo o característica como habilidad para facilitar la comunicación, propiedad de las técnicas, no permite saber en qué condiciones es posible utilizarla. Siempre será necesario establecer las condiciones del entorno para saber si es adecuada o no en ese contexto.

El estudio se centró en aquellos trabajos que comparan más de una técnica de educción considerando, además, alguna condición o atributo contextual como variable moderadora o factor. Los resultados de experimentos comparativos permiten saber si hay diferencias de efectividad de las técnicas, detectándose así la influencia del atributo. Un estudio sobre una única técnica no permite aseverar que el atributo o los atributos considerados diferencian la efectividad entre técnicas y, por tanto, no ayuda en la selección. Tampoco es útil un estudio de efectividad de varias técnicas pero sin establecer un factor variable. Algunos estudios son catalogados de empíricos o teóricos según el aporte significativo para este estudio. Por ejemplo, en [5] los autores declaran la dependencia de algunas técnicas de factores como el conocimiento del dominio y el momento del proceso. En este caso, este estudio se consideró como teórico ya que su utilidad en esta investigación es de esa naturaleza.

1.3. Ejecución de la búsqueda

Como se observa en la figura 1, la revisión de Scopus y la revisión no sistemática fueron las más productivas, ya que la gran mayoría de los estudios de interés fueron identificados de esta forma. En Scopus se seleccionaron 23 artículos de un total de 2962. En búsquedas oportunistas, libros y otras bibliografías, se encontraron 18 trabajos de interés de un total aproximado de 165 publicaciones. Las otras búsquedas sistemáticas no arrojaron un número importante de nuevas publicaciones a pesar del gran volumen revisado (6 de 420 en IEEE XPLORE y 1 de 257 en ACM DL). Los estudios seleccionados consideran libros, revistas, conferencias, disertaciones, entre otros. La tabla 1 muestra los 48 estudios seleccionados: 26 son teóricos (código T) y 22 empíricos (código E); 19 provienen de la ingeniería del conocimiento, 24 de la ingeniería de software y 5 de los sistemas de información.

2. RESULTADOS

Una vez revisadas las 48 publicaciones seleccionadas se identificaron 118 atributos contextuales influyentes en la selección de técnicas de educción. Algunos de estos atributos se repetían entre publicaciones. Por ejemplo, el atributo knowledge types es propuesto en las publicaciones T06, T20, T24, T10, T17, T12, E12, E14. Otros atributos, aunque no tenian la misma denominación, coincidían en su definición y naturaleza por lo que los reagrupamos en un mismo atributo. Por ejemplo, los atributos domain knowledge y experience in the problem domain and application type, de las publicaciones T01 y T02 respectivamente, por proximidad de definición se reagruparon en el atributo familiaridad con el dominio. Así, los 118 atributos originales quedaron agrupados en 27 atributos genéricos.

Finalmente, clasificamos estos atributos genéricos según el factor contextual al que pertenecen. Se establecieron 5 factores: eductor, informante, dominio del problema, dominio de la solución y proceso de educción. Por ejemplo, experiencia en captura de información, formación en técnicas de educción, familiaridad con el dominio y aspectos cognitivos son referidos al agente que actúa como ingeniero de requisitos en el proceso de educción, denominado genéricamente como eductor.

A continuación, se presenta un contraste entre las propuestas teóricas y los estudios empíricos para cada atributo contextual genérico. Esto, con el fin de determinar si su influencia en la selección de las técnicas de educción es ratificada o no.

En un estudio teórico, la influencia de un atributo contextual queda manifestada explícitamente en la propuesta. Los autores proponen que ese atributo influye en la efectividad de las técnicas. Es decir, es parte de su modelo. Para evidenciar esta influencia hemos rescatado la cita o frase del artículo en que esto se manifiesta.

Para el caso de los estudios empíricos, la influencia queda expuesta a través de que los autores pretenden justamente estudiar de qué forma afecta un atributo (variable moderadora o independiente) en la efectividad (representada a través de variables respuesta o dependiente) de una o más técnicas a través de métodos empíricos tales como experimentos, encuestas o estudios de caso. El grado de esta influencia viene dado por los resultados o conclusiones del estudio empírico.

Si los resultados empíricos ratifican la influencia del atributo genérico aparecerá en las tablas con fondo gris fuerte. Esto quiere decir que hay más prevalencia de estudios donde se ha demostrado con significancia estadística que el atributo influye.

Si la ratificación es más bien débil aparecerá con gris suave. Es decir, hay resultados que avalan la influencia pero estos no tienen potencia estadística. También puede darse el caso que haya similar número de estudios con ratificación de influencia que aquellos que no la demuestran

Si no han sido ratificados empíricamente aparecerán con fondo blanco. Esto quiere decir que los estudios empíricos no arrojan resultados o indicios de que el atributo influya en el desempeño de las técnicas.

En el caso de los estudios empíricos también se ha extraído el texto que manifiesta el resultado o conclusión sobre la influencia. Las citas de los estudios se han mantenido en inglés para razones de fidelidad.

2.1. Atributos del eductor

Los 16 atributos encontrados relacionados con el eductor se agruparon en 4 atributos genéricos. Como puede verse en la tabla 2, el atributo experiencia capturando información, que había sido propuesto por T01, no obtuvo una rotunda ratificación de influencia en los estudios E04 y E02. En cambio, la familiaridad con el dominio, que había sido considerado en cuatro propuestas teóricas, obtuvo una contundente ratificación en resultados del estudio E21.

Por otro lado, para los atributos formación en técnicas de educción y aspectos cognitivos, a pesar de ser considerados en varias propuestas teóricas no se hallaron trabajos que los estudiaran empíricamente.

2.2. Atributos del informante

Los 32 atributos encontrados relacionados con el informante se agruparon en 6 atributos genéricos. Como muestra la tabla 3, los atributos número de informantes, participación de stakeholders y fuente de información, que habían sido propuestos por 3 trabajos, solo recibieron una débil ratificación de su influencia en los estudios E06, E04 y E05, respectivamente. En cambio, los atributos aspectos geográficos, capacidad de articulación y aspectos personales que habían sido propuestos en 3, 1 y 9 propuestas respectivamente, recibieron, al menos, una fuerte evidencia empírica de influencia.

2.1. Atributos del dominio del problema

Los 37 atributos encontrados relacionados con el dominio del problema se agruparon en 6 atributos genéricos. Como puede verse en la tabla 4, los atributos, tipo de información, tipo de tareas y complejidad, que habían sido propuestos por varios trabajos teóricos, obtuvieron, al menos, una fuerte evidencia empírica de su influencia. En cambio, el estudio E05 no pudo encontrar evidencia de influencia del atributo tipo de dominios. Por otro lado, para los atributos grado de definición y tamaño del problema, a pesar de ser considerados en varias propuestas teóricas, no se hallaron trabajos que los estudiaran empíricamente.

2.2. Atributos del dominio de la solución

Los 11 atributos encontrados relacionados con el dominio de la solución se agruparon en 3 atributos genéricos. Como se muestra en la tabla 5, el atributo tipo de productos, propuesto por varios estudios teóricos, obtuvo una evidencia fuerte de su influencia en el estudio E18. Por otro lado, para los atributos grado de criticidad y métodos resolución, a pesar de ser considerados en 1 y 2 propuestas teóricas, respectivamente, no se hallaron trabajos que los estudiaran empíricamente.

2.3. Atributos del proceso de educción

Los 22 atributos relacionados con el proceso de educción se agruparon en 8 atributos genéricos. Como puede verse en la tabla 6, el atributo tipo de proyecto de educción que había sido propuesto por T09 obtuvo una débil ratificación de influencia en el estudio E20. En cambio, para los atributos propósito de los requisitos, entregable, entorno del proyecto, restricciones del proceso, momento del proceso y metodologías, a pesar de ser considerados en varias propuestas teóricas no se hallaron trabajos que los estudiaran empíricamente. Un caso especial es el del atributo tipo de conferencia que, no habiendo sido considerado en ninguna propuesta teórica, fue utilizado en cuatro estudios empíricos hallándose fuerte evidencia de su influencia.

3. DISCUSIÓN

En este artículo se presentó un estudio sobre los atributos contextuales que influyen en la efectividad de las técnicas de educción de requisitos. En particular, se revisaron las publicaciones teóricas y empíricas para contrastar coincidencias respecto de estos atributos. Para ello, se llevó a cabo una revisión sistemática, complementada por una revisión no sistemática, para seleccionar los estudios que proponían atributos contextuales y aquellos que los utilizaban como factores en sus experimentos.

Un análisis profundo de los estudios empíricos arrojó que para nueve de los veintisiete atributos propuestos se encontró fuerte evidencia de su influencia en la efectividad de las técnicas. Para otros cinco atributos se halló una débil influencia insinuada en propuestas teóricas. Cabe notar que para casi la mitad (trece) de los atributos insinuados en artículos teóricos como influyentes en el uso de las técnicas no se hallaron estudios empíricos que los trataran. Además, es destacable que hubo un atributo que tuvo atención en varios estudios empíricos sin ser mencionado en propuestas teóricas.

Los resultados de este estudio indican que hay poca coordinación entre teoría y empirismo en relación con el contexto en que ocurre la educción de requisitos. Esta brecha es relevante para la ingeniería de software empírica, ya que no permite avanzar en la conformación de un cuerpo de conocimiento respecto a la efectividad de las técnicas de educción basado en las evidencias empíricas. Para solo un tercio de los atributos se encontró evidencia suficiente como para realizar agregación de evidencia empírica, es decir, conclusiones fundamentadas como para prescribir el uso de las técnicas.

El estudio permite concluir que más esfuerzos de investigación empírica son necesarios para que la selección de técnicas de educción más adecuadas no solo se fundamente en creencias o presunciones sino en evidencias prácticas.

En esta misma dirección, una contribución adicional de este trabajo es orientar a los investigadores respecto a los futuros estudios empíricos en educción que debieran realizarse, principalmente, con lo que se refiere a unificar los criterios para elegir las variables independientes o moderadoras. Las diferencias entre los atributos considerados como factores en experimentos distintos obliga a que para poder agregar las evidencias de ambos experimentos se deba realizar una generalización de variables moderadoras o independientes. Por el contrario, el uso de los mismos atributos como factores de un experimento permite que la agregación de evidencia requiera de menos generalización y, por lo tanto, de menores pérdidas de información de prescripción de las técnicas de educción.

REFERENCIAS

1 A. Abran y J.W. Moore, "SWEBOK: Guide to the Software Engineering Body of Knowledge (2004 edition)," [En línea], acceso 30 de mayo de 2010, Disponible: http://www.computer.org/portal/web/swebok, 2010.         [ Links ]

2 P.B. Nuseibeh y S.M. Easterbrook, "Requirements engineering: A roadmap," Proceedings of the 22nd International Conference on Software Engineering, ICSE'00. IEEE Computer Society Press, 2000.         [ Links ]

3 D. Zowghi y C. Coulin, "Requirements Elicitation: A Survey of Techniques, Approaches, and Tools," en Engineering and Managing software requirements, A. Aurum and C. Wohlin, eds., pp. 19-46, Springer-Verlag, New York, 2005.         [ Links ]

4 L. Jiang, A. Eberlein y B.H. Far, "A case study validation of a knowledge-based approach for the selection of requirements engineering techniques," Requirements Engineering Journal, vol. 13, n.° 2, pp. 117-146, 2008.         [ Links ]

5 J.E. Fowlkes, E. Salas y D.P. Baker: "The utility of event-based knowledge elicitation," Human Factors, vol. 42, pp. 24-35, 2000.         [ Links ]

6 J.S. Dhaliwal y I. Benbazat, "A framework for the comparative evaluation of knowledge acquisition tools and techniques," Knowledge Acquisition, vol. 2, n.° 2, pp. 145-166, 1990.         [ Links ]

7 A. Davis y A. Hickey, "A tale of two ontologies: The basis for systems analysis technique selection," Proc. 9th Annual American Conference on Information System, 2003.         [ Links ]

8 E. Batista y A. Carvalho, "Uma Taxonomia Facetada para Técnicas de Elicitação de Requisitos," Anais do WER03 - Workshop em Engenharia de Requisitos, pp. 48-62, 2003.         [ Links ]

9 T.A. Byrd, K.L. Cossick y R.W. Zmud, "A synthesis of research on requirements analysis and knowledge acquisition techniques," MIS Quarterly, vol. 16, pp. 117-138, 1992.         [ Links ]

10 T. Tsumaki y T. Tamai, "Framework for matching requirements elicitation techniques to project characteristics," Software Process Improvement, vol. 11, n.° 5, pp. 505-519, 2006.         [ Links ]

11 N. Maiden y G. Rugg, "ACRE: selecting methods for requirements acquisition," Software Engineering Journal, vol. 11, n.° 3, pp. 183-192, 1996.         [ Links ]

12 Z. Zhang, "Effective Requirements Development - A Comparison of Requirements Elicitation Techniques," en Software Quality Management XV: the Knowledge Society, Berki, Nummenmaa, Sunley, Ross and Staples, eds., British Computer Society, pp. 225-240, 2007.         [ Links ]

13 G.N. Aranda, A. Vizcaino, A. Cechich y M. Piattini, "Choosing groupware tools and elicitation techniques according to stakeholders' features," Proceedings of the Seventh International Conference on Enterprise Information Systems, vol. 3, pp. 68-75, 2005.         [ Links ]

14 S. Lauesen, Software requirements: Styles and techniques, Addison-Wesley, 2002.         [ Links ]

15 J. Kim y J. Courtney, "A survey of knowledge acquisition techniques and their relevance to managerial problem domains," Decision Support Systems, vol. 4, pp. 269-284, 1988.         [ Links ]

16 B. Fazlollahi y M. Tanniru, "Selecting a requirements determination methodology-contingency approach revisited," Information and Management, vol. 21, n.° 5, pp. 291-303, 1991.         [ Links ]

17 M. Christel y K. Kang, "Issues in Requirements Elicitation," SEI Technical Report No: SEI-92-TR-012, Carnegie Mellon Software Engineering Institute, Sept,1992.         [ Links ]

18 R. Proynova, B. Paech, A. Wicht y T. Wetter, "Use of personal values in requirements engineering - A research preview," Lecture Notes in Computer Science LNCS, pp. 17-22, 2010.         [ Links ]

19 J. Hua, "Study on knowledge acquisition techniques," Proceedings 2nd International Symposium on Intelligent Information Technology Application, pp. 181-185, 2008.         [ Links ]

20 C.J. Davis, R.M. Fuller, M.C. Tremblay y D.J. Berndt, "Communication challenges in requirements elicitation and the use of the repertory grid technique," Journal Computer Information System, vol. 47, pp. 78-86, 2006.         [ Links ]

21 C. Coulin, D. Zowghi y A. Sahraoui, "A situational method engineering approach to requirements elicitation workshops in the software development process," Software Process Improvement and Practice, vol.11, n.° 5, pp. 451-464, 2006.         [ Links ]

22 M. Eva, "Requirements acquisition for rapid applications development," Information & Management, vol. 39, pp. 101-107, 2001.         [ Links ]

23 J.W. Moody, J.E. Blanton y P.H. Cheney, "A theoretically grounded approach to assist memory recall during information requirements determination," Journal of Management Information Systems, vol.15, n.° 1, pp. 79-98, 1998.         [ Links ]

24 S. Kausar, S. Tariq, S. Riaz y A. Khanum, "Guidelines for the selection of elicitation techniques," 6th International Conference on Emerging Technologies, pp. 265-269, 2010.         [ Links ]

25 S. Thew y A. Sutcliffe, "Investigating the Role of 'Soft Issues' in the RE Process," Proc. of 16th IEEE International Requirements Engineering Conference, pp. 63-66, 2008.         [ Links ]

26 S. Skidmore, "Introducing Systems Analysis," NCC/Blackwell, pp. 74–85, 1994.         [ Links ]

27 S. Tiwari, S. Rathore y A. Gupta, "Selecting requirement elicitation techniques for software projects," Sixth International Conference on Software Engineering, pp. 1-10, 2012.         [ Links ]

28 M.E. Serna, "Analysis and selection to requirements elicitation techniques," 7th Colombian Computing Congress (CCC), pp. 1-7, 2012.         [ Links ]

29 C.W. Holsapple, V. Raj y W.P. Wagner, "An experimental investigation of the impact of domain complexity," Expert Systems with Applications, vol. 35, n.° 3, pp. 1084–1094, 2008.         [ Links ]

30 R. Agarwal y M. Tanniru, "Knowledge acquisition using structured interviewing: an empirical investigation," Journal of Management Information Systems, vol. 7, n.° 1, pp. 123-140, 1990.         [ Links ]

31 G. Rugg, C. Corbridge, N. Major, A. Burton y N. Shadbolt, "A comparison of sorting techniques in knowledge acquisition," Knowledge Acquisition, vol. 4, n.° 3, pp. 279-291, 1992.         [ Links ]

32 W.J. Lloyd, M.B. Rosson y J.D. Arthur, "Effectiveness of elicitation techniques in distributed requirements engineering," Proceedings IEEE Joint International Conference on Requirements Engineering, 2002.         [ Links ]

33 A. Burton, N. Shadbolt, G. Rugg, y A. Hedgecock, "The efficacy of knowledge elicitation techniques: a comparison across domains and levels of expertise," Knowledge Acquisition, vol. 2, n.° 2, pp. 167-178, 1990.         [ Links ]

34 A.P. Massey y W.A. Wallace, "Focus groups as a knowledge elicitation technique: an exploratory study," IEEE Transactions on Knowledge and Data Engineering, vol.: 3, n.° 2, pp. 93-200, 1991.         [ Links ]

35 C.J. Chao y G. Salvendy, "Impact of cognitive abilities of experts on the effectiveness of elicited knowledge," Behaviour and Information Technology, vol. 14, n.° 3, pp. 174-182, 1995.         [ Links ]

36 G.J. Browne y M.B. Rogich, "An empirical investigation of user requirements elicitation: comparing the effectiveness of prompting techniques," Journal of Management Information Systems, vol. 17, n.° 4, pp. 223-249, 2001.         [ Links ]

37 D. Damian y D. Zowghi, "The impact of stakeholders geographical distribution on managing requirements in a multi-site organization," IEEE Joint International Conference on Requirements Engineering, pp. 319-328, 2002.         [ Links ]

38 B. Crandall, "A comparative study of think aloud and critical decision knowledge elicitation methods," SIGART Newsletter, vol. 108, pp. 144-146, 1989.         [ Links ]

39 M. Grabowski, "Knowledge acquisition methodologies: survey and empirical assessment", Proc. of the Ninth International Conference on Information Systems, pp. 47-54, 1988.         [ Links ]

40 B.P. McCloskey, J. Geiwitz y J. Kornell, "Empirical comparisons of knowledge acquisition techniques," Proc. of the 35th Annual Meeting Human Factors Soc, vol. 1, pp. 268-272, 1991.         [ Links ]

41 J. M. Moore y F. M. I. Shipman, "A comparison of questionnaire based and GUI based requirements gathering," Proc. XV IEEE Int. Conf. on Software Engineering, pp. 35-43, 2000.         [ Links ]

42 F. Scapolo y I. Miles, "Eliciting experts' knowledge: A comparison of two methods," Original Research Article Technological Forecasting, vol. 73, n.° 6, pp. 679-704, 2006.         [ Links ]

43 W. Wagner, Q. Chung, y M. Najdawi, "The impact of problem domains and knowledge acquisitions techniques: a content analysis of P/OM expert system case studies," Expert Systems with Applications, vol. 24, pp. 79-86, 2003.         [ Links ]

44 B. Corbridge, G. Rugg, N. P. Major, N. R. Shadbolt y A. M. Burton, "Laddering - technique and tool use in knowledge acquisition," Knowledge Acquisition, vol. 6, pp. 315-341, 1994.         [ Links ]

45 C. Holsapple y V. Raj, "Exploratory study of two KA methods," Expert Systems, vol. 11, n.° 2, pp. 77-87, 1994.         [ Links ]

46 M. Keil y E. Carmel, "Customer-developer links," Communications of the ACM, vol. 38, n.° 5, pp. 33-44, 1995.         [ Links ]

47 J. Sauer, S. Schramme y B. Ruttinger, "Knowledge acquisition in ecological product design: the effects of computer-mediated communication and elicitation method," Behaviour and Information Technology, vol.19, n.° 5, pp. 315-327, 2000.         [ Links ]

48 S. Zapata, E. Torres, G. Sevilla, L. Aballay y M. Reus, "Effectiveness of traditional software requirement elicitation techniques applied in distributed software development scenarios," XXXVIII Conferencia Latinoamericana en Informática, pp. 1-7, 2012.         [ Links ]

49 I. Hadar, P. Soffer y K. Kenzi, "The role of domain knowledge in requirements elicitation via interviews: an exploratory study," Requirements Engineering, pp. 1-17, 2012.         [ Links ]

50 R. Ahmad, A. Tahir y Z. Kasirun, "An empirical assessment of the use of different communication modes for requirement elicitation and negotiation using students as a subject," IEEE Symposium on Computers and Informatics, ISCI, pp. 70-74, 2012.         [ Links ]