Modelo de medição ligeiro para avaliar o processo de desenvolvimento de software melhoria

Light measurement model to assess software development process improvement

Diana Vásquez¹, César Pardo², César A. Collazos³ y Francisco J. Pino⁴

1 MSc in Computer science and technology, dvasquez@unicauca.edu.co, estudiante de doctorado, Universidad Carlos III de Madrid, Madrid-España.

2 MSc in Computer science and technology, cpardo@unicauca.edu.co, estudiante de doctorado, Universidad de Castilla-La Mancha, Ciudad Real-España.

3 Doctor en Ciencias de la computación, ccollazo@unicauca.edu.co, profesor titular, Universidad del Cauca, Popayán-Colombia.

4 Doctor en Informática, fjpino@unicauca.edu.co, profesor asociado, Universidad del Cauca, Popayán-Colombia.

(Recepción: 08-feb-2010. Modificación: 31-may-2010. Aceptación: 02-ago-2010)

Resumen

Las empresas de desarrollo de software en Colombia enfrentan una serie de problemas tales como la construcción de software de forma artesanal, empírica y desorganizada. Por esto, es necesario que implementen proyectos para mejorar sus procesos de desarrollo, ya que asegurar la calidad de los productos, a través de la mejora de sus procesos de software, es un paso que deben dar para estar en condiciones de competir en el mercado nacional e internacional. Implementar modelos de mejora de procesos no es suficiente para decir si una empresa realmente está obteniendo beneficios, definitivamente una de las primeras acciones en un proyecto de mejora es el poder determinar el estado actual del proceso.

Sólo midiendo es posible conocer el estado de un proceso de manera objetiva, y sólo gracias a esto se pueden planificar estrategias y soluciones acerca de las mejoras a realizar y según los objetivos de la organización. Este artículo propone un modelo liviano de medidas para evaluar un proyecto de mejora de procesos de software, con el cual se busca ayudar a las empresas de desarrollo de software colombianas a determinar si el proceso de mejora que implementan está siendo eficaz con relación a los objetivos y metas establecidas al inicio del proyecto. Esto se lleva a cabo a través del uso de medidas que permiten evaluar el proceso de mejora de sus procesos, facilitando la caracterización de las prácticas actuales de la empresa y la identificación de las debilidades, fortalezas y habilidades de los procesos que son llevados a cabo dentro de ésta, permitiendo controlar y evitar las causas de baja calidad y desviaciones en costos o en planificación.

Palabras claves: programación e ingeniería de software, mejora de procesos de software (SPI), MiPyMEs, medición del proceso, modelo de medidas, indicadores.

Resumo

As empresas de desenvolvimento de software da Colômbia enfrentam uma serie de problemas tais como a construção de software de forma artesanal, empírica e desorganizada. é por isto, que se faz necessário que tais empresas implementem projetos para melhorar seus processos de desenvolvimento, já que para garantir a qualidade dos produtos, através da melhora de seus processos de software é um passo que devem tomar para estar em condições de competir no mercado nacional e internacional. Implementar modelos de melhoria de processos não é suficiente para dizer se uma empresa na realidade está fazendo lucros, definitivamente uma das primeiras ações de um projeto de melhoria é determinar o estado atual do processo.

Só medindo é possível conhecer o estado de um processo de forma objetiva, e só devido a isto se pode planificar estratégias e soluções com respeito às melhoras a serem feitas e de acordo com os objetivos da organização. Este artigo propõe um modelo leve de medidas para avaliar um projeto de melhora de processos de software, com o qual se pretende ajudar às empresas de desenvolvimento de software da Colômbia a determinar se o processo de melhoria que está sendo implementado é eficaz com relação aos objetivos e metas fixados no inicio do projeto. Isto é conseguido mediante o uso de medidas que permitam avaliar o processo de melhoria de seus processos, permitindo a caracterização das práticas atuais da empresa e a identificação das debilidades, fortalezas e habilidades dos processos que são conseguidos no âmbito de esta, permitindo controlar e prevenir as causas da baixa qualidade e os desvios de custos o de planejamento

Palabras claves: programación e ingeniería de software, mejora de procesos de software (SPI), MiPyMEs, medición del proceso, modelo de medidas, indicadores.

Abstract

Companies in software development in Colombia face a number of problems such as the construction of software in a artesian, empirical and disorganized way. Therefore, it is necessary for these companies to implement projects to improve their development processes, because ensure the quality of products, by improving their software processes, is a step that should give to be able to compete in the market. To implement process improvement models, it is not enough to say whether a company is actually getting benefits, definitely one of the first actions in a to improvement project is to be able to determine the current status of the process.

Only by measuring it is possible to know the state of a process in an objective way, and only through this it is possible to plan strategies and solutions, about improvements to make, depending on the objectives of the organization. This paper proposes a light model to assess software development process, which seeks to help the Colombian software development companies to determine whether the process of implementing improvements, being effective in achieving the objectives and goals set to implement this, through the use of measures to evaluate the process of improving their development processes, allowing characterize the current practices of the company, identifying weaknesses, strengths and abilities of the processes that are carried out within this and thus control or prevent the causes of low quality, or deviations in costs or planning.

Key words: programming and software engineering, software process improvement (SPI), small and medium enterprises (SME's), measurement process, peasure podels, indicators.

1 Introducción

Según Confecámaras, en el año 2006 y de acuerdo con la clasificación de ley, las microempresas representan alrededor del 71 % de las empresas del país, las pequeñas empresas representan el 22 % y las medianas el 5 %; ocupando así el 98 % del sector empresarial colombiano. En Colombia, la mayoría de las micro, pequeñas y medianas empresas desarrolladoras de software (MiPyMEs_DS) no están preparadas para competir en los mercados internacionales. Algunas de las razones es que se enfrentan a una serie de problemas entre los que cabe mencionar la construcción de software de forma artesanal, empírica y desorganizada [1]. Estas razones permiten que los productos de software desarrollados sean de baja calidad, terminados en tiempos inapropiados, los costos no sean competitivos, las actividades de operación y mantenimiento sean difíciles de soportar; y, por supuesto, se genere insatisfacción en los clientes y usuarios finales [2].

Considerando lo anterior y el impacto que el proceso de desarrollo tiene sobre la calidad del producto desarrollado, se hace necesario que las MiPyMEs_DS implementen proyectos de mejora de procesos (Software process Improvement- SPI) que les permitan mejorar sus procesos de desarrollo, y asegurar la calidad de sus productos a través de la mejora de los procesos de software de la organización teniendo en cuenta factores de tiempo y costo.

En este sentido, este artículo presenta un modelo liviano de medida para la mejora de procesos de desarrollo de software (MLM-PDS), el cual permite evaluar la eficacia del proceso de mejora de los procesos de desarrollo de software, a través del establecimiento de medidas mediante las cuales se pueda verificar, evaluar, monitorear y analizar si el proyecto SPI implementado en una MiPyMEs_DS es efectivo con relación a las metas y objetivos de mejora propuestos. En la sección 2 se presentan los trabajos relacionados con la gestión y la medición de procesos y proyectos software; la sección 3 muestra el método utilizado para la definición del MLM-PDS; la sección 4 presenta la estructura del MLM-PDS y algunas de las medidas definidas; la sección 5 presenta un acercamiento a la validación del MLM-PDS mediante estudios de caso realizados; y, finalmente, en la sección 6, se presentan las conclusiones y trabajo futuro.

2 Medición en mejora de procesos software

La medición juega un papel fundamental en las organizaciones que pretenden incrementar el grado de madurez en sus procesos a través de la mejora de procesos de software. Este hecho se demuestra observando el tratamiento e importancia que los modelos relacionados con la mejora de procesos de software le dan al proceso de medición, entre los que se destacan:

• La norma ISO/IEC 12207 [6] describe los procesos del ciclo de vida del software y explícitamente define en el grupo de procesos de gestión un "proceso de medición"; el propósito de éste es recolectar y analizar los datos relacionados con los productos desarrollados y procesos implementados al interior de la organización en sus proyectos, y apoyar la gestión efectiva de los procesos y demostrar objetivamente la calidad de los productos.

• CMMI [7] incluye un área clave de proceso en el nivel dos de madurez denominada "medición y análisis". El alcance es mucho más amplio y explícito que el tratamiento de la medición en el modelo CMM. Esta incorporación proporciona una gestión con el enfoque y la visibilidad que las organizaciones necesitan para guiar el uso de la medición en sus esfuerzos de mejora. El objetivo de esta área es desarrollar y establecer una capacidad de medición que se pueda usar para dar soporte a las necesidades de información de la organización.

]]> • Es importante mencionar los modelos para mejorar la capacidad de procesos de software desarrollados explícitamente para pequeñas empresas, como es el caso del proyecto COMPETISOFT [8], el cual considera la medición del software como un elemento neurálgico para incrementar la capacidad de los procesos y, por ende, la madurez de la organización. Además, hay otros trabajos que abordan la medición del nivel de capacidad de proceso en pequeñas empresas, tales como: RAPID [9], MARES [10], EvalProsoft [11], ADEPT [12] y MA-MPS [13].

• ISO 9000:2000 establece la necesidad de implementar el proceso de medición con el objetivo de controlar la calidad del producto, la capacidad del proceso y la satisfacción del cliente. La gestión usa medidas como una entrada fundamental para la planificación, control y gestión del proyecto; todo ello orientado a la mejora continua del proceso.

La tabla 1 relaciona algunas de las características más importantes que permiten comparar las diferentes iniciativas y proyectos relacionados con la medición en programas de SPI, modelos, frameworks y guías existentes con respecto a MLM-PDS.

A pesar del gran interés en adoptar metodologías que permitan mejorar sus prácticas de gestión y desarrollo, los modelos anteriores carecen de un método formalizado de medidas que permita evaluar el progreso y efectividad del proyecto de SPI con respecto a los objetivos y metas definidas por la organización al inicio del proyecto. De la misma manera permite conocer la efectividad del proyecto de mejora con respecto a los procesos y productos desarrollados. Así que proporcionar este modelo de medición, enfocado en las MiPyMEs_DS, es precisamente el aporte del presente trabajo.

El MLM-PDS proporciona un modelo de medición enfocado en las MiPyMEs_DS, éste hace una recopilación de los principales elementos de los procesos organizativos y de apoyo relacionados con los procesos de software, que se consideran importantes para la medición del proyecto de mejora y adicionan un componente esencial que no tienen los modelos mencionados anteriormente. Dicho componente es la definición de un conjunto de medidas que se desarrollan y utilizan para medir el programa de SPI y así obtener resultados que permitan estimar la efectividad del proceso de mejora. Este modelo mejora el control y gestión de los programas de SPI al interior de la organización. MLM-PDS, además de contribuir con la mejora del proceso como del producto final, permite llevar a cabo el seguimiento del estado actual de la implementación del proceso de mejora, incorporando elementos representativos de las MiPyMEs_DS, ya que sus características en muchos casos no se representan en los modelos y estándares internacionales.

3 Método de trabajo utilizado para la definición del MLM- PDS

Existen diversos soportes al proceso de medición; se pueden destacar marcos de trabajo y estándares internacionales tales como el GQM (Goal Question Metric) [14], PSM (Practical Software Measurement) [15] e ISO/IEC 15939:2002 [16]. El objetivo de estos estándares y marcos de trabajo es proporcionar el soporte necesario para poder llevar a cabo el proceso de medición de forma efectiva y sistemática, partiendo de la base de que la medición es un proceso que debe ser llevado a cabo con relación a unos objetivos que indican lo que se pretende conseguir con la utilización del proceso de medición [14].

• Etapa de identificación de la medida, donde se definieron los objetivos y las hipótesis de la medición. Sobre los elementos de ésta se basarán todas las etapas siguientes. Como resultado de esta etapa se generan los requisitos que debe cumplir la medida.

• Etapa de creación, donde se realizó la definición de la medida a partir de los objetivos de medición establecidos en la fase anterior y considerando las características del proyecto, proceso o producto que se desea medir. Para esto se realizó una búsqueda en la literatura sobre medidas que satisficieran dichos objetivos. Las medidas encontradas fueron analizadas para determinar cuáles eran las más adecuadas a los objetivos de medición establecidos y a las características de las MiPyMEs_DS. Para esta etapa de refinamiento se tomaron en cuenta trabajos publicados por el Software Engineering Institute (SEI), además de [18, 19, 20] y una revisión del estado del arte de la medición [20], donde se encuentran algunas medidas de software definidas y validadas formalmente.

• Etapas de validación empírica y aplicación, cuyo objetivo es probar la utilidad práctica de las medidas propuestas. La validación empírica se utiliza para obtener información objetiva sobre la utilidad de las medidas propuestas, ya que puede que una medida sea correcta desde un punto de vista formal, pero no tener relevancia práctica para un problema determinado. Así, el estudio empírico resulta necesario para comprobar y entender las implicaciones de las medidas de productos, proyectos y procesos. Para conseguir esta etapa se realizó la aplicación de dos estudios de caso en MiPyMEs_DS y la respectiva realización de encuestas y entrevistas, con el fin de verificar si el modelo de medición definido es adecuado para este tipo de organizaciones.

4 Estructura y vista general del MLM-PDS

Este modelo de medición hace parte del Framework Agile SPI desarrollado en el proyecto SIMEP-SW [21]. En la figura 1 se puede ver la estructura general de Agile SPI. En la arquitectura preliminar de Agile SPI, se observan los siguientes componentes:

• Light SPI Evaluation Model: modelo ligero de evaluación del proceso productivo [23].

• Light SPI Metrics Quality Model: modelo ligero de métricas del proceso productivo; el cual es el presentado en este trabajo.

• Framework PDS: marco conceptual y tecnológico para soportar procesos [24].

]]> • Light SPI Quality Model: modelo de calidad ligero [25].

El MLM-PDS contribuye a que las organizaciones de Colombia, que implementan un modelo de mejora de procesos de desarrollo de software, puedan medir el grado de efectividad que éste trae a la organización y si está aportando al logro de las metas y objetivos de la misma. Esto podrá verse reflejado en la realización de software confiable con tiempo y precios moderados.

Con el resultado obtenido del uso de este modelo de medidas se guía la gestión de los proyectos de mejora de procesos de desarrollo de software de las organizaciones. De esta forma, las organizaciones podrán implantar un modelo eficaz que les permita mejorar sus procesos y que, a su vez, los acerque a lograr una certificación en los modelos de organizaciones internacionales como ISO y SEI de manera controlada.

El MLM-PDS proporciona a la industria de software colombiana un modelo que permite evaluar los proyectos de mejora de sus procesos mediante la gestión y el control de los mismos; esto, debido a que está basado en las necesidades y características más importantes y representativas de las prácticas propias de este tipo de organizaciones, las MiPyMEs_DS. Dichas necesidades y características son: fácil de entender, fácil de aplicar, bajo costo en su adopción e implementación y, basado y definido bajo algunas de las características y principios del manifiesto ágil. En la figura 2 se presenta la estructura general del modelo ligero de métricas MLM-PDS.

La definición de las medidas es un paso de gran importancia y debe realizarse considerando las características del proyecto, proceso o producto que se desea medir, además de considerar la experiencia de los profesionales. La definición de la medida debe estar orientada al objetivo para evitar obtener una medida que no cumple con la medición del objetivo deseado. Para definir claramente el objetivo que se quiere alcanzar con las medidas propuestas se ha utilizado el método GQM (ver tabla 2).

A la hora de definir cada una de las medidas del MLM-PDS se consideraron las entidades de software: proyecto, proceso y producto; a partir de las cuales se puede definir la información necesaria que hay que recoger y establecer para llevar a cabo un proceso de medición adecuado y efectivo. Para presentar dichas medidas se empleó la estructura mostrada en la tabla 3.

La estructura para la presentación de las medidas del MLM-PDS se organiza de la siguiente forma: en la columna ¿Qué mide? se establece la entidad que mide (proyecto, proceso o producto) y el atributo de dicha entidad de software; en la columna ¿Cómo lo mide? se indica la medida, su descripción y el tipo de medida y la escala de cada medida. Algunas de las medidas definidas, de acuerdo a esta clasificación, se muestran en la tabla 4.

De los aspectos citados anteriormente, y de la abstracción realizada, se obtuvieron algunos objetivos específicos, los que fueron utilizados para establecer las hipótesis, preguntas y sus respectivas medidas asociadas. A continuación se presentan algunos de ellos:

O1. Lograr los objetivos del proceso mediante la provisión de los recursos suficientes y calificados a la organización.

O2. Proporcionar a la organización, y a cada uno de los procesos, individuos que posean las habilidades y conocimientos necesarios para realizar sus roles eficazmente y trabajar juntos como equipo cohesivo.

O3. Lograr que los productos de salida sean consistentes con los productos de entrada en cada fase del proceso mediante las actividades de verificación, validación o prueba.

O4. Lograr una mejora de procesos disciplinada y objetiva mediante el cumplimiento de las actividades, responsabilidades y la generación de los productos de trabajo definidos por el proyecto de mejora.

O5. Alcanzar las metas de mejora establecidas para el proyecto de mejora de acuerdo a los objetivos del negocio.

O6. Lograr la satisfacción del cliente supervisando la calidad de los productos y servicios en el nivel organizativo y del proyecto para asegurar que se reúnen los requisitos del cliente.

O7. Proveer a la organización de los medios y mecanismos adecuados para el uso y resguardo de la información de los productos generados en sus procesos, de forma confiable, oportuna y segura mediante una base de conocimiento.

El MLM-PDS define otro tipo de medidas que se desarrollan considerando cada uno de los objetivos de mejora. Es importante resaltar que cada uno de los elementos es evaluado por medio de una serie de preguntas con el fin de tener mayor información sobre la realización de las actividades, productos y roles al interior de la organización. A manera de ilustración, en la tabla 5, se muestran las preguntas relacionadas a uno de los objetivos de mejora.

Los valores de las medidas de los elementos asociadas a los procesos, realizados o llevados a cabo por la organización, se obtienen a partir del anterior instrumento de recolección de información. Cada actividad tiene un grado de realización, al cual se le asigna un valor de la siguiente forma:

• Nunca implementado (NI): se le asigna el valor de 0.

• Casi nunca implementado (CNI): se le asigna un valor entre 0,1 y 0,33.

• Casi siempre implementado (CSI): se le asigna un valor entre 0,34 y 0,67.

El valor del grado de satisfacción de una pregunta es su valor numérico asociado. El valor del grado del logro de un objetivo de mejora se obtiene calculando el valor de la medida definida para dicho objetivo, usando el valor o grado de satisfacción de las preguntas que evalúan cada elemento. Para obtener este valor se requiere de la información registrada en el formulario de recolección de la información. El número de resultados para el objetivo de este ejemplo es tres. Los resultados que se deben tener en cuenta para calcular el valor de indicador son los resultados de las preguntas 1, 2 y 3.

Valor del indicador (I1) = (Rp₁ + Rp₂ + Rp₃) × PROF, (1)

donde Rp_j es el resultado de la pregunta j y PROF es el peso de los resultados obtenidos del formulario calculado como PROF = 1 / (número de resultados utilizados para este objetivo).

Si se está aplicando este formulario a varias personas, el valor del indicador debe ponderarse haciendo uso de

donde el valor del indicador i corresponde al valor obtenido anteriormente para cada formulario y n es el número de personas que respondieron el formulario de recolección de la información.

Las medidas orientadas al objetivo propuestas en el MLM-PDS se pueden utilizar como indicadores que permitan orientar y facilitar la interpretación del evaluador al momento de analizar y/o medir el grado de alcance de un objetivo de mejora. En la tabla 6 se presenta la manera como se recomienda calcular los valores de los indicadores y la forma de obtener la información y los datos para calcularlos. También se presenta la forma de interpretar estos resultados para cada uno de los objetivos de mejora identificados.

Cuando es la empresa quien realiza una medición llevada a cabo por personal interno se trata de una auto-medición del impacto del proyecto de mejora de la organización en uno, para lo cual también se hace uso del MLM-PDS. Resaltando, en este último, que uno de los posibles usos del método de medición es determinar el impacto de la mejora de procesos SPI o encontrar las oportunidades de mejora de sus procesos a fin de optimizar los resultados de la empresa que se dedica al desarrollo de software, acercando a la empresa a mejorar la productividad y la calidad de sus servicios y/o productos para aumentar la competitividad de la industria nacional.

5 MLM-PDS: estudio de caso

5.1 Aplicación de MLM-PDS

En esta subsección se recogen experiencias de la aplicación de las actividades relacionadas con la medición de un proyecto SPI en MiPyMEs_DS, para utilizarse como marco de referencia en las empresas interesadas en la mejora de procesos de software. La integración del modelo de medidas propuesto en las organizaciones y sus programas de mejora se realizó aplicando el MLM-PDS con el modelo de mejora que las mismas estaban implementando. Adicionalmente, se tuvieron en cuenta los posibles escenarios de aplicación bajo los cuales se podría llevar a cabo la implementación del MLM-PDS en un proyecto de SPI, examinando las expectativas de la empresa en cuanto a la medición de la capacidad de uno o varios de sus procesos, o si su objetivo estaba en determinar el impacto de la mejora de procesos SPI, o bien la posibilidad de encontrar las oportunidades de mejora de sus procesos a fin de optimizar los resultados de la empresa.

La medición fue aplicada a dos empresas desarrolladoras de software del suroccidente colombiano. A continuación se presenta información relacionada con las empresas, el proyecto de mejora implementado, la medición y los resultados obtenidos. Una de ellas está representada por un grupo empresarial perteneciente a la ciudad Santiago de Cali; se encuentra dedicada a la producción, integración, mantenimiento, respaldo y asesoría de sistemas de información multisectorial de tecnología avanzada con diseños multiplataforma, estructurados para soportar los constantes retos de renovación de los procesos productivos de las organizaciones modernas [27]. Cuenta con más de 300 clientes en el territorio colombiano, los cuales están utilizando su solución administrativa y financiera. Estas soluciones permitieron a la empresa estar catalogados por la Cámara de Comercio de Occidente como empresarios emprendedores del Valle del Cauca y posicionarse como una de las más sólidas en el suroccidente colombiano.

La otra empresa, joven e innovadora, dedicada al desarrollo de productos de software y a la prestación de servicios de asesoría, capacitación, y procesamiento de datos especializados en el sector educativo, es caucana dedicada a la creación de soluciones en sistemas para dar soporte a los diferentes procesos de las organizaciones que requieren de la sistematización. Se tiene como misión satisfacer las necesidades de los clientes prestando servicios relacionados con el desarrollo de software, consultorías, asesorías y asistencia técnica en sistemas de software, redes de datos, y procesos especializados bajo el esquema de tercerización; se comercializan los productos desarrollados enteramente al interior de la empresa y se cuenta con la posibilidad de distribuir productos de software de terceros, siendo una empresa competitiva y líder en el país.

El proceso de medición que se llevó a cabo, haciendo uso del MLM-PDS, involucró un equipo de personas que realizaron el proceso de medición en el primer caso y una persona encargada en el segundo; la(s) cual(es), mediante el uso del formulario de recolección de información que ofrece este modelo, tomaron la información necesaria y los proyectos de la organización a evaluar. La organización fue la encargada de seleccionar a un evaluador, o un equipo de evaluadores; esta(s) persona(s), en ambos casos, constituyeron un equipo formado por individuos de la empresa y externos a las mismas.

El evaluador(es) fue el encargado de dirigir el proceso de medición en función de los datos de la empresa, apoyándose en el formulario de recolección de información que brinda el MLM-PDS. Del proceso de medición se obtuvo un reporte de resultados a la organización, el cual logró aportar información cualitativa y cuantitativa del impacto del proceso de mejora implementado por cada empresa, y le permitió conocer sus debilidades y fortalezas y hacer uso de esta información para identificar y desarrollar estrategias que apuntaran a incrementar, aún más, la capacidad de sus procesos de desarrollo de software.

Para hacer uso adecuado del proceso de medición, con el MLM-PDS, se realizó una preparación previa a la misma, esto para establecer aspectos tales como el alcance de la medición, donde se debe identificar y seleccionar el proceso(s) a ser evaluado(s), los proyectos que estarán involucrados, el personal, el material, la documentación importante y las actividades de la medición basadas en las propias recomendaciones de aplicación del MLM- PDS: planeación, ejecución, generación, entrega de resultados y cierre.

El proceso de medición que recomienda aplicar el MLM-PDS contempla la preparación, actividad previa a la medición, y las actividades propias de la medición. A continuación, una breve descripción de estas actividades:

• Preparación: el evaluador o equipo de evaluadores solicita el paquete de medición conformado por formulario de recolección de información y tabla de medidas a la empresa, lo conocen y se familiarizan con éste y con los términos empleados por el mismo.

• Planeación: el evaluador o equipo de evaluadores confirmaron el compromiso con la empresa para realizar la medición. Así mismo se identificaron los procesos involucrados en el proyecto de mejora a medir y a los participantes en la medición. Para la medición se elaboró un plan de medición que fue validado con la empresa y con cada uno de los involucrados. Por último, se preparó a los participantes capacitándolos en la terminología utilizada y familiarizándolos con los formatos.

• Ejecución: por cada proceso a medir, el evaluador o equipo de evaluación realizó una revisión de la documentación solicitada y preparó y ejecutó la entrevista con el responsable del proyecto y del proceso con su respectivo equipo de trabajo. Adicionalmente, por cada responsable de los procesos se preparó y realizó una entrevista para llevar a cabo la revisión de su documentación. La información se registró como evidencia documental y oral en el formulario de recolección de información. Finalmente, se consolida y se corrobora la información y se obtiene también la tabla de medidas 5.

]]> • Generación de resultados: el evaluador o equipo de evaluación generó el reporte de resultados, el MLM-PDS recomienda que el reporte de resultados refleje los resultados de los indicadores tanto de desempeño como de logro o satisfacción de los objetivos de mejora con base en los registros obtenidos en los formatos que contiene el paquete de medición.

• Entrega de resultados y cierre: el evaluador o equipo de evaluación cerró el proceso de medición y presentó a la organización los resultados obtenidos. Luego se hizo entrega de un reporte donde se presentan los resultados obtenidos al responsable del proyecto de mejora SPI para que éste fuese almacenado en la base de conocimiento de la empresa.

Como el proceso de medición se puede realizar varias veces, y en cualquier fase de un proyecto de mejora, se inició nuevamente en la ejecución ya que las otras fases se habían realizado y no eran requeridas en este momento.

La actividad de medición en las empresas que participaron para estos estudios de caso se iniciaron con la formación en el manejo correcto del paquete de medición del MLM-PDS, el cual consiste en un formulario de recolección de información y una tabla de medidas diseñada para registrar los datos recolectados. Con la finalidad de recoger datos sobre el estado de los procesos y actividades para medir el proyecto de mejora de la organización, el paquete de medición fue entregado y se orientó a cada una de las personas seleccionadas a participar de esta actividad.

Una vez realizada la capacitación en las empresas, se inició el proceso de medición; para esto se identificaron los procesos involucrados en el proyecto de mejora y los participantes del proceso de medición, se planearon las fechas para realizar las encuestas y recolectar datos en las diferentes etapas del proyecto de mejora que se estaba ejecutando, se citó en diferentes horarios a los involucrados y se realizaron las respectivas mediciones haciendo uso del paquete de medición del MLM-PDS.

A través de todo el proyecto de mejora se hicieron diferentes mediciones y se almacenó la información; se recolectaron los resultados e indicadores obtenidos, esto para resguardar los valores que se iban generando a lo largo del proyecto y todas las experiencias positivas y negativas, aprendidas y de gran valor en la toma de decisiones para los ciclos de mejora siguientes. Estas lecciones aprendidas fueron recolectadas en una base de conocimiento, la cual se creó por ser un primer ciclo de mejora, compuesta, además, de toda la documentación o productos de trabajo generados durante este primer ciclo.

En la aplicación del MLM-PDS se realizaron reuniones de retroalimentación que, además de presentar los resultados obtenidos, permitieron ajustar las medidas del MLM-PDS teniendo en cuenta los requerimientos identificados de las empresas en el contexto empírico. También, se presentó un informe referente al trabajo realizado y se analizó el impacto de la mejora en los procesos de la organización.

5.2 Datos y análisis de las medidas obtenidas en la aplicación

En este apartado se presentan algunos resultados obtenidos de la aplicación del MLM-PDS en las empresas piloto donde se realizaron los casos de estudio descritos. Todos los resultados obtenidos de las mediciones fueron presentados a las empresas ofreciéndoles la posibilidad de tener conocimiento cuantitativo de sus procesos y del proyecto de mejora.

Teniendo en cuenta la variación que presentan los resultados obtenidos de los datos de las diferentes medidas tomadas, se utilizó el método de control estadístico de procesos propuesto por Walter Shewhart¹, esto permite justificar que las medidas propuestas por el MLM-PDS miden lo que se ha establecido, y permiten analizar la variación de las medidas del proceso(s) en cuestión, mediante los valores obtenidos a lo largo del tiempo.

Esta técnica, conocida como gráfico de control estadístico, permite determinar si la dispersión (variabilidad) y la medida del proceso(s) es estable, es decir, si el proceso presenta cambios controlados o simplemente naturales. De igual forma, si la medida del proceso es inestable, esto es, cuando el proceso presenta cambios fuera de control y las medidas no pueden usarse para predecir el rendimiento del mismo. Dos tipos diferentes de gráficos de control se usan en la evaluación de los datos medidos: (a) el gráfico de control de rango móvil (Rm) y (b) el gráfico de control individual.

Para ilustrar el enfoque que significa un gráfico de control, se considera el ejemplo de uno de los casos de estudio descritos teniendo en cuenta los registros de los datos tomados del indicador de objetivo de mejora 2 (I2 ) que reúne sus datos a partir del formulario de recolección de información. Durante las diferentes mediciones, antes y después del proyecto de mejora, la organización registró valores de I2 para 14 observaciones en el mismo dominio del proyecto de mejora de procesos de desarrollo software (tabla 7).

De acuerdo a la figura 3, I₂ varía desde valores iguales a 0,1 para la medición 2 hasta valores iguales a 1 para las mediciones 5, 8 y 12.

Según el método propuesto por Richard Zultner, para proporcionar una vista general del comportamiento de la medida del proceso se requiere desarrollar un gráfico de control estadístico de rango móvil (Rm) para determinar la estabilidad del proceso. Zultner revisa cuatro criterios, denominados reglas de zona, que pueden usarse para evaluar si los cambios representados por la medida indican que un proceso está bajo control o fuera de él. Si cualquiera de las condiciones establecidas es verdadera, los datos de la medida indican un proceso que está fuera de control; los criterios son:

]]> 1. Un valor de la medida a nivel individual aparece fuera del LPNS.

2. Dos de cada tres valores de las medidas sucesivas aparecen más de dos desviaciones estándar fuera del valor promedio de las medidas.

3. Cuatro de cada cinco valores de métricas sucesivas aparecen alejados más de una desviación estándar del valor promedio de las medidas.

4. Ocho valores consecutivos de métrica aparecen todos situados a un lado del valor A.

En la figura 4 se presenta la gráfica con los valores respectivos de la desviación estándar (SD) y los valores descritos por Zultner.

Puesto que las cuatro condiciones fallan para los valores mostrados en la figura 4, se concluye que los datos de las medidas se derivan de un proceso estable y que se puede deducir legítimamente, a partir de los datos recogidos en la medida planteada por el MLM-PDS, una información que constituye una verdadera tendencia. También puede observarse, en la figura 4, que la variabilidad de la medida de I2 crece y decrece constantemente, esto, teniendo en cuenta que no se ha aplicado el proyecto de mejora de procesos SPI.

Se presenta también el gráfico propuesto por Richard Zultner (figura 5) para proporcionar una vista general del comportamiento de las mediciones asociadas al indicador del objetivo de mejora I2 tomadas después de implementar el proyecto de mejora.

Para revisar los cuatro criterios, denominados reglas de zona, se presenta la figura 6 con los valores respectivos de la desviación estándar (SD) y los valores descritos por Zultner.

Como se puede observar, en la tabla 8, después de implementar el programa de mejora, los resultados de las medidas obtenidas evidencian que el proceso tiende a estabilizarse. El gráfico de control individual indica que el proceso es estable y que los esfuerzos para mejorar la efectividad de los procesos de la organización dan buenos resultados. Además, haciendo uso del método de control estadístico de procesos, se pudo determinar el comportamiento que presentan las medidas del MLM-PDS y su variabilidad para establecer si éstas eran adecuadas a la característica u objetivo que se pretendía medir, contribuyendo así a la realización de los ajustes que se hicieron a las medidas del MLM-PDS y al refinamiento del modelo. Este mismo proceso se siguió para evaluar todos los indicadores establecidos por el MLM-PDS y realizar los ajustes necesarios a las medidas del modelo y a los procesos de la organización.

5.3 Lecciones aprendidas

Como resultado de la aplicación del modelo se aprendió que es necesario que una organización adopte un método que le ayude a mejorar sus procesos a la medida de sus características; y resulta de gran importancia que dicha organización pueda también medir el proyecto de mejora que se encuentra en ejecución o que ha finalizado; realizando mediciones a los documentos, actividades, roles y productos de trabajo, con el fin de obtener información cuantitativa del mismo en cuanto al esfuerzo necesario, la eficacia y eficiencia de sus resultados y el impacto dentro de la organización.

A continuación se presentan otro tipo de resultados estadísticos mediante la utilización de gráficos que permiten evidenciar distintos aspectos asociados a la mejora de procesos y las medidas planteadas por el MLM-PDS. Se presentan algunos resultados, estos se seleccionaron debido a las necesidades de información expresadas en su momento por la gerencia de las empresas donde fue aplicado el modelo. Los resultados que se presentan ahora son para las medidas tipo indicador genérico definidas por el modelo MLM-PDS que son básicamente de tipo desempeño.

Para las empresas es muy importante, además de poder estimar los esfuerzos que se realizan durante este tipo de proyectos, conocer los beneficios que éste trae para su organización. A continuación se resumen los resultados de la aplicación de las medidas que, a consideración de las empresas, son los más importantes para determinar los beneficios y el impacto que trae al interior de la organización un proyecto SPI. Estas medidas y/o indicadores fueron tomados en diferentes tiempos o fases de la ejecución del proyecto.

Un primer resultado que las empresas solicitaron fue la estimación del esfuerzo realizado para ciertos productos de trabajo antes de implementar un proyecto de mejora de procesos SPI, y el esfuerzo realizado para generar estos mismos productos después de la mejora. Estas medidas se pueden obtener, gracias a la tabla de estimación del esfuerzo del MLM-PDS, la cual permite estimar este valor antes, durante y después de realizar el esfuerzo.

Según los resultados obtenidos se estaban generando cinco productos de trabajo, los cuales tenían como responsables de su realización a tres personas, y dedicaban a estas actividades 30 horas semanales; después de la mejora se empezaron a generar los mismos cinco productos de trabajo, los cuales tenían como responsables de su realización al mismo número de personas pero la dedicación en tiempo era de 22 horas semanales. El esfuerzo antes de la mejora y después de la mejora varió considerablemente, ver figura 7.

Las empresas también manifestaron su necesidad por conocer variación de la eficiencia a lo largo del programa de mejora para lo cual se utilizó el indicador definido por el MLM-PDS que relaciona los objetivos de mejora alcanzados (en qué grado van siendo alcanzados a lo largo del proyecto SPI) y la cantidad de recurso consumido medido en horas. Para esta necesidad se realizaron diversas mediciones y se muestran resumidas en las figuras 8,9 y 10.

Por último, se presentan los resultados para el indicador de productividad del MLM-PDS calculado en términos del número de productos de trabajo que cumplen las especificaciones en relación con el número de productos de

trabajo totales. Este resultado surge de la toma de diversas mediciones a lo largo del proyecto de mejora (ver figura 12) y en relación con el número de productos de trabajo que se debían generar en total.

6 Conclusiones y trabajo futuro

La mejora del proceso de software se ha convertido en uno de los objetivos estratégicos fundamentales en las organizaciones al momento de promover la mejora de la calidad de sus productos.

En este artículo se ha presentado un conjunto de medidas que permitirán mejorar las estimación, control y gestión de los proyectos de SPI que adelanten las MiPyMEs_DS independientemente del modelo de referencia y el proceso o modelo de mejora. El modelo liviano de medidas propuesto brinda el soporte a la evaluación de la mejora de los procesos de software. Estas medidas pueden ser utilizadas como indicadores de efectividad y desempeño del proyecto de mejora que realiza una empresa y que permiten evaluar la importancia de los cambios que son consecuencia de la mejora de los procesos.

Con el MLM-PDS, una organización dedicada al desarrollo y/o mantenimiento del software puede evaluar sus programas de mejora de procesos de una forma efectiva. Este modelo es fácilmente aplicable a las MiPyMEs_DS ya que fue desarrollado con base en las actividades y/o prácticas desarrolladas por este tipo de organizaciones.

Las medidas e indicadores identificados permiten medir el desempeño y la efectividad de un programa de mejora en términos de costos, tiempo y recursos y al ser aplicable en cualquier momento del proyecto de mejora ayuda a disminuir riesgos asociados a malgastar tiempo y recursos. Además, esta misma característica ayuda a que el proyecto de mejora sea controlado de forma permanente.

Para la realización de este trabajo se realizó un estudio de los procesos de software, de los elementos más importantes a tener en cuenta a nivel de proceso, proyecto y producto; y se realizó, además de la definición del modelo, una adaptación de medidas reutilizables desde el contexto de la mejora de procesos y su evaluación.

Con respecto a los modelos de procesos se han estudiado los modelos de madurez, los estándares y los métodos más representativos relacionados con la evaluación y mejora de los procesos de software. Desde el punto de vista de la medición de los procesos se realizó un análisis de los principales elementos incluidos en la medición de los mismos, y sobre los principales estándares y metodologías para la medición del software; conducentes todos los anteriores a la obtención del MLM-PDS.

Se recomienda a la industria del software, en especial en el contexto de las MiPyMEs, la experimentación, ejecución y gestión de proyectos de mejora con la utilización de los diferentes modelos de calidad y mejora de procesos, dentro de los diferentes proyectos desarrollados en su empresa y con los modelos resultados obtenidos de investigaciones académicas.

Como trabajo futuro, la información relacionada con las medidas definidas serán integradas en dos frentes: el primero en su integración al Framework Agile SPI, específicamente al proceso de mejora Agile SPI-Process versión 2.0, y el segundo en aportar al refinamiento del modelo de mejora PmCOMPETISOFT (modelo adaptado de Agile SPI-Process y que actualmente guía la gestión e implementación de mejoras del proyecto COMPETISOFT), permitiendo así su aplicación en nuevos proyectos de mejora.

Agradecimientos

Este trabajo forma parte de los proyectos SIMEP-SW (financiado por Colciencias y la Universidad del Cauca) y COMPETISOFT (506AC0287, financiado por CYTED).

Notas al pie

¹ Considerado como el padre del control estadístico de procesos (SPC), fue el primero en realizar estudios sistemáticos sobre la calidad, desarrollando métodos estadísticos. Describe su teoría en el libro Economic Control of Quality of Manufactured Products.

Referencias

1. Ministerio de Comercio, Industria y Turismo-Colombia. Importancia de la Microempresa, http://www.mipymes.gov.co/, octubre de 2007. Referenciado en 174         [ Links ]

2. Julio Hurtado, Francisco Pino, et al. Agile SPI: Software Process Agile Improvement-A Colombian Approach to Software Process Improvement in Small Software Organizations. In Software Applications: Concepts, Methodologies, Tools, and Applications, ISBN 978-1-60566-060-8. Ed. IGI Global, 2009. Referenciado en 174, 178         [ Links ]

3. Jean-Claude Derniame, Badara A. Kaba and David Wastell. Software Process: Modelling and Technology (Lecture Notes in Computer Science), ISBN 9783540655169. Springer Verlag, Germany, 1999. Referenciado en 174         [ Links ]

4. William A. Florac, Robert E. Park, Anita D. Carleton. Practical Software Measurement: Measuring for Process Management and Improvement. Software Engineering Institute, Carnegie Mellon University, Pittsburgh PA 15213. Referenciado en 174        [ Links ]

5. Francisco Pino, Félix García, Mario Piattini. Software process improvement in small and medium software enterprises: a systematic review. Software Quality Journal, ISSN 0963-9314, 16(2), 237-261 (2008). Referenciado en 174        [ Links ]

6. International Organization for Standardization (ISO). ISO/IEC 12207:2002 Parte 2 Information Technology-Software Life Cycle Processes, http://www.iso.org, 2004. Referenciado en 175        [ Links ]

7. Software Engineering Institute (SEI). Capability Madurity Model Integration (CMMI), version 1.1, http://www.sei.cmu.edu/cmmi. Guidelines for Process Integration and Product Improvement (2nd Edition), ISBN 978-0321279675. Addison-Wesley Professional, 2006. Referenciado en 175        [ Links ]

8. Hanna Oktaba, Felix García, Mario Piattini, Francisco Pino, Claudia Alquicira, Francisco Ruiz. Software Process Improvement: The Competisoft Project. Computer, ISSN 0018-9162, 40(10), 21-28 (2007). Referenciado en 175        [ Links ]

9. Aileen P. Cater-Steel. Low-rigour, Rapid Software Process Assessments for Small Software Development Firms. Australian Software Engineering Conference (ASWEC'04), ISBN 0-7695-2089-8, Melbourne-Australia, 368-377 (2004). Referenciado en 175        [ Links ]

10. Alessandra Anacleto, Christiane Gresse Von Wangenheim, Clênio F. Salviano, Rafael Savi. A Method for Process Assessment in Small Software Companies. 4th International SPICE Conference on Process Assessment and Improvement (SPICE'04), Portugal, 69-76 (2004). Referenciado en 175         [ Links ]

11. Hanna Oktaba y otros. Método de Evaluación de procesos para la industria de software, EvalProSoft, Versión 1.1. NMX-I-006/(01 al 04)-NYCE-2004. Organismo Nacional de Normalización y Evaluación de la Conformidad. Ciudad de México (2004). Referenciado en 175         [ Links ]

12. Fergal Mc Caffery, Gerry Coleman, Philip S. Taylor. Adept: A Unified Assessment Method for Small Software Companies. European Systems & Software Process Improvement and Innovation (EuroSPI 2006). IEEE Software, ISSN 0740-7459, 24(1), 24-31 (2006). Referenciado en 175         [ Links ]

13. Kival C. Weber, Eratóstenes Araújo, Ana Rocha, Cristina Machado, Danilo Scalet, Clênio Salviano. Brazilian Software Process Reference Model and Assessment Method.Computer and Information Sciences (ISCIS 2005), ISBN 3-540-29414-7, 3733, 402-411 (2005). Referenciado en 175         [ Links ]

14. Victor R. Basili, David M. Weiss. A Methodology for Collecting Valid Software Engineering Data. IEEE Transactions on Software Engineering, ISSN 0098-5589, SE-10(6), 728-738 (1984). Referenciado en 177        [ Links ]

15. John McGarry, David Card, Cheryl Jones, Beth Layman, Elizabeth Clark, Joseph Dean, Fred Hall. Practical Software Measurement. Objective Information for Decision Makers, ISBN 978-0201715163. Addison- Wesley Professional, 2001. Referenciado en 177        [ Links ]

16. International Organization for Standardization (ISO). ISO/IEC-15939, Software Engineering-Software Measurement Process, http://www.iso.org, 2004. Referenciado en 177        [ Links ]

17. Coral Calero, Mario Piattini, Marcela Genero. Method for obtaining correct metrics. Proceedings of the 3rd International Conference on Enterprise and Information Systems, ISBN 972-98050-2-4, Setúbal-Portugal, 779-784 (2001). Referenciado en 177        [ Links ]

18. Oswaldo Gómez, Hanna Oktaba, Mario Piattini, Félix García. A systematic review measurement in Software Engineering: State-of-the-Art in Measures. Communications in Computer and Information Science, ISSN 1865-0929, 10(3), 165-176 (2008). Referenciado en 178        [ Links ]

19. Oswaldo Gómez, Hanna Oktaba, Mario Piattini, Félix García. Incorporación de medidas en el modelo de procesos para la industria de software MoProSoft. IV Simposio Internacional de Sistemas de Información e Ingeniería de Software en la Sociedad del Conocimiento (Sisoft2006), ISBN 84-690-0258-9, Cartagena de Indias-Colombia, 153-166 (2006). Referenciado en 178        [ Links ]

20. The State of Software Measurement Practice: Results of 2006 Survey Software. Engineering Institute (SEI2006), http://www.sei.cmu.edu/library/abstracts/reports/06tr009.cfm, abril de 2007. Referenciado en 178         [ Links ]

21. Julio Hurtado, Francisco Pino, Carlos Vidal, César Pardo, Luis Fernández. Agile SPI: Software Process Agile Improvement, A Colombia Approach to Software Process Improvement in Small Software Organizations, chapter IX. In Software Process Improvement for Small and Medium Enterprises: Techniques and Case, ISBN 9781599049069. Editorial Igi Global, 177-192 (2007). Referenciado en 178         [ Links ]

22. César Pardo, Luis Fernández, et al. Un Proceso ágil para el Mejoramiento de Procesos de Desarrollo de Software para PYMES-Agile SPI-Process. IV Simposio Internacional de Sistemas de Información e Ingeniería de Software en la Sociedad del Conocimiento (SISOFT2006), ISBN 84-690-0258-9, Cartagena de Indias-Colombia, 108-115 (2006). Referenciado en 178         [ Links ]

23. Francisco Pino, Félix García, Francisco Ruiz, Mario Piattini. Adaptation of the standards ISO/IEC 12207:2002 and ISO/IEC 15504:2003 for the assessment of the software processes in developing countries. IEEE Latin America Transactions, ISSN 1548-0992, 4(2), 85-92 (2006). Referenciado en 178         [ Links ]

24. Carlos Vidal, Julio Hurtado, et al. Hacia un Marco de Trabajo para la Definición de Procesos de Desarrollo de Software: Framework-PDS. IV Simposio Internacional de Sistemas de Información e Ingeniería de Software en la Sociedad del Conocimiento (SISOFT 2006), ISBN 84-690-0258-9, Cartagena de Indias-Colombia, 353-363 (2006). Referenciado en 179         [ Links ]

25. Carmen Sánchez, María Solís, Francisco Pino, Julio Hurtado. Modelo Liviano de Calidad para la Mejora de Procesos de Desarrollo Software. VI Jornadas Iberoamericanas de Ingeniería de Software e Ingeniería del Conocimiento (JIISIC 2007), ISBN 978-9972-2885-1-7. Lima-Perú, 315-324 (2007). Referenciado en 179        [ Links ]

26. Diana Vásquez. Modelo Liviano de Medidas para Evaluar la Mejora de Procesos de Desarrollo Software MLM-PDS. Universidad del Cauca. Popayán-Colombia, 2007. Referenciado en 181        [ Links ]

27. César Pardo, Luis Fernández, Carlos Vidal, Julio Hurtado. Aplicación y Ajuste en la Práctica del nuevo Proceso de Mejora para Procesos de Software Agile SPI Process: caso de estudio real en una PyME. Gerencia Tecnológica Informática, ISSN 1657-8236, 5(13), 21-29 (2006). Referenciado en 186        [ Links ]