Utilización de la metodología MUSA y su aplicación en el estudio para monitorear periódicamente la satisfacción de estudiantes de la Universidad de los Andes (ESAT)
The Use of MUSA methodology and its Application in the Periodic Monitoring of Satisfaction among Students at Universidad de los Andes (ESAT)
Ciro Alberto Amaya Guio (1)* Natalia Carrero Siabato (2)*
(1) Doctor en Ingeniería Industrial. Profesor asociado. ca.amaya@uniandes.edu.co
(2) Ingeniera Industrial. n.carrero760@uniandes.edu.co
* Universidad de los Andes, Bogotá, Colombia
Recibido 30 de septiembre de 2014. Modificado 4 de abril de 2014. Aprobado 12 de mayo de 2014.
Palabras clave
MUSA, programación lineal, satisfacción de estudiantes.
]]> ResumenEl propósito de este trabajo es aplicar el método MUSA a la información obtenida en las encuestas del estudio para monitorear periódicamente la satisfacción de estudiantes (ESAT), para diagnosticar el nivel de satisfacción actual de los estudiantes de pregrado de la Universidad de los Andes (Colombia) e identificar la importancia y el desempeño de cada uno de los aspectos evaluados por la institución. Como parte de los resultados, es posible conocer los elementos que los estudiantes consideran más valiosos dentro de su satisfacción, tomando los resultados emitidos por una muestra significativa de encuestados. Finalmente, el estudio presenta las opciones que requieren mayor atención por parte de la Universidad para mejorar dicha satisfacción.
Key words
MUSA, linear programming, student satisfaction.
Abstract
The purpose of this paper is to apply the MUSA method to the information gathered in periodic surveys monitoring student satisfaction (ESAT, for its acronym in Spanish). The surveys serve to diagnose the level of undergraduate students' current satisfaction at Universidad de los Andes (Colombia), and to identify the importance and the current performance of each of the aspects assessed by the institution. In addition, it sheds light on the elements that students consider most valuable as part of their satisfaction, taking the results issued by a significant sample of respondents. Finally, the study presents aspects that require the University's attention in order to improve student satisfaction.
Introducción
Para la mayoría de las organizaciones bajo una política estricta de mejoramiento continuo, la medición de la satisfacción de sus clientes es de vital importancia. Según Grigoroudis y Siskos (2010), dicha medición de la satisfacción es considerada como un problema de evaluación multicriterio, donde la satisfacción global de los clientes depende de un conjunto de variables que representan dimensiones características del servicio en particular. Al tener en cuenta las preferencias de los clientes, las organizaciones pueden identificar las oportunidades potenciales de mercado, las acciones correctivas, las diferencias de percepción cliente-organización y el comportamiento de los clientes.
La Universidad de los Andes desea llevar a cabo la medición de la satisfacción de los estudiantes, como mecanismo de mejoramiento continuo y proceso de comunicación directa con los alumnos, de manera que se conozcan sus preferencias y expectativas. Para ello, ha diseñado un estudio aplicado a los estudiantes de manera periódica. Este recibe el nombre de estudio para monitorear periódicamente la satisfacción de estudiantes (ESAT), y se elabora anualmente para conocer el grado de satisfacción de los alumnos en tres ámbitos previamente establecidos: Imagen institucional, programas académicos y servicios adicionales. De acuerdo con los resultados obtenidos a partir del mismo, se busca soportar la toma de decisiones y diseñar planes de acción para el mejoramiento continuo de la institución (Universidad de los Andes - Dirección de planeación y Evaluación, 2012).
Este trabajo aplica el Método de Análisis de Satisfacción Multicriterio (MUSA) a la información obtenida en las encuestas del estudio ESAT, con el objetivo de medir y analizar la satisfacción actual de los estudiantes y dar una herramienta de análisis. Este método permite la construcción de un modelo de regresión ordinal con restricciones, teniendo en cuenta la naturaleza de las variables cualitativas, combinando el uso de técnicas de optimización lineal, métodos de desagregación y teoría de la utilidad multiatributo (MAUT) (Grigoroudis & Siskos, 2010). A partir de lo anterior se establece una serie de conclusiones, basado en los resultados de la aplicación del método, indicando el nivel de satisfacción global y parcial de los estudiantes, así como las oportunidades de mejora, que requieran atención inmediata y con las cuales la Universidad puede implementar políticas óptimas de mejoramiento.
]]> MetodologíaMétodo MUSA
El Análisis de Satisfacción Multicriterio (MUSA) es un método propuesto por Grigoroudis y Siskos (2010) el cual permite medir y analizar la satisfacción del cliente, considerando correctamente la naturaleza cualitativa de las preferencias de los estudiantes. MUSA sigue los principios generales del análisis de regresión ordinal, utilizando técnicas de programación lineal multiobjetivo para su solución, y su meta es minimizar la suma del error absoluto, usando la regresión de mínima desviación absoluta para su solución (Ehrgott, Naujoks, Stewart & Wallenius, 2008). Se evalúa el nivel de satisfacción de un conjunto de individuos sobre la base de sus valores y preferencias expresadas. Utilizando los datos de encuestas, el método MUSA agrega las diferentes preferencias en una única función con el mínimo error posible (ver fórmula 1) (Grigoroudis & Siskos, 2010).
Los datos del problema se basan en juicios de los clientes y deben ser recogidos directamente de ellos. Una fórmula aditiva es usada con el fin de agregar evaluaciones parciales en una medida de satisfacción global. La medición de la satisfacción del cliente es un problema de evaluación multivariado, dado que la satisfacción global de los clientes depende de un conjunto de n variables que representen las dimensiones o características de servicio. Este conjunto de criterios se denota como X = (X1, X2..., Xn) donde un determinado criterio i está representado como una variable monotónica Xi.
Además, el método evalúa las funciones de satisfacción global Y* y de satisfacciones parciales X*i, a partir de los juicios de los clientes (Y y Xi∀¡ ∈ Criterios) e infiere una función de valor colectiva y aditiva Y*, y un conjunto de funciones parciales de satisfacción X*∀¡ ∈ Criterios. El objetivo principal del método es la agregación de los juicios individuales en una función colectiva Y*, ya que la satisfacción global del cliente depende de un conjunto de criterios o variables que representan las diferentes características de servicio ( Grigoroudis & Siskos, 2010).
La función de regresión ordinal, la cual agrega las preferencias de los clientes se describe a continuación:
Según la Dirección de Planeación y Evaluación de la Universidad, de los 15.834 estudiantes inscritos en la Universidad de los Andes en 2011, 12.539 pertenecen a pregrado; para este estudio, se define esta cantidad como la población objetivo. La muestra representativa en este estudio es de 2.809 personas que equivale a 22% de dicha población. El mecanismo de encuesta, utilizado en este caso, fue por correo electrónico para contactar a todos los estudiantes de la Universidad, debido al extenso tamaño de la población objetivo (CIFI Informática, 2012). Para este tipo de encuestas la tasa de respuesta o porcentaje de encuestas totales intentadas que se completan es aproximadamente del 15%, lo cual podría llevar a desviaciones considerables. Este tipo de desviaciones por falta de respuesta ocurren cuando los encuestados reales difieren de los que se rehúsan en participar (Malhotra, 1997). Aun así, hay que tener en cuenta que las encuestas por correo es uno de los métodos más rápidos y de menor costo de realización a la hora de obtener datos de un gran número de encuestados, como ocurre en este caso.
Para realizar el análisis de la satisfacción de los estudiantes de la Universidad, se decidió hacer uso de datos secundarios previos, obtenidos a partir de una encuesta diseñada y aplicada por los órganos encargados de la Universidad. Ellos realizan de manera periódica una encuesta transmitida a los estudiantes Uniandinos vía correo electrónico, la cual es diseñada para emprender acciones de mejoramiento pertinentes, bajo el nombre de estudio para monitorear periódicamente la satisfacción de estudiantes: ESAT. Por tal motivo, al utilizar dichos datos no se tiene un control sobre el muestreo manejado previamente, debido a que, en este caso en particular, se desea realizar un estudio de las percepciones de los estudiantes y no estimaciones de parámetros estadísticos.
]]> Los resultados obtenidos mediante este método son: una estimación del nivel de satisfacción actual de los clientes en una escala del [0,100%], el porcentaje de importancia de cada criterio en la satisfacción global, los índices de desempeño, de demanda y de mejora, los cuales indican en qué criterios se debe enfocar la organización para mejorar la satisfacción de sus clientes, y diagramas de acción y de mejora que verifican dicha información de manera más concreta.Análisis método MUSA
Para llevar a cabo el análisis de la satisfacción de los estudiantes se hace uso del método MUSA, el cual está compuesto por cuatro fases:
Fase 1: Problema de programación lineal
El método sigue los principios del análisis de regresión ordinal bajo restricciones, utilizando modelos de programación lineal, cuya función objetiva es la minimización de la suma de los errores (de sobrestimación y subestimación definidos en la ecuación ordinal), de manera que la consistencia entre la función de valor encontrada Y*, compuesto por las funciones parciales de satisfacción X*i ∀¡ ∈ Criterios y, el juicio global emitido por el cliente, sea la máxima posible (Grigoroudis & Siskos, 2010).
Fase 2: Análisis de estabilidad o análisis de post optimalidad
En este paso, se hace una pos-optimización buscando puntos más cercanos al óptimo de tal manera que tengan propiedades deseables, en este caso, valores de pesos que beneficien particularmente a cada dimensión. Esto se debe a que en muchos casos las soluciones óptimas no son las más interesantes, dada la incertidumbre tanto de los parámetros del modelo como de las preferencias del decisor. El algoritmo empleado en la búsqueda de los puntos cercanos se basa en la descomposición de esta, mediante la solución de tantos modelos de programación lineal (PL), como número de criterios exista. En cada uno de esos PL, se debe maximizar el peso de un criterio en particular, teniendo en cuenta la formulación apropiada (Grigoroudis & Siskos, 2010). El algoritmo, en consecuencia, explora el espacio o vecindario óptimo definido por un poliedro. El uso de esta técnica de solución se debe a que puede suceder que el número de soluciones óptimas o cercanas a éstas sea muy grande, por lo que un método de búsqueda exhaustivo (como el método simplex) requiere mucho esfuerzo computacional (Grigoroudis & Siskos, 2010).
Fase 3: Estimación de pesos y funciones de satisfacción de los estudiantes
Luego de realizar el análisis de estabilidad y obtener las variables de decisión Zm(∀ m ∈ Niveles de satisfacción global) y W¡k∀ i ∈ Criterios, k ∈ Niveles de satisfacción de cada criterio i, de cada uno de los 29 modelos de programación lineal post óptimo (uno por cada criterio que exista), desarrollados en la fase 2, se promedian para encontrar los pesos de cada uno de los criterios y las funciones de satisfacción de los estudiantes. Los niveles de satisfacción (k y m) hacen referencia a la escala de satisfacción utilizada en la encuesta (muy satisfecho, satisfecho, ni insatisfecho ni satisfecho, insatisfecho, muy insatisfecho). Para ello, se deben transformar las variables encontradas en las iniciales (bipeso del criterio i, x*i kvalor de la función de satisfacción parcial correspondiente al nivel k para el criterio i y y*mvalor de la función de satisfacción Y* correspondiente al nivel de satisfacción m).
Fase 4: Índices y diagramas
]]> El uso de índices y diagramas son de especial utilidad en el modelo porque permiten identificar prioridades y posibles mejoras, así como los criterios más relevantes según la opinión de los estudiantes. Los cinco índices utilizados son:• índice de ajuste promedio (AFI Average Fitting Indices)
• índice de estabilidad promedio (ASI Average Stability Indices)
• índice promedio de satisfacción (S)
• índice promedio de demanda (D)
• índice promedio de mejora (I)
Resultados y discusión
Pesos de los criterios
El cálculo de los pesos de los criterios de satisfacción depende del promedio de los valores W¡k, encontrados en el análisis de post-optimalidad, los cuales reflejan la importancia dada por los estudiantes y la suma de los mismos debe ser igual a 1 (Grigoroudis & Siskos, 2010). Aquel que tenga el peso más alto, es el que tiene mayor trascendencia para los alumnos encuestados. Los 29 criterios y sus pesos respectivos se presentan más adelante en la tabla 1.
Fünción de valor aditiva obtenida (modelo de regresión ordinal)
]]> Como parte del modelo se infiere una función Y* y un conjunto de funciones parciales X*ia partir de los juicios de los clientes (de sus respuestas dadas en la encuesta Y y X¡). De esta forma, es posible estimar el modelo de regresión ordinal Y* = Σ n¡= 1 b¡ X*¡, que explica la satisfacción global de los estudiantes, donde las funciones de valor Y* y X*iy se normalizan en el intervalo [0, 100] y bi es el peso del criterio (Grigoroudis & Siskos, 2010). La función aditiva de valor (Fórmula 2) se expresa a continuación:
Donde x*1, x*2, x*3.... x*29 son los valores estandarizados de las funciones de satisfacción [0,100] de cada uno de los criterios nombrados en la Tabla 1. El modelo presentado permite explicar la satisfacción de un estudiante de pregrado en particular al reemplazar los valores. Sin embargo, es posible encontrar un valor estandarizado que represente la satisfacción de todos los estudiantes en general y no específicamente. Estas funciones de valor muestran en un intervalo normalizado [0, 100%], el valor real que los clientes dan a cada nivel de satisfacción de la escala ordinal global o marginal (corresponde al porcentaje de su percepción que es satisfecho en cada nivel) (Grigoroudis & Siskos, 2010).
La forma de estas funciones, al momento de graficarlas, permite establecer el nivel de demanda de los estudiantes con la Universidad (qué tan exigentes son los alumnos con la institución). Los tres niveles de demanda que pueden tener diferentes grupos de clientes, se identifican según la forma de las gráficas así: clientes neutrales (gráficas lineales), clientes demandantes (curvas convexas) y clientes no demandantes (curvas cóncavas). Los primeros expresan mayor nivel de satisfacción en cuanto mayor es el porcentaje de sus expectativas cumplidas, mientras que los consumidores demandantes no están muy satisfechos, a menos que reciban el mejor nivel de calidad. Al realizar las curvas de valor agregado, resultado de la aplicación del método, es posible apreciar que todas las gráficas tienen funciones cóncavas, lo cual significa que son clientes no demandantes.
Resultados de los índices
A continuación se presentan los aspectos tomados en cuenta para medir la satisfacción, así como los pesos y cada uno de los índices nombrados para cada criterio de satisfacción, (Tabla 1) y un análisis de los mismos:
• Índice de ajuste promedio
]]> - En este caso el resultado es de AFI = 89,04% por lo cual se considera que el nivel de ajuste del modelo es alto.• Índice de estabilidad promedio
- El valor de este índice es de 99,56% lo que indica que el modelo es bastante estable.
• Según el nivel de satisfacción:
- Globalmente los clientes se encuentran satisfechos con la Universidad en un 85,65%, esto indica un buen desempeño por parte de la Universidad.
- El "dominio del tema del profesor" es el aspecto más importante para los estudiantes de la universidad. Tiene un nivel de satisfacción de 97,68%, el más alto de todos los criterios de satisfacción analizados. Tiene un desempeño superior, pero al mismo tiempo una gran importancia por lo que no debe ser descuidado por la Universidad.
- La mayoría de los criterios presentados tiene un índice de satisfacción mayor a 80%, excepto el relacionado al "proceso de inducción" (criterio 11) con una satisfacción del 75,87% y a "los precios de productos en la cafetería" (criterio 28) con un índice promedio de 57,93%, siendo el criterio con menor satisfacción (aunque también el de menor importancia).
• Según el índice de mejora:
- Se puede observar que todos los índices promedio de mejora son cercanos a cero, debido a que el índice de satisfacción de cada uno de los criterios es alto (los estudiantes de pregrado se encuentran bastante satisfechos). De esta forma, el margen de mejora que debe tener la organización con cada uno de los criterios analizados es mínimo, su esfuerzo radica en mantener el nivel de satisfacción actual. Aun así, se deduce que en donde más debe mejorar la Universidad es en la "relación matrícula-calidad académica" (criterio 4), seguida de la "promoción de la excelencia académica" (criterio 2) y las acciones para ofrecer "docencia de alta calidad" (criterio1).
• Según el índice de demanda:
]]> - A nivel global los estudiantes de pregrado de la Universidad son considerados no demandantes, con un índice de demanda igual a (-0,6).- Los estudiantes son prácticamente no demandantes para los criterios "dominio del profesor" (criterio 8) con un índice de -0,890 y "áreas de circulación, jardines y zonas verdes" (criterio 24) con un índice de -0,72. Para el resto de criterios, los estudiantes son considerados entre no demandantes y neutrales y, mejorar la satisfacción de los mismos, no demandará muchos esfuerzos para la Universidad. Por lo tanto, no es necesario cumplir con el total de sus expectativas para obtener una mejora deseable en la satisfacción global.
Diagramas
Diagramas de acción
Este tipo de diagrama combina los pesos (bi) y los índices medios de satisfacción (S) para indicar puntos fuertes y débiles de la satisfacción del cliente, y definir los esfuerzos de mejora necesarios para aumentarla, (Grigoroudis & Siskos, 2010), similar a los análisis DOFA (Fortalezas Debilidades-Oportunidades-Amenazas). Los diagramas están divididos en cuadrantes, en función del desempeño (alto/bajo) y la importancia (alta/baja) que puede ser usado para clasificar las acciones. Los cuadrantes son:
1. Status quo (bajo desempeño/baja importancia): Por lo general, no requiere ninguna acción, teniendo en cuenta que estas dimensiones de satisfacción no se consideran tan importantes por los clientes.
2. Aprovechar la oportunidad competitiva (alto desempeño/alta importancia): Esta área puede ser utilizada como ventaja frente a la competencia. En varios casos, los criterios de satisfacción ubicados en este espacio son considerados las razones más importantes por las que los clientes han comprado el producto o servicio bajo estudio (o en este caso las razones que tienen los estudiantes para escoger la Universidad de los Andes).
3. Transferencia de los recursos (alto desempeño/baja importancia): Los recursos invertidos para el manejo de los criterios ubicados en este cuadrante, podrían estar siendo mejor utilizados en otros criterios.
4. Oportunidad de acción o de mejora (bajo desempeño/ alta importancia): Estos son los criterios que necesitan atención de manera inmediata y centrar en ellos los esfuerzos de mejora.
Según la ilustración 1, el criterio 4 "relación matrícula -calidad académica" es el que necesita atención inmediata si se desea aumentar el nivel de satisfacción global. Esto se debe a la importancia que tiene dicha dimensión para los estudiantes dentro de su satisfacción global. Por otra parte, los criterios "dominio del profesor en los temas que enseña" (criterio 8), "las acciones para ofrecer una docencia de alta calidad" (criterio 1) y "la promoción de la excelencia académica" (criterio 2) son consideradas, las razones más importantes por las que los estudiantes han escogido a la Universidad de los Andes para sus estudios, debido a su ubicación en el diagrama (cuadrante oportunidad competitiva). Adicional-mente, estos criterios mencionados pueden ser vistos por los estudiantes como la principal ventaja competitiva que tiene la institución frente a otros centros de educación superior en el país. Los criterios restantes pueden llegar a ser importantes para los estudiantes en un futuro (aun cuando ahora no lo sean) y deben ser mejorados, ya que tienen actualmente un bajo desempeño.
]]> El diagrama de acción relativo para este caso de estudio se presenta a continuación (Figura 1):
Diagramas de mejora
En los diagramas de mejora (Figura 2) se determina la magnitud de los esfuerzos de mejora y la prioridad teniendo en cuenta otros criterios, combinando para ello los índices promedio de demanda (D) y de mejora (I) (Grigoroudis & Siskos, 2010). Los cuadrantes son:
• Prioridad 1 (poco esfuerzo/ alta efectividad): en este cuadrante se deben enfocar todas las acciones directas de mejora.
• Prioridad 2 (poco esfuerzo/poca efectividad o alto esfuerzo/alta efectividad): comprende criterios de satisfacción que tienen, ya sea un bajo índice de demanda o un alto índice de mejora.
• Prioridad 3 (alto esfuerzo/poca efectividad): se refiere a las dimensiones de satisfacción que tienen márgenes de mejora pequeños y un esfuerzo considerable.
Conclusiones
Con base en los resultados anteriormente establecidos se puede concluir lo siguiente:
Según el análisis hecho a partir del método MUSA y basado en los criterios seleccionados para la encuesta por la Universidad, las prioridades deben enfocarse en la imagen institucional (conformada por los criterios 1 al 4) y en los procesos institucionales (criterios 5 al 10). Los estudiantes consideran que las dimensiones que pertenecen a estas categorías son de vital importancia para su satisfacción global.
El criterio más importante para los estudiantes y el que mayor índice de satisfacción tiene (97,68%) es "el dominio que tiene el profesor de los temas que enseña" (criterio 8). Además es considerado la principal ventaja competitiva de la Universidad de los Andes. Existe un criterio que requiere atención aunque no de manera inmediata (debido a su importancia y a su bajo nivel de desempeño relativo) y en el que se deben centrar los esfuerzos de mejora, con el fin de aumentar el nivel de satisfacción global de los estudiantes. Este es "la relación valor matrícula- calidad de formación académica" (criterio 4), uno de los criterios más importantes dentro de la satisfacción global de los estudiantes con un índice de satisfacción de 83,41%. Los estudiantes que lo califican tienden a ser no demandantes, por lo que mejorar su nivel de satisfacción es relativamente sencillo además de tener un amplio margen de mejora en comparación a los demás.
Otros criterios que tienen un margen de mejora significativo, pues su progreso implica una mejora en la satisfacción global, son "las acciones que la Universidad de los Andes ha emprendido para ofrecer una docencia de alta calidad" (criterio 1) y "la forma como la universidad promueve la excelencia académica" (criterio 2). Son ventajas competitivas que la Universidad debe explotar, porque los estudiantes las consideran fundamentales como parte de su proceso educativo.
La aplicación del método se convierte en una herramienta útil para que las organizaciones puedan establecer planes de acción de mejora, que permitan dirigir sus esfuerzos en los puntos o criterios claves para lograr mejorar los niveles de satisfacción actual de sus clientes.
Referencias
CIFI Informática. (Febrero de 2012). Presentación Resultados Generales: Estudio sobre la satisfacción de estudiantes de pregrado y posgrado en Uniandes. Recuperado de http://planeacion.uniandes.edu.co [ Links ]
Ehrgott, M., Naujoks, B., Stewart, T. J. & Wallenius, J. (2008). Multiple Criteria Decision Making for Sustainable Energy and Transportation Systems. In Proceedings of the 19th International Conference on Multiple Criteria Decision Making Vol. 7, p. Auckland: Springer. [ Links ]
Grigoroudis, E. & Siskos, Y. (2010). Chapter 4: MUSA. En E. Grigoroudis, & Y. Siskos, Customer Satisfaction Evaluation: Methods for Mesuring and Implementing Service Quality. Springer. [ Links ]
Malhotra, N. (1997). Investigación de Mercados: Un enfoque práctico. México: Prentice Hall. [ Links ]
Universidad de los Andes - Dirección de Planeación y Evaluación. (15 de Agosto de 2012). Estudios de apreciación. Recuperado de http://planeacion.uniandes.edu.co/pdi/estudios-de-apreciacion/estudios-de-apreciacion [ Links ] ]]>