University objectives and socioeconomic results regarding engineering: multi-criteria measuring of alignment Félix Antonio Cortés Aldana1, Ismael Peña Reyes2, Jaime Orlando Cortés Aldana3 1 Ph. D. en Proyectos de Ingeniería e Innovación. M.Sc. en Ciencias Económicas. Profesor Asociado, Miembro del grupo de investigación UN-ALGOS, Departamento Ingeniería de Sistemas e Industrial, Facultad de Ingeniería, Universidad Nacional de Colombia. facortesa@unal.edu.co. 2 Ph. D. en Ciencias de Gestión - Sistemas de Información. M.Sc,. en Sistemas de Información y Organización. Esp. en Educación. Profesor Asociado, Departamento de Ingeniería de Sistemas e Industrial, Universidad Nacional de Colombia. jipenar@unal.edu.co 3 M.Sc., en Ciencias Económicas. Universidad Nacional de Colombia. Funcionario, Gobernación de Cundinamarca. jaime.cortes@cundinamarca.gov.co RESUMEN Las facultades o escuelas de las universidades desarrollan mecanismos de transferencia de conocimiento como herramientas para lograr los objetivos de las misiones universitarias con el entorno socioeconómico. El principal propósito de este trabajo es presentar los resultados obtenidos al medir el grado de alineación de los objetivos estratégicos de una universidad con los resultados obtenidos por una facultad, mediante sus mecanismos de transferencia de conocimiento. Esto permite desarrollar un diagnóstico, comparando la situación deseada por el equipo directivo de la universidad (caso esperado) con los resultados reales obtenidos al desarrollar los planes que aplican los mecanismos de transferencia de conocimiento (caso real). Para lograr lo anterior se aplican técnicas de análisis de decisión multicriterio (Multi-Criteria Decisión Análisis, MCDA), en concreto, el proceso de análisis en red (Analytic Network Process - ANP) y el proceso de análisis jerárquico (Analytic Hierarchy Process- AHP). Los resultados presentados dependen de la experiencia y percepciones de los expertos que participaron en el estudio. La metodología propuesta en el presente trabajo es aplicada en la Facultad de Ingeniería de la Universidad Nacional de Colombia. El estudio permite medir: la importancia de cada uno de los objetivos estratégicos de una universidad, los resultados alcanzados en una facultad en cada uno de los objetivos, el grado de alineación entre los resultados esperados y los reales, y el nivel de influencia de cada uno de los mecanismos de transferencia de conocimiento. Palabras claves: relación universidad - entorno socioeconómico, proceso de análisis en red, proceso de análisis jerárquico.
University faculties and schools develop mechanisms for knowledge transfer as tools for achieving goals stated in a university´s mission regarding its socio-economic environment. The main purpose of this paper is to present the results obtained after measuring the degree of alignment of a university´s strategic objectives with results obtained by a faculty through its knowledge transfer mechanisms. This allows for diagnosis by comparing the situation desired by the university management team (expected case) with actual results achieved by developing plans applying the knowledge transfer mechanisms (real case). Multicriteria decision analysis techniques (MCDA) were thus applied, namely analytic network process (ANP) and analytic hierarchy process (AHP). The results relied on the experience and perceptions of the experts who participated in the study. The methodology proposed in this paper has been applied in the Universidad Nacional de Colombia´s Faculty of Engineering. The study led to measuring the importance of each of a university´s strategic objectives, the results achieved in a faculty regarding each objective, the degree of alignment between expected and actual results and each knowledge transfer mechanism´s level of influence.
Keywords: relationship between university and socioeconomic environment, multiple criteria analysis, analytic network process (ANP), analytic hierarchy process (AHP).
Recibido: octubre 16 de 2009. Aceptado: febrero 20 de 2011
Introducción
La universidad siempre ha sido una institución social, por lo cual ha mantenido relación, por medio de sus escuelas o facultades, con el entorno socioeconómico, desde sus inicios medievales, en el siglo XII. Además, sus misiones y sus fines han sido orientados por las circunstancias específicas del entorno socioeconómico y político en el cual se desenvuelve (Geuna y Nesta, 2006). La relación universidad - entorno socioeconómico involucra un conjunto de procesos y prácticas que se constituyen en mecanismos de transferencia de conocimiento4, donde los elementos académicos y administrativos de la universidad se relacionan entre sí y con el exterior para desarrollar y realizar acciones y proyectos en beneficio de todos (Cortés-Aldana et al., 2009). Los mecanismos de transferencia de conocimiento son los medios instrumentales que facilitan el establecimiento de la interacción universidad/entorno socioeconómico. Entre los mecanismos de transferencia de conocimiento de aparición reciente destacan las empresas derivadas o conjuntas, las incubadoras de empresas y los parques científicos o tecnológicos. Éstos vienen a complementar y fortalecer los mecanismos tradicionales, tales como los programas de formación de recursos humanos; las unidades de entrenamiento industrial; la consultoría académica; los servicios científicos y tecnológicos; el reclutamiento de futuros profesionales; los proyectos de investigación contratada, de innovación tecnológica, conjuntos o específicos; uso de instalaciones universitarias; uso de licencias de explotación de invenciones, entre otros (Bramwell y Wolfe, 2008; D´Este y Patel, 2007; Lee y Win, 2004).
En el trabajo se tienen en cuenta las características de los agentes que transfieren, como las facultades o escuelas de una universidad, y de los medios de transferencia, tales como los mecanismos de transferencia de conocimiento (Bozeman, 2000). Su objetivo consiste en evaluar el grado de alineación entre los fines u objetivos estratégicos de una universidad y los resultados obtenidos con la aplicación de los mecanismos de transferencia de conocimiento en una facultad. La Unidad de Análisis es una de las facultades más grandes de la Universidad Nacional de Colombia (www.unal.edu.co): la Facultad de Ingeniería, sede Bogotá (http://www.ing.unal.edu.co/). La Universidad Nacional de Colombia es un ente universitario autónomo, vinculado al Ministerio de Educación Nacional, con régimen especial y definido como una universidad nacional, pública y del Estado. Su objetivo es el desarrollo de la educación superior y la investigación, que serán fomentadas por el Estado, permitiendo el acceso a ella y desarrollándola a la par de las ciencias y las artes para alcanzar la excelencia. Como institución pública se refiere a que tiene un carácter pluralista, pluriclasista y laico. Además, la universidad no responde a intereses particulares, lo que le permite pensar y proponer soluciones a problemas nacionales por encima de intereses relacionados con una rentabilidad económica. La Universidad Nacional de Colombia cuenta con siete sedes (Bogotá, Medellín, Manizales, Palmira, Leticia, Arauca y San Andrés), distribuidas en el territorio colombiano; pese a esto, se habla de un solo campus nacional, el mismo que es centro donde se encuentran diferentes (y muchas veces contradictorias), corrientes de pensamiento y expresiones urbanas que acentúan su carácter de representante de la nación colombiana.
La presente evaluación permite comparar la situación deseada por el equipo directivo de la universidad con la real derivada de la aplicación de los planes que desarrollan los mecanismos de transferencia de conocimiento, asociados a las tres misiones de la universidad y en relación con el entorno socioeconómico. Para ello se propone el uso de una metodología basada en técnicas de análisis de decisión multicriterio (MCDA) como el proceso analítico en red, ANP (Saaty, 1996) y el proceso analítico jerárquico, AHP (Saaty, 1980).
Metodología y datos
La metodología de análisis propuesta tiene en cuenta las características del problema de alineación que se pretende analizar (Cortés et al., 2009), las etapas generales del proceso de decisión (Aragonés et al., 2008) y las especificidades de las técnicas de análisis de decisión multicriterio (MCDA) AHP y ANP (Saaty, 1980; Saaty, 2001), para lo cual se siguieron las etapas reflejadas en la figura 1.
]]>
El MCDA "es un término que incluye un conjunto de conceptos, métodos y técnicas que buscan ayudar a individuos o grupos a tomar decisiones, las cuales involucran varios puntos de vista en conflicto y múltiples grupos de interés" (Belton y Stewart, 2002). Todos estos conceptos y métodos de MCDA han sido ampliamente estudiados en la literatura de investigación de operaciones (Barba-Romero y Pomerol, 1997; Belton y Stewart, 2002; Figueira et al., 2005). Seleccionar la técnica MCDA apropiada no es fácil. Según (Bouyssou et al., 2000), existen varios modelos que pueden ser utilizados en un proceso de toma de decisiones. No hay un mejor modelo. En este trabajo se usaron dos de las técnicas de mayor reconocimiento en MCDA: el proceso analítico jerárquico (Saaty, 1980) y el proceso analítico en red (Saaty, 2001). Su combinación permitió usar cada uno de ellas en las etapas de modelamiento donde se presentan las mayores ventajas.
La técnica AHP ha sido utilizada en este trabajo para asignar las prioridades de los objetivos de la universidad en relación con su entorno. Dicha técnica modela un problema de decisión como una jerarquía de niveles que se relacionan entre sí unidireccionalmente. El nivel superior de la jerarquía es el objetivo del problema, mientras que el nivel inferior está formado por las alternativas a evaluar, y los niveles intermedios son los criterios tangibles o tangibles que contribuyen al objetivo del problema y en base a los cuales se evalúan las alternativas. Mediante comparación pareada, y con ayuda de la escala fundamental de Saaty, el AHP asigna pesos a los elementos de cada nivel para medir su importancia local y al final determina los pesos globales de las alternativas con un procedimiento aditivo. La coherencia de los juicios se mide con un ratio de consistencia, que debe ser igual o inferior a 0,10 para ser aceptado. Los fundamentos matemáticos del AHP se encuentran en Saaty (1994, 1996). Aunque el AHP es conceptualmente fácil de utilizar, su estricta estructura jerárquica no puede abordar la complejidad de muchos problemas reales. Como solución, Saaty propuso el ANP, la generalización del AHP, con lo cual se pudo representar un modelo en red de las misiones de la universidad: docencia, investigación y tercera misión, de sus mecanismos de transferencia de conocimiento, así como las interacciones entre ellos. La técnica ANP representa un problema de decisión como una red de criterios y alternativas (englobados todos en el término elementos), agrupados en componentes. Todos los elementos de la red pueden incorporar relaciones de realimentación e interdependencia entre componentes, lo que permite una modelización más precisa de escenarios complejos. La influencia de los elementos de la red sobre otros elementos del modelo se registra en una supermatriz, matriz cuadrada cuya dimensión corresponde al número de elementos de la red. En la supermatriz se almacenan los pesos relativos correspondientes a las influencias de los elementos de las filas sobre los de las columnas, obtenidos por comparación pareada.
En este trabajo se usó dicha técnica por las siguientes razones: 1) la priorización de objetivos es un problema de decisión multicriterio, 2) algunos objetivos que se necesitan priorizar son intangibles y por tanto es difícil establecer su importancia por otros métodos, 3) pueden existir interdependencias entre las misiones de la universidad y entre las misiones y los mecanismos.
La técnica ANP ha sido utilizada recientemente en diferentes problemas de toma de decisión, tales como la valoración de zonas urbanas industriales (Aragonés et al., 2008), la selección de estrategias (Yüksel y Dagdeviren, 2007), la selección de la gestión de la cadena de suministro de una empresa (Agarwal et al., 2006), la determinación de la mejor política energética en un país (Haktanırlar, 2005), la selección de la mejor opción de logística inversa en computadores (Ravi et al., 2005) y la planeación mixta de productos (Chung et al., 2005). No han aparecido todavía aplicaciones del ANP para analizar los objetivos o fines de la universidad con respecto a los resultados de una facultad en relación con el entorno socioeconómico.
La información necesaria para la usar estas técnicas fue recogida mediante la aplicación de encuestas dirigidas a expertos en el tema. La definición de los modelos de la metodología se realizó teniendo en cuenta los diferentes aspectos que han sido reconocidos como elementos relevantes en la literatura, considerando especialmente los trabajos antes mencionados en la introducción sobre la relación universidad/entorno socioeco-nómico. La metodología se aplicó en la Universidad Nacional de Colombia en su sede de Bogotá (UNC-Bogotá), siguiendo las etapas indicadas en la figura 1.
Resultados y discusión
Para la priorización de los fines (etapa 4) se diseñó un cuestionario que se repartió entre un primer grupo de expertos (directivas universitarias) seleccionados para el estudio (anexo 1). Con el cuestionario cada experto estableció su prioridad entre los fines establecidos mediante comparación pareada de los fines usando la escala propuesta por el autor del AHP. Los expertos tardaron en promedio una semana en responder el cuestionario. Además mostraron mucho interés en conocer la metodología con mayor profundidad y en estar informados sobre los resul-tados de su aplicación. Para las encuestas que sobrepasaban el valor del 10% de inconsistencia se intentó tratar dicho valor preguntándoles de nuevo a los expertos, quienes las ratificaron. Ante esta situación se decidió continuar con el proceso siempre y cuando la inconsistencia obtenida al agregar las valoraciones de los expertos fuera menor o igual al 10%, teniendo en cuenta los resultados de Xu (2000) y de Escobar et al (2004).
Con la finalidad de realizar los cálculos del AHP se contó con la ayuda del programa informático ExpertChoice 2000©. En él se introdujeron las respuestas de los cuestionarios individuales, que luego se integraron para conseguir una priorización grupal de los fines de la universidad. Los resultados obtenidos en esta priorización para el conjunto de los expertos se presentan a continuación:
]]>
Con los datos anteriores se puede verificar que todos los fines no son igualmente importantes. Hay unos que lo son más que otros, según la opinión de los expertos. Por otra parte, los fines 2, 3 y 4 constituyen más del 70% del reparto de esfuerzo; la Universidad Nacional de Colombia, sede Bogotá debe estar, pues, orientada en gran medida a la consecución de estos tres fines.
Una vez cuantificado el nivel de importancia de cada fin, por medio de varias sesiones con un segundo grupo de expertos (directivas y profesores de la Facultad de Ingeniería), y teniendo en cuenta la reglamentación de la función de extensión universitaria (acuerdo 11 de 2005), se identificaron diez mecanismos de transferencia de conocimiento fundamentales a considerar dentro de la relación de la universidad con su entorno socioeconómico (etapa 5), y se procedió a clasificar los mecanismos de transferencia de conocimiento identificados dentro de cada una de las misiones de la universidad con la colaboración de los expertos (etapa 6). La representación del problema mediante una red se aprecia en la figura 2 .
El modelo en red (ANP) fue evaluado por el segundo grupo de expertos (directivas y profesores de la Facultad de Ingeniería) seleccionados en la etapa 7. Para el caso de estudio, se diceñaron y luego repartieron cuatro cuestionarios, cada uno contenía un total de 228 preguntas (ver anexo 2).
Cada experto, según su grado de experiencia y conocimiento, respondió las preguntas relacionadas con uno de los siguientes aspectos: 1) influencias entre los mecanismos de transferencia de conocimiento asociados a la docencia-enseñanza y los fines; 2) influencias entre los mecanismos de transferencia de conocimiento asociados a la investigación y los fines; 3) influencias entre los mecanismos de transferencia de conocimiento asociado a la tercera misión y los fines; 4) influencias entre los mecanismos de transferencia de conocimiento asociados a cada misión (docencia-enseñanza, investigación y tercera misión. Los anteriores aspectos hacen parte del modelo de influencias planteado para el presente estudio (figura 2).
Respecto de las encuestas que sobrepasaban el valor del 10% de inconsistencia, se intentó disminuir dicho valor preguntándoles nuevamente a los expertos, quienes ratificaron sus respuestas.
Ante esta situación, y de manera análoga a la etapa de AHP, se decidió continuar con el proceso, siempre y cuando la inconsistencia obtenida al agregar las valoraciones de los expertos fuera menor o igual al 10%.
Los valores consensuados son ingresados en el programa que implementa el método ANP: SuperDecisions©. El programa calcula las siguientes matrices: supermatriz original, supermatriz ponderada, supermatriz límite. De la supermatriz límite (anexo 3) se obtienen las priorizaciones de los fines:
]]>
En la etapa 4 de la metodología se obtuvo una priorización teórica de los fines. Si se comparan éstos con los fines satisfechos en los mecanismos de transferencia de conocimiento, según la etapa 7, se obtiene el siguiente gráfico:
Gráfico 2
El análisis del gráfico anterior (etapa 8) se centra en la revisión del cumplimiento de los resultados esperados y en la identificación de las principales diferencias entre los resultados esperados y los alcanzados para cada fin.
Es así como se puede apreciar que, para los fines 1, 2, 4 y 5, se cumple de cierta forma con las expectativas de las directivas universitarias, pero en 3 de los 4 fines el nivel de logro sobrepasa el resultado esperado en varios puntos porcentuales —pp— (fin 5 en 5,9 pp, fin 4 en 4,6 pp, fin 2 en 4 pp y el fin 1 en 1,5 pp). Con respecto al fin 3, "Estudiar y analizar problemas nacionales y proponer soluciones", se aprecia la mayor diferencia entre los resultados esperados y los alcanzados, representada en un nivel de logro muy por debajo de los resultados esperados por las directivas universitarias (16 pp). Las mayores diferencias entre los resultados esperados y los alcanzados están en los fines 3, 5, 4 y 2, respectivamente.
Teniendo en cuenta lo anterior, sólo para el fin 1, "Crear y asimilar conocimientos avanzados a nivel nacional e internacional" se puede apreciar una alineación o concordancia entre los resultados esperados y los alcanzados. Por lo cual se concluye que existe una fuerte desalineación entre los fines esperados y los reales, pues tan sólo está alineado uno de los cinco fines analizados. Este desalineamiento se debe principalmente a la etapa de transición que se está viviendo en las facultades de la universidad. En esta etapa las nuevas iniciativas del equipo de gobierno tienen por objetivo fortalecer y complementar la misión social de la universidad o "Extensión Universitaria", incentivando una mayor contribución directa al desarrollo económico por medio de los mecanismos de transferencia de conocimiento.
Las influencias de los mecanismos de transferencia de conocimiento asociados a cada misión, se pueden ver en la Tabla 2. De la tabla se puede deducir que las mayores influencias provienen de mecanismos de transferencia de conocimiento asociados a la investigación, con un 28,9% (7 y 5); a la tercera misión, con un 28,3% (8 y 10); y a la docencia/enseñanza, con un 21,2% (2 y 4). Las prácticas universitarias (3, 9 y 6), en cada uno de sus ámbitos, muestran menores niveles de influencia. La educación continua (1) mantiene un bajo nivel de influencia en el ámbito de la docencia/enseñanza.
Estos resultados son de importancia frente a la definición de futuras políticas y estrategias para fortalecer los mecanismos de transferencia de conocimiento por parte del equipo de gobierno de la universidad.
]]> ConclusionesEn este artículo se muestra cómo se pueden abordar problemas tan complejos como la medición de la alineación de objetivos estratégicos de una universidad con los resultados alcanzados por sus mecanismos de transferencia de conocimiento con su entorno socioeconómico en una facultad o escuela.
La medición se logró utilizando metodologías basadas en el análisis de decisión multicriterio. Durante el trabajo con los expertos se evidenció que el diseño de una estructura jerárquica (AHP) y otra en red (ANP) requiere experiencia y conocimiento del problema que se plantea, para lo cual es indispensable disponer de información suficiente de los problemas analizados.
Mediante el proceso de análisis jerárquico se ha conseguido priorizar los fines de la universidad y comprobar que no todos los son igualmente importantes. Por medio del proceso de análisis de red se ha logrado priorizarlos basándose en los resultados reales obtenidos en los fines de la universidad, aplicando los mecanismos de transferencia de conocimiento. Al comparar la primera priorización con la segunda se detecta un desalineamiento, comprobándose que para los fines "Estudiar y analizar problemas nacionales y proponer soluciones", "Participar en organizaciones externas", "Beneficiar al entorno de su productividad académica" y "Formar ciudadanos, profesionales e investigadores" las diferencias son muy importantes. Este hecho debería conducir a la universidad y a la Facultad de Ingeniería a aplicar políticas correctivas con el propósito de conseguir los fines teóricos fijados.
Los resultados obtenidos son útiles para la toma de decisiones en políticas universitarias relacionadas con las estrategias de transferencia de conocimiento entre la universidad y su entorno; además cuantifican rasgos del paso de la universidad por una época de transición en la cual se busca la pertinencia de cada una de las actividades asociadas a la interacción de la universidad con su entorno socioeconómico.
El reto de la universidad y sus facultades está en lograr una mayor y mejor contribución al desarrollo social y económico del país mediante los mecanismos de transferencia de conocimiento identificados en la metodología presentada.
ANEXO 1: Parte del cuestionario para establecer pesos entre los objetivos usando AHP
Para cada par de objetivos indicar, resaltando en negro, cuál de los dos considera más importante y cuánto. Cada par de objetivos deben ser comparados, solicitando en qué grado el objetivo Oi es mejor, comparado con el criterio Oj, usando la siguiente escala (escala de Saaty)
Cij = 1: considera igualmente importantes el objetivo i y el objetivo j
]]> Cij = 3: el objetivo i es considerado ligeramente más importante que el objetivo jCij = 5: el objetivo i es considerado considerablemente más importante que el objetivo j
Cij = 7: el objetivo i es considerado mucho más importante que el objetivo j
Cij = 9: el objetivo I es considerado absolutamente más importante que el objetivo j
-----------------------------------------------------------------------------
O1: Crear y asimilar conocimientos avanzados a nivel nacional e internacional
O2: Formar ciudadanos, profesionales e investigadores
Con respecto a "Formar ciudadanos, profesionales e investigadores" para cada par de mecanismos de transferencia de conocimiento indicar, resaltando en negro, cuál de los dos considera usted que es más influyente y cuánto.
Cada par de mecanismos de transferencia de conocimiento deben ser comparados, solicitando en qué grado el mecanismo de transferencia de conocimiento Mi es mejor, comparado con el mecanismo Mj, utilizando la siguiente escala (escala de Saaty)
Cij = 1: considera igualmente influyentes el mecanismo i y el mecanismo j
Cij = 3: el mecanismo i es considerado ligeramente más influyente que el mecanismo j
Cij = 5: el mecanismo i es considerablemente más influyente que el mecanismo j
Cij = 7: el mecanismo i es considerado más influyente que el mecanismo j
Cij = 9: el mecanismo i es absolutamente más influyente que el mecanismo j
-----------------------------------------------------------------------------
M1: Formación permanente
]]> M2: Servicios académicos
ANEXO 3: Supermatriz límite
Anexo 3
NOTAS AL PIE
4 En este trabajo, se utiliza el termino "transferencia de conocimiento" teniendo en cuenta que Meyer-Krahmer y Schmoch (1998) comprueba que el termino alternativo "intercambio de conocimiento científico" es el elemento central de la relación universidad - empresa y en general de la relación universidad entorno socio-económico.
Referencias
Agarwal, A., Shankar, R., Tiwari, M. K., Modeling the metrics of lean, agile and leagile supply chain: An ANP-based approach., European Journal of Operational Research,173 (1), 2006, pp. 211-225. [ Links ]
Aragonés-Beltrán, P., Aznar, J., Ferrís-Oñate, J., García-Melón, M., Valuation of urban industrial land: An analytic network process approach., European Journal of Operational Research, 185, 2008, pp. 322-339. [ Links ]
Barba-Romero, S., Pomerol, J.C., Decisiones Multicriterio., Fundamentos Teóricos y Utilización Práctica., (1 ed.) Servicios de Publicaciones Universidad de Alcalá, 1997. [ Links ]
Belton V., Stewart T.J., Multi Criteria Decision Analysis: an integrated approach., Kluwer Academic Publishers, Boston, 2002. [ Links ]
Bouyssou, D., Marchant, T., Pirlot, M., Perny, P., Tsoukias, A., Vincke, P., Evaluation and Decision Models: A Critical Perspective., Kluwer Academic Publishers, Boston, 2000. [ Links ]
Bozeman, B., Technology transfer and public policy: a review of research and theory., Research Policy 29, 2000, pp. 627-655. [ Links ]
Bramwell, A., Wolfe, D. A., Universities and regional economic development: The entrepreneurial University of Waterloo., Research Policy 37, 2008, pp. 1175-1187. [ Links ]
Chung, S., Lee, A.H.I., Pearn, W.L., Analytic network process (ANP) approach for product mix planning in semiconductor Fabricator International., Journal of Production Economics 96, 2005, pp. 15-36. [ Links ]
Cortés-Aldana, F.A., García-Melón, M., Fernández-de-Lucio, I., Aragonés-Beltrán, P., Poveda-Bautista, R., University objectives and socioeconomic results: A multicriteria measuring of alignment., European Journal of Operational Research, 199, 2009, pp. 811-812. [ Links ]
D´Este, P.,Patel P., University-industry linkages in the UK: What are the factors underlying the variety of interactions with industry?, 36, 2007, pp.1295-1313. [ Links ]
Escobar, M.T., Aguarón, J., Moreno-Jiménez J.M.; A note on AHP group consistency for the row geometric mean priorization procedure., European Journal of Operational Research 153, 2004, pp. 318-322. [ Links ]
Figueira J., Greco S., Ehrgott M., Multiple criteria decision analysis: state of the art surveys., Springer, New York, 2005. [ Links ]
Geuna, A., Nesta L., University patenting and its effects on academic research: The emerging European evidence., Research Policy 35, 2006, pp. 790-807. [ Links ]
Haktanirlar, B., Determination of the appropriate energy policy for Turkey, Energy 30, 2005, pp. 1146-1161. [ Links ]
Lee, J., Win, H.N., Technology transfer between university research centers and industry in Singapore., Technovation 24, 2004, pp.433-442. [ Links ]
Meyer-Krahmer, F., Schmoch, U., Science-based Technologies: university-industry interactions in four fields., Research Policy 27, 1998, pp. 835-851. [ Links ]
Ravi, V., Shankar, R., Tiwari, M. K., Analyzing alternatives in reverse logistics for end-of-life computers: ANP and balanced scorecard approach., Computers & Industrial Engineering 48, 2005, pp. 327-356. [ Links ]
Saaty, T.L., The Analytic Hierarchy Process., McGraw-Hill, New York, NY, 1980. [ Links ]
Saaty T.L., Fundamentals of decision making and priority theory with the AHP., RWS Publications, Pittsburg, 1994. [ Links ]
Saaty, T.L., Toma de decisiones para líderes; Pittsburgh: University of Pittsburg, 1996. [ Links ]
Saaty, T.L., The Analytic Network Process; Decision Making with Dependence and Feedback (2 ed.), Pittsburg: RWS Publications, 2001. [ Links ]
Xu, Z., On consistency of the weighted geometric mean complex judgement matrix in AHP., European Journal of Operational Research 126, 2000, pp. 683-687. [ Links ]
Yüksel, I., Dagdeviren, M., Using the analytic network process (ANP) in a SWOT analysis - A case study for a textile firm., Information Sciences, 177, 2007, pp. 3364-3382. [ Links ]