Artículo

Propuesta de indicadores de calidad para la autoevaluación y acreditación de programas universitarios en administración

A proposal of quality indicators to self-assessment and accreditation of undergraduate programs in management

Proposta de indicadores de qualidade para a auto-avaliação e acreditação de programas universitários em administração

a Investigador y asesor en calidad, Universidad Sergio Arboleda, Santa Marta, Colombia. Autor para correspondencia: Calle 12 N.o 18-122, Bloque 2 Apto. 702, Santa Marta, Colombia. Correo electrónico: jjsanchezq@gmail.com

b Docente de planta, Universidad del Magdalena, Santa Marta, Colombia

Recibido el 12 de abril de 2013
Aceptado el 3 de junio de 2014

Resumen

Este artículo tiene como objetivo analizar los 183 indicadores establecidos en 2006 por el Consejo Nacional de Acreditación de Colombia y proponer los indicadores más relevantes, esenciales o cruciales para la autoevaluación y acreditación de programas universitarios de Administración. El análisis de los 183 indicadores del Consejo Nacional de Acreditación se realizó utilizando el software Atlas Ti5. Después de la utilización de 3 unidades hermenéuticas se llegó a 11 indicadores considerados con mayor potencia indicativa para evaluar programas de Administración de Empresas. El análisis de los indicadores se logró gracias a los informes generados con las herramientas Word Cruncher, Filter, Object Crawler, Query Tool, Coding Analyzer y Networks. Como una conclusión relevante se considera que los 11 indicadores de calidad tienen mayor potencia indicativa y son más útiles que los 183 propuestos por el Consejo Nacional de Acreditación para elaborar informes de autoevaluación y contribuir al mejoramiento de programas de pregrado.

Palabras clave: Indicadores. Calidad. Acreditación. Educación superior. Atlas Ti5.

Abstract

The objective of this article is to analyze the 183 quality indicators established by the National Accreditation Committee (Consejo Nacional de Acreditación) of Colombia, and to propose more relevant, essential or crucial indicators using Atlas Ti5. Three hermeneutic units were used to get a typology of 11 indicators with the most indicative power to evaluate undergraduate programs. The analysis was made using the reports generated by tools such as Word Cruncher, Filter, Object Crawler, Query Tool, Coding Analyzer and Networks. As a relevant conclusion of this study, the 11 proposed indicators have the most indicative power, and are considered more friendly than the183 indicators from the National Accreditation Committee to write self-evaluation reports, and to improve the quality of tertiary education.

Keywords: Indicators. Quality. Accreditation. Higher education. Atlas Ti5. M19.

JEL classification M19.

Resumo

Este artigo tem como objectivo analisar os 183 indicadores estabelecidos em 2006 pelo Conselho Nacional de Acreditação da Colômbia e propôr os indicadores mais relevantes, essenciais ou cruciais para a auto-avaliação e acreditação de programas universitários de Administração. A análise dos 183 indicadores do Conselho Nacional de Acreditação realizou-se utilizando o software Atlas Ti5. Depois da utilização de 3 unidades hermenêuticas chegou-se a 11 indicadores considerados com maior potência indicativa para avaliar programas de Administração de Empresas. A análise dos indicadores foi conseguida graças aos relatórios gerados com as ferramentas Word Cruncher, Filter, Object Crawler, Query Tool, Coding Analyzer e Networks. Como conclusão relevante considera-se que os 11 indicadores de qualidade têm maior potência indicativa e são mais amigáveis que os 183 propostos pelo Conselho Nacional de Acreditação para elaborar relatórios de auto-avaliação e contribuir para a melhoria de programas de pré-graduação.

Classificação JEL M19.

Este artículo analiza indicadores cruciales para la evaluación y mejoramiento de la calidad de programas universitarios colombianos en Administración y guarda relación con la necesidad de tomar decisiones a partir de los resultados obtenidos en la medición de indicadores esenciales o prioritarios. La utilización de indicadores y sistemas de información tipo balanced scorecard es una práctica frecuente de los directivos que toman decisiones en las organizaciones a nivel mundial. Los programas de Administración también son organizaciones o unidades organizacionales que dentro de las universidades requieren indicadores para mejorar su desempeño y resultados.

A partir de lo anterior es preciso contextualizar la selección de programas de Administración por su importancia para la competitividad y el desarrollo económico y social de Colombia, ya que uno de los aspectos fundamentales que está incidiendo en la solución de problemas sociales y económicos depende de la calidad de la formación que reciben administradores y gerentes de las organizaciones colombianas. Según el ''índice de Competitividad Global de 2011-12'' del Foro Económico Mundial citado en OECD, International Bank for Reconstruction and Development y The World Bank (2012), Colombia ocupó el puesto 53 en calidad de las escuelas de negocios; el puesto 69 en calidad de las instituciones de educación superior; el puesto 72 en calidad del sistema educativo y el puesto 84 por el grado de capacitación de los ejecutivos. Estos resultados constituyen un reto para los programas de Administración.

Dado que la calidad de los programas universitarios de Administración impactan en los resultados económicos y sociales de Colombia, es preciso analizar los indicadores con los cuales se evalúa y mejora la calidad de dichos programas. En este sentido, el objetivo específico de este artículo consiste en analizar los 183 indicadores establecidos por el Consejo Nacional de Acreditación (CNA, 2006) de Colombia y proponer los indicadores más relevantes, esenciales o cruciales para la autoevaluación y acreditación de programas universitarios de Administración.

El objetivo enunciado anteriormente resultó pertinente al evidenciar que los 183 indicadores propuestos por el CNA en 2006 no se definieron, evaluaron, jerarquizaron, validaron, ni articularon dentro de un sistema de información. Adicionalmente, los 183 indicadores del CNA (CNA, 2006) son excesivos al compararlos con los 38 de España, los 12 propuestos por Cruz (2009), los 40 en Sudáfrica, los 52 en Egipto, los 27 en India, los 68 en México y los 27 de la Global University Network for Innovation. Posiblemente el número excesivo de indicadores en Colombia (183) obedece a que entre ellos están tanto los indicadores cruciales o esenciales como los ''triviales'' que opacarían a los primeros (principio de Pareto). El número excesivo de indicadores se hizo mayor con los lineamientos de acreditación propuestos por el CNA (CNA, 2006) ya que se fusionaron indicadores y aspectos, alcanzando un número superior a 200, haciendo más difícil la tarea de autoevaluación y acreditación de los programas de pregrado. En relación con el número excesivo de indicadores, el CNA en 2006 manifestó que: ''El CNA invita a las propias instituciones y a las asociaciones de facultades, a elaborar y precisar indicadores más específicos'' (Consejo Nacional de Acreditación (CNA), 2006, p. 5).

La eliminación de indicadores al fusionarlos con ''aspectos'' de calidad en la propuesta de lineamientos del CNA (CNA, 2006) deja un vacío en materia de indicadores dando a entender que estos no son importantes al prescindir de ellos. No obstante, Cruz (2009) manifiesta que para lograr la responsabilidad social, pertinencia, calidad, análisis social, reflexión crítica y sostenibilidad de las universidades, son necesarios los indicadores como expresiones de síntesis inteligente en un mundo que invade con excesiva información y donde esta no se logra traducir en conocimiento por el tratamiento superficial que se hace de la misma, su falta de sistematización o porque no se ha logrado una adecuada síntesis. Asimismo, Cruz (2009) enfatiza la importancia de los indicadores para dar cuenta del compromiso social de las universidades frente a lo cual indica:

• ''Los criterios e indicadores son la piedra angular de los procesos de acreditación. Sobre ellos se construye todo un sistema, no solo el de garantía de la calidad, sino también el de educación superior. Un sistema de criterios e indicadores inadecuados traerá consigo un sistema de educación superior de baja calidad y por tanto inadecuado para solventar las necesidades sociales. En conclusión, será un sistema de educación superior NO (sic) pertinente que habrá dejado de lado su compromiso social.'' (Cruz, 2009, p. 161).

Es claro, en consecuencia, que en lugar de eliminar los indicadores se requiere analizar los 183 de la propuesta del CNA y seleccionar de ellos los más significativos o cruciales. En este artículo se presentan 11 indicadores derivados del análisis de los 183 indicadores del CNA (CNA, 2006). Esto fue posible gracias a la utilización del software Atlas Ti5 que permitió analizar relaciones entre códigos asimilables a los indicadores, posibilitando aproximarse a juicios sobre potencia relativa (Lazarsfield, 2010) de un indicador respecto a otro, logrando reducir la excesiva cantidad de 183 indicadores a 11 que luego se integraron al análisis de 69 indicadores identificados en antecedentes internacionales de rankings y literatura relacionada con indicadores, 16 indicadores derivados de buenas prácticas en acreditación, 13 indicadores asociados con resultados satisfactorios en los Exámenes de Estado de Calidad de la Educación Superior 2004-2010 y 50 indicadores derivados de 24 entrevistas individuales realizadas a pares evaluadores, directivos, profesores y egresados. La totalidad de indicadores antes mencionados (342) permitió elaborar una propuesta final de un sistema de 34 indicadores interconectados en un sistema tipo balanced scorecard para el mejoramiento de la calidad de programas en Administración de Empresas.

2 Marco conceptual

Según los diccionarios etimológicos online¹, el término indicador proviene desde 1660 y significa señalar o mostrar algo. Un indicador se usa para mostrar la presencia o estado de una condición o una tendencia. Adicionalmente, mencionan que un indicador es algo que da información, evidencia y prueba. Por lo tanto, indicador es sinónimo de señal, significando que alguna cosa está sucediendo, existe o puede ser verdadera. También un indicador puede ser una pista que presenta el desarrollo o progreso de una situación o una marca que muestra que una cosa o persona tiene una calidad o cualidad particular. En este último sentido, para Hirner (2008) los indicadores son señales de éxito y lograr éxito significa calidad.

Puesto que un indicador es una señal y una señal es un signo, entonces un indicador es un signo. Un signo sería equivalente a un indicador en tanto que muestra, representa, señala, designa y denota en alguna medida la presencia o estado de una condición o una tendencia. Hjelmslev en 1971, citado por Torres (2006), aclara la relación entre signo, expresión y contenido:

• ''El signo es una entidad generada por la conexión entre una expresión y un contenido. (...). El signo se caracteriza por ser signo de alguna otra cosa (...). Un signo en contraposición a un no-signo, es el portador de una significación (...). Una expresión solo es expresión en virtud de que es expresión de un contenido, y un contenido solo es contenido en virtud de que es contenido de una expresión. No puede haber contenido sin expresión o contenido carente de expresión, como tampoco haber expresión sin contenido, o expresión carente de contenido'' (Torres, 2006, p. 36).

Igual que el signo, un indicador se caracteriza por indicar, signar o señalar algo y por tanto ser portador de una significación. Igualmente, un indicador sería una ''entidad generada por la conexión entre una expresión y un contenido'' (Torres, 2006, p. 36). En consecuencia un indicador es también una expresión cuantitativa o cualitativa de un contenido, de manera inevitable; es decir, en un indicador están presentes tanto la expresión como el contenido. Sin embargo, el grado de expresión del contenido es variable, de lo contrario se trataría de un indicador constante. En esta investigación interesan los indicadores variables, es decir, que pueden adoptar distintos valores cualitativos o cuantitativos.

Los indicadores, según Gómez y Bedoya (1989), operan a nivel de la conciencia haciendo que un significado o un conjunto de ellos adquiera(n) relevancia en un momento específico: ''el árbitro o juez en un partido de futbol maneja una serie de movimientos como ruidos del silbato o acciones que obligan a distintos comportamientos no solo por parte de los jugadores sino del público presente.'' (p. 130). Los ruidos y las acciones de un árbitro son indicadores.

• ''La relación entre indicadores y objetivos o metas de referencia está también asociada a la noción de desempeño, es decir los indicadores sirven para medir el grado de desempeño con el cual se logran los objetivos (Dochy, Segers, y Wijnen 1994)'' [traducción propia] (Borden y Bottrill, 1994, p. 11).

Lo anterior ha hecho que se entienda por indicadores de gestión las unidades de medida organizacional que permiten evaluar el desempeño frente a metas, objetivos y responsabilidades. Adicionalmente, los indicadores son expresiones cualitativas o numéricas que permiten medir, evaluar y comparar en el tiempo, el desempeño de procesos, productos y/o servicios de la organización.

En este sentido, Borden y Bottrill (1994) señalan que:

• Los indicadores de desempeño pueden ser alternativamente vistos como barómetros, mecanismos, tableros o interruptores para regular la provisión de recursos (Klein y Carter, 1988), como señales (Kells, 1993), o como ''abrelatas'' (Klein y Carter, 1988) para abrir áreas de futura exploración. Ellos pueden ser usados para medir tendencias en el desempeño como opuesto a valores o niveles actuales de actividad (Cave, Hanney y Kogan, 1991). También han sido promovidos como guías para tomar decisiones estratégicas que afectan la dirección futura de una institución (Taylor, Meyerson, Morrell y Park, 1991)'' [traducción propia] (Borden y Bottrill, 1994, p. 11).

Por su parte, Dolence y Norris (1994) exponen que:

]]>

''Los indicadores de desempeño son números precisos que tienen una y solamente una definición a lo largo de toda la organización... Los indicadores de desempeño permiten concretar los hitos que marcan el progreso institucional. En pocas palabras, ellos guían la organización, asegurando que llegue a ser más efectiva y competitiva'' (Dolence y Norris, 1994, p. 64).

Dolence y Norris (1994) consideran que los indicadores de desempeño son medidas monitorizadas para determinar la salud, efectividad y eficiencia de una organización. Los indicadores para estos autores son medidas específicas que le dicen a los grupos de interés (stakeholders), gerentes y staff si el college o universidad está logrando sus objetivos usando un nivel aceptable de recursos.

Los indicadores tanto cualitativos como cuantitativos son expresiones que según el CNA (CNA, 2006) suministran referentes empíricos y verificables que permiten observar y apreciar la calidad y el desempeño de un programa, asociado a sus características y factores de calidad que conducen a su acreditación.

Adicionalmente, el CNA (CNA, 2006) asume los indicadores como sinónimo de estándares cuando afirman:

• ''Un estándar de calidad puede ser entendido como un patrón, una medida esperada o un indicador de desempeño que debe ser alcanzado para legitimar un programa académico. El cumplimiento del estándar es la base para garantizar a la sociedad que un determinado programa tiene los requisitos y condiciones que la comunidad académica, profesional y disciplinar han establecido como propios de la naturaleza de dicho programa. Es decir, que su ofrecimiento a la sociedad está exento de distorsiones, ofertas engañosas y falta de transparencia''(Consejo Nacional de Acreditación (CNA), 2006, p. 21).

Según Horsch (1997) los indicadores sirven como banderas rojas para mostrar si los resultados esperados están siendo logrados. Los indicadores no dan respuestas acerca de resultados no logrados, resultados no intencionados, relaciones entre intervenciones y efectos en la comunidad o acciones que deben ser tomadas para mejorar los resultados. Los datos de los indicadores se usan mejor cuando señalan resultados que necesitan exploración posterior más que evaluaciones definitivas sobre el éxito o fracaso de los programas.

Igualmente, Jongbloed y Westerheijden (1994) concluyen que los indicadores de desempeño permiten a los administradores y legisladores identificar el progreso alcanzado en el logro de los objetivos establecidos para un sistema de educación superior. Señalan que los indicadores de desempeño no son sustitutos de los juicios sino herramientas para incrementar la transparencia de la educación superior. Adicionalmente, consideran que los indicadores sirven como un sistema de dirección pero requieren cuidadosa interpretación antes de ser usados en la toma de decisiones.

Se concluye que un indicador es una señal, signo, variable, medida, pista o expresión cualitativa o cuantitativa, que por su contenido, es portadora de significación o evidencia el grado, existencia, estado o tendencia de una situación, condición o fenómeno, en relación con una expectativa, objetivo o meta deseada. En organizaciones educativas o unidades organizativas como los programas de pregrado en Administración, los indicadores además de ser portadores de significación cumplen funciones informativas, evaluadoras y de producción de conocimiento. En relación con las funciones evaluativas es posible determinar si existen mejoras o deterioros en algunas variables del sistema educativo (Morduchowicz, 2006; citado por García, 2010) y gracias a la producción de conocimiento permiten construir nuevos enfoques y expectativas. Los indicadores presentan más aspectos positivos que negativos y en consecuencia contribuyen a comprender y mejorar la calidad de la educación superior. Lo que se puede medir se puede comprender mejor, y lo que se pueda comprender mejor se puede mejorar aunque no se pueda medir.

3 Metodología

El método utilizado para analizar los 183 indicadores del CNA (CNA, 2006) y para la propuesta de 11 indicadores cruciales podría denominarse como análisis de contenido documental mediante Atlas Ti5, pues se tomó como documento base de análisis los indicadores propuestos en cada característica y factor por el CNA. Dado lo anterior, Dawson (2007) afirma que:

• ''Cuando se usa este método el investigador trabaja sistemáticamente asignando códigos a las transcripciones, que pueden ser números o palabras, para especificar características dentro del texto. El investigador puede tener preparada una lista de categorías o puede leer a través de cada transcripción y permitir que las categorías emerjan de los datos. Algunos investigadores pueden adoptar ambos enfoques.'' (p. 122).

En la investigación que dio lugar a este artículo se utilizaron categorías de análisis tanto previas como emergentes. Entre las categorías previas vale la pena destacar el interés de analizar indicadores cualitativos e indicadores cuantitativos. Las categorías emergentes fueron tomadas de la tabla generada con la herramienta de análisis Word Cruncher (contador de palabras) de Atlas Ti5. Según Navarro (2007) el Atlas Ti5 es una herramienta informática construida por Thomas Muhr en 2005 la cual es ''capaz de analizar datos cualitativos complejos de forma estructurada (...) que se articula alrededor de la Grounded Theory, teoría fundamentada, que trata de generar teoría a la vez que investiga en el campo; ambas como parte de un mismo proceso'' (Navarro, 2007, p. 62).

De acuerdo con lo anterior, en cada unidad hermenéutica se realizó codificación o categorización, es decir, búsqueda de citas o fragmentos de texto claves referidos a categorías relacionadas con el contenido de los indicadores. La codificación de los 183 indicadores se llevó a cabo tanto top-down como bottom-up, es decir de arriba hacia abajo entendiendo por arriba la existencia de un marco conceptual, y de abajo hacia arriba, entendiendo como abajo categorías empíricas y concretas de análisis para llegar a un nuevo referente teórico. Adicionalmente, en Atlas Ti5 existen las siguientes alternativas de codificación: abierta, en vivo, por lista, rápida y autocodificación. La principal forma de codificación en el análisis de los 183 indicadores del CNA fue autocoding. Sin embargo, en la segunda unidad hermenéutica se tuvieron en cuenta para la codificación categorías emergentes de los hallazgos del Word cruncher² de la primera unidad hermenéutica y categorías derivadas de las características asociadas a sus indicadores respectivos. Para dicha codificación se tuvo en cuenta las lecturas previas realizadas a dichos indicadores y el marco conceptual inicial sobre definición de indicador, funciones de los indicadores y tipos de indicadores. Posteriormente, se codificó teniendo en cuenta los principales actores universitarios (estudiantes, profesores, directivos y egresados). Luego se codificó atendiendo a variables de interés del estudio relacionadas con los principales procesos que ocurren dentro de un programa académico de pregrado tales como: planificación, enseñanza, aprendizaje, investigación, compromiso social, gestión, recursos y bienestar.

Gracias a la codificación realizada en cada uno de los 183 indicadores se construyeron familias de códigos (como es el caso de la familia de indicadores cuantitativos y la familia de indicadores cualitativos), redes (networks) de elementos y supercódigos con la herramienta Query Tool. Después de la codificación, elaboración de comentarios y anotaciones, se generaron los reportes en forma de tablas en Excel y de documentos en Word.

De cada uno de los componentes del Atlas Ti5 (citas, códigos, anotaciones, familias, códigos, supercódigos y redes) se obtuvieron reportes y tablas para facilitar el análisis de los 183 indicadores del CNA. Del análisis de la segunda y tercera unidad hermenéutica se produjeron informes específicos de indicadores centrales con la utilización de la opción filtro (filter) por patrón (pattern) de la opción códigos (codes) que facilitaron el análisis de jerarquía de indicadores o análisis de potencia indicativa relativa de estos indicadores.

4 Resultados

En esta sección se presentan los principales resultados del análisis de los 183 indicadores del CNA (CNA, 2006) y la propuesta de 11 indicadores cruciales derivados del análisis. Los resultados se refieren a las características de los indicadores asociadas a las principales categorías utilizadas en el análisis que a su vez guardan relación con indicadores cuya potencia es considerada como crucial para la autoevaluación y mejoramiento de programas universitarios de pregrado. En primer lugar se hace referencia a la cantidad y tipo de códigos o categorías, en segundo lugar a las características de los indicadores en cada categoría y finalmente a los 11 indicadores cruciales resultantes del análisis mediante Atlas Ti5.

En relación con la cantidad de códigos o categorías de análisis, los resultados muestran que en la primera unidad hermenéutica surgieron un total de 64 códigos (incluidos supercódigos) relacionados con palabras claves del texto sobre indicadores. En la segunda unidad hermenéutica se establecieron 29 códigos incluyendo las características pues se encontró muy importante relacionar los indicadores con las 42 características de calidad propuestas por el CNA. De las cantidades anteriores de códigos o categorías de análisis se destacaron las siguientes para la elaboración de la propuesta de los 11 indicadores cruciales: ''apreciación'' de actores universitarios; indicadores que requerían documentos para evidenciar su ''existencia'' (en total se encontraron 19 indicadores documentales de los 183 propuestos por el CNA); indicadores asociados a ''recursos'' requeridos por los programas académicos de pregrado (el código ''recursos'' se refiere a recursos de apoyo docente como laboratorios, talleres, salas de audiovisuales y campos de práctica; bibliográficos; físicos; informáticos como ordenadores, programas de informática, conexiones a redes y multimedia; de comunicación; tecnológicos; financieros y presupuestales. Los recursos más frecuentes en los 183 indicadores del CNA son los informáticos, físicos y financieros); indicadores en forma de datos ''estadísticos''; indicadores explícitos de ''calidad''; indicadores que evidencian ''desarrollo''; indicadores sobre ''responsabilidad o compromiso ''social'''' del programa de pregrado; indicadores de ''pertinencia''; indicadores asociados explícitamente con la categoría ''academia''; indicadores cualitativos; indicadores que reflejan o revelan ''políticas''; indicadores para verificar la ''existencia'' de recursos o condiciones que garantizan la calidad de un programa e indicadores relacionados con el código ''evaluación''.

El análisis de las categorías mencionadas en el párrafo anterior permitió su consolidación o debilitamiento, llevando a su necesaria inclusión o exclusión entre los indicadores considerados finalmente como de mayor potencia indicativa. Es así como de los 183 indicadores se pudieron detectar 45 relacionados con el código ''apreciación''. Gracias a la herramienta Query Tool (herramienta de búsqueda avanzada) fue posible identificar las frecuencias de los códigos de ''apreciación'' asociados a ''profesores'', ''estudiantes'', ''directivos'', ''egresados'' y ''empleadores'' y su contenido. Los indicadores de ''apreciación'' fueron en su mayoría excluidos de la propuesta de indicadores cruciales o de mayor potencia indicativa debido a las contradicciones existentes entre percepciones subjetivas y evidencias objetivas en la mayoría de los indicadores donde se indaga por la apreciación de los actores universitarios. Un ejemplo de esta situación se presenta cuando en un programa se indaga por publicaciones de los profesores, encontrando que no existen, pero al preguntarle a los estudiantes por su ''apreciación'' de las publicaciones de sus docentes las consideran excelentes. ¿Cómo puede apreciarse como excelente lo que no existe? Igual sucede en el caso de acciones concretas de investigación y responsabilidad o compromiso social del programa.

Referente a los indicadores asociados a datos estadísticos, los 5 indicadores que explícitamente exigen ''estadísticas'' se refieren a: 1) la población de estudiantes que ingresaron en el programa en los últimos 4 procesos de admisión, el puntaje promedio obtenido por los admitidos en las pruebas de estado, el puntaje promedio estandarizado en pruebas de admisión, el puntaje mínimo aceptable para ingresar en el programa, la relación entre inscritos y admitidos, la capacidad de selección y la absorción de estudiantes por parte del programa. 2) Población de estudiantes del programa desde el primero hasta el último semestre, en las últimas 5 cohortes (este indicador está asociado a la deserción). 3) Formación y experiencia de quienes orientan la administración del programa. 4) Impacto social de los proyectos que el programa desarrolló o contribuyó a desarrollar en los últimos 5 años. Y 5) Utilización de aulas, laboratorios, talleres, sitios de estudio para los alumnos, salas de cómputo, oficinas de profesores, sitios para la investigación, auditorios y salas de conferencias, oficinas administrativas, cafeterías, baños, servicios, campos de juego, espacios libres, zonas verdes y demás espacios destinados al bienestar en general. Adicionalmente, los indicadores estadísticos son expresados en ''número'' y ''porcentaje''. El código ''número'' hace referencia principalmente al número de: estudiantes, actividades, proyectos, programas, servicios asociados a recursos, investigación, compromiso social y profesores. Los indicadores donde aparece el código ''porcentaje'' se refieren principalmente al porcentaje de estudiantes, profesores, directivos y egresados que conocen alguna realidad o han participado en alguna actividad, proyecto, programa o servicio. También se refieren a porcentaje de tiempo, créditos, actividades, utilización, asignaturas, incremento e ingresos respecto a valores o bases ideales en cada uno de los factores en los cuales se agrupan las características de calidad de un programa de pregrado.

Por otra parte, se encontraron 17 indicadores con la palabra ''desarrollo'' asociada al desarrollo de: profesores; estudiantes; programa; proyectos de investigación; modernización, actualización y pertinencia del currículo; disciplina o profesión; competencias y habilidades; políticas; criterios; contenidos; actividades académicas y desarrollo personal. Al desarrollo que más frecuentemente se hace referencia es al de los profesores.

En relación con el compromiso social (código ''social'') aparecen 19 indicadores haciendo referencia fundamentalmente al impacto social, pertinencia social, proyectos de carácter social del programa, porcentaje de tiempo de cada profesor dedicado al compromiso social, reconocimientos y estímulos para los profesores por su compromiso social, articulación de la investigación con la proyección social, estudios de problemas del entorno, contribución de los servicios de bienestar a la proyección social, coherencia entre la dirección del programa y la proyección social, y asignación presupuestaria para la proyección social.

Sobre ''pertinencia'' aparecen 15 indicadores asociados a la pertinencia de: currículo, reglamento estudiantil, reglamento del profesorado, materiales producidos por docentes, interdisciplinariedad, material bibliográfico, recursos informáticos y de comunicación, políticas institucionales, servicios de bienestar y pertinencia del programa para la sociedad.

Al examinar en el Word Cruncher la distribución de la palabra ''academia'' entre los 8 factores de calidad, se identificó su presencia en los 4 primeros factores y su ausencia en los 4 últimos. Esta observación llevó a la creación de 2 familias: una denominada ''factores académicos'' que incluye la misión, proyecto del programa, estudiantes, profesores y procesos académicos; y otra denominada ''factores de apoyo'' que incluye los factores de bienestar, dirección, egresados e impacto en el medio y recursos físicos y financieros. En estos 2 grandes factores podría sintetizarse un nuevo sistema de indicadores.

En relación con los indicadores cualitativos y cuantitativos, los resultados evidenciaron que la familia de indicadores con mayor número de citas corresponde a la familia de ''indicadores cualitativos'', evidenciándose aparentemente un predominio de lo cualitativo sobre lo cuantitativo, reforzado por la posición hermenéutica explícita del CNA (CNA, 2006) en su documento de lineamientos para la acreditación de programas cuando expresa que ''la evaluación de la calidad en el campo de la acreditación en Colombia implica un ejercicio complejo que, a pesar de apoyarse en INDICADORES (sic) cuantitativos y objetivos, no puede renunciar a su carácter cualitativo y hermenéutico'' (p. 22).

El resultado obtenido con el Word Cruncher (conteo de palabras) permitió confirmar que las categorías y códigos utilizados en el análisis correspondieron a palabras o categorías claves con una frecuencia significativa dentro de los indicadores del CNA. Igualmente permitió identificar sinónimos que no se habían codificado; esto ayudó a mejorar la codificación de los indicadores. Adicionalmente, permitió identificar una categoría que no se tuvo en cuenta en la codificación de la primera unidad hermenéutica: ''política''.

El código ''política'' aparece en 31 de los 183 indicadores y presenta 11 categorías concurrentes dentro de las cuales se destacan las políticas de: administración, investigación, docencia, bienestar y evaluación. Adicionalmente, las políticas guardan relación con los indicadores de apreciación y con indicadores donde aparecen los códigos o categorías: ''documento'', ''estudiantes'' y ''profesores''. Al realizar la segunda unidad hermenéutica también se detectó que no se había codificado la categoría ''currículo'', que es importante dentro del factor denominado procesos académicos. En consecuencia se procedió a codificarla y se encontró presente en 3 indicadores.

Las anteriores concurrencias encontradas con las políticas principalmente institucionales dan cuenta de la realidad de los programas académicos de programa en cuanto a su dependencia de las decisiones tomadas a nivel institucional. Es decir, lo que ocurre dentro de un programa académico es en gran medida consecuencia de las decisiones que se toman en la alta dirección institucional que condicionan la calidad, gestión y transformación de las condiciones internas de los programas académicos.

Posteriormente se encuentran los indicadores de ''existencia'' que resultan significativos en el momento de verificar la existencia de recursos o condiciones que garanticen la calidad de un programa. Después, aparecen los indicadores cualitativos y los indicadores relacionados con ''directivos'' como actores fundamentales de la vida y calidad de un programa académico de pregrado en educación superior.

Finalmente, como parte del análisis de los 183 indicadores para llegar a la propuesta de 11 indicadores cruciales fue necesario registrar mediante la herramienta de Atlas Ti5 denominada ''memos'' las reflexiones y categorías emergentes. En este sentido se elaboraron los siguientes ''memos'' como guía para la reflexión y análisis: 1) contradicciones encontradas, 2) definición de indicador, 3) dificultades encontradas, 4) elementos de análisis, 5) hipótesis, 6) ideas convenientes, 7) indicadores documentales, 8) interpretaciones dudosas, 9) jerarquía de indicadores, 10) objetivo del estudio, 11) procedimiento y 12) relaciones entre citas-códigos y códigos-códigos.

Dentro de los indicadores centrales, esenciales o de mayor jerarquía y potencia indicativa para la evaluación de la calidad de un programa de pregrado, se encontraron 73 indicadores que luego fueron analizados con una tercera unidad hermenéutica y reducidos, mediante análisis e interpretación, a 32 indicadores. Posteriormente, de los 32 indicadores se realizó un análisis basado en la propuesta de Denzin y Lincoln (1994) sobre análisis de datos cualitativos, de lo cual surgieron los siguientes 11 indicadores considerados más relevantes desde las perspectivas de la investigación:

1. Porcentaje del tiempo de cada profesor del programa que se dedica a la docencia, a la investigación o creación artística, a la extensión o proyección social, a la atención de funciones administrativas, y a la tutoría académica individual a los estudiantes.
2. Porcentaje de los profesores del programa que desarrolla investigación y porcentaje de tiempo que los profesores dedican a la investigación, con respecto a su tiempo total de dedicación académica.
3. Número de publicaciones en revistas indexadas y especializadas, innovaciones, creación artística y patentes obtenidas por profesores del programa.
4. Existencia de un plan educativo y de gestión anual y quinquenal que contiene las políticas, estrategias, proyectos, actividades, responsables y recursos del desarrollo académico del programa en concordancia con su misión y el proyecto educativo institucional.
5. Porcentaje de profesores de planta con títulos de maestría y doctorado.
6. Porcentaje de profesores con dedicación de tiempo completo al programa y porcentaje de profesores catedráticos.
7. Porcentaje de profesores y estudiantes del programa que utiliza semestralmente recursos bibliográficos disponibles en el programa.
]]> Porcentaje de directivos, profesores, estudiantes y personal administrativo que se benefician de los servicios, programas y actividades de bienestar universitario.
8. Existencia de proyectos que establezcan estrategias pedagógicas y actividades extracurriculares orientadas a optimizar las tasas de retención y de graduación de estudiantes, manteniendo la calidad académica del programa.
9. Apreciación de directivos, profesores y estudiantes del programa sobre la incidencia de las metodologías de enseñanza y aprendizaje que se emplean en el programa y en el enriquecimiento de la calidad de este.
10. Información estadística sobre el impacto social de los proyectos que el programa desarrolló o contribuyó a desarrollar en los últimos 5 años.

5 Conclusiones

En el presente artículo se logró el análisis de los 183 indicadores propuestos por el CNA en el 2006 y la elaboración de una propuesta de 11 indicadores cruciales e imprescindibles en las actividades de autoevaluación y mejoramiento de la calidad de los programas universitarios de pregrado en Administración. Los indicadores propuestos se refieren a procesos y actividades que se llevan a cabo dentro de los programas tales como: planificación, docencia, investigación, responsabilidad social, bienestar, internacionalización, gestión y recursos.

A partir de lo anterior, uno de los principales mensajes y hallazgos es que los indicadores de la investigación determinan la calidad de la docencia, el aprendizaje y el compromiso social. Al aplicar la herramienta Object Crawler de Atlas Ti5 se pudo evidenciar que los indicadores de la investigación están presentes en todos los factores del CNA exceptuando el factor 7 sobre egresados e impacto en el medio, donde también deberían aparecer pues la sociedad requiere profesionales que continúen investigando y ojalá perteneciendo a asociaciones científicas después de graduarse. En un sentido similar respecto al trabajo de los profesores universitarios, la red (network) (fig. 1) obtenida con Atlas Ti5 permitió confirmar las citas o fragmentos de texto en indicadores que reflejan la responsabilidad de los profesores en la investigación y la relación con el compromiso social que se podría derivar de la investigación, para transformar las condiciones sociales y económicas del contexto del programa en el cual pueda tener impacto la investigación.

Por otra parte, en relación con la importancia de los profesores en el mejoramiento de la calidad de los programas de pregrado, resultó significativo que la categoría ''profesores'' es la que aparece más a menudo en los indicadores del CNA tanto en la frecuencia de citas como en la frecuencia de palabras. Adicionalmente, el papel protagonista de los profesores se reflejó en las citas representadas en la red de relaciones de los profesores con otras categorías o códigos que se muestra en la figura 2. En esta figura se aprecia la importancia que puede tener para la calidad de un programa académico el bienestar y la participación de los profesores en la vida académica y en la investigación que se realiza dentro del programa. Es evidente que los profesores son los actores (stakeholders) universitarios con mayor responsabilidad sobre el mejoramiento de la calidad, aunque su selección, contratación y evaluación dependen en gran medida de los directivos de los programas.

La importancia e influencia de los profesores en la educación es similar al de la deserción. Resulta alarmante que la palabra ''deserción'' esté solamente presente en 2 indicadores de los 183 existentes, pues constituye un fenómeno grave dentro de la educación superior, alcanzando niveles cercanos al 50% en 2011. Al parecer debería haber mejores indicadores que den cuenta de las acciones que se están llevando a cabo para disminuir la gravedad de esta situación en los programas de educación superior en Colombia y así aumentar los índices de retención, ausentes estos últimos dentro de los 183 indicadores. Finalmente, en cuanto a la deserción es necesario que los programas académicos visibilicen más las causas y soluciones a la deserción y su impacto en los indicadores de retención estudiantil.

Los estudiantes también aparecen con frecuencias altas dentro del análisis realizado con Atlas Ti5, tanto dentro de las citas como en las frecuencias de palabras. Es evidente que los estudiantes son el centro o los principales protagonistas de un programa académico. En la figura 3 se muestran relaciones trascendentales con códigos o categorías que pueden concretar la importancia real de los estudiantes en la vida de un programa, estas categorías son: aprendizaje, deserción, investigación, participación, bienestar, contexto y apreciación. En cuanto al aprendizaje puede decirse que constituye el mejor y mayor indicador de la calidad de un programa académico y que parcialmente se refleja en los resultados de las pruebas SABERPRO³ y en las calificaciones finales. Este aprendizaje ocurre en mayor medida cuando hay investigación y los estudiantes participan directamente en ella a través de los semilleros de investigación. En cuanto al bienestar ofrecido por las instituciones de educación superior a los estudiantes, puede decirse que cuando se desarrolla a través de actividades significativas y de alto impacto se emplean mejor los recursos de las universidades y se impactan las condiciones bajo las cuales los estudiantes asisten a clases. En el mismo sentido, el contexto familiar, social y económico en que se desenvuelven los estudiantes determina la calidad del programa académico.

En relación con los indicadores de apreciación, se encontró que no solamente son significativos por el número de veces que aparecen dentro del texto de los 183 indicadores (las citas asociadas a este código se denominan grounded dentro de Atlas Ti5 y hacen que este indicador sea potencialmente emergente de la teoría fundamentada grounded theory) sino que son los indicadores con mayor ''densidad''⁴ dentro del análisis Atlas Ti5. Los códigos con los cuales guardan mayor relación los indicadores de apreciación son: profesores, estudiantes, directivos, egresados y empresarios. De los supercódigos creados con la herramienta Query Tool se pudo observar que los indicadores de apreciación se refieren en mayor medida a la apreciación de los ''profesores''.

Otro hallazgo importante del análisis realizado consiste en que a los profesores, estudiantes, egresados y directivos se les suele preguntar mediante encuestas y entrevistas por su apreciación acerca de las condiciones de la investigación, docencia, bienestar, planta física, publicaciones, etc.; resultando sus respuestas en ocasiones contradictorias con las evidencias o condiciones materiales u objetivas en que se desarrollan los programas. Estos esfuerzos por consultar fuentes primarias son importantes pero se reitera que sus resultados han sido en ocasiones contradictorios, como cuando los actores universitarios tienen una excelente apreciación de publicaciones que no se han hecho o investigaciones que no se ha realizado y en consecuencia no existen. De lo anterior surge la pregunta: ¿Cómo puede apreciarse como favorable lo que no existe? En ocasiones hay una falsa solidaridad cuando se evalúa el trabajo ajeno y un sentimiento colectivo de culpa compartida frente a quien falla o se equivoca y se decide no señalarlo. De manera similar se reconoce lo negativo verbalmente de manera informal pero en las encuestas ''se aprecia lo que no existe'', para no ''dejar mal'' a los directivos y profesores y mantener el statu quo.

En relación con la categoría ''apreciación'', se encontró dentro de los 183 indicadores que un buen número de ellos se refieren a tales apreciaciones, resultando por las contradicciones mencionadas un esfuerzo aparentemente perdido. En este sentido la figura 4 permite observar la abundancia de relaciones entre indicadores cuyo contenido se refiere a apreciaciones de los actores universitarios. Dichas apreciaciones pueden ser con relación a la calidad, pertinencia, formación integral, investigación, bienestar, eficiencia, eficacia, gestión, compromiso social, docencia, aprendizaje, planificación, impacto y participación dentro de los programas académicos. Sobre la mayoría de estos temas existen mejores indicadores que los de ''apreciación''.

Por otra parte, en cuanto a los indicadores cualitativos (fig. 5) se encontró que la mayoría de ellos se refieren a indicadores de apreciación, existencia y documentales. En relación con los indicadores cualitativos, lamentablemente no se encontraron dentro de los 183 indicadores del CNA (CNA, 2006) indicadores argumentales o argumentativos, de cumplimiento y de contexto que enriquecerían significativamente el análisis de la calidad de un programa.

De manera complementaria a los indicadores cualitativos, se encontraron indicadores cuantitativos (fig. 6) referidos a: número, porcentaje y correlación (que en el presente análisis se asumen también como indicadores estadísticos de gran potencia indicativa). También se pueden apreciar categorías o códigos que se asocian con los indicadores cuantitativos tales como los indicadores de deserción, eficacia y recursos. Igualmente, se pueden considerar como indicadores cuantitativos aquellos relacionados con los códigos: ''grado'' y ''nivel''.

Dentro de los indicadores que no se mencionan y cuya presencia podría ser importante están: contexto, ética y cumplimiento. La ausencia de indicadores sobre estos 3 aspectos podría ser la mayor debilidad de los 183 indicadores del CNA (CNA, 2006) por cuanto el contexto, la ética y el cumplimiento son factores determinantes en la calidad de los programas académicos en Colombia ya que de ellos depende en gran medida lo que se puede hacer en el interior de los mismos y el impacto en el entorno.

Referente a los indicadores contextuales y al tratar de establecer hipervínculos entre citas (indicadores) se encontró que los indicadores de la característica 37, sobre influencia del programa en el medio, expanden los indicadores de la característica 28 denominada extensión o proyección social del programa. Gracias a esta relación fue posible reducir los indicadores de estas características. Sin embargo, no se encontraron relaciones de secuencia, contradicción, crítica, discusión, explicación, justificación ni apoyo entre citas sobre indicadores contextuales.

Durante el análisis se buscó evitar o disminuir la redundancia en la jerarquización de indicadores, es decir evitar indicadores que midieran lo mismo. Por esta razón se trató de seleccionar solamente un indicador para cada característica aunque en algunos casos no fue posible prescindir de indicadores que refiriéndose a una misma característica indican aspectos diferentes y complementarios. Todo lo anterior fue posible gracias al aporte de las tablas e informes producidos desde Atlas Ti5 y a los filtros que se pudieron realizar tanto por códigos como por familias, relaciones y redes encontradas.

Desde la perspectiva del autor del presente artículo, dentro de los indicadores con mayor potencia indicativa de calidad están los indicadores relacionados con investigación por su influencia decisiva sobre los demás indicadores. Los indicadores más importantes en investigación tienen relación con la publicación en revistas indexadas; la participación en semilleros de investigación; el tiempo que los actores universitarios dedican a la investigación; el impacto social, económico y académico de la investigación en los microcurrículos y en los núcleos curriculares; el porcentaje de incremento de libros, eventos, cursos, conferencias, seminarios, diplomados, especializaciones, maestrías y doctorados resultantes de investigaciones; y el porcentaje de incremento anual en el número de innovaciones sociales, económicas y de gestión a partir de los hallazgos de las investigaciones realizadas en el programa.

En un sentido similar a los indicadores de investigación se encuentran los indicadores relacionados con profesores. Los indicadores relacionados con los profesores y la enseñanza son fundamentales para el logro de la calidad y el aprendizaje. No es posible hablar de calidad sin aprendizaje de los estudiantes. Inclusive podrían existir sofisticados diseños curriculares y núcleos curriculares sin impacto significativo sobre el aprendizaje. Dado lo anterior, en este factor o proceso se destacan en los indicadores emergentes los temas de títulos de los profesores, dedicación de tiempo completo y metodologías de enseñanza-aprendizaje (enseñanza para la comprensión, aprendizaje basado en problemas y estudios de caso).

Adicionalmente, se puede afirmar, ya no como hipótesis sino como juicio fundamentado, que los 183 indicadores del CNA (CNA, 2006), en lugar de contribuir a la acreditación por alta calidad, la han hecho difícil debido al excesivo tiempo que requiere su comprensión y medición y a la falta de jerarquización o identificación para su evaluación y consecuente mejoramiento. Los 11 indicadores presentados en este artículo pueden contribuir al objetivo de hacer más útil la autoevaluación y acreditación de un programa académico con el correspondiente mejoramiento en aprendizaje, calidad y responsabilidad social universitaria pública.

Finalmente, los 11 indicadores presentados en la sección de resultados de este artículo son los de mayor poder o potencia relativa indicativa por su contribución a la calidad de un programa académico de pregrado. Desde la perspectiva del CNA (CNA, 2006) existen dentro de los 183 indicadores referidos a las 42 características, indicadores que son cruciales⁵ a la característica a la que están asociados y otros indicadores que son secundarios. Este criterio sirvió para detectar los 11 indicadores centrales tanto con el análisis manual como con el análisis usando Atlas Ti5. En el análisis manual se compararon los indicadores de cada característica para determinar cuál o cuáles de ellos resultaban cruciales o prioritarios y cuáles eran secundarios o complementarios, para elegir los primeros como indicadores con mayor potencia indicativa.

De acuerdo con todo lo planteado en este artículo, los programas de pregrado de la educación superior colombiana requieren un sistema de indicadores específicos, contextualizados, sistémicos, pertinentes, adecuados, eficaces, prácticos y útiles, que contribuyan al mejoramiento de su calidad y se reflejen en la calidad del aprendizaje de los estudiantes, en la profesionalización y calidad de vida de los docentes y en los procesos y resultados que el personal docente, administrativo y directivo emprende y logra. En particular como futura pregunta de investigación para los académicos y a la vez reto para los consejeros y miembros del CNA queda la siguiente inquietud: ¿Cuál es el mejor sistema de información construido con indicadores cruciales que requiere Colombia para mejorar la autoevaluación y calidad de los programas universitarios de Administración?

Conflicto de intereses

El autor declara no tener ningún conflicto de intereses.

Notas

1 Revisar los links: http://www.etymonline.com/index.php?search=indicatorsearchmode=term; http://www.macmillandictionary.com/dictionary/american/index#index_8), http://www.onelook.com/?w=indexls=a; y http://encarta.msn.com/encnet/features/dictionary/Pronounce.aspx?search=indicator

3 Se refiere al Examen de Estado de Calidad de la Educación Superior que realiza el Icfes en Colombia.

4 La densidad se refiere a la relación existente con otros códigos.

5 Lineamientos para la acreditación de programas: ''Los indicadores que construye la institución y con los que se quiere establecer el cumplimiento de cada una de las características han de apuntar, unos, a aspectos centrales de la característica, otros, a aspectos complementarios'' (Consejo Nacional de Acreditación (CNA), 2006, p. 52).

Bibliografía

Borden, V. M. H. y Bottrill, V. K. (1994). Performance indicators: History, definitions, and methods. In V. M. H. Borden y T. W. Banta (Eds.), New directions for institutional research (82). San Francisco: Jossey-Bass Publishers. Using performance indicators to guide strategic decision making.         [ Links ]

Consejo Nacional de Acreditación (CNA). (2006). Lineamientos para la acreditación de programas. Bogotá, D.C., Colombia. Noviembre de 2006.         [ Links ]

Consejo Nacional de Acreditación (CNA). (2012). Lineamientos para la acreditación de programas de pregrado. Bogotá, D.C., Colombia.         [ Links ]

Cruz, L. Y. (2009). La acreditación como mecanismo para la garantía del compromiso social de las universidades. Propuesta de criterios e indicadores cualitativos [tesis doctoral]. Barcelona: Universidad de Cataluña.         [ Links ]

Dawson, C. (2007). A practical guide to research methods (3 rd Ed). London: Spring Hill House.         [ Links ]

Denzin, K. N. y Lincoln, S. (1994). Handbook of qualitative research. London: Sage publications.         [ Links ]

Dolence, M. G. y Norris, D. M. (1994). Using key performance indicators to drive strategic decision making. In V. M. H. Borden y T. W. Banta (Eds.), New directions for institutional research (82). San Francisco: Jossey-Bass Publishers. Using performance indicators to guide strategic decision making.         [ Links ]

García, C. B. (2010). Modelos teóricos e indicadores de evaluación educativa. Revista Electrónica Sinéctica, 35, 1–21. Recuperado el 15 de marzo de 2013 de: http://www.redalyc.org/articulo.oa?id=99815165002        [ Links ]

Gómez, S. M. y Bedoya, M. I. (1989). Epistemología y pedagogía. Bogotá: Editorial Presencia.         [ Links ]

Hess, F.M. y Fullerton, J. (2009). Balanced Scorecards and Management Data. Working Paper Series. Center for Education Policy Research Harvard University. Recuperado del 23 de agosto de 2013 de: http://www.gse.harvard.edu/pfpie/pdf/Balanced_Scorecards_and_Management_Data.pdf        [ Links ]

Hirner, L. J. (2008). Quality indicators for evaluating distance education programs at community colleges. In A dissertation presented to the Faculty of the Graduate School University of Missouri-Columbia.         [ Links ]

Horsch, K. (1997). Indicators: Definition and use in a results-based accountability system Harvard Graduate School of education. Recuperado el 05 de septiembre de 2011 de: http://www.hfrp.org/publications-resources/publicationsseries/reaching-results/indicators-definition-and-use-in-a-results-basedaccountability-system        [ Links ]

Jiménez, P. R. E. (2004). Indicadores de calidad y eficiencia de los servicios hospitalarios: una mirada actual. Revista Cubana Salud Pública, 30(1), 17–36.         [ Links ]

Jongbloed, B. W. A. y Westerheijden, D. F. (1994). Performance indicators and quality assessment in European higher education. In V. M. H. Borden y T. W. Banta (Eds.), New directions for institutional research (82). San Francisco: Jossey-Bass Publishers. Using performance indicators to guide strategic decision making.         [ Links ]

Lazarsfield P. (2010). De los conceptos a los índices empíricos. Recuperado el 31 de agosto de 2010 de: http://www.catedras.fsoc.uba.ar/salvia/catedra/series/n3.htm        [ Links ]

Navarro, P. J. A. (2007). Críticas y apoyos hacia la responsabilidad social de la empresa: una aproximación etnográfica desde la vivencia del trabajador y una propuesta metodológica cualitativa. Revista Universitas Psychologica, (6), 59–68.         [ Links ]

OECD, International Bank for Reconstruction and Development y the World Bank. (2012). Reviews of national policies for education: Tertiary education in Colombia 2012. Paris: OECD.         [ Links ]

Torres, A. Y. P. (2006). Formación de escritores: elaboración de reseñas. Bogotá: Universidad Nacional de Colombia.         [ Links ]