SciELO - Scientific Electronic Library Online

 
vol.22 número1Posibilidad de acuerdos sobre las concepciones de currículo para la formación de maestrosPropuestas para la investigación cualitativa en educación artística índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Educación y Educadores

versión impresa ISSN 0123-1294

educ.educ. vol.22 no.1 Chia ene./abr. 2019

https://doi.org/10.5294/edu.2019.22.1.2 

Articles

Educación superior en Colombia: relación entre valor agregado estudiantil y remuneraciones

Higher Education in Colombia: The Student Value Added-Remuneration Relationship

Ensino superior na Colômbia: relação entre o valor agregado do estudante e remunerações

Jorge Hernán Franco-Gallego1 
http://orcid.org/0000-0002-9691-9489

1. Ministerio de Educación Nacional, Universidad de La Salle, Colombia. jfranco@mineducacion.gov.co ; jfranco09@unisalle.edu.co


Resumen

En este artículo, se analiza la relación entre el valor agregado en educación (VAE) y las ulteriores remuneraciones en el mercado de trabajo recibidas por los estudiantes egresados de la educación superior colombiana, proponiendo que dicha relación se explica a partir de las habilidades blandas (soft skills) de los mismos estudiantes. Los objetivos son: a) contribuir a la evaluación de impacto de la educación superior; b) ampliar la perspectiva, potencial y uso del VAE desde lo institucional a lo individual; c) identificar el reconocimiento salarial que hace el mercado de trabajo de los esfuerzos y particularidades de los estudiantes graduados de la educación superior. La metodología utilizada se fundamenta en el VAE estudiantil, el cual constituye una puntuación de resultados en pruebas académicas libre de efectos socioeconómicos, familiares y del capital académico previo, por lo cual es una mejor medida del rendimiento académico atribuible a características individuales, propias de cada estudiante. El modelo estadístico utilizado para estimar el VAE es multinivel. Para analizar el efecto de dicho VAE sobre los salarios, se utilizó una regresión lineal. Los cálculos se efectuaron con información censal de la educación superior colombiana correspondiente al período 2010-2015 (muestra: 489.236 estudiantes). Se aporta evidencia estadística para afirmar que existe una relación directa y significativa entre VAE estudiantil y remuneraciones en el mercado de trabajo, lo cual permite proponer que dicho VAE aproxima una medida de las habilidades blandas de los estudiantes egresados de la educación superior, entendidas y englobadas dentro del concepto “efecto resiliencia estudiantil” aquí planteado.

Palabras clave (fuente tesauro de la Unesco): Aprendizaje informal; educación informal; aptitud; educación y empleo; enseñanza centrada en el rendimiento; educación basada en las competencias; enseñanza superior; educación universitaria

Abstract

The relationship between value added in education (VAE) and subsequent remunerations in the labor market received by undergraduates from Colombian higher education is analyzed, proposing that this relationship is explained by the students’ soft skills. The aims are: a) to contribute to assessing the impact of higher education; b) to expand the perspective, potential and use of VAE from the institutional to the individual; and c) to identify the salaries offered by the labor market to recognize the efforts and particularities of undergraduates. The method used is based on the student VAE, which is a scoring of academic test results free of socioeconomic, family and previous academic capital effects. This is a better measure of academic performance attributable to individual characteristics, typical of each student. The statistical model used to estimate VAE is multilevel. To analyze the effect of this VAE on salaries, linear regression was used. Calculations were made with census information of Colombian higher education for the 2010-2015 period (sample: 489,236 students). Statistical evidence is provided to affirm that there is a direct and significant relationship between student VAE and remuneration in the labor market and that this VAE approximates a measure of undergraduates’ soft skills, understood and included within the concept of “student resilience effect” proposed herein.

Keywords (Source Unesco Thesaurus): Informal learning; informal education; aptitude; education and employment; competency based teaching; performance based education; higher education; university education

Resumo

Neste artigo, analisa-se a relação entre o valor agregado em educação (VAE) e as futuras remunerações no mercado de trabalho recebidas pelos estudantes que terminaram o ensino superior na Colômbia, propondo que essa relação seja explicada a partir das habilidades interpessoais (soft skills) dos mesmos estudantes. Os objetivos são: a) contribuir para evoluir o impacto do ensino superior; b) ampliar a perspectiva, o potencial e o uso do VAE, do institucional ao individual; c) identificar o reconhecimento salarial que o mercado de trabalho faz dos esforços e das particularidades dos estudantes formados do ensino superior. A metodologia utilizada está fundamentada no VAE do aluno, o que constitui uma pontuação de resultados em provas acadêmicas livre de efeitos socioeconômicos, familiares e do capital acadêmico prévio, razão pela qual é uma melhor medida do desempenho acadêmico atribuível a características individuais, próprias de cada estudante. O modelo estatístico utilizado para estimar o VAE é multinível. Para analisar o efeito desse VAE sobre os salários, empregou-se uma regressão linear. Os cálculos foram feitos com informação do censo do ensino superior na Colômbia correspondente ao período 2010-2015 (amostra: 489.236 estudantes). Contribui-se com evidência estatística para afirmar que existe uma relação direta e significativa entre VAE estudantil e remunerações no mercado de trabalho, o que permite propor que o VAE aproxima uma medida das habilidades interpessoais dos estudantes formados no ensino superior, entendidas e englobadas no conceito “efeito resiliência estudantil” aqui proposto.

Palavras-chave (Fonte Tesauro da Unesco): Aprendizagem informal; educação informal; aptidão; educação e emprego; ensino focado no desempenho; educação baseada em competências; ensino superior; educação universitária

No existe claridad sobre el reconocimiento que el mundo del trabajo hace del rendimiento académico de los estudiantes -mediante la respectiva remuneración-, atribuible a condiciones tales como su disciplina, su responsabilidad, su talento, su compromiso, en síntesis, al rendimiento académico derivado de sus “habilidades blandas”1. En su lugar, es muy común encontrar análisis sobre la relación entre el mercado de trabajo (remuneración, enganche, ascensos u otras variables) y rendimiento académico, medida de acuerdo con el resultado de una prueba académica, la culminación de un determinado nivel educativo o la aprobación de algunos años de escolaridad; en todo caso, explicando el rendimiento académico con múltiples variables, dentro de las cuales están las que atañen al estudiante y se consideran en este documento: su desempeño en el nivel precedente a la educación superior (puntaje en pruebas Saber 11), estrato, nivel educativo de la madre, género, recibo de apoyo financiero, número de hermanos y si trabajaba o no2. Remarcando que en este trabajo se analiza exclusivamente el rendimiento académico logrado en la educación superior (medido mediante Saber Pro) y su efecto en el nivel de salario alcanzado, nos podríamos preguntar si para alcanzar una buena remuneración basta con tener un alto desempeño académico (puntaje alto en pruebas Saber Pro) o también es importante que dicho desempeño atienda a condiciones más personales del estudiante, en todo caso diferentes a las antes citadas: desempeño académico previo (puntaje en pruebas Saber 11), estrato, nivel educativo de la madre, género, recibo de apoyo financiero, número de hermanos y si trabajaba o no. Para contribuir a la respuesta de este tipo de interrogantes, se organizó una base de datos con 489.236 estudiantes, censal respecto de los estudiantes que presentaron tres datos: puntaje en Saber 11, puntaje en Saber Pro y un salario en el Observatorio Laboral para la Educación. A partir de esta información se estimó el VAE en la perspectiva de los modelos jerárquicos lineales y, posteriormente, se generó un modelo de regresión entre el VAE a nivel de estudiante (puntaje individual Saber Pro, sin considerar el efecto de las variables antes mencionadas) y el salario obtenido en el mundo laboral. Se encontró una positiva, directa y significativa relación entre VAE estudiantil y salario. A partir de la misma, se considera válido afirmar que dicha relación se debe a la valoración que hace el mercado de trabajo del rendimiento académico de los estudiantes asociable a sus habilidades “blandas” y a su resiliencia. El artículo se estructura a partir de una sintética presentación conceptual del VAE, del salario y de la resiliencia; posteriormente, presenta los datos y metodología utilizados, especificando y describiendo las variables en juego, así como los modelos de regresión empleados; finalmente presenta los hallazgos empíricos y algunas reflexiones a partir de los mismos.

Sobre el valor agregado en educación

Ante la reflexión y pregunta sobre cuál es la contribución que efectivamente hacen las instituciones educativas al aprendizaje de sus estudiantes, el valor agregado en educación (VAE) constituye una perspectiva de respuesta, a nivel tanto de constructo como metodológico (Navarro, 2013), puesto que fundamenta un enfoque de la evaluación educativa basado en el progreso del aprendizaje y permite estimar una medida de la efectividad de las instituciones educativas (OCDE, 2013; Domingue, 2015). Respecto de algunos métodos y modelos de medición de la calidad educativa, particularmente de aquellos basados en agregación de indicadores y/o de naturaleza transversal y/o en promedios de resultados de estudiantes en pruebas académicas, el VAE constituye una aproximación más precisa y justa (Martínez, Gaviria, y Castro, 2009) al esfuerzo institucional que corresponde a la mejora en el desempeño académico de los estudiantes, pues retira el efecto de factores externos a la institución educativa, los cuales inciden en el rendimiento académico de sus estudiantes. Así mismo, dado que el VAE considera al menos dos medidas de tal rendimiento, centra el análisis en el cambio o progreso académico, asumiendo un enfoque más cercano a la naturaleza misma del aprendizaje.

Los factores externos a la institución educativa pueden ser contextuales o propios de la práctica educativa (Raudenbush y Willms, 1995). Sobre los primeros la institución no tiene control (capital cultural familiar, orden público, contexto socioeconómico) y sobre los segundos, al menos en principio, sí lo tiene (didáctica, prácticas en el aula, estructura u organización de la institución, liderazgo, compromiso). Algunos autores (Keeves, Hungi, Afrassa, 2005; Darmawan, Keeves, 2006) abordan especificidades de diversos factores y efectos, distinguiendo, por ejemplo, las políticas educativas, la caracterización estudiantil, la formación previa de los estudiantes, la naturaleza (pública o privada) de la institución. En todo caso, para estimar mediante un modelo de VAE la eficacia de una institución educativa, se debe controlar o suprimir el efecto de factores externos y fuera de control por parte de esa institución educativa. La escogencia o determinación de esos factores depende, básicamente, del alcance que se dé al concepto de “eficacia”, de los propósitos del análisis y de la disponibilidad de información.

Para la estimación del VAE es cada vez más frecuente el uso de modelos jerárquicos lineales (Hierarchical Linear Modeling - HLM)3, puesto que se ajustan mejor a la naturaleza de los sistemas educativos (Kreft, De Leeuw y Van der Leeden, 1994), en el sentido de que, generalmente, los estudiantes aparecen anidados o pertenecientes a un contexto más amplio, tal como un salón de clases, el cual, a su vez, pertenece a una institución educativa, la cual a su turno se ubica dentro de una ciudad, una región. Los modelos HLM permiten trabajar con distintos niveles de agregación propios de la naturaleza de los datos (Castro y Ruiz, 2006), en particular porque permiten diferenciar la varianza de esos niveles, por lo cual facilitan trabajar simultáneamente la influencia tanto del contexto como de las diferencias entre individuos (estudiantes). Amerita mencionarse también que, desde el punto de vista estadístico, los modelos HLM permiten: considerar conjuntamente efectos fijos y aleatorios (estos se asocian al grado de generalización de los resultados según la naturaleza de la muestra), estimar el efecto conjunto de variables (efectos “interacción”, incluso de diferentes niveles), tratar el efecto adverso de problemas típicos en el manejo estadístico de la información en educación -o asumir diversos procedimientos para mitigarlos-, como el sesgo de selección (distribución no aleatoria de los estudiantes en las instituciones educativas), la heterocedasticidad (varianza no constante entre las observaciones) y la autocorrelación (no independencia entre las observaciones).

Sobre el salario

Como se anunció al inicio de este documento, su propósito es estimar y demostrar la valoración que el mercado laboral hace del VAE estudiantil a través del salario, así como argumentar la posible utilización de dicho VAE como medida de las “habilidades blandas”, de la resiliencia estudiantil. Es abundante la producción académica con la explicación de los salarios a partir de funciones relacionadas con los ingresos laborales, que comúnmente se denominan funciones mincerianas4, y en prácticamente en todos los análisis se incluye la educación, además de factores como la experiencia laboral, el sector económico, la profesión o programa académico cursado, la edad y el sexo (Johnes y Sáenz, 1995; Margot, 2001; Castellar y Uribe, 2003; Andini, 2007; Galassi y Andrada, 2009). En los mismos, la explicación recurrente de la relación específica entre educación y salario se fundamenta en las obras de Becker (1975) y Mincer (1974)), quienes desarrollan la teoría del capital humano, según la cual: la educación aumenta la productividad marginal del individuo y, bajo el supuesto de maximización de los beneficios por parte de las empresas, los salarios se ajustan según esa productividad marginal; en cuanto a los individuos, estos toman sus decisiones de inversión en educación con base en la información disponible respecto al valor de las inversiones que deben realizar para adquirirla, frente a los beneficios que obtendrán como resultado de la misma. Si bien los individuos normalmente no realizan individualmente un análisis de valor presente de la corriente de beneficios y costos de la educación, los economistas suponen que el promedio de la sociedad sí hace este ejercicio con base en las informaciones que reciben de diferentes individuos que deciden invertir o no en distintos tipos de formación académica.

Otras propuestas explicativas de la relación entre educación y salario dan fundamento al análisis presentado en este documento y se agrupan en el modelo de “identificación”, también denominado “señalización” o “credencialismo” (Kroch y Sjoblom, 1994; Weiss, 1995; Barceinas, Alonso, Raymond y Roig, 2003). Se considera en estos estudios que mediante la educación se facilita al mundo laboral identificar a los trabajadores más productivos, esto es, que el título académico o la acreditación de estudios constituyen una señal de la productividad del trabajador, no la productividad marginal en sí misma. Este tipo de explicaciones conlleva desligar o atenuar drásticamente el efecto de la educación, entendida solamente como habilidades y conocimientos recibidos por la acción de la institución educativa. Pero, ¿la trayectoria realizada en una institución educativa aporta -o es paralela al desarrollo de- algo más que habilidades operativas y conocimientos?

Sobre la resiliencia estudiantil

El modelo de identificación o señalización antes referenciado nos acerca a las habilidades blandas y a la resiliencia estudiantil. Aludiendo al modelo de identificación, Galassi y Andrada (2009) expresan que en el mismo la educación “es económicamente valiosa, más bien por las características de comportamiento que genera (puntualidad, perseverancia, atención, responsabilidad, búsqueda del éxito, cooperación, sumisión, etc.) que debido a su efecto sobre la productividad”. En este documento se adapta y adopta una acepción de resiliencia a partir de las habilidades blandas. La resiliencia caracteriza a las personas que, a pesar de nacer y vivir en situaciones de alto riesgo, se desarrollan psicológicamente sanas y exitosas (Rutter, 1993). Algunos autores optan por denominarla “adaptación positiva” o “tenacidad cognitiva” (García y Domínguez, 2013; Naranjo, 2010). En términos generales, ella se entiende como el resultado de diversos procesos mentales que, además de contrarrestar o mitigar las situaciones nocivas, las aprovecha para el crecimiento. Tales procesos mentales corresponden a las habilidades blandas, entendidas como competencias conductuales, rasgos de personalidad, actitudes, capacidades innatas, habilidades sociales, hábitos personales, que facilitan la motivación, la empatía, la comunicación y el desarrollo de objetivos, ante todo de manera conjunta con otras personas5. Dado que los resultados empíricos aportados en este documento perfilan la posibilidad de utilizar el VAE estudiantil como una medida de resiliencia académica, se propone generar la categoría “efecto resiliencia estudiantil”, la cual podría conceptualizarse como el resultado de la conjunción de habilidades blandas que permiten a un estudiante un relativo éxito en el aprendizaje (progreso académico, VAE), a pesar de existir condiciones adversas o desventajosas para el efecto. Se precisa que tal éxito será relativo al promedio del rendimiento académico logrado por la generalidad de estudiantes que presenta una misma condición o peculiaridad (o pluralidad de particularidades, que bien pueden ser adversidades o desventajas), que controlan las demás variables o particularidades (ceteris paribus), tal y como se desprende de la parte empírica de este trabajo.

Datos y metodología

Los datos del presente análisis tienen como fuente la información de los formularios de las pruebas de Estado Saber 11 y Saber Pro del Instituto Colombiano para la Evaluación de la Educación (Icfes), así como del Observatorio Laboral para la Educación (OLE) y del Sistema de Prevención y Análisis de la Deserción en las Instituciones de Educación Superior (Spadies), del Ministerio de Educación, período 2010-2015. A su vez, las fuentes del OLE corresponden a la Planilla Integrada de Liquidación de Aportes del Ministerio de Salud y Protección Social y al Registro Único de Aportantes de la Unidad de Gestión de Pensiones y Parafiscales adscrita al Ministerio de Hacienda y Crédito Público. La muestra es censal: se tomaron para el análisis todos los estudiantes que reportaron simultáneamente salario en el OLE, puntajes en Saber Pro y en Saber 11 entre los años 2010 y 2015, período dentro del cual el Icfes introdujo modificaciones sustanciales a dichas pruebas con el objetivo explícito de mejorar las estimaciones de VAE. De esta manera, el análisis se efectúa con información de 489.236 estudiantes.

Se utiliza un modelo jerárquico lineal (HLM) de dos niveles: con estudiantes e instituciones de educación superior, para la estimación del VAE, y una regresión lineal para analizar la relación entre VAE y salario. Amerita especificarse que la variable “salario” fue deflactada a precios constantes 2015 con el IPC, fuente Banco de la República. A continuación se presenta una descripción general de la información y la especificación de los modelos utilizados.

En la Tabla 1 se describen las variables utilizadas en este documento, sus valores, rangos y categorías; en la Tabla 2 se evidencia la robustez de la muestra: 489.236 registros de estudiantes, de 2010 a 2015; la Tabla 3 contiene la media, la desviación estándar y el rango de las variables continuas utilizadas; en la Tabla 4 los puntajes Saber Pro por estrato expresan un resultado esperable: a mayor estrato del hogar del estudiante (asociable a mejores condiciones en términos socioeconómicos) corresponde un mayor puntaje; adicionalmente, puede apreciarse que, en términos generales, las instituciones de educación superior públicas presentan mejores resultados en Saber Pro que las privadas; la Tabla 5 presenta la relación directa y positiva entre el puntaje en Saber Pro y el nivel educativo de la madre del estudiante. En las Figuras 1 a 3 se observa, respectivamente, la distribución de los datos para las variables Saber 11, Saber Pro y Salario, y la Figura 3 ilustra claramente por qué debe trabajarse el salario en términos de logaritmo natural (como se hace casi sin excepción cuando se trabaja con esta variable6); la Figura 4 representa la distribución del logaritmo natural (ln) del salario, operación utilizada para aproximar los datos a una distribución normal.

Tabla 1. Variables utilizadas para estimar la relación entre VAE y remuneraciones 

* Institución de educación superior; ** Planilla Integrada de Liquidación de Aportes.

Fuente: elaboración propia a partir de datos Icfes y MEN.

Tabla 2. Estudiantes de la muestra según año de presentación Saber Pro y tipo de IES 

* Institución de educación superior.

Fuente: elaboración propia a partir de datos Icfes y MEN.

Tabla 3. Media, desviación estándar y rango de las variables continuas utilizadas 

Fuente: elaboración propia a partir de datos Icfes y MEN.

Tabla 4. Puntaje promedio en prueba Saber Pro por estrato del estudiante y tipo de IES 

* Institución de educación superior.

Fuente: elaboración propia a partir de datos Icfes y MEN.

Tabla 5. Puntaje promedio en Saber Pro por nivel educativo de la madre  

Fuente: elaboración propia a partir de datos Icfes y MEN.

Para estimar el VAE se utilizó un modelo HLM y para estimar el efecto o relación entre el VAE individual y el salario se utilizó una regresión lineal. La especificación del modelo HLM es:

Nivel 1 (estudiantes):

Nivel 2 (instituciones):

Fuente: elaboración propia a partir de datos Icfes y MEN.

Figura 1. Histograma: puntaje Saber Pro  

Fuente: elaboración propia a partir de datos Icfes y MEN.

Figura 2. Histograma: puntaje Saber 11  

Fuente: elaboración propia a partir de datos Icfes y MEN.

Figura 3. Histograma: variable salario 

Fuente: elaboración propia a partir de datos Icfes y MEN.

Figura 4. Histograma del logaritmo natural: variable salario 

En donde:

Y1ij: Puntaje Saber Pro del estudiante i perteneciente a la IES j.

β0j: Rendimiento promedio de los estudiantes de la IES j.

β1 βq: Coeficientes de regresión; indican, respectivamente, el efecto del Saber 11 y el efecto de las covariables de contexto X (variables explicativas respecto del estudiante).

Y0ij: Resultado en Saber 11 del estudiante i perteneciente a la IES j.

Xqij: Conjunto de covariables de contexto del estudiante.

εij: Desviaciones de los estudiantes respecto de la media de la IES j; es el residuo de primer nivel asociado a los estudiantes (“VAE estudiantil”).

β00: Promedio de todos los puntajes Saber Pro de todas las IES.

Z1j: Conjunto de covariables propias del segundo nivel, de la IES (no varían en el primer nivel).

ω0j: Desviaciones del segundo nivel (IES) respecto a su media; estos residuos se consideran las estimaciones del VAE por IES; ambos residuos (εij ω0j) siguen una distribución normal con media 0 y varianza constante.

La especificación de la regresión lineal entre el VAE individual y el salario es:

Wi: Salario estudiante i.

β0: Promedio del salario de los estudiantes.

β1 Vi: Coeficiente de regresión del VAE estudiantil sobre el salario.

εi: Error o residuo de la regresión; sigue una distribución normal con media 0 y varianza constante.

Resultados y reflexiones finales

En la Tabla 6 se presentan los resultados del valor agregado en educación (VAE) según el modelo HLM. Al respecto, en el Anexo 1 se aprecia la estimación del respectivo modelo nulo, la justificación del uso de un modelo de efectos mixtos, el cálculo de la correlación intraclase, los resultados de varios modelos, los criterios para la escogencia del mejor modelo, la prueba de normalidad para los residuos del modelo escogido y algunos resultados del VAE institucional. En la Tabla 7 aparecen los resultados de las dos regresiones del VAE individual sobre el salario y en el Anexo 3 se desarrollan pruebas de homocedasticidad y de normalidad de los residuos de ambos modelos (tanto para salario como para ln del salario), las cuales demuestran que se pueden utilizar ambos modelos. De hecho, sus resultados son muy similares:

No es propósito de este documento profundizar en los resultados en el ámbito institucional, sino en referencia al estudiante, considerado individualmente; no obstante, se señala lo siguiente:

  1. El modelo calculó el VAE de 278 instituciones de educación superior y se estimó sobre 429.157 observaciones (estudiantes); se perdieron 60.079 observaciones (12,3%) debido a que no todas cumplían requisitos para el análisis de VAE.

  2. Todas las variables incluidas en el modelo son significativas al 1%, a excepción del género, que arrojó una significancia del 5%, que es muy buena, respecto tanto de temas sociales en general como del asunto tratado en este artículo en particular.

  3. El apoyo financiero al estudiante, brindado directamente por las IES, tiene el mayor impacto positivo en el puntaje Saber Pro y es incluso superior al impacto del crédito Icetex. El hecho de que el estudiante trabaje al momento de presentar Saber 11 tiene el mayor impacto negativo respecto del puntaje Saber Pro. En el Anexo 2 se presentan algunos resultados específicos sobre el VAE institucional. Estos resultados pueden mejorarse con diversos procedimientos, dentro de los cuales está su cálculo según el componente específico de cada prueba -generalmente, se usan: razonamiento cuantitativo, comprensión lectora o inglés- y el uso de medias móviles -se recomienda medir tres años-, para obtener estimaciones más confiables y estables en el tiempo.

Tabla 6. VAE según modelo HLM 

* p < 0,01; ** p < 0,05.

Fuente: elaboración propia a partir de datos Icfes y MEN.

Tabla 7. Resultados regresión lineal VAE sobre el salario* 

T-statistics entre bráquets. * p < 0,01.

Fuente: elaboración propia a partir de datos Icfes y MEN

Los principales resultados del modelo HLM estimado los constituyen las salidas de residuos, respecto tanto de la IES (ω0j) como de los estudiantes (εij). El VAE institucional para cada IES corresponde al residuo del segundo nivel, pues la lógica general del modelo consiste en que, una vez controlados (conocidos y suprimidos) estadísticamente los efectos que diversos tipos de factores (externos y sobre los cuales no tiene control la IES) tienen sobre el rendimiento académico, el residuo corresponde al efecto de la IES, a su “efectividad” o “eficacia”, a su VAE. Aunque este razonamiento no está exento de críticas -expuestas, por ejemplo, en Willms (2008) -, el conocimiento de la eficacia de las instituciones encuentra en el VAE quizás la mejor aproximación estadística posible hasta el momento. Al menos es la aproximación sobre la cual se adelanta la mayor parte de investigaciones empíricas al respecto. En todo caso, ningún método de análisis, por sofisticado que sea, puede compensar completamente la falta de aleatorización de los estudios de observación característicos de la investigación sobre los efectos de las escuelas (Braun, 2005), por lo cual se recomienda prudencia en la interpretación de los resultados del VAE (Martínez, 2009), ante todo si se planea atribuirles un efecto causal y usarlos para establecer incentivos o sanciones.

Dependiendo de las variables que se incluyan en el modelo, el residuo o VAE institucional puede entenderse en términos de la calidad (experiencia, formación, liderazgo, iniciativa, responsabilidad, actitud, etc.) del personal de la IES -especialmente docente-, y en términos de la calidad de las prácticas en el aula, de los procesos administrativos, de la estructura y de la gestión institucional. En síntesis, como se señaló antes, el VAE corresponde al efecto de factores que están -o que generalmente pueden considerarse- bajo el control de la IES (Martínez et al., 2009).

El modelo HLM estimado, y en general cualquier modelo multinivel de VAE que utilice en el primer nivel características del estudiante, arroja un residuo para cada estudiante (εij), el cual, dada la especificación del modelo, puede considerarse el VAE estudiantil, ya que estima el rendimiento académico del estudiante, una vez controlado el efecto de algunos factores individuales e institucionales.

La interpretación del VAE estudiantil como residuo del modelo HLM no dista de la interpretación antes señalada para el segundo nivel (IES), ya que representa el efecto que sobre el rendimiento académico del estudiante tienen todas las condiciones o características diferentes a las incluidas en el modelo, esto es, dicho residuo constituye el efecto no atribuible al conjunto de las covariables que se incluyen en el modelo de VAE. Responde a características del estudiante sobre las cuales no hay información o que son difíciles o incluso imposibles de medir. “Inherentemente inconmensurables”, afirma Dixit (2002) al respecto. Por tal razón, dado que hay claridad sobre la naturaleza -externa y fuera del control del estudiante- de las variables de control del resultado en la prueba académica, puede asumirse que dentro de tales factores no controlados se encuentran las habilidades blandas (soft skills), por lo cual se propone profundizar, a partir de esta lógica propia del VAE, en el estudio del que aquí hemos denominado “efecto resiliencia estudiantil”, la cual contribuye al éxito en el aprendizaje (progreso académico, mayor VAE), siendo que el mayor aprendizaje es reconocido en el mundo del trabajo, lo cual confirman los resultados empíricos de este trabajo.

Por consiguiente, de manera similar al uso del VAE institucional, la resiliencia estudiantil podría usarse para aproximarnos a una identificación incluso masiva -en este caso, para el sistema de educación superior colombiano- de personas o perfiles de estudiantes que, ante determinadas particularidades (género, etnia, ruralidad, discapacidad), situaciones de contexto o programas institucionales, desarrollan actitudes, hábitos y perspectivas individuales que favorecen el rendimiento académico en educación superior.

En este sentido, el VAE estudiantil contribuiría a aproximar la magnitud de una importante y compleja categoría asociable al potencial del estudiante para el aprendizaje, a su mérito académico individual, no obstante las evidentes dificultades asociadas con su análisis e incluso con su mera descripción, pues la resiliencia varía según el contexto y las personas, la experiencia y el temperamento (Manxiaux, 2003, citado por García y Domínguez, 2013).

Los resultados del modelo sobre el VAE no nos permiten establecer específicamente cuáles son esas habilidades blandas ni si estamos frente a una medida que comporta exclusivamente habilidades blandas. Pero sí nos permiten establecer, con robustez y significancia estadística, que las habilidades blandas están allí y afectan el rendimiento académico. Solamente introduciendo en el modelo información adicional sobre los estudiantes será posible alcanzar mayor precisión o depurar la medida de esas habilidades, pues esa información adicional permitiría controlar y suprimir el efecto de otros factores, por ejemplo, las condiciones de salud de los estudiantes.

Los resultados de la Tabla 7 dan fundamento estadístico para considerar que el efecto resiliencia estudiantil es valorado positivamente por el mercado de trabajo. De acuerdo con los resultados de esta regresión, por cada punto adicional de VAE estudiantil el salario aumenta en $170.5727. Con el alcance antes definido, en el Anexo 3 se presentan resultados de regresiones del VAE estudiantil sobre el salario guiados por diversos criterios: género, tipo de IES (pública o privada, acreditada o no) y estrato socioeconómico, pero bien pueden especificarse muchos más, según el propósito específico del análisis, tales como departamento, programa académico, año, determinadas características individuales o institucionales de que dispone el modelo, efectos combinados de las anteriores, entre otras.

No solo para el mercado de trabajo, sino también para la sociedad, la resiliencia estudiantil se presenta como un potencial y una dinámica que contribuyen a enfrentar estructuralmente grandes retos, ante todo en materia de inequidad. La resiliencia estudiantil, fundamentada en el concepto de habilidades blandas y medida por el VAE, puede aportar a la comprensión, seguimiento y construcción de ese potencial y esa dinámica.

A manera de colofón, ante el hallazgo empírico de la relación directa, positiva y significativa entre VAE estudiantil y remuneraciones en el mercado de trabajo, se argumenta que el VAE estudiantil constituye una medida o cuando menos un factor constitutivo de las habilidades blandas, decisivas en la resiliencia misma de los estudiantes. Este hallazgo y esta explicación pueden dar lugar a investigaciones posteriores. Por ejemplo, controlando la medición con información de una habilidad blanda en particular o con la misma información referida a determinados grupos poblacionales, de IES o de regiones. Se trata de un punto de partida muy promisorio: el mercado de trabajo aprecia el VAE estudiantil y este puede entenderse como el rendimiento académico atribuible a características de naturaleza personal de los estudiantes, las que les permiten potenciar condiciones ventajosas (socioeconómicas, académicas, culturales, biológicas) o, lo que es aún más importante, contrarrestar algunas condiciones desventajosas y contribuir a la equidad educativa y social.

Referencias

Andini, C. (2007). A dynamic mincer equation with an application to portuguese data. Discussion Paper Series, No. 2897. Alemania: Institute for the Study of Labor (IZA). Recuperado de: http://ftp.iza.org/dp2897.pdfLinks ]

Barceinas, F., Alonso, J., Raymond, J. L. y Roig, J. L. (2003). Hipótesis de señalización frente a capital humano. Evidencia para el caso español. Universidad Autónoma de Barcelona. Recuperado de: https://www.etla.fi/PURE/REA.pdfLinks ]

Becker, G. S. (1975). Human Capital: A Theoretical and Empirical Analysis, with Special Reference to Education. Nueva York: National Bureau of Economic Research. Recuperado de: http://www.nber.org/chapters/c3730.pdfLinks ]

Braun, H. (2005). Value-Added Modeling: What Does Due Diligence Require? En R. Lissitz (ed.), Value-Added models in education: Theory and Applications (19-39). Mapple Grove, MN: JAM Press. [ Links ]

Castellar, C. y Uribe, J. (2003). La tasa de retorno de la educación: teoría y evidencia micro y macroeconómicas en el área metropolitana de Cali 1988-2000. Documento de Trabajo No. 66. Cali, Colombia: Universidad Del Valle - Cisde. Recuperado de: http://biblioteca.clacso.edu.ar/Colombia/cidse-univalle/20121123034412/Doc66.pdfLinks ]

Castro, M. y Ruiz, C. (2006). Un estudio multinivel basado en PISA 2003: factores de eficacia escolar en el área de matemáticas. Archivos Analíticos de Políticas Educativas, 14(29), 1-26. DOI: 10.14507/epaa.v14n29.2006 [ Links ]

Darmawan, I. y Keeves, J. (2006). Accountability of teachers and schools: A value-added approach. International Education Journal, 7(2), 174‐188. Recuperado de https://pdfs.semanticscholar.org/4e46/a010c9c685c5d3bb537b9e94cf17aeb710bc.pdfLinks ]

Dixit, A. (2002). Incentives and Organizations in the Public Sector: An Interpretative Review.The Journal of Human Resources, 37(4), 696-727. DOI: 10.2307/3069614 [ Links ]

Domingue, B. (2015). Medición de los efectos de la educación superior en Colombia sobre el aprendizaje estudiantil. Bogotá: Icfes. [ Links ]

Galassi, G. L. y Andrada, M. J. (2009). La relación entre educación e ingresos: ecuaciones de Mincer por regiones geográficas de Argentina. X Jornadas Argentinas de Estudios de Población. Asociación de Estudios de Población de la Argentina, San Fernando del Valle de Catamarca, Argentina. Recuperado de: https://www.aacademica.org/000-058/48Links ]

García-Vesga, M. y Domínguez-de la Ossa, E. (2013). Desarrollo teórico de la Resiliencia y su aplicación en situaciones adversas: Una revisión analítica. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 11(1), 63-77. DOI: 10.11600/1692715x.1113300812 [ Links ]

Johnes, G. y Sáez, F. F. (1995).Economía de la educación: Capital humano, rendimiento educativo y mercado de trabajo (pp. 23-80). Madrid: Ministerio de Trabajo y Seguridad Social. [ Links ]

Keeves, J., Hungi, N. y Afrassa, T. (2005). Measuring Value Added effects across schools: Should schools be compared in performance? Studies in Educational Evaluation, 31, 247-266. DOI: 10.1016/j.stueduc.2005.05.012 [ Links ]

Keeves, J. y McKenzie, P. (1999). Research in Education: Nature, Needs and Priorities. En J. Keeves y G. Lakomski (eds.), Issues in Educational Research (p. 28). Amsterdam: Pergamon. [ Links ]

Kreft, I., De Leeuw, J. y van der Leeden, R. (1994). Review office multilevel analysis programs: BMDP-5V, GENMOD, HLM, ML3, VARCL. American Statistician, 48, 324-335. DOI: 10.1080/00031305.1994.10476093 [ Links ]

Kroch, E. y Sjoblom, K. (1994). Schooling as Human Capital or a Signal: Some Evidence. The Journal of Human Resources , 29(1), 156-180. DOI: 10.2307/146060 [ Links ]

Margot, D. (2001). Rendimientos de la educación en Argentina: Un análisis dinámico basado en cohortes. XXXVI Reunión Anual de la AAEP. Buenos Aires, Argentina. Recuperado de: http://www.aaep.org.ar/espa/anales/pdf_01/margot.pdfLinks ]

Martínez, R. (2009). Usos, aplicaciones y problemas de los modelos de valor añadido en educación. Revista de Educación, 348, 217-250. Recuperado de: http://www.revistaeducacion.mec.es/re348_01.htmlLinks ]

Martínez, R.; Gaviria J. y Castro M. (2009). Concepto y evolución de los modelos de valor añadido en educación. Revista de Educación , 348, 15-45. Recuperado de: http://www.revistaeducacion.mec.es/re348_01.htmlLinks ]

Mincer, J. (1974). Schooling, Experience and Earnings. Nueva York: Columbia University Press. [ Links ]

Mincer, J. y Polacheck, S. (1974). Family investments in human capital: earnings of women. Journal of Political Economy, 82(2), 76-110. Recuperado de https://www.jstor.org/stable/1829993Links ]

Naranjo, R. (2010). Neurología de la resiliencia y desastres.Revista Cubana de Salud Pública, 36(3), 270-274. Recuperado de: http://www.redalyc.org/articulo.oa?id=21416136013Links ]

Navarro, E. (2013). El valor añadido en educación: cuestiones teóricas y metodológicas. (Tesis de doctorado). Universidad Complutense de Madrid, España. Recuperado de: http://eprints.sim.ucm.es/24114/1/T35052.pdfLinks ]

OCDE - Organización para la Cooperación y el Desarrollo Económicos (2013). Assessment of Higher Education Learning Outcomes, Feasibility Study Report. 3 Further Insights. OECD. [ Links ]

Raudenbush, S. y Willms, J. (1995). The Estimation of School Effects. Journal of Educational and Behavioral Statistics, 20(4), 307-335. Recuperado de https://www.jstor.org/stable/1165304Links ]

Rodríguez, R. (2015). Medición del valor agregado para la Educación Superior en Bogotá. Bogotá: Universidad Santo Tomás. [ Links ]

Rutter, M. (1993). Resilience: Some conceptual considerations. Journal of Adolescent Health, 14(8), 626-631. DOI: 10.1016/1054-139X(93)90196-V [ Links ]

Suárez, E. y Melillo, A. (2005). Resiliencia: descubriendo las propias fortalezas. Buenos Aires: Paidós. [ Links ]

Weiss, A. (1995). Human Capital vs. Signalling Explanations of Wages. The Journal of Economic Perspectives, 9(4), 133-154. Recuperado de http://www.jstor.org.ezproxy.unal.edu.co/stable/2138394Links ]

Willms, J. (2008). Seven Key Issues for Assessing ‘Value Added’ in Education. Preparado para Workshop on value-added assessment. Washington, DC: National Research Council and the National Academy of Education. [ Links ]

1Más cercanas al control, decisión, fuero personal, intereses, motivaciones, personalidad del estudiante.

2De naturaleza más externa que las “habilidades blandas”, fuera o de muy difícil control por parte del estudiante.

3Hierarchical Linear Models, también conocidos como modelos multinivel o de efectos mixtos. En general, es creciente su uso en educación. Autores como Keeves y McKenzie (1999) caracterizan la actual investigación educativa como fundamentalmente empírica, multidisciplinar, multivariada y multinivel.

4Se denominan así en honor a Jacob Mincer, quien se considera el pionero en su formulación. Para el efecto puede consultarse Mincer (1974) y Mincer y Polacheck (1974).

5Se ha recogido la perspectiva de Suárez (2005), quien define la “resiliencia comunitaria” como aquella que contribuye a impulsar la construcción social. Sin duda, en este sentido, se acerca al concepto de solidaridad, posiblemente la “habilidad blanda social” más poderosa.

6Procurando un mejor ajuste a la distribución normal; no obstante, tal y como aparece en el Anexo 2, los resultados de trabajar con el logaritmo natural (ln) del salario y las pruebas de ajuste del modelo fueron muy similares a los obtenidos como producto de trabajar con el salario, lo cual puede tomarse como indicio de consistencia de los cálculos.

7El modelo que utiliza el logaritmo natural del salario arroja un resultado muy cercano: $154.161. Como se anotó antes y como se detalla en el Anexo 3, los resultados de trabajar con salario o con logaritmo natural del salario son muy similares.

Para citar este artículo / To reference this article / Para citar este artigo: Franco-Gallego, J. H. (2019). Educación superior en Colombia: relación entre el valor agregado estudiantil y remuneraciones. Educación y Educadores, 22(1), 25-50. DOI: 10.5294/edu.2019.22.1.2

Anexo 1. Modelo HLM utilizado para estimar el VAE

1. Modelo HLM nulo (sin covariables):

En donde:

Y1ij: Puntaje Saber Pro del estudiante i según la institución de educación superior (IES) j.

β0j: Rendimiento promedio de los estudiantes en la IES j.

εij: Desviaciones de los estudiantes respecto a la media de la IES j; es el residuo de primer nivel asociado a los estudiantes (“VAE estudiantil”).

β00: Promedio de todos los puntajes Saber Pro de todas las IES.

ω0j: Desviaciones del segundo nivel (IES) respecto a su media; estos residuos se consideran las estimaciones del VAE por IES.

Ambos residuos (εij ω0j) siguen una distribución normal con media 0 y varianza constante.

Tabla A1-1. Resultados de la estimación del modelo nulo 

Errores estándar entre paréntesis. * p < 0,01.

Fuente: elaboración propia a partir de datos Icfes y MEN.

Estos resultados nos permiten establecer que:

  1. El promedio no condicionado de los puntajes Saber Pro es de 10.019.

  2. Todos los parámetros utilizados (intercepto y varianzas) son significativos al 1%.

  3. Para cada nivel existe una magnitud de varianza que posibilita la inclusión de covariables

  4. Dada la correlación intraclase (ICC) = 0,13, se justifica utilizar los dos niveles (estudiantes e instituciones); esto es, la suficiente homogeneidad interna entre estos niveles y la heterogeneidad en la varianza entre ambos justifican tratarlos de manera diferenciada. Estudios recientes, como la Medición del valor agregado para la Educación Superior en Bogotá (Rodríguez, 2015), también trabajan con un modelo HLM definiendo los niveles estudiantes e instituciones a partir de una ICC de 0,06.

Se ha optado por un modelo de efectos mixtos. La inclusión de algunos efectos aleatorios obedece a la naturaleza de algunas de las variables utilizadas, porque se ajusta mejor a un estudio de tipo observacional (no experimental) y, ante todo, porque, dado el tamaño de la muestra, se considera que los resultados son generalizables.

Es importante señalar también que no se trabajó por resultados en componentes afines de las dos pruebas (Saber 11 y Saber Pro), porque no se dispuso de la información respectiva. En los estudios de VAE aplicados a la educación superior colombiana se acostumbra trabajar por uno de los componentes (generalmente, lectura crítica, razonamiento cuantitativo o inglés) iguales o similares en ambas pruebas por razones de constructo, de acercamiento de la escala/calibración entre las pruebas, lo cual se traduce en mayor coherencia de la evaluación entre los conocimientos anteriores y posteriores a la educación superior. No obstante, se recomienda explorar comparativamente la estimación del VAE de la manera aquí propuesta (resultados agregados tanto en pruebas Saber 11 como en pruebas Saber Pro), teniendo en cuenta que:

  1. El Icfes y la comunidad académica colombiana vienen adelantando, especialmente desde el año 2009, esfuerzos por alinear las pruebas de Estado. La reestructuración e incorporación de componentes en las pruebas de Estado y la reflexión y estructuración del currículo por competencias -el cual también permea a las pruebas de Estado- son claras concreciones de esa labor.

  2. En estudios sobre VAE -tales como Drury y Doran (2003), Raudenbush (2004), Singer y Willett (2003), citados por Martínez (2009)- se mejora la fiabilidad de las mediciones promediando los resultados de varias materias. Adicionalmente -aunque la inclusión o no de covariables es materia de amplia discusión (Ballou, Sanders y Wright, 2004; Hibpshman, 2004; Tekwe et al., 2004; Keeves, Hungi y Afrassa, 2005; Choi, Goldschmidt y Yamashiro, 2006; Lockwood et al., 2007; Haegeland y Kirkeboen, 2008; Ferrão, 2009, citados por Navarro, 2014)-, en algunos estudios de VAE se ha demostrado que la disponibilidad de varias mediciones en el pretest disminuye la necesidad de incluir covariables a nivel del estudiante, esto es, que mejora la estimación del VAE. Dado que en ambos casos se trata de argumentar que existe relación entre todos y cada uno de los diferentes componentes de Saber 11 y los resultados en Saber Pro, se requeriría un estudio específico al respecto para confirmar lo argumentado en este punto.

  3. Debe distinguirse entre tener como propósito evaluar la eficacia de una IES y evaluar la eficacia de una IES en un componente de la prueba Saber Pro. También es posible que se tenga como propósito evaluar la eficacia del nivel de educación superior en su conjunto o por alguno de sus criterios macro (pública o privada, departamento o región, área del conocimiento), caso en el cual la estimación del VAE basada en resultados por alguno de los componentes de la prueba Saber Pro puede tomar aún más distancia del propósito previsto. En todo caso, se recomienda hacer estimaciones de modelos comparativos, esto es, tanto por componente como por resultados agregados de las pruebas.

  4. Dada la organización del sistema educativo colombiano, el nivel de educación media (todos los componentes evaluados), dentro de otros objetivos, forma para acceder y tener éxito en la educación superior, en cualquiera de sus programas académicos. Esto, aunado a la integralidad del conocimiento (la multidisciplinariedad y la transdisciplinariedad que le son propias, la contextualización del conocimiento, la formación por competencias) y al propósito mismo de lograr la formación integral, hacen posible sugerir que, en principio, conjuntamente todos los conocimientos de la educación media potencian el éxito en la educación superior, aun en los casos extremos de especialización de una IES en una determinada área o núcleo del conocimiento.

  5. Los resultados obtenidos son consistentes.

Tabla A1-2. Resultado de la aplicación de varios modelos 

Errores estándar entre paréntesis. * p < 0,01, ** p < 0,05.

Fuente: elaboración propia a partir de datos Icfes y MEN

Tabla A1-3. Selección del mejor modelo por comparación de razones de verosimilitud (test de Wald) 

Fuente: elaboración propia a partir de datos Icfes y MEN.

Según este criterio, debe escogerse el modelo que, incluyendo más parámetros, cumpla el tener una diferencia de razones de verosimilitud superior a la diferencia del número de parámetros. Por consiguiente, debe escogerse el modelo 3.

Tabla A1-4. Selección del mejor modelo por criterio de Akaike 

Fuente: elaboración propia a partir de datos Icfes y MEN.

Se elige el modelo con menor AIC, esto es, el modelo 3

Tabla A1-5. Prueba de normalidad de los errores del modelo 3 (modelo escogido) Shapiro-Wilk W test for normal data 

Fuente: elaboración propia a partir de datos Icfes y MEN

El P valor y la figura demuestran la normalidad de los errores del modelo utilizado.

Anexo 2. Resultados del modelo HLM en términos de VAE institucional

Tabla A2-1. Instituciones de educación superior con VAE alto*  

* No es un ordenamiento o ranking; las 30 IES se ubican en el quintil más alto de VAE.

Fuente: elaboración propia a partir de datos Icfes y MEN.

Tabla A2-2. Instituciones de educación superior con VAE bajo* 

* No es un ordenamiento o ranking; las 30 IES se ubican en el quintil más bajo de VAE.

Fuente: elaboración propia a partir de datos Icfes y MEN.

Tabla A2-3. Departamentos con VAE alto y con VAE bajo 

Fuente: elaboración propia a partir de datos Icfes y MEN.

Se presentan algunos departamentos ubicados en las categorías alto y bajo, las cuales corresponden a los quintiles alto y bajo de VAE.

Anexo 3. Efecto resiliencia estudiantil (VAE estudiantil) y salarios

Tabla A3-1. Resultados de las regresiones del VAE de estudiante sobre el salario (1) y el logaritmo natural del salario (2) 

T-statistics entre bráquets. * p < 0,01.

Fuente: elaboración propia a partir de datos Icfes y MEN.

Puede apreciarse que en ambos modelos la significancia estadística del VAE como factor explicativo del salario es excelente (p < 0,01). El modelo 2 presenta un R cuadrado levemente superior (0,006 frente a 0,004 del modelo 1), por lo cual en el mismo el VAE explica un poco más al salario. A los dos modelos se aplicó:

Comprobación del supuesto de homocedasticidad:

Breusch-Pagan/Cook-Weisberg test de heterocedasticidad.

Fuente: elaboración propia a partir de datos Icfes y MEN.

Por lo cual, con significancia del 5% no se rechaza la hipótesis nula. Esto permite concluir que no existe heterocedasticidad en los residuos de los dos modelos.

Normalidad de los residuos:

Shapiro-Wilk W test for normal data:

Fuente: elaboración propia a partir de datos Icfes y MEN.

Por lo cual, con significancia del 5% no se rechaza la hipótesis nula. Los residuos siguen una distribución normal en ambos modelos:

Fuente: elaboración propia a partir de datos Icfes y MEN.

La conclusión general es que ambos modelos (con salario y con logaritmo natural del salario), tienen resultados similares, incluso en el análisis estadístico de validez.

Tabla A3-2. Regresión del VAE estudiantil sobre el salario según tipo de IES 

T-statistics entre bráquets. * p < 0,01.

Fuente: elaboración propia a partir de datos Icfes y MEN.

Tabla A3-3. Regresión del VAE estudiantil sobre el salario según sexo 

T-statistics entre bráquets. * p < 0,01.

Fuente: elaboración propia a partir de datos Icfes y MEN

Tabla A3-4. Regresión del VAE estudiantil sobre el salario según estrato 

T-statistics entre bráquets. * p < 0,01.

Fuente: elaboración propia a partir de datos Icfes y MEN.

En todas las regresiones (1-12) antes presentadas: a) se confirma, por diversos criterios, la relación signifi- cativa, directa y positiva del VAE estudiantil sobre el salario; b) las variables independientes son significativas al 1%; c) se cumplen los supuestos de normalidad de los residuos y de homocedasticidad.

Recibido: 16 de Abril de 2018; Revisado: 12 de Febrero de 2019; Aprobado: 09 de Marzo de 2019

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons