El estudio de productividad académica de profesores universitarios a través de análisis factorial confirmatorio: el caso de psicología en Estados Unidos de América^*

The Study of Faculty Productivity through Confirmatory Factor Analysis: the case of Psychology in United States of America

María Caridad García-Cepero **

Universidad Católica del Norte, Antofagasta, Chile

*Artículo derivado de los análisis realizados con la bases de datos restringida del National Center for Educational Statistics: National Study of Postse-condary Faculty 1999-(NSOPF: 99) y asociados a la Tesis Doctoral de García-Cepero, M. C. (2007).

**Académico Investigador, DeLTA-UCN, Universidad Católica del Norte, Antofagasta-Chile y Profesor Asociado, Facultad de Educación, Pontificia Universidad Javeriana, Bogotá-Colombia. Dirección de contacto: Programa DeLTA-Universidad Católica del Norte, Avenida Angamos 0610 Antofagasta-Chile. Correo electrónico: maria.caridad.garcía@gmail.com

Resumen

Este escrito presenta el uso de técnicas de Análisis Factorial Confirmatorio (CFA), como una nueva aproximación al problema de la medición de la producción académica de profesores universitarios. Para este propósito se usa como ejemplo ilustrativo el caso de la producción académica entre 19971998 de 513 profesores del área de psicología de universidades norteamericanas. A partir del análisis presentado es posible identificar tres variables latentes para describir la productividad de la muestra: tasa de producción individual, tasa de producción colectiva y probabilidad de inflación. Los resultados sugieren la necesidad de aproximaciones novedosas a las políticas de medición y fomento de la producción académica, orientadas no sólo a aumentar las tasas de producción, sino a disminuir la probabilidad de inflación.

Productividad académica, productividad científica, profesores universitarios, Psicología, Educación Superior.

Palabras clave descriptor

Productividad científica, profesores universitarios, educación superior.

Abstract

The article proposes the use of Confirmatory Factor Analysis techniques as a new approach to the measurement problem of faculty productivity. For this purpose, the author uses an analysis of scholarly productivity with data of 513 professors in the field of psychology in North America, between 1997 and 1998. Based on this analysis it is possible to identify three latent variables that describe the productivity of the sample: one factor that captures the inflation of all the observed variables, one factor that measures individual productivity and a factor that measures the joint productivity of faculty members. The findings suggest the need of novel approaches to policies for measurement and support of faculty productivity. These policies should be oriented not only to increase the productivity rates but also to decrease the probability of inflation.

Key words author

Scholarly Productivity, Research Productivity, Faculty, Psychology, Higher Education.

Key words plus

Scientific Productivity, College Teachers, Higher Education.

Por otra parte, en los últimos años, el clima de rendimiento de cuentas (accountability) que ha caracterizado a los sistemas educativos, ha permeado todas sus esferas, incluyendo la educación superior en todas sus disciplinas y, por supuesto, la psicología. Como señala Burke (2005) existe una creciente exigencia a universidades e instituciones de educación superior para proveer evidencias de sus niveles de producción, particularmente en función de procesos de aseguramiento, pero también como parte de las nuevas dinámicas de gestión institucional. Esto, asociado con desarrollos en sistemas computacionales y de gestión de información, puede explicar el creciente interés que múltiples autores han manifestado en el estudio de la productividad académica de las instituciones de educación superior y en evaluar el aporte de éstas a la generación de conocimiento a nivel global.

Como será descrito en la siguiente sección, se han desarrollado múltiples estrategias para hacer análisis de producción académica; sin embargo, no hay un acuerdo entre los investigadores sobre cuál metodología de análisis es la más apropiada (García-Cepero, 2007). Una problemática fundamental de las diversas metodologías utilizadas en la actualidad, es que no responden claramente a la naturaleza multiproducto de la producción académica de los docentes universitarios (García-Cepero, 2007; Maripani, 2007) y el tipo de distribución estadística con la cual ésta se presenta, como se discutirá más adelante.

El propósito de este escrito es describir una aproximación psicométrica, basada en técnicas de análisis factorial confirmatorio, que pueden ser útiles para el estudio de la producción académica en general y, en particular, en el área de psicología, y que respondan a la naturaleza multiproducto de la producción académica y a la naturaleza de la distribución de los productos usados como variables observadas, permitiendo su abordaje como una variable latente. Para esto se utilizará como ejemplo ilustrativo el análisis de la producción académica de 513 profesores universitarios en el área de psicología de instituciones de educación superior en Estados Unidos de América (EUA).

Antecedentes

Los análisis presentados en este artículo están basado en metodología desarrollada por García-Cepero (2007) para su tesis doctoral y que contó con una muestra de 3968 profesores vinculados de tiempo completo a 446 instituciones de educación superior en Estados Unidos de América, provenientes de áreas de ciencias sociales, ciencias naturales, ingeniería y educación. Dicha muestra provino de una de las bases de datos restringida del National Center for Educational Statistics: National Study of Postsecondary Faculty J999-(NSOPF: 99) [Estudio Nacional de Profesores Universitarios (NSOPF: 99)].

García-Cepero (2007) utilizó la base de datos de 1999. A pesar de no ser la más reciente, es la versión más completa la serie de NSOPF. En dicho estudio García-Cepero abordó el problema usando técnicas de Modelación de Ecuaciones Estructurales (Structural Equation Modeling - SEM), tales como Análisis Factorial Confirmatorio (CFA) y Análisis Factorial Confirmatorio de Múltiples Grupos, identificando tres factores independientes: la probabilidad de no iniciar producción (inflación), la tasa de producción individual y la tasa de producción colectiva.

La medición de la productividad académica

La medición de la producción académica de los académicos universitarios, en general, ha estado fuertemente relacionada con sus responsabilidades dentro de la institución a la cual están vinculados (Boyer, 1990; Boyer, Altbach & Whitelaw, 1994). Dichas actividades involucran la generación de múltiples productos de diferentes características y en general están relacionados con la generación de aprendizajes y de conocimientos útiles para la sociedad (Kwok, 1998; Maripani, 2007; Middaugh, 2001; Pla, 2001). Sin embargo, históricamente, la productividad académica se ha definido como el número de publicaciones o inventos que un individuo ha desarrollado en el tiempo. Esto puede ser explicado pues una de las fuentes más importantes de difusión del conocimiento científico y de la producción académica son las publicaciones seriadas (Buela-Casal & López, 2005; García Cepero, 2008).

El mayor inconveniente de no integrar múltiples indicadores de producción en los modelos de medición es que al abordar sólo un tipo de producto (por ejemplo, revistas en artículos indexados), sistemáticamente se sesga la medición, dejando en desventaja disciplinas cuyas lógicas de producción y difusión no se caracterizan por dicho indicador (Becher, 1994; Belcher, 1989; García-Cepero, 2007). Algunos autores han abogado por la inclusión de indicadores de productividad de investigación amplios tales como: número de patentes, presentaciones en conferencias y libros de texto publicados, que no se limiten al conteo de artículos en revistas indexadas o a la publicación de libros (Antony & Raveling, 1999).

Es importante resaltar diferentes metodologías utilizadas para ponderar (asignar pesos) a los indicadores de productividad. Algunos investigadores asignan un peso mayor a productos provenientes de trabajo individual, en contraste con productos provenientes de productos colectivos (Carayol & Matt, 2004, 2006). Otros autores asignan pesos mayores a productos que han pasado por procesos de arbitraje, en contraste con productos que no han sido revisados por pares (Braxton & Del Favero, 2002; Kwok, 1998). Autores como Williams (2003), asignan los pesos de cada producto a partir del concepto emitido por un panel de expertos. García-Cepero (2007) sugiere ponderar las variables a partir de las cargas factoriales producto de un análisis factorial confirmatorio.

En suma, no existe un acuerdo en los autores sobre cómo medir la producción académica, pero existe la tendencia a ampliar los indicadores utilizados, de manera tal que den cuenta de la naturaleza de la labor académica de los profesores universitarios.

La productividad como variable latente

Como se enunció anteriormente, la productividad puede ser entendida como una variable observada o como una variable latente. Una variable latente es un constructo intangible, no observable directamente y puede ser medido solamente a través de indicadores específicos (Schreiber, Stage, King, Nora & Barlow, 2006). La lógica de esta aproximación está fundamentada en los principios utilizados en técnicas psicométricas. Entender la producción académica como una variable latente, implica suponer que los productos que se utilizan como indicadores de ésta, son solo una muestra de los posibles indicadores observables de ella, es así como la producción no son los indicadores en sí mismos, sino un fenómeno que subyace a ellos. En otras palabras, los productos son una propiedad emergente de dicha variable latente.

A excepción del trabajo realizado por García-Cepero (2007), no existen referentes previos que conceptualicen la productividad académica "como un constructo hipotético que no puede ser observado directamente, pero que subyace a la generación de nuevas ideas y productos (e.g., artículos, libros, presentaciones, textos, reportes y patentes)" (García-Cepero, 2007, p. 14).

La productividad y las disciplinas

Una problemática adicional en el estudio de la producción académica es que existe bastante evidencia que sustenta que la medición de la productividad debe dar cuenta de las diferencias entre disciplinas y tipos de universidades (Braxton & DelFavero, 2002; Dundar & Lewis, 1998; García Cepero, 2007).

Estudios desarrollados por Becher (1989, 1994) demuestran que las disciplinas tienen características distintivas en términos de productividad, regidas por sus lógicas de producción y transmisión de conocimientos, así como por las características de su comunidad académica. Las lógicas disciplinares determinan qué se estudia, qué se produce, cuáles de estos productos son diseminados y los medios de difusión. García-Cepero (2007), encontró diferencias sustanciales en las tasas de producción de ciencias sociales y educación, en contraste con las tasas de producción de ciencias naturales e ingeniería, a partir de un análisis factorial confirmatorio de múltiples grupos. Sin embargo, no encontró diferencias sustanciales en los tipos de productos y los pesos asignados, al analizar el nivel de ajuste del modelo desarrollado por el autor para medir la productividad académica (de investigación) en docentes universitarios. Es así como encuentra que el análisis factorial confirmatorio de múltiples grupos se constituye en una técnica suficientemente flexible, para modelar e identificar las diferencias entre disciplinas y tipos de instituciones.

En el ejemplo que se desarrollará a en la siguiente sección, se analizará únicamente el caso del área de psicología, sin embargo si se quisiera comparar la producción de diferentes áreas, se podría utilizar la técnica descrita en el párrafo anterior.

Tal como lo señala (García-Cepero, 2007) diferentes estudios han demostrado la importancia de tomar en cuenta la naturaleza real de las variables estudiadas, para evitar problemas en la estimación estadística de los modelos de medición de producción. En su totalidad los indicadores utilizados para medir la producción académica suelen ser variables de recuento, cuya distribución no es normal (Cohén, Cohén, West & Aiken, 2003; Simonton, 2003). Como señala Long (1990, 1997), muchos análisis desarrollados con variables de recuento resultan en estimativos sesgados, inconsistentes e ineficientes al ser tratadas como si fueran continuas y se distribuyeran normalmente. Tradicionalmente, se recomendaba hacer transformaciones de las variables para normalizarlas, en particular porque otros tratamientos estadísticos eran muy dispendiosos en términos computacionales (Cohen et al., 2003), sin embargo en la actualidad no se justifica dicho argumento pues desarrollos en sofware y hardware han permitido que dichas tareas se puedan realizar en tiempos razonables. La distribución estándar que describe las variables de recuento es la distribución Poisson. En dicha distribución la media tiende a ser igual a la varianza y tiende a aproximarse a la distribución normal en el caso de eventos comunes y frecuentes (Cohen et al., 2003; Long, 1997). En contraste, cuando los eventos son excepcionales y poco comunes, como es el caso de la producción académica, la distribución tiende a ser altamente sesgada hacia el cero (Long, 1997), hecho descrito en los trabajos de Simonton (2003).

En el caso de la producción académica de docentes universitarios, este problema se acentúa, en contraste con los estudios hechos con eminencia, la distribución presenta una proporción de ceros muy por encima de la esperada por una distribución Poisson (García-Cepero, 2007). Este fenómeno se hace evidente en muchos de los estudios sobre productividad (e.g., Bellas &Toutkoushian, 1999; Carayol &Matt, 2006; Crepon&Duguet, 1997; Crosta &Packman, 2005; Dundar &Lewis, 1998; García-Cepero, 2007; Levin & Stephan, 1991; Porter &Umbach, 2001; Townsend &Rosser, 2007). En estos casos, la distribución Poisson no es la más adecuada para describir el comportamiento de las variables, por ello debe asumirse que la variable posee una distribución (ZIP - Zero Inflated Poisson distribution) (Acock, 2006; Crepon & Duguet, 1997; Ridout, Hinde &DeméAtrio, 2001). Es así como es recomendable abordar el modelamiento de la productividad a través de técnicas estadísticas que permitan tomar en cuenta la distribución que presentan los indicadores, tales como modelos de ecuaciones estructurales y regresiones ZIP (García Cepero, 2007).

Lambert (1992) describe que en estos modelos se asume que existen dos tipos de distribuciones involucradas: la primera, hace referencia a la probabilidad de que un sujeto en particular no tenga probabilidad alguna de ser productivo (es decir que sea un cero estructural o no), esta distribución se modela a través análisis de regresiones logísticas y la cual es llamada factor de inflación. La segunda, (a través análisis de regresiones Poisson) permite modelar la tasa de producción de aquellos sujetos que no son estimados como ceros estructurales y tienen alguna probabilidad de general algún tipo de producto (Lambert, 1992).

Esto implica que en la distribución hay dos tipos de conteos de ceros: los ceros que son producto de la distribución Poisson, que en este caso corresponden a los profesores que sería razonable esperar que generaran algún producto académico, pero por alguna razón no lo hicieron; y los ceros estructurales (o ceros inflados) que representan a personas que no es probable que fueran productivos académicamente (por ejemplo, por ser profesores noveles) (García-Cepero, 2007).

La muestra que será analizada en este documento, tomará en cuenta que los indicadores de productividad presentan una distribución ZIP, por tanto, al modelar la productividad se incluirá un factor que dé cuenta de la inflación y al menos otro que dé cuenta de la tasa de producción.

Después de realizar esta breve revisión de literatura, podemos concluir que para modelar la producción académica de profesores universitarios, es importante que la técnica utilizada permita abordar la producción como una variable latente, tomando en cuenta los diferentes productos propios del quehacer académico que se constituyen en sus indicadores observables, así como la verdadera distribución de dichos productos.

Análisis del la productividad académica de docentes universitarios en EUA en el área de psicología

Para ilustrar como las técnicas de análisis factorial confirmatorio pueden ser utilizadas para analizar la producción académica se utilizó una submuestra de académicos de psicología tomados de la base de datos NSOPF. La pregunta de investigación fundamental en este ejemplo es: ¿cuál es el modelo factorial más apropiado para describir la productividad de los académicos en el área de psicología? Adicionalmente, se busca identificar cuáles son los porcentajes de inflación (de haberlos), así como la tasa de producción de cada uno de los indicadores de producción.

A continuación describiremos la metodología utilizada las características de la muestra y los resultados obtenidos.

Este estudio tiene un diseño ex-post facto usando análisis secundarios de datos en una base de datos transversal proveniente, como fue descrito anteriormente, del NSOPF 1999. Esta base de datos se construyó a partir de una encuesta realizada a una muestra nacional representativa de profesores universitarios, los cuales reportaron información sobre aspectos relacionados con su trabajo académico. Las preguntas sobre su producción académica dan cuenta de los productos generados entre 1997 y 1998.

La muestra incluye 513 académicos con dedicación de tiempo completo en 340 instituciones de educación superior de EUA. 70% de éstos provienen de instituciones públicas, 44.5% de universidades dedicadas principalmente a la investigación, 35% es profesor titular, 25% asociado, 26% asistente, y el 14% tiene otro tipo de cargo. Por último, 56% de los sujetos son hombres y 82% tienen título de doctorado. El promedio de edad de los participantes es de 48 años con una desviación estándar de 10 años (mínimo 26 años, máximo 75 años).

Para modelar la producción académica, se extrajeron de la base de datos 12 variables en las cuales los académicos reportaron los productos académicos generados entre 1997 y 1998, y que se pueden observar en la Tabla 1. Tal como se esperaba las variables no se distribuyen normalmente y su distribución se ajusta más a la distribución Poisson Inflada de Ceros (ZIP).

Los analisis descriptivos de este estudio se realizaron con SPSS versión 16.0 y los CFA se estimaron usando MPLUS versión 4.21.

Resultados

El primer paso para construir los modelos a estimar fue analizar la relación entre las 12 variables, la Tabla 2 muestra la matriz de correlaciones entre ellas. Las correlaciones entre las variables son bajas y moderadas, encontrándose entre .09 (p<.05) y .51 (p<.01).

Adicionalmente, es posible encontrar un patrón similar al encontrado por García-Cepero (2007) en la cual los productos individuales tienden a correlacionar más fuertemente entre sí, que con los colectivos, a excepción de con productos del mismo tipo. Por ejemplo, los artículos en revistas arbitradas, tanto individual como colectivos, tienen una correlación moderada de .45 (p<.01) y las presentaciones individuales y colectivas presentan una correlación de .44 (p<.01). Estos patrones orientaron la construcción de los modelos de medición de la producción académica.

La diferencia entre los modelos A, B y C son las restricciones que se impusieron a las cargas factoriales. Los modelos A no tenían restricciones en los pesos (cargas factoriales). Los modelos B restringían por pares de productos iguales los pesos; por ejemplo, la producción individual y colectiva de artículos en medios arbitrados se restringía a tener la misma carga factorial. Por último, el Modelo C asumía que la carga factorial de las variables observadas era la misma (equivalente a construir índice con la sumatoria bruta de productos de un individuo, sin usar ningún tipo de ponderación).

En la Tabla 3 se pueden observar las medidas de ajuste de cada modelo. El MODELO IV-A no pudo ser estimado por problemas de identificación. Como se puede observar en la Tabla 4, los modelos con más factores tienden a tener mejor ajuste que los modelos con menos factores, al igual que los modelos con menos restricciones frente a los modelos con mayores restricciones. El modelo que presenta el peor ajuste es el Modelo II-C, que equivale a sumar todos los productos para calcular el índice de producción. El modelo que presenta la mejor medida de ajuste es el modelo IV- B.

Para seleccionar cual modelo era el más apropiado para realizar el análisis, se determinó el porcentaje de cambio en las medidas de ajuste (Tabla 4). El modelo IIA y IIB presentan una diferencia de menos del 1%, por tanto el modelo IIB se prefiere, por ser más simple, sin perder niveles de ajuste. El modelo IIC, presenta una diferencia en el ajuste superior al 3,5% por tanto el modelo IIB se considera más apropiado. Al comparar el modelo IIB con el modelo IIIA, se encuentra que discriminar la producción individual y colectiva en factores distintos incrementa el ajuste en aproximadamente un 7%. Los modelos IIIA y IIIB son prácticamente idénticos, por lo se prefiere el modelo más simple (IIIB). Por último, al comparar el modelo IIIB con el IVB, se observa que hay muy poca ganancia en el ajuste al incluir un cuarto factor para discriminar la inflación de productos individuales y colectivos.

En suma, basados en los análisis realizados, el modelo III-B es considerado el más apropiado para describir la producción creativa de la muestra, lo cual coincide con lo encontrado por García-Cepero (2007). Este modelo nos permite extraer tres factores, los cuales se pueden observar en la Figura 1. Como es de esperar, hay una correlación moderada y significativa entre los 3 factores. La producción individual y colectiva tienen una correlación de 0.57 (p<.01) y la correlación de cada uno de estos factores con el factor de inflación esnegativa (a mayor inflación, menor tasa de producción y viceversa).

En la Figura 1, también es posible observar las cargas factoriales de cada uno de los indicadores, lo cual permite determinar que las presentaciones en eventos arbitrados (individual y colectivo) tienden a ser los indicadores que más fuertemente representan las variables latentes de productividad, en contraste con patentes y software, que de hecho es un producto que no es propio de la disciplina psicológica.

Adicionalmente, en el costado derecho de la Figura 1, se resumen las estimaciones de los interceptos de cada uno de los indicadores. A partir de este estimativo se calcula la tasa de producción de cada uno de los indicadores, una vez se controla por el exceso de ceros. Por ejemplo, el producto que muestra la tasa de producción más alta, para los individuos que tienen alguna probabilidad de producción, son las presentaciones colectivas, seguidas de las presentaciones individuales y los artículos colectivos en revistas arbitradas

Una de las virtudes que tiene el análisis factorial confirmatorio, es que una vez construido el modelo de medición de las variables latentes, es posible integrar al modelo variables explicativas o variables con las cuales la variable latente pueda tener relaciones de causalidad o contingencia. En el estudio realizado por García-Cepero (2007) una vez se estableció el modelo de medición más apropiado, se integraron al modelo las variables de carga laboral, permitiéndole identificar una relación diferenciada en los niveles de productividad superior en docentes universitarios principalmente dedicados a la investigación, en contraste con aquellos dedicados a la docencia o a la gestión administrativa.

Por otra parte, otra virtud que tiene el análisis factorial confirmatorio, es que permite calcular un índice para cada individuos en cada factor. Estos índices se calculan por un análisis de regresión llamado estimación modal posterior (Muthén, 2005) y arroja unos puntajes en escala estándar cuya media tiende al cero y su desviación estándar a 1 (Thompson, 2004). Estos índices, pueden luego integrarse en otros modelos de ecuaciones estructurales o en modelos de regresión tanto como variables independientes o dependientes. Ejemplos de esto pueden ser observados en García-Cepero (2007).

Conclusiones y Discusión

A partir de los resultados es posible identificar tres variables latentes subyaciendo a los diferentes productos generados por los académicos en psicología. Estas variables generan preguntas importantes en términos de los mecanismos de medición y promoción de la productividad. Aparentemente, la producción colectiva y la producción individual tienen naturalezas distintas, aunque guarden relación. Esto tiene sentido, pues las competencias y recursos necesarias para generar productos académicos en dinámicas grupales son distintas a las requeridas en producción individual.

Por otra parte, la integración del factor de inflación está lejos de ser un problema trivial o puramente técnico. Si bien, en términos estadísticos, la inclusión de este factor aumenta la precisión en los cálculos y en las predicciones realizadas con base en ellos (Cohen et al., 2003; Lambert, 1992; Long, 1997), plantea una situación muy compleja: la dificultad que existe en la iniciación del proceso productivo. En otras palabras, evidencia lo difícil que es pasar de tener cero productos a tener al menos un producto. El estudio realizado por García-Cepero (2007) identificó que las variables explicativas para el factor de inflación, son distintas a las variables explicativas para la productividad individual y la colectiva, lo cual podría hacer suponer que las políticas para disminuir la inflación (o aumentar la probabilidad de inicio de producción) deben ser distintas. Es decir, no es suficiente que las universidades promuevan el aumento de la cantidad de productos generados por los profesores que ya han manifestado niveles de productividad.

Además de ello, es importante estudiar qué condiciones permiten el paso del cero al uno, para los profesores sin producción.

Analizando resultados específicos, es importante notar que los artículos en revistas arbitradas, criterio de evaluación más difundido de la producción académica (García-Cepero, 2008), no es la variable con mayor peso en las variables latentes, sino las presentaciones colectivas en eventos arbitrados. Como consecuencia, surge la pregunta del rol de los eventos en el proceso productivo. ¿Será tan importante favorecer la participación de los profesores en dichos eventos, como lo es el favorecer la publicación en revistas arbitradas? ¿Habrá alguna relación entre la formación de redes académicas evidenciadas en estudios como los de García Martínez, Guerrero Bote, Hassan Montero y Moya Aregon (2009); García Martínez, Guerrero Bote, Vargas Quesada y Moya Aregon (2008a, 2008b); Rivera-Garzón (2008), y los altos niveles de productividad? ¿Son los eventos los espacios donde este proceso es desarrollado? Desafortunadamente, este estudio no permite concluir nada a este respecto.

Discusiones como las descritas en los párrafos anteriores son ejemplos de la potencia que tiene la integración de CFA en los análisis de la productividad, pues permite hacer evidentes fenómenos que bajo otras técnicas se hacen invisibles a los ojos del investigador.

Sin embargo, es importante mencionar algunas de las limitaciones en el uso de estas técnicas, señaladas por García-Cepero (2007) y ratificadas en los análisis realizados para este escrito. El hecho de que los datos utilizados tengan una distribución ZIP, impone algunas limitaciones en el estudio, pues los cómputos de los análisis tienden a consumir bastante tiempo. El modelo identificado como más apropiado es el que, dadas las limitaciones técnicas, se ajustó mejor a los datos. Sin embargo, esto no excluye la posibilidad de que otros modelos, fuera de la imaginación del investigador, puedan representar de mejor manera el comportamiento de los datos.

Referencias

Acock, A. C. (2006, October). Zero inflated growth and latent class models using Mplus. Paper presented at the APA Workshop on New Methods for the Analysis of Family and Dyadic Process, Amherst, MA.        [ Links ]

Agudelo, D., Breton-Lopez, J., Ortiz-Recio, G., Poveda-Vera, J., Teva, I., Valor-Segura, I. et al. (2003). Analysis of the scientific productivity of the Spanish psychology through the doctoral thesis [Article]. Psicothema, 15(4), 595-609.        [ Links ]

Antony, J. & Raveling, J. (1999). A comparative analysis of tenure and faculty productivity: Moving beyond traditional approaches. Institute for Higher Education Law and Governance Monograph Series, 99 (3). University of Houston Law Center.        [ Links ]

Belcher, T (1989). Academic tribes and territories: Intellectual inquiry and the culture of disciplines. Milton Keynes, UK: The Society for Research into Higher Education and Open University Press.        [ Links ]

Becher, T (1994). The significance of disciplinary differences. Studies in Higher Education, 19, 151-161.        [ Links ]

Bellas, M. L. & Toutkoushian, R. K. (1999). Faculty time allocation and research productivity: Gender, race, and family effects. The Review of Higher Education, 22, 367-390.        [ Links ]

Biglan, A. (1973). Relationships between subjects matter characteristics and the structure and output of university departments. Journal of Applied Psychology, 57(3), 204-213.        [ Links ]

Boyer, E. L. (1990). Scholarship reconsidered: Priorities of the professoriate. Princeton, NJ: The Carnegie Fundation for the Advancement of Teaching.        [ Links ]

Boyer, E., Altbach, E & Whitelaw, M. (1994). The academic profession: An international perspective. Ewing, NJ: The Carnegie Foundation for the Advancement of Teaching.        [ Links ]

Braxton, J. M. & Del Flavero, M. (2002). Evaluating scholarship performance: Traditional and emergent assessment templates. New Directions for Institutional Research, 114, 19-31.        [ Links ]

Buela-Casal, G. & López, W. (2005). Evaluación de las revistas científicas iberoamericanas de psicología. Iniciativas y estado actual. Revista Latinoamericana de Psicología, 37(1), 211-217.        [ Links ]

Burke, J. C. (2005). The many faces of accountability. En J. C. Burke (Ed.), Achieving Accountability in Higher Education: Balancing Public, Academic and Market Demands (pp. 1-24). San Francisco: Jossey-Bass.        [ Links ]

Carayol, N. & Matt, M. (2004). Does research organization influence academic production? Laboratory level evidence from a large European university. Research Policy, 33, 1081-1102.        [ Links ]

Carayol, N. &Matt, M. (2006). Individual and collective determinants of academic scientists' productivity, Information Economics and Policy, 18, 55-72.        [ Links ]

Cohen, J., Cohen, E, West, S. G. & Aiken, L. S. (2003). Applied multiple regression/correlation analysis for the behavioral science (3^rd ed.). London: Lawrence Erlbaum Associates.        [ Links ]

Cooper, M. & Turpin, G. (2007). Clinical psychology trainees' research productivity and publications: An initial survey and contributing factors [Article]. Clinical Psychology & Psychotherapy, 14 (1),54-62.        [ Links ]

Crepon, B. & Duguet, E. (1997). Research and development, competition and innovation pseudomaximum likelihood and simulated maximum likelihood methods applied to count data models with heterogeneity. Journal of Econometrics, 79, 355-378.        [ Links ]

Crosta, R M. & Packman, I. G. (2005). Faculty productivity in supervising doctoral students' dissertations at Cornel University. Economics of Education Review, 24, 55-65.        [ Links ]

Dundar H. & Lewis D. R. (1998). Determinants of Research Productivity in Higher Education. Research in Higher Education, 39, 607-631.        [ Links ]

Fogg, P (2007). A new Standard for Measuring Doctoral Programs. Chronicle of Higher Education, 53(19), 8-13.        [ Links ]

García Martínez, A. T., Guerrero Bote, V., Hassan, Montero, Y. & Moya Anegón, F. (2009). La psicología en el dominio científico español a través del análisis de cocitación de revistas. Universitas Psychologica, 8 (1), 13-26.        [ Links ]

García Martínez, A. T., Guerrero Bote, V., Vargas Quesada, B. &Moya Anegón, F. (2008a). La psicología en el dominio científico español a través de la cocitacion de categorias del Journal citation Report 1990-2005. Psicohtema, 20(3), 465 373.        [ Links ]

García Martínez, A. T., Guerrero Bote, V., Vargas Quesada, B. & Moya Anegón, F. (2008b). La psicología en el cienciograma de los países iberoamericanos. Revista Latinoamericana de Psicología, 40(3), 409-424.        [ Links ]

García, J. N, Rodríguez, C. & González, L. (2005). Valoración de la difusión en doce revistas de educación en español: análisis del factor de impacto y otros índices bibliométricos. Aula Abierta, 85, 3-44.        [ Links ]

García-Cepero, M. C. (2007). Institutional and Individual Factors Associated with Faculty Scholarly Productivity. Dissertation Abstracts International (AAT 3276618).        [ Links ]

García-Cepero, M. C. (2008) Panorama de las publicaciones seriadas y producción académica en el área de Educación, Iberoamérica. Magis, Revista Internacional de Investigación en Educación, 13-30.        [ Links ]

Kwok, K. (1998). Research output among the three faculties of business, education, humanities and social science in six Hong Kong Universities. Higher Education, 36, 195-208.        [ Links ]

Lambert, D. (1992). Zero Inflated Poisson regression, with an application to defects in manufacturing. Technometrics, 34, 1-14.        [ Links ]

Lau, M. Y., Cisco, H. C. & Delgado-Romero, E. A. (2008). Institutional and individual research productivity in five nominated multicultural psychology journals.        [ Links ]

Levin, S. G. & Stephan, R E. (1991). Research productivity over the life cycle: Evidence for academic scientist. The American Economic Review, 81, 114-132.        [ Links ]

Long, J. (1990). The origins of sex differences in science. Social Forces, 64, 1297-1316.         [ Links ]

Long, J. (1997). Regression Models for Categorical and Limited Dependent Variables. Londres: Sage Publications Inc.        [ Links ]

Maripani, J. (2007). Efficiency in higher education: An analysis of the "traditional universities" in Chile. Dissertation Abstracts International (AAT 3270965).        [ Links ]

Middaugh, M. (2001). Understanding faculty productivity: Standards and benchmarks for colleges and universities. San Francisco: Jossy Bass.        [ Links ]

Musi-Lechuga, B., Olivas-Avila, J. A. &Buela-Casal, G. (2009). One Scientific productivity of Doctorate programs in Clinical and Health Psychology in Spain. International Journal of Clinical and Health Psychology, 9(1), 161-173.        [ Links ]

Muthén, B. (2005, March 21). Obtaining factor scores. Message posted to http://www.statmodel.com/discussion/messages/9/397.html?117673537        [ Links ]

Pla, A. (2001). Evaluación económica pública de la productividad de la universidad. Tesis doctoral no publicada, Universidad de Valencia, España.        [ Links ]

Porter, S. &Umbach, R (2001). Analyzing faculty workload data using multilevel modeling. Research in Higher Education, 42, 171-196.        [ Links ]

Ridout, M., Hinde, J. & DeméAtrio, C. G. B. (2001). A score test for testing a Zero Inflated Poisson regression model against Zero Inflated Negative Binomial alternatives. Biometrics, 57, 219-223.        [ Links ]

Rivera-Garzón, D. M. (2008). Caracterización de la comunidad científica de Psicología que publica en la revista Universitas Psychologica (2002-2008). Universitas Psychologica, 7(3), 917-932.        [ Links ]

Salgado, J. F. & Paez, D. (2007). Scientific productivity and Hirschs h index of Spanish social psychology: Convergence between productivity indexes and comparison with other areas. Psicothema, 19(2), 179-189.        [ Links ]

Schreiber, J. B., Stage, F. K., King, J., Nora, A. & Barlow, E. A. (2006). Reporting Structural Equation Modeling and Confirmatory Factor Analysis results: A review. The Journal of Educational Research, 99(6), 323-331.        [ Links ]

Simonton, D. K. (2003). Scientific creativity as constrained stochastic behavior: The integration of product person and process perspectives. Pyschological Bulletin, 129, 475-494.        [ Links ]

Simonton, D. K. (2009). Applying the Psychology of Science to the Science of Psychology: Can Psychologists Use Psychological Science to Enhance Psychology as a Science? Perspectives on Psychological Science, 4(1), 2-4.        [ Links ]

Stewart, R K., Roberts, M. C. & Roy, K. M. (2007). Scholarly productivity in clinical psychology PhD programs: A normative assessment of publication rates [Review]. Clinical Psychology-Science and Practice, 14(2), 157-171.        [ Links ]

Thompson, B. (2004). Exploratory and Confirmatory Factor Analysis. Washington, DC: American Psychological Association.        [ Links ]

Townsend, B. K. & Rosser, V. J. (2007, April). Initial measures of faculty productivity as evidenced in NSO-PF data. Paper presented at the annual meeting of American Educational Research Association, Chicago, IL.        [ Links ]

Williams, H. A. (2003). A mediated hierarchical regression analysis of factors related to research productivity of human resource education and workforce development postsecondary faculty. Unpublished doctoral dissertation, Louisiana State University.        [ Links ] ]]> 2006 , Oc 15 4 4 595-609 1999 99 3 3 1989 1994 19 1999 22 367-390 1973 57 3 3 204-213 1990 1994 2002 114 19-31 2005 37 1) 1) 211-217 2005 1-24 2004 33 1081-1102 2006 18 55-72 2003 3 2007 14 1 1 54-62 1997 79 355-378 2005 24 55-65 1998 39 607-631 2007 53 19 19 8-13 2009 8 1 1 13-26 2008 20 3 3 465 373 2008 40 3 3 409-424 2005 85 3-44 2007 2008 13-30 1998 36 195-208 1992 34 1-14 2008 1991 81 114-132 1990 64 1297-1316 1997 2007 2001 2009 9 1 1 161-173 2005 , Ma 2001 2001 42 171-196 2001 57 219-223 2008 7 3 3 917-932 2007 19 2 2 179-189 2006 99 6 6 323-331 2003 129 475-494 2009 4 1 1 2-4 2007 14 2 2 157-171 2004 ). 2007 , Ap 2003