Production of Knowledge in Psychometrics in Higher Education Institutions in Bogotá and Chía
OLGA ROSALBA RODRÍGUEZ-JIMÉNEZ
Universidad Nacional de Colombia, Bogotá
orrodríguezj@unal.edu.co
RICHARD FRANCISCO ROSERO-BURBANO
Universidad de la Sabana, Bogotá, Colombia
MARÍA LUCERO BOTIA SANABRIA
Universidad Antonio Nariño, Bogotá, Colombia
La correspondencia en relación con este artículo debe dirigirse a Olga Rosalba Rodríguez-Jiménez,
orrodríguezj@unal.edu.co.
ARTÍCULO DE INVESTIGACIÓN CIENTÍFICA
RECIBIDO: 20 DE SEPTIEMBRE DEL 2010 - ACEPTADO: 26 DE ABRIL DEL 2011
Resumen
Esta investigación se propone describir la producción de conocimiento en psicometría e identificar aspectos que permitan retroalimentar las políticas de formación en el área. Para ello, se recolectaron tesis y trabajos de investigación de docentes de Psicología de Bogotá y Chía desde 1960 hasta el 2009. De un total de 7.259 trabajos, se revisaron con una rejilla diseñada 241 relacionados con el área de medición. Se identificó un incipiente pero creciente interés en el área en las dos últimas décadas, y la necesidad de profundizar en la apropiación y evaluación de los modelos vigentes en teoría de los test: teoría clásica y teoría de respuesta al ítem. Se señala, desde la doble perspectiva, teórica y aplicada, de la psicometría, la necesidad de fortalecer el dominio de los modelos, criterios y procedimientos de producción de evidencias de validez y confiabilidad de las pruebas construidas o evaluadas. Se resalta también la falta de consenso en relación con la clasificación de estudios en psicometría.
Palabras clave: competencias en psicometría, producción de conocimiento, psicometría, teoría de los test.
Abstract
The main goal of this research project is to describe the production of knowledge in psychometrics and to identify aspects that make it possible to provide feedback for the development of training policies in this area. For this purpose, 7.259 theses and research projects carried out by professors of psychology in Bogotá and Chía between 1960 and 2009 were gathered, and 241 of them, related to the field of measurement, were analyzed using a grid designed for that purpose. results showed an incipient yet growing interest in the area over the past two decades, as well as a need for further appropriation and assessment of the existing models in test theory: classical theory and item response theory. From the dual perspective of theoretical and applied psychometrics, the study indicated the need to strengthen the models domain, the criteria, and the evidence production processes for the validity and reliability of constructed or evaluated tests. The study also showed the lack of consensus regarding the classification of psychometric studies.
Keywords: competencies in psychometrics, production of knowledge, psychometrics, test theory.
LA NECESIDAD de fortalecer la formación de los psicólogos en el nivel de pregrado y posgrado tanto en la fundamentación teórico disciplinar como en la profundización de la psicología aplicada es común a todos los programas en el ámbito nacional e internacional (Ardila, 1998; Sánchez, 2003). Si bien la psicología colombiana ha mostrado desarrollos teóricos e incursiones en nuevas áreas de aplicación, algunos asociados al cuestionamiento de la hegemonía de los métodos cuantitativos (Peña, 2007), recientemente se ha iniciado una reflexión acerca del lugar que se le viene dando a la psicometría en la formación de los psicólogos (Ardila, 2007; Red de Investigadores en Psicometría, 2008), y sobre los desarrollos que esta debería ofrecer a la disciplina.
Al respecto, uno de los grupos de estudio de la Red de Investigadores en Psicometría realizó algunos análisis con expertos y profesores del área sobre la historia de la psicometría en Colombia y sus desarrollos recientes (red de investigadores de Psicometría, 2008), en los que se identificaron aspectos relacionados con la formación que merecen ser investigados para establecer juicios objetivos y tomar decisiones con miras al fortalecimiento del área. Además, se consideró necesario comenzar una línea de trabajo orientada a establecer la situación de la investigación en psicometría en los programas de psicología, con el fin de que sus resultados permitan delimitar acciones gremiales o institucionales de promoción y desarrollo del área, como un soporte indispensable para el avance de la psicología como disciplina científica. De manera puntual, se espera que esta información apoye las decisiones en materia curricular y sirva de orientación a los investigadores en relación con los tópicos sobre los cuales resulta prioritario investigar y avanzar.
La importancia de indagar la situación de la investigación en una disciplina o campo particular radica en que estudios realizados a partir de la producción del conocimiento han generado cambios profundos en los patrones de creación y aplicación de conocimiento (Gibbons et al., 1994; Nowotny & Scott, 2000). Para promover estos cambios, resulta necesario tener claridad sobre la forma en que se produce el conocimiento.
Griffiths (2004) afirma que existen tres formas de producción de conocimiento: la primera está orientada a la búsqueda de teorías o explicaciones generalizables, sus principios metodológicos son tomados del positivismo y es característica de la ciencia empírica; la segunda apunta hacia la interpretación del fenómeno y sus principios metodológicos se derivan de la hermenéutica y el subjetivismo; y la tercera corresponde al saber de una disciplina aplicada, que está orientada al uso del conocimiento derivado de las ciencias naturales y las ciencias sociales para entender los conflictos, abordar problemas específicos del área y satisfacer necesidades.
En cuanto al estudio de la producción de conocimiento sobre psicometría en iberoamérica, solo se reporta un estado del arte de medición en psicología jurídica entre 1980 y 2003. En dicho estudio se evaluaron los factores contextuales, teóricos, metódicos y estadísticos de la psicometría en el área jurídica y se identificaron las características de las pruebas psicométricas más utilizadas en Colombia (Parra, Gil, Linero, Louis & Portillo, 2003).
En Colombia se reconoce la psicotecnia como el inicio de la psicología en el país (Hernández-Vargas, Valencia-Lara & Rodríguez-Valderrama, 2003; Rodríguez, 1997), y solo los estudios de Ardila (1997) y González (1977) que se ocupan de reportar las pruebas psicológicas de mayor uso se podrían considerar como aportes específicos al conocimiento del desarrollo de la medición psicológica en el país.
]]> En psicología en general y en áreas aplicadas como psicología organizacional o económica destacan algunos estudios sobre el estado del arte en los cuales se puede apreciar la utilidad de este tipo de estudio para hacer un diagnóstico global sobre el nivel de desarrollo de la disciplina o la profesión, tal y como se aprecia en el trabajo de Puche (2003) y Mota (2002); indagar sobre las concepciones predominantes en el trabajo investigativo, por ejemplo en psicología organizacional, como lo ilustran los trabajos de Castañeda (2004) y Delgado y Forero (2004); incluso para precisar la historia, principales conceptos y aspectos metodológicos en un área disciplinar en psicología como lo hacen Riveros, Rojas y Pérez-Acosta (2007) en relación con la psicología económica, y en algunos casos para dilucidar un concepto de amplia aplicación en psicología, como resiliencia (Kotliarenco, Cáceres & Fontecilla, 1997).En estos trabajos, la revisión bibliográfica y documental resulta de importancia, y es notorio que varios de estos emplean la revisión de los trabajos de grado o proyectos de tesis de las instituciones de educación superior como su principal fuente de información (Castañeda, 2004; Delgado & Forero, 2004). Con todo ello se espera contar con información unificada, que permita dar cuenta del estado de apropiación del conocimiento desarrollado a nivel mundial y sirva como referente de los avances y las limitaciones aún existentes. A partir de esta información se presentarían recomendaciones, líneas de acción o conclusiones sobre el área o disciplina, reconociendo con ello que la información obtenida acerca del nivel de desarrollo del conocimiento permite, por un lado, avanzar en la práctica hacia la integración del conocimiento y la articulación entre la gestión administrativa y las formas de investigación académica, y, por otro lado, más importante aún, estrechar las relaciones con la sociedad, en la medida en que se realiza un proceso de rendición de cuentas y retroalimentación sobre el trabajo que realizan los académicos en las universidades (Griffiths, 2004).
De los trabajos mencionados sobre el estado del arte, no cabe duda de que el realizado por Puche (2003) brinda importantes aportes al trabajo que se realiza en psicometría, dado que señala que "el papel de la medición sigue siendo central en el desempeño de los psicólogos y es deseable que los profesionales tengan una formación adecuada" (p. 22). Así mismo, encuentra que el 5.82% de las materias en los currículos de psicología analizados corresponde al área de medición y evaluación.
En este orden de ideas, el presente estudio se realizó con el objetivo de describir la producción de conocimiento en psicometría del programa de psicología en las universidades de Bogotá y Chía, considerando que la medición psicológica supone el desafío de garantizar que las pruebas y los procedimientos de evaluación, real y objetivamente, midan los atributos psicológicos pretendidos, las características, dimensiones o variables, de tal modo que las inferencias inductivas —predictivas o explicativas— acerca de ellos sean confiables, objetivas y especialmente válidas. Se eligieron estas ciudades en virtud de que concentran un importante número de programas de psicología, y atendiendo a consideraciones prácticas relacionadas con los recursos económicos y humanos para realizar la investigación.
Como marco de partida, se presentan los aspectos conceptuales de la psicometría como área, junto con una figura ilustrativa en la que se aprecian los principales procedimientos empleados para determinar las propiedades psicométricas de un instrumento y su relación con los modelos psicométricos existentes.
De acuerdo con Muñiz y Hambleton (1992), la característica especial de la psicometría radica en el énfasis y la especialización en las propiedades métricas exigibles a las mediciones psicológicas, independientemente del campo sustantivo de aplicación y de los instrumentos utilizados. Considerando la diferencia entre evaluación y medición psicológica, la especificidad asignada a la psicometría implica diferenciar dos planos de actividad y producción: uno teórico, en cuanto tiene como misión estudiar las posibilidades, métodos y modelos de la medida de lo psicológico (Martínez-Arias, 1996), y uno práctico, relativo a la calidad de los procesos de medición y a la obtención de las medidas (instrumentos) (Fernández-Ballesteros & Maciá, 1981), lo que significa que realizar una medición debe cumplir con requerimientos teóricos y metodológicos.
De acuerdo con Ponsoda (2008), hoy día se identifican tres campos de trabajo en psicometría: las escalas psicológicas, el análisis factorial y la teoría de los tests. El escalamiento psicológico estudia "la medida de las características psicológicas de los objetos" (Ponsoda, 2008, p. 5) y se ocupa del desarrollo de modelos que den cuenta de la cuantificación de las señales o estímulos que empezó a estudiar la psicofísica (Santisteban, 2009). El análisis factorial de los ítems se fundamenta en técnicas estadísticas de análisis multivariados, diseñadas para investigar la estructura o las dimensiones básicas de un conjunto de variables que representan una cantidad de atributos identificados en un conjunto menor de constructos o variables; se han desarrollado dos tipos: análisis factorial exploratorio y análisis factorial confirmatorio, dependiendo de la meta a lograr que puede ser detectar fuentes de variación o examinar hipótesis acerca de una estructura conceptual (Lawley & Maxwell, 1971; Martínez-Arias, 1996).La teoría de los test se ocupa de la elaboración de modelos matemáticos que permitan determinar y evaluar las propiedades psicométricas de los test psicológicos (Muñiz, 2010); estudia los factores que influyen en las puntuaciones observadas, y propone diversos modelos para estimar puntajes verdaderos (Fernández-Ballesteros, 2004; Hambleton & Swaminathan, 1985; Muñiz, 1996). La teoría clásica de los test (TCT) que se emplea desde la primera mitad del siglo XX en el análisis, la construcción y la aplicación de pruebas psicométricos se basa en la teoría del error. Desde la TCT se plantea la necesidad de garantizar la confiabilidad de las pruebas, ya sea con formas paralelas, con aplicaciones de un mismo test en momentos distintos o con la consistencia interna de estas (Prieto, 2009).
También desde este mismo enfoque se habla de la validez —aunque este es un tópico que de por sí no le es propio a ninguna teoría—: se menciona el examen de la validez de contenido, la validez predictiva y la de constructo (Gulliksen, 1987; Muñiz, 2004; Nunnally, 1987; Spearman, 1927). Dentro del marco de la TCT cobra sentido hacer el análisis de los ítems y el análisis de la prueba, asumiendo siempre que la calidad de los ítems garantiza la calidad de las pruebas, por lo que se han desarrollado y probado procedimientos que permiten determinar los parámetros de los ítems en la TCT (Herrera, 2000).
En la literatura se señala que la TCT tiene algunas limitaciones (Cortada de Kohan, 2002; Lord, 1980; Muñiz, 1996, 1998, 2004): (a) las mediciones dependen de la prueba utilizada y (b) las propiedades del test dependen de los sujetos evaluados. Prieto (2009) agrega otras limitaciones, como el alcance ordinal de la medición, la ausencia de homocedasticidad del error y las dificultades para equiparar las puntuaciones de distintos test.
La teoría de respuesta al ítem (TRI), buscando superar estas limitaciones, realiza estimaciones invariantes de los parámetros de los ítems y de los atributos de las personas (Hambleton & Swaminathan, 1985; Lord, 1980; Lord & Novick, 1968; Muñiz 1997, 2004; Van der Linden & Hambleton, 1997); vincula el comportamiento del sujeto frente al ítem en función de su nivel de habilidad mediante la curva característica del ítem (Muñiz, 1997), y por supuesto, como lo señalan Muñiz y Hambleton (2000), exige que la medición psicológica aplique modelos no lineales, siendo el modelo logístico uno de los planteados. La TRI, como lo señalan Abad, Olea, Ponsoda y García (2011), "modela de forma más realista las respuestas de las personas, toma los ítems como unidad de análisis" (p. 123) y garantiza la invariancia de los parámetros, siempre que se cumplan los supuestos para ajustar estos modelos.
]]> Así, la psicometría y la teoría de los test se configuran con base en la teoría de la medición psicológica y se desarrollan mediante la construcción de modelos, para lograr medidas válidas a partir del consenso sobre los estándares para diseñar, construir, validar, estandarizar y aplicar las pruebas psicológicas (Cortada de Kohan, 1999; Muñiz, 1998; Murat, 1985; Prieto, 2009; Santisteban, 2009). Dichos estándares son formulados y analizados por comunidades académicas de larga trayectoria investigativa y aplicada, como en el caso de los Standards for educational and psychological testing (APA, AERA & NCME, 2005).Tanto en la TCT como en la TRI se han definido procedimientos y técnicas para determinar las propiedades psicométricas de las pruebas. En ambos modelos, la validez aparece como un concepto relevante, aunque no siempre unívoco (Elosua-Oliden, 2003; Muñiz, 2005), y recientemente se lo identifica como un tema de debate y estudio, dada su relevancia para la inferencia y la teorización en psicología (Haig & Borsboom, 2008).
En la Figura 1 se resume cómo cada uno de los dos modelos principales en psicometría (TCT y TRI) priorizan e identifican las propiedades psicométricas que consideran relevantes, así como los principales procedimientos de valoración o medición. En ambos casos, el psicómetra procura fortalecer y dar evidencias empíricas de una u otra propiedad psicométrica, conforme al modelo con el que desarrolla su propósito de medición. En este orden de ideas, en este estudio se tomó la estructura conceptual de la figura como guía para determinar, categorizar y procesar la información relevante de los trabajos identificados como ejercicios investigativos dentro del área de la psicometría, y a partir de allí extraer algunas conclusiones relacionadas con el nivel de producción del área en los programas de psicología en Bogotá y Chía. Es importante notar que la validez se presenta como parte de TCT, aunque dicha propiedad no es exclusiva de ella.
Figura 1. Propiedades psicométricas y procedimientos en la teoría de los test.
EQS = ecuaciones estructurales; DIF = funcionamiento diferencial del ítem.
Método
ParticipantesPara describir la producción de conocimiento mediante la revisión de fuentes documentales, se revisaron los títulos de trabajos de investigación de los programas de psicología en Bogotá y Chía, en un periodo comprendido desde 1960 hasta 2009, con un total de 7.259 títulos revisados de tesis y trabajos de investigación docente, dentro de los cuales se identificaron 241 trabajos como estudios en psicometría. Como criterio de selección, se tomó en cuenta aquellos estudios cuyo objetivo estuviera orientado al diseño, validación, adaptación y/o estandarización de una prueba psicológica, o al desarrollo de avances teóricos o metodológicos en métodos psicométricos.
Dichas fuentes documentales corresponden a los 23 programas de psicología identificados en la ciudad de Bogotá y Chía, de los cuales 14 reportan trabajos de investigación en el área de psicometría, 5 no cuentan con trabajos de grado en general, 2 no tienen desarrollos en el área y 2 no permitieron el acceso.
Instrumentos ]]> Para la recolección de datos se diseñó y validó por expertos una rejilla de registro de la información, dispuesta en una hoja de cálculo que incluía las variables de estudio descritas en la Tabla 1. ProcedimientoLa metodología de estado de arte permitió identificar las principales características de los trabajos que se han realizado en el área de psicometría, desde los primeros reportes de los programas visitados hasta la fecha. Su desarrollo durante diez meses, desde marzo hasta diciembre del 2009, implicó:
Análisis de Datos1. Fase descriptiva: se diseñó y validó el instrumento para la recolección de la información, se revisaron los trabajos, se depuró la información y se verificó la pertinencia de los trabajos que fueron incluidos en la base de datos.
2. Fase interpretativa: con los resultados obtenidos, se identificaron tendencias teóricas y metodológicas prevalecientes y emergentes, fortalezas, limitaciones, vacíos teóricos, dificultades y contribuciones de la producción de conocimiento en psicometría en las instituciones de educación superior de Bogotá y Chía.
3. Fase de construcción de sentido: se formularon hipótesis sobre la dinámica de los procesos de investigación y sobre los espacios donde se requieren nuevas líneas de investigación, y se elaboraron recomendaciones para las políticas de formación, desempeño y regulación de la actividad investigativa en el área.
A partir de la información registrada en la rejilla de análisis y para cada una de las categorías de los parámetros de los artículos revisados en el estudio, se realizaron descripciones estadísticas (frecuencias y porcentajes) por medio del programa SPSS17.
Resultados
El porcentaje de trabajos que se encontró en el área de la psicometría correspondió al 3.32% del total de las investigaciones revisadas correspondientes a tesis y trabajos de docentes. Una vez identificados y analizados estos estudios en psicometría, se presentaron las siguientes características
Nivel de Investigación
]]> En este campo, la mayoría son proyectos de investigación formativa o trabajos de pregrado (78.22%), y un menor porcentaje corresponde a investigación docente (19.75%) y trabajos de posgrado (2.01%).Objetivo Psicométrico
Los objetivos que orientan los trabajos, de mayor a menor porcentaje, son: (a) diseño, construcción y validación (46.89%); (b) evaluación de propiedades psicométricas (20.33%); (c) validación y estandarización (17.01%); (d) adaptación, traducción y validación (12.03%); (e) análisis teórico (2.07%), y (f) estudio de métodos (1.66%). A partir de esta información se hace evidente el bajo porcentaje de trabajos de orden teórico y de estudio de métodos.Tabla 1
Descripción de los parámetros analizados en el estudio
Al presentar el número de trabajos realizados desde la década de 1960 (Figura 2) según el objetivo de estudio, se encuentra que los trabajos realizados con el objetivo de diseñar, construir y validar pruebas propias tienen una tendencia creciente a través de los años. también se evidencia en la década de 1990 un rápido y notorio crecimiento en la pretensión de establecer propiedades psicométricas de diversas pruebas, y un incipiente interés por el desarrollo de trabajos teóricos.
Constructo EvaluadoAnte la diversidad en los constructos evaluados, se construyeron categorías para hacer posible su interpretación y análisis a partir del procedimiento cualitativo de análisis de dominio (Strauss & Corbin, 1998) (véase Apéndice 1).
Se presenta en la Tabla 2 la distribución de frecuencias según las categorías construidas para dar cuenta de esta variable. Llama la atención, por un lado, el persistente interés de investigación en constructos de larga tradición en psicología como la inteligencia (20.75%) y la personalidad (14.11%), y, por otro lado, la emergencia de trabajos en categorías denominadas como comportamientos adaptativos (14.11%), y el clima o la cultura organizacionales (10.37%). En la primera categoría se incluyen alteraciones de comportamiento escolar, maltrato, agresión, entre otros, y en las segundas, atributos de nivel colectivo tales como los procesos organizacionales.
Finalidad de la Prueba
]]> Se encuentra que el 29.88% de los trabajos tiene fines relacionados con la clasificación; el 25.73%, con la caracterización; el 26.14%, con la detección; el 8.71%, con el diagnóstico; el 8.30%, con varios propósitos, y en un 1.24% de los trabajos esta categoría no aplica, como es el caso de los estudios centrados en los métodos. Como se puede observar, los propósitos de clasificación, caracterización y detección tienen porcentajes similares y en conjunto dan cuenta del 81.75% de las pruebas utilizadas en los estudios revisados. Es de destacar que el número de pruebas empleadas presenta también una amplia variedad.Figura 2. Variaciones del objetivo del estudio por décadas.
Tabla 2
Distribución de frecuencias del constructo evaluado por las pruebas
Procedimientos Psicométricos para hallar Validez
Los procedimientos aplicados para establecer evidencias de validez se presentan en la Tabla 3. En esta Tabla se aprecia que los métodos más utilizados son el análisis factorial y el juicio de expertos, presente cada uno en un 18.26% de los trabajos. En menor medida se utilizan el modelo de Rasch (2.9%) y la combinación de tres procedimientos para hallar la validez (1.24%). Adicionalmente, se encuentran combinaciones entre diferentes métodos, por ejemplo, el concepto de expertos con el análisis factorial, en un 9.96%, y el método de consistencia interna combinada con los métodos anteriores, en 2.07%. Llama la atención el uso de la consistencia interna en este caso, dado que fue concebido como método para hallar la confiabilidad.
Procedimientos Psicométricos para hallar Confiabilidad ]]> En cuanto a los procedimientos para establecer la confiabilidad de las pruebas estudiadas (Tabla 4), se encontró que la consistencia interna es la medida de confiabilidad de mayor uso (45.23%), seguida por el procedimiento de división por mitades (5.81%). El 11.61% de los estudios utilizan al menos dos métodos para estimar la confiabilidad. Llama la atención que un 25.31% de los trabajos no informe sobre los procedimientos empleados para hallar la confiabilidad.Tabla 3
Procedimientos de validez de las pruebas empleadas en el estudio
Procedimientos Psicométricos para Análisis de Ítems
A pesar de que este análisis se considera necesario cuando se desarrolla un instrumento de medición, se encuentra que un 14.11% de los trabajos orientados a diseñar, construir y validar un instrumento no precisan el tipo de análisis de ítems que realizan (Figura 3). En los casos en que se tiene en cuenta, se emplean parámetros distintos al de discriminación y dificultad, y se aplican en cambio procedimientos como alfa (16%) y análisis multivariado (1.24%).
Análisis Psicométrico en Conjunto ]]> Se encuentran estudios que, a pesar de que su objetivo era la evaluación de propiedades psicométricas de la prueba, finalmente no la evalúan o no precisan la forma en que lo hicieron. Esto sucede tanto en el caso de la confiabilidad como en el caso de la validez, incluso cuando se trata de un estudio que implica la validación. Resulta importante destacar el alto número de investigaciones en las que no se reportan los métodos y las evidencias de validez y confiabilidad encontradas, lo cual afecta el soporte de la utilidad de dichos hallazgos. La Tabla 5 presenta los trabajos en los que, a pesar de requerir una evaluación de la confiabilidad y validez (un total de 43.98%.), no se informa sobre esta propiedad o no se realiza ningún procedimiento para garantizarlo.Figura 3. Distribución porcentual de no aplicación o no registro de análisis de ítems de acuerdo con el objetivo del estudio.
Tipo de AnálisisEn esta categoría se incluyen los diferentes procedimientos de análisis aplicados en los trabajos. Se encuentra que el 77% realiza el análisis haciendo uso de la teoría clásica de los test; el 1%, con la teoría de respuesta al ítem; el 1%, con el modelo de Rasch, y un 21% no permite identificar el tipo de análisis realizado.
Tipo de MuestreoA pesar de que en un número importante de trabajos no se hace explícita la información sobre el tipo de muestreo utilizado, se tuvo en cuenta en la rejilla y en los resultados, dado su carácter como indicador de mayor o menor cumplimiento de los supuestos estadísticos exigidos por diversos procedimientos de análisis. Para lo anterior, se definió en cada trabajo si se había realizado un muestreo probabilístico o no probabilístico, o si se trató de una fuente de datos censal, en cuyo caso no aplicaría el concepto de muestreo.
Tabla 5
Relación entre el objetivo del estudio, la validez y la confiabilidad
Nota: Los datos corresponden solo a los estudios que no reportan o no realizan métodos para garantizar la confiabilidad y validez.
Los datos indican que el 54% de los estudios emplea un muestreo no probabilístico; el 22%, un muestreo probabilístico; un 20% no aplica ningún procedimiento de muestreo; un 3% no reporta el tipo de muestreo, y un 1% realiza estudios censales.
Tipo de Estudio ]]> Como parte del estudio, también se indagó por la forma como los autores tipifican, describen o clasifican su estudio, y al respecto se encontró una notoria diversidad, dado que se reportan como estudios descriptivos (25%), psicométricos (14%), descriptivos correlacionales (4.4%), y el porcentaje restante de trabajos (56.6%) reporta denominaciones como investigación estadístico-técnica de corte psicométrico, proyecto de investigación tecnológico en el campo psicométrico, clínico experimental, tipo encuesta, diseño preexperimental pretest-postest, estudio transversal psicométrico, psicométrico cuasiexperimental, estudio comparativo, estudio de carácter evaluativo, estudio tecnológico-instrumental, estudio descriptivo expos-facto o estudio exploratorio. Este resultado muestra una amplia dispersión en las taxonomías utilizadas para especificar este tipo de investigaciones, y evidencia la necesidad de encontrar consensos sobre los criterios y categorías a utilizar.Discusión
El estudio permitió conocer las investigaciones realizadas en los programas de psicología de Bogotá y Chía en el área de psicometría, e identificar el número de trabajos y sus características, las finalidades planteadas por los investigadores, los tipos de investigación y muestreo utilizados, así como los métodos de evidencia de confiabilidad y validez. Los resultados se analizan en la perspectiva de la concepción de la psicometría, de la teoría de los test y de las necesidades y posibilidades de su profundización y desarrollo en la formación del psicólogo. Por los resultados encontrados en este estudio, se puede identificar acciones concretas que deben desarrollarse en los próximos años.
En cuanto al número de estudios realizados sobre psicología en general, se encontró un escaso desarrollo de estudios en psicometría en relación con otras áreas de formación del psicólogo: solo el 3.32% fueron identificados como estudios de carácter psicométrico, con un crecimiento ostensible en la última década. A pesar de no representar un volumen significativo en el universo revisado, los resultados obtenidos a partir de la muestra indican que la psicometría es un área de incipiente desarrollo y cada vez más un objeto de interés para profesores y estudiantes de psicología, e incluso de interés particular para diseñar, construir y validar instrumentos, resultado que confirma la tendencia a realizar traducciones y adaptaciones de pruebas señalada por Ardila (2007) y Ponsoda (2008).
En cuanto a los tipos de estudio reportados, se presenta una amplia variedad que impide llegar a un consenso. Al respecto, resulta de utilidad apoyarse en la clasificación presentada por Montero y León (2001, 2002, 2005), quienes engloban estas investigaciones dentro la categoría de estudios instrumentales.En relación con el tipo de muestreo empleado, existe una tendencia a la utilización del muestreo no probabilístico, lo cual puede coincidir con las dificultades habituales en la investigación psicológica para cumplir los requisitos de los supuestos ideales de la estadística.
Respecto de las características de los estudios, se encontró un escaso número dedicado a los métodos y análisis teóricos, y un alto número de investigaciones que no reportan los métodos de evidencia de validez y confiabilidad ni el procedimiento para el análisis de ítems. Estos aspectos deben mejorarse cualitativa y cuantitativamente, con el fin de fortalecer la fundamentación del área y su capacidad de aporte al desarrollo disciplinar de la psicología y otras áreas de conocimiento que aprovechan la psicometría. De este modo, los resultados conducen a la reflexión sobre la contribución real y potencial que hace la psicometría a la disciplina psicológica.
Si bien existen esfuerzos por avanzar en conceptualizaciones de los constructos a medir y producir pruebas propias, es notorio el escaso desarrollo de estudios que cumplan los estándares para el diseño, validación, aplicación y uso de pruebas, así como también de estudios sobre métodos psicométricos y la valoración, uso y generación de modelos de medición.
Incursionando en estas indagaciones será posible participar y contribuir en el debate vigente en torno a la capacidad real de la psicometría para medir atributos psicológicos, que para muchos no son efectivamente medibles (Michell, 2000), en razón de que se considera que, a medida que las teorías van madurando con evidencia empírica, adquieren más relevancia técnica y modelos de medición más refinados y de mayor potencial confirmatorio (Ponsoda, 2008).
Lograr un cometido semejante implica promover las competencias de los egresados y especialmente de los profesores para determinar la calidad de una prueba y diferenciar y valorar las bondades y limitaciones de las teorías de los test, y avanzar en estudios de métodos psicométricos, así como considerar la responsabilidad frente al uso de instrumentos de medida (Messick, 1995; Murat, 1985), y también para estudiar la problemática relacionada con la medición de lo psicológico y sus implicaciones (Muñiz, 1998), las nuevas tendencias en psicometría (Richaud, 2008), los desarrollos recientes (Gómez-Benito & Hidalgo-Montesinos, 2003), el empleo del muestreo probabilístico en psicología, entre otros aspectos (Martínezarias & Pérez, 1989).
Esta situación plantea otro debate relacionado con la formación en psicometría, que se manifiesta en preguntas como: ¿Qué se espera que logren los estudiantes de pregrado? ¿Qué se espera que logren en posgrado? ¿Cuál es la tarea del pregrado en relación con esta área de competencia profesional? ¿Qué se espera de los docentes del área, qué se requiere, alrededor de cuáles líneas de indagación se los puede convocar?
]]> Si bien algunos expertos señalan que la formación de pregrado debería dedicarse al conocimiento de los conceptos en lugar del dominio de los procedimientos, los cuales podrían ser objeto de profundización posterior y estar vinculados a los intereses individuales (A. N. Herrera, comunicación personal, septiembre de 2009), otros apuntan a considerar la necesidad de contar con profesionales más competentes en áreas de aplicación de la psicometría, lo cual exige por igual fortalezas conceptuales y metodológicas respecto al diseño, validación, aplicación y uso de las pruebas psicológicas (E. Medellín, comunicación personal, septiembre de 2009).Consideramos, a la luz de los resultados obtenidos en el estudio, que debe fortalecerse la formación de pregrado en unos aspectos precisos, como las competencias conceptuales sobre los modelos, de manera que al abordar su práctica profesional, si no puede aproximarse a estudios de posgrado, cuente con competencias básicas y requisitos mínimos para aportar valor agregado en el diseño y la validación de pruebas psicológicas, campo en el que cada vez más incursionan profesionales de otras áreas de conocimiento como, por ejemplo, la fisioterapia o la ingeniería industrial.
Esta perspectiva, a su vez, motiva el análisis en dos vías: por una parte, convoca al debate ético en la psicología y otras disciplinas, y, por otra, cuestiona las políticas de formación en la psicología y la psicometría que deben responder a un conjunto de demandas sociales, económicas y culturales para las que se forman los profesionales, y que nutren, a su vez, el gremio académico.
Teniendo en cuenta la demanda creciente de profesionales con competencias especializadas en psicometría, será necesario promover el área con diversas acciones orientadas a una mayor, mejor y más profunda formación, de manera que en el pregrado se establezcan bases conceptuales y criterios de propiedades psicométricas precisos, y en el nivel de posgrado se avance en las competencias para el desarrollo, la evaluación de métodos, modelos y teorías, formando así psicólogos que atiendan a las demandas sociales, pero que además constituyan un gremio dinámico que alimente el desarrollo metodológico y teórico del área específica y, con ella, de la disciplina psicológica.
Dado que la producción de conocimiento en psicometría requiere importantes esfuerzos grupales, gremiales e institucionales, futuras investigaciones podrán ser dirigidas a considerar la formación de psicólogos, que, como lo señala Puche (2003), deben tener una formación adecuada y demostrar competencias sólidas en psicometría para lograr un mayor impacto en el desarrollo de la disciplina psicológica en el ámbito local y nacional.
La red de investigadores de Psicometría, con su carácter de red de aprendizaje y red interinstitucional, tiene la posibilidad de llamar a la reflexión, de impactar en los currículos mediante reflexiones como las que aquí se socializan, de promover el desarrollo del área, de generar espacios de interés y debate académico en torno a los problemas anotados, especialmente para alimentar y orientar los procesos de recepción, apropiación y socialización del actual y nuevo conocimiento, y la promoción y el fortalecimiento de investigaciones en el área.
En síntesis, se puede establecer como fortaleza en la producción de conocimiento de psicometría el desarrollo de pruebas sobre diferentes constructos que incluyen los procesos afectivos y cognoscitivos, las cuales han sido adaptadas y validadas para ser aplicadas en el contexto colombiano.
En cuanto a los vacíos teóricos, se identifica el poco desarrollo de estudios propiamente metodológicos, por lo que se considera necesario fortalecer, por una parte, el dominio de los criterios y procedimientos para dar cuenta de las evidencias de validez y confiabilidad de los instrumentos de medición psicológica, y, por otra, el desarrollo de estudios de métodos psicométricos, en particular, los relacionados con la teoría de respuesta al ítem y otros temas de importante desarrollo en psicometría, tal y como lo mencionan Gómez-Benito e Hidalgo-Montesinos (2003).
Por lo anterior, es importante emprender una serie de acciones como la formación de investigadores en el área, el fomento de investigaciones relacionadas con los avances en modelos y métodos psicométricos, así como generar estándares sobre la información psicométrica pertinente y relevante que se debe reportar cuando se trata de realizar un estudio de esta naturaleza.* Este proyecto fue cofinanciado por Investigaré y las universidades participantes.
Apéndice 1 ]]> Categorías de agrupación de los constructos establecidos en los trabajos de investigación
