SciELO - Scientific Electronic Library Online

 
vol.16 issue1EDITORIALPREVALENCE OF LOW BACK PAIN (LBP) AND RISK FACTORS IN PROFESSIONAL AND AUXILIAR NURSES IN MANIZALES author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Hacia la Promoción de la Salud

Print version ISSN 0121-7577

Hacia promoc. Salud vol.16 no.1 Manizales Jan./June 2011

 

PROPIEDADES PSICOMÉTRICAS DE INSTRUMENTOS UTILIZADOS PARA EVALUAR MATERIAL EDUCATIVO EN SALUD

PSYCHOMETRIC PROPERTIES OF INSTRUMENTS USED TO EVALUATE HEALTH EDUCATIONAL MATERIAL

PROPIEDADES PSICOMETRICAS DE INSTRUMENTOS UTILIZADOS PARA AVALIAR MATERIAL EDUCATIVO EM SAÚDE

Lina F. Barrera Sánchez*
Fred G. Manrique Abril**
Juan Manuel Ospina Díaz***

* Enfermera. Magíster en Salud Pública. Profesora Auxiliar. Facultad Ciencias de la Salud, Programa de Medicina, Universidad de Boyacá, Tunja. Correo electrónico: linferbarrera@uniboyaca.edu.co
** Enfermero. PhD. Salud Pública. Profesor Asociado Escuela de Enfermería UPTC (Tunja). Universidad Nacional de Colombia. Universidad de Boyacá. Correo electrónico: fred.manrique@uptc.edu.co
*** Médico Cirujano. MSc. Epidemiología. Profesor asociado Escuela de Medicina UPTC (Tunja). Universidad de Boyacá. Correo electrónico: juan.ospina@uptc.edu.co

Recibido en marzo 2 de 2011, aceptado en abril 15 de 2011



Resumen

Objetivo: determinar propiedades psicométricas de los instrumentos desarrollados por la OPS para evaluar la calidad y la efectividad potencial de material educativo. Materiales y métodos: se utilizaron instrumentos diseñados por la OPS para evaluar la calidad de material educativo en salud, diseñado durante el primer semestre del 2010. La evaluación fue realizada por grupos de usuarios del material, así: para material audiovisual, n = 74; material impreso, n = 116; material sonoro, n = 37; material visual: n = 71. Para cada instrumento se evaluó la factoriabilidad mediante las pruebas de Kaiser-Meyer-Olkin y de esfericidad de Bartlett. Posteriormente, se determinó la consistencia interna y estructura factorial del instrumento mediante la estimación del alfa de Cronbach, y el análisis factorial por el método de extracción de componentes principales. Resultados: todos los instrumentos fueron factorizables. El alfa de Cronbach para material audiovisual fue 0,687; la extracción de ejes principales reportó cuatro factores. Para material impreso: alfa de Cronbach de 0,83; la extracción de componentes principales arrojó un solo factor que explica el 45,1% de la varianza. En el material sonoro se encontró alfa de Cronbach = 0,73 y se extrajeron tres componentes principales. Para el material visual se encuentra alfa de Cronbach = 0,66 con tres componentes principales. Conclusiones: los instrumentos diseñados por la OPS para evaluar material educativo constituyen una herramienta confiable para evaluar los criterios de atracción, entendimiento, identificación y aceptación; se hace necesario profundizar en el análisis estructural de estos; no evalúan el criterio de inducción a la acción que otros autores referencian.

Palabras clave

Comunicación en salud, educación en salud, promoción de la salud, validez de las pruebas, materiales educativos.

Abstract

Objective: to determine psychometric properties of the instruments developed by PAHO to assess quality and potential effectiveness of educational material. Materials and methods: instruments designed by PAHO to assess the quality of health educational materials designed during the first semester 2010 were used. The evaluation was carried out through materials user groups as follows: audiovisual material, n = 74; printed material, n = 116; audio recordings, n = 37; visual material, n = 71. Factorability was evaluated for each one of the instruments by using Kaiser -Meyer-Olkin's test and sphericity was evaluated with Bartlett's test. Internal consistency and factorial structure of the instrument were determined later using Cronbach's alpha estimate and the factorial analysis was carried out using the main components extraction method. Results: all instruments were factorable. Cronbach's alpha for audiovisual material was 0.687; extraction of principal axes reported 4 factors. For printed material: 0.83 Cronbach's alpha; the extraction of principal components showed a single factor which explains 45.1% of the variance. In the audio material it was found 0.73 Cronbach's alpha and three major components were extracted. For visual material Cronbach's alpha is = 0.66 with three main components. Conclusions: the instruments designed by PAHO to assess educational materials are a reliable tool for assessing the attraction, understanding, identifying and accepting criteria; however, it is necessary to go deeper in their structural analysis. The do not assess the induction to action criterion referenced by other authors.

Key words

Health communication, health education, health promotion, validity of tests, educational and promotional materials.

Resumo

Objetivo: determinar propriedades psicométricas (é utilizada na psicologia para medir quais são os atributos que representam melhor às pessoas) dos instrumentos desenvolvidos pela OPS para avaliar a qualidade e a efetividade potencial de material educativo. Materiais e métodos: se utilizam instrumentos desenhados pela OPS para avaliar a qualidade de material educativo em sua saúde, desenhado durante o primeiro semestre de 2010. A avaliação foi realizada por grupos de usuários do material, assim: para material audiovisual, n = 74; material impresso, n=116; material sonoro, n = 37; material visual: n = 71. Para cada instrumento se avalio na fatoriabilidade mediante as probas de Kaiser-Meyer-Olkin e de esfericidade de Bartlett. Posteriormente, se determinou a consistência interna e estrutura fatorial do instrumento mediante a estimulação do alfa de Cronbach, e o analise fatorial pelo método de extração de componentes principais. Resultados: Todos os instrumentos foram fatorizavéis. O alfa de Cronbach para material audiovisuais foi 0,687; a extração de eixos principais reportou quatro fatores. Para material impresso: alfa de Cronbach de 0,83; a extração de componentes principais atirou um só fator que explica o 45,1% da variância. No material sonoro se encontrou alfa de Cronbach = 0,73 e se extraíram três componentes principais. Para o material visual se encontra alfa de Cronbach = 0,66 com três componentes principais. Conclusões: os instrumentos desenhados pela OPS para avaliar material educativo constituem uma ferramenta confiável para avaliar os critérios de atração, entendendo, identificação e aceitação; se faz necessária profundeza no analise estrutural destes; não avaliam o critério de introdução à ação que outros autores referenciam.

Palavras Chave

Comunicação em saúde, educação em saúde, promoção da saúde, validez de as probas, materiais educativos.



INTRODUCCIÓN

El principal enfoque de la difusión de mensajes sobre cuidado de la salud, como componente de la atención primaria en las actividades de Salud Pública, es el cambio favorable en los determinantes de salud y equidad. Esta función comprende elementos clave, dentro de los cuales se enmarcan la educación para la salud y la comunicación social dirigida a mejorar las capacidades individuales y colectivas en torno a las prácticas de autocuidado en salud (1).

La educación en salud es un proceso que se encamina a propiciar cambios de conceptos, comportamientos y actitudes frente a la salud, a la enfermedad y al uso racional de los servicios de salud, reforzando conductas positivas. Idealmente, este proceso debe partir del trabajo compartido, que facilita al personal de salud y a la comunidad la identificación y el análisis de los problemas y la búsqueda de soluciones de acuerdo con contextos socioculturales específicos. Cuando la comunidad se involucra en actividades de salud, va ganando experiencias de participación y, por consiguiente, abre camino hacia otras formas de compromiso con su propio desarrollo (2,3).

En la Región de las Américas, a partir de la formulación de la meta Salud Para Todos en el año 2000, los organismos de salud se han empeñado en diseñar y proveer material educativo de diversos tipos en diferentes niveles. Algunos materiales se han originado a partir de experiencias participativas con la comunidad, mientras otros se han causado de las reparticiones de comunicación social de los respectivos servicios de salud. No obstante, no en todos los casos se puede corroborar que en estos procesos se han adelantado o estructurado mecanismos o criterios de normalización de la calidad y de relevancia para el material producido, en relación con programas educativos y de servicios. Hay pocas evidencias de que el material es sometido a prueba (pre-test) antes de su elaboración final y que su impacto educativo sea medido a través de un proceso de evaluación previamente planificado (3,4,5). Esta circunstancia ha llevado a la necesidad de estandarizar procedimientos para el diseño y prueba de materiales educativos, por lo cual la Organización Panamericana de la Salud (OPS) preparó una guía con el propósito de que sirviera para orientar el diseño, utilización y evaluación de material educativo, estableciendo unos criterios mínimos de control de calidad y efectividad. Esta guía se estructuró en 1984 y se encuentra como una publicación de la Organización Panamericana de la Salud.

El proceso de evaluación de la calidad del material educativo permite ampliar la probabilidad de éxito y eficiencia, ya que materiales inapropiados no sujetos a una valoración previa a su difusión podrían llevar a resultados no deseados, en particular, en la actitud y motivación de las personas hacia el cambio. Sin evaluación, muchas intervenciones ejecutadas con materiales educativos inapropiados resultarían ineficientes y alejadas del objetivo: el material impactaría de manera neutral o de manera incorrecta, debido a la probabilidad de trasmitir información inútil irrelevante o inapropiada, incentivaría mal, no motivaría, no tendría poder de convencimiento, no modificaría actitudes negativas, desafiaría innecesariamente tradiciones perdurables y podría no basarse en prácticas positivas ya existentes. Mediante la evaluación de la calidad se puede evitar buena parte de los errores cometidos en la elaboración de materiales y asegurar mejores niveles de entendimiento, identificación y percepción, entre otros aspectos (4,5).

Materiales escritos con propósitos educativos son utilizados diariamente en clínicas públicas y privadas, consultorios médicos, hospitales y centros de salud, en muchos casos sin una adecuada evaluación sobre su conveniencia para los pacientes, lo cual dificulta que el mensaje o la información llegue de manera adecuada y eficiente a los usuarios (6,7). Esta situación ocurre, por ejemplo, cuando la redacción de un texto resulta confusa o con elementos y artificios superfluos (8), o se utiliza un lenguaje demasiado técnico, distante de las necesidades de los destinatarios (9).

El estudio que se adelantó se propuso determinar algunos aspectos psicométricos referidos a la validez y confiabilidad de los instrumentos desarrollados por la OPS para evaluar la calidad y la efectividad potencial del material educativo; para este efecto se utilizaron materiales educativos elaborados por estudiantes de los programas de medicina y bacteriología de la Universidad de Boyacá, en el trascurso de las actividades prácticas de Salud Pública, durante el primer semestre del 2010, con miras a mejorar el diseño, la utilización y aportar al desarrollo efectivo de las actividades de educación para la salud, promoción y prevención.

MATERIALES Y MÉTODOS

Se adelantó un estudio metodológico de validez de escalas, centrado en la estimación de la validez de constructo y la consistencia interna de los instrumentos propuestos por la OPS para evaluación de material educativo en Guía APRA (3).

Se evaluaron cuatro formatos diseñados por la OPS anexos en la guía APRA, correspondientes a: evaluación de material audiovisual, material impreso, material sonoro y material visual. Para la evaluación de cada formato se calculó un tamaño de muestra según los criterios de Sánchez y Echeverri (10,11). Se consideró adecuado incluir 190 personas para la confiabilidad y el análisis factorial, dada la recomendación para el cálculo del tamaño de la muestra para estudios factoriales: incluir 100 pacientes o 5 sujetos, como mínimo, por cada ítem que compone la escala (18,19), así: audiovisual, n = 55; impreso, n = 45; sonoro, n = 45; visual, n = 45. Sin embargo, se logró alcanzar un número significativo de instrumentos diligenciados en la muestra de tres de los materiales analizados, así: material audiovisual, n = 74; material impreso, n = 116 y material visual, n = 71. Hubo limitaciones para alcanzar la muestra ideal en el análisis del instrumento de evaluación de material sonoro n = 37.

Siguiendo la guía APRA, durante el primer semestre de 2010 (enero a junio) los estudiantes diseñaron modelos de materiales educativos. Los productos educativos fueron sometidos a la consideración de personas usuarias/destinatarias de ellos, para que diligenciaran los correspondientes formatos proporcionados por la guía de la OPS.

Se aplicó la prueba de la medida de adecuación de la muestra de Kaiser-Meyer-Olkin (KMO), que indica que las variables miden factores comunes cuando el índice es superior a 0,5; posteriormente, se utilizó la prueba de esfericidad de Bartlett, que permite definir estadísticamente si la matriz de correlación es una matriz de identidad (12).

Se determinó la validez del constructo a través de análisis factorial: análisis de componentes principales y eje principal con y sin rotación varimax, dependiendo de los resultados que lo permitieran y la consistencia interna mediante el alfa de Cronbach. La factorabilidad, el análisis factorial y la valoración de la consistencia interna fueron procesados con el programa estadístico SPSS 11.5®.

RESULTADOS

Material audiovisual

El formato de la OPS para evaluar el material audiovisual está conformado por 11 criterios: sincronización entre imagen y sonido, elementos atractivos, síntesis, tema específico, comprensión, imágenes visibles, elementos sonoros, objetividad, elementos participativos, información concreta y duración. En una escala de 1 a 5 se califica el grado de cumplimiento del criterio, correspondiendo 5 a un cumplimiento total y 1 a incumplimiento; se anotan los totales con una calificación total máxima de 55 puntos; igualmente, la decisión para la evaluación se determina por los rangos de puntajes obtenidos: Usar como está (48-55 puntos), Necesita reformas (28-47 puntos), Rechazado (menos de 27 puntos).

Se consideró como material audiovisual un video con temática de salud, que miembros de la comunidad objeto sobre lactancia materna sometieron a prueba. La muestra poblacional estuvo conformada por 74 personas. Para el material audiovisual se realizó un análisis factorial con rotación varimax y extracción de eje principal, así como un análisis de fiabilidad con alpha de Cronbach.

Para el formato dirigido a evaluar el material audiovisual la medida de adecuación muestral Kaiser-Meyer-Olkin arrojó una estimación de 0,62; mientras que la prueba de esfericidad de Barlett tuvo una significancia menor de 0,000, lo que demuestra que la matriz de datos sí es factorizable.

El análisis exploratorio arrojó cuatro factores principales con rotación ortogonal varimax, los cuales explican el 52% de la varianza total; lo que indica un formato de prueba válido que permite discriminar cuatro factores principales: primero, involucramiento y aceptación de material (criterios 9,10,11); segundo, comprensión del mensaje (criterios 4,5,6,8); tercero, atracción (criterios 1,2); y cuarto, audio y síntesis del mensaje (criterios 3,7). Se identificó que cada uno de los factores se complementa para la obtención del puntaje final y que para mejorar su evaluación se debe realizar completamente sin separar ningún componente. Si bien podría considerarse un instrumento unidimensional, en la medida en que el primer factor explica el 22,8% de la varianza, se encuentra que no cumple con otros criterios de unidimensionalidad planteados en la literatura (13,14,15). El formato cuenta con una aceptable confiabilidad cuando se evalúa la consistencia interna, obteniéndose valor para el alpha de Cronbach de 0,687 y alpha estandarizado 0,70.

Material impreso

El formato de evaluación de material impreso consta de nueve criterios que se relacionan a continuación: tema específico, mensaje comprensible, ilustraciones, tamaño de la letra, elementos de síntesis, elementos que resaltan ideas importantes, gramática, información concreta y lenguaje acorde a la comunidad. En una escala de 1 a 5, se califica de acuerdo con el grado de cumplimiento de los criterios mencionados: 1 corresponde a incumplimiento y 5 indica cumplimiento total; calificación máxima de 45 puntos; la decisión está determinada por los rangos de puntajes obtenidos: Usar como está (40-45 puntos), Necesita reformas (21-39 puntos), Rechazado (menos de 20 puntos). Se consideró como material impreso un folleto en los que se desarrolla la temática de lactancia materna. La muestra de sujetos que evaluó el material estuvo conformada por 116 personas. Para el formato dirigido a evaluar material impreso la medida de adecuación muestral KMO arrojó una estimación de 0,85; la prueba de esfericidad de Barlett tuvo una significancia menor de 0,000, lo que demuestra que sí es factorizable. La evaluación de la consistencia interna del instrumento reflejó un alpha de Cronbach de 0,83. Posteriormente, se realizó un análisis exploratorio de componentes principales que extrajo un solo factor que explica el 45,1% de la varianza total, y se suspendió el análisis por cuanto un solo factor no se puede rotar. El componente identificado evalúa atractividad y entendimiento del mensaje; este formato es unidimensional, lo que indica que todos los criterios son necesarios para evaluar el material impreso.


Material sonoro

El formato de la OPS para evaluar el material sonoro comprende nueve criterios que comprenden: escucha apropiada, lenguaje, refuerzo del mensaje, atracción, un solo tema, música y efectos sonoros, objetividad del mensaje, elementos de participación y factibilidad de manejo por la comunidad. En una escala de 1 a 5 se califica el grado de cumplimiento del criterio, correspondiendo 5 a un cumplimiento total y 1 incumplimiento; se anotan los totales con una calificación total máxima de 45 puntos; igualmente, la decisión para la evaluación se determina por los rangos de puntajes obtenidos: Usar como está (40-45 puntos), Necesita reformas (21 - 39 puntos), Rechazado (menos de 20 puntos) (3). El material sonoro utilizado fue una cuña radial sobre el lugar donde se recibe asesoría en métodos anticonceptivos. En la evaluación participó un total de 37 personas.

Para el formato dirigido a evaluar el material sonoro la medida de adecuación muestral KMO fue de 0,57; la prueba de esfericidad de Barlett tuvo una significancia menor 0,000, lo que demuestra que es una matriz factorizable. Se identificaron tres componentes principales extraídos, con rotación varimax que explicaron el 67% de la varianza total. Los tres componentes principales se distribuyeron así: primero, atracción del mensaje (criterios 2,4,9); segundo, comprensión del mensaje (criterios 3,7); y tercero, claridad del mensaje (criterios 1,5,6,8). Es un instrumento unidimensional porque el primer componente explica el 37,5 de la varianza; el cociente entre la diferencia del primero y segundo factor dividido entre la diferencia entre el segundo y el tercer factor es mayor que 3 (8,58), y en el análisis de componentes de segundo orden solo se extrae un factor único. El formato cuenta con una fiabilidad alpha de Cronbach del 0,73; sin embargo, si se eliminan los criterios 6, 8 y 9, el alpha aumenta a un 0,79; esto indica que estos tres criterios pueden generar confusión en la evaluación, lo que podría estar relacionado con la estructura de la pregunta o el lenguaje utilizado.


Material visual

El formato para evaluar material visual esta conformado por nueve criterios: presenta tema específico, el tema se comprende fácilmente, los colores e imágenes contribuyen a resaltar el tema, el mensaje es objetivo, el mensaje no se presta a interpretaciones ambiguas, el material no contiene elementos innecesarios, el tamaño de sus elementos favorece una buena visualización, se puede transportar fácilmente, motiva la discusión. En una escala de 1 a 5 se califica el grado de cumplimiento del criterio, correspondiendo 5 a un cumplimiento total y 1 incumplimiento; se anotan los totales con una calificación total máxima de 45 puntos; igualmente, la decisión para la evaluación se determina por los rangos de puntajes obtenidos: Usar como está (40-45 puntos), Necesita reformas (21-39 puntos), Rechazado (menos de 20 puntos) (3). El material visual empleado en la valoración fue un afiche alusivos al consumo de cigarrillo. En la evaluación del mismo participaron 71 personas en total.

La medida de adecuación muestral de Kaiser-Meyer-Olkin arrojó una estimación de 0,59, mientras que la prueba de esfericidad de Bartlett tuvo una significancia menor de 0,001, lo que demostró que la matriz de datos sí es factorizable; se identificaron tres componentes principales extraídos sin rotación que explican un 66% de la varianza; los tres componentes principales se distribuyeron así: primero, temática y atracción (criterios 1, 2, 3, 4, 9); segundo, concreto y simple (criterios 5, 6); tercero, facilidad del mensaje (criterios 7, 8). Es un instrumento unidimensional porque el primer componente explica el 33,4 de la varianza. Al analizar el criterio 9, se puede considerar que se comporta como una pregunta de control que evalúa el componente temático durante la extracción y al retirarla, y cuando se realiza un nuevo análisis con rotación varimax, el instrumento con ocho preguntas logra explicar el 69% de la varianza. Sin embargo, se debe considerar el instrumento con nueve ítems. Se evidencia que el componente tres no es un elemento indispensable dentro del instrumento, pues explica solo el 13% de la varianza.

El formato cuenta con una confiabilidad alpha de Cronbach del 0,66; sin embargo, si se eliminan los criterios 5, 6, 7, 8 el alpha aumenta a un 0,79; esto indica que estos criterios generan confusión en la evaluación, y al analizar el instrumento con las preguntas 1,2,3,4,9 se evalúan colores e imágenes, comprensión del tema, especificidad del tema y objetividad del tema; además, se puede considerar que al tomar solo estos criterios hay una evaluación completa del material.

El análisis global de la consistencia interna de los cuatro instrumentos muestra una buena correlación de los diferentes ítems que componen cada instrumento. Sin embargo, desde la perspectiva estadística este criterio podría mejorar si se suprime alguno o algunos reactivos. La síntesis de los resultados del comportamiento de los valores alfa de Cronbach, si cada ítem es borrado, se muestra en la Tabla 5.


DISCUSIÓN

En salud pública interesa que el efecto de una intervención modifique el comportamiento social y psicológico. Por ello, se han diseñado modelos para medir el impacto de intervenciones psicosociales. Los enfoques de educación ubican los procesos de enseñanza y aprendizaje en entornos grupales que enfaticen sobre la necesidad de articular el aprendizaje con problemas significativos para adultos y su experiencia inmediata, con miras a que las acciones educativas cualifiquen y dignifiquen la calidad de vida de las personas (16).

La guía de OPS (3) es un medio de apoyo al personal de salud en la realización de su tarea educativa, y se realizó con la convicción de que la educación es más que la simple transmisión de información y de su memorización, ya que demanda una activa participación en un proceso de aprender haciendo. Sin embargo, el primer problema que surge es la diferencia que existe entre el grupo que elabora los materiales educativos y los usuarios de estos, quienes finalmente son los que llevarán a la práctica las actividades y propuestas contenidas en los materiales proporcionados; son pocos los estudios sobre la validación de los instrumentos desarrollados por la OPS para evaluar material educativo.

La necesidad de incrementar y refinar las estrategias de promoción de la salud y prevención de la enfermedad se asientan fundamentalmente en procesos estructurados de Educación en Salud, donde la información, capacitación y comunicación juegan un papel importante (6,16,17). Estos aspectos resaltan la importancia de diseñar y masificar materiales educativos; el propósito de la validación de los instrumentos no es encontrar la respuesta correcta, la verdadera meta es lograr el material más adecuado desde la perspectiva del usuario de la información; además, este estudio permitió identificar que los materiales de evaluación diseñados por la OPS tienen una adecuada fiabilidad cuando la evaluación es realizada por los usuarios, quienes finalmente son las personas a quienes va dirigido.

En un estudio similar adelantado sobre aceptación por expertos y legibilidad de material escrito y audiovisual (5), se utilizaron y evaluaron los formatos diseñados por la OPS para este material; y se encuentra que para el instrumento que evalúa material impreso existe una confiabilidad de 0,68. El análisis factorial del formato para evaluación de material impreso reportó tres componentes principales, a diferencia de lo reportado en nuestro estudio en donde el alfa de Cronbach fue 0,83 y solo se extrajo un componente principal; las diferencias pueden radicar en el tipo de muestra empleada, puesto que en el estudio mencionado se hizo una prueba con expertos en donde estaban incluidos profesionales del área de la salud, estudiantes de medicina, enfermería; en el estudio que reportamos la validación se realizó solo con usuarios de los materiales.

Respecto de la confiabilidad, es importante anotar que ella se expresa en tres atributos concretos, que son la objetividad, la reproducibilidad y la consistencia interna. Esta última mide el grado de correlación que hay entre los ítems que conforman un constructo o dimensión, de tal manera que ella puede expresarse en valores comprendidos entre -∞ y 1. Un resultado negativo no afecta sustancialmente la confiabilidad, acorde con el modelo Máxima validez - Máxima confiabilidad, donde el mejor alfa obtenido es resultado del contraste con el valor esperado (18).

La validación con los usuarios de los materiales permite obtener información más concreta, puesto que no es muy factible que, por ejemplo, un educador se identifique en el 100% con la perspectiva de un poblador, por más que se encuentre compenetrado con la comunidad; por ello, el agente de salud empeñado en diseñar material educativo deberá ante todo esforzarse por validar las características de calidad y efectividad de los materiales, por cuanto su interpretación personal de tales parámetros podría estar sesgada en la medida en que no se identifica a plenitud con la interpretación de la realidad de otras personas.

El proceso de validación de propuestas de materiales educativos debe partir idealmente del examen de los mismos por parte del grupo objetivo de los mismos, o por representantes típicos del mismo para adelantar la ponderación de cinco criterios: Atractividad, Entendimiento, Identificación, Aceptación e Inducción a la acción (5). Cuando se verifica en el análisis de componentes el peso de estos criterios en cada uno de los cinco modelos de instrumento propuestos por la OPS para evaluar materiales educativos, se encuentra que los instrumentos diseñados por la OPS permiten evaluar de manera más o menos nítida los primeros cuatro criterios, y no se puede evidenciar de manera objetiva que el criterio de inducción a la acción esté incluido los ítems de cada uno de los instrumentos.

La objetividad de la mayoría de campañas educativas que se diseñan en la actualidad está sujeta a una evidente dualidad en la interpretación: se encuentra el tipo de codificación de los mensajes aplicados por los educadores y el tipo de decodificación de los mensajes por aplicados los miembros de las comunidades a los cuales se dirigen (5). Con la perspectiva de considerar el papel que juega la comunicación en salud como herramienta para fomentar cambios en prácticas de salud, se podría tener en cuenta que las autoridades y entidades sanitarias, y los profesionales en el área de la salud, podrían estar diseñando un importante número de estrategias de comunicación sin evaluarlas en su calidad y poder de impacto o someterlas a validación; los resultados de este estudio permiten determinar que los instrumentos elaborados por la OPS tienen una confiabilidad aceptable y son una herramienta útil para mejorar el enfoque y el contenido, a la vez que permiten corregir posibles errores cometidos en la elaboración de materiales y asegurar mejores niveles de comprensión, identificación y percepción, entre otros aspectos.

Si bien en el estudio adelantado para evaluar la validez del constructo mediante el análisis factorial (14,15,19) a los instrumentos diseñados por la OPS para evaluar material audiovisual, sonoro y visual se extraen entre tres y cuatro componentes principales, podría, desde una perspectiva de integralidad de los mismos, considerárselos como unidimensionales (15), si se tiene en cuenta el porcentaje de varianza explicado por el primer factor extraído y el cumplimiento de otros criterios propuestos por la literatura especializada. Además, este primer factor o componente, en general, evalúa los aspectos de mayor interés en los materiales como son la atracción y entendimiento del tema o mensaje. Estos instrumentos resultan ser muy útiles para evaluar de manera cuantitativa la calidad del material educativo con un enfoque similar al de investigaciones de evaluación de material educativo y estrategias de información, educación y comunicación reportadas en la literatura (8,16,17), en la medida en que el uso de estos instrumentos permitiría una evaluación más objetiva y concreta.

A partir de los resultados generados en este estudio, se plantea la necesidad de realizar evaluaciones posteriores de los instrumentos de evaluación, modificando el lenguaje o eliminando los criterios que generan confusión por los términos utilizados y la interpretación ambigua del criterio; en el caso del material visual, realizar la evaluación utilizando solamente los ítems que integran el primer componente para verificar si la confiabilidad aumenta.

También podría surgir la inquietud de rediseñar o generar nuevos instrumentos de evaluación del material educativo a partir de las experiencias que podrían proporcionar los mecanismos empleados por la OPS en este proceso. Para futuros estudios es necesario realizar ajustes a la redacción de los criterios y adaptación cultural, puesto que la evaluación de estos materiales debe estar dirigida a poblaciones objetivo concretas (17,20).

CONCLUSIONES

Los instrumentos de evaluación de materiales educativos propuestos por la OPS pueden ser utilizados por los agentes de salud para la prueba y evaluación de calidad y probable eficacia en la medida en que al ser analizados registran consistencia interna aceptable, expresada en el alpha de Cronbach. Por demás, podrían ser mejorados en sus aspectos de redacción y enfoque para optimizar la validez arrojada en el análisis, lo que hace de ellos una herramienta útil para mejorar la evaluación de la calidad y pertinencia de los materiales educativos.

Dentro de los componentes que evalúan los instrumentos de la OPS no se hace evidente un criterio que permita identificar la evaluación de inducción a la acción; elemento esencial dentro de los fines de las estrategias de información, educación y comunicación social en salud; sin embargo, existen limitantes desde el punto de vista metodológico, puesto que no se conoce el fundamento teórico desarrollado por la Organización para la planeación de estos instrumentos.

Se hace necesario profundizar sobre la estructura factorial y otras propiedades psicométricas para ser empleados en estrategias de intervención en salud como herramientas de evaluación, en particular, se debe tener en cuenta el tipo de población así como los contextos culturales y socioeconómicos en que se aplica, para definir su real aplicabilidad y validez.



REFERENCIAS BIBLIOGRÁFICAS

1. Muñoz FL, Halverson P, Guerra de Macedo C, Hanna W, Larrieu M, et al. Las funciones esenciales de la salud pública: un tema emergente en las reformas del sector de la salud. Rev Panam Salud Pública 2000;8(1-2):126-34.         [ Links ]
2. Organización Panamericana de la Salud. Manual de técnica para una estrategia de comunicación en salud. Serie PALTEX para Tecnicos Medios y Auxiliares, editor. Washington, D.C: Oficina Sanitaria Panamericana, Oficina Regional; 1985.         [ Links ]
3. Organización Panamericana de la Salud. Guía para el diseño, utilización y evaluación de material educativo en salud. Serie PALTEX para Tecnicos Medios y Auxiliares, editor. Washington: Oficina Sanitaria Panamericana, Oficina Regional; 1984.         [ Links ]
4. Ziemendorff S, Krause A. Guía de Validación de Materiales Educativos: Con enfoque en materiales de Educación Sanitaria. Chiclayo: GTZ-OPS/CEPIS; 2003.         [ Links ]
5. Fernández AR, Manrique-Abril FG, Bautista Saavedra C. Aceptación por expertos y legibilidad de material escrito y audiovisual: Calidad y propiedades psicométricas. Investigaciones Andina 2010;12(21):100.         [ Links ]
6. Wilson F, Mood D, Risk J, Kershaw T. Evaluation of education materials using Orem's self-care deficit theory. Nursing Science Quarterly 2003;16(1):68-76.         [ Links ]
7. Barrio Cantalejo IM, Pablo SL, Carmona Rega I, Escalona Labella I, Molina A, Ayudarte ML. Opinión de los pacientes sobre la legibilidad de los folletos de Educación para la Salud. Index Enferm [Serie en línea] 2008 [citado 2010 Mar 02]; 17(4):236-40. Disponible en URL: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1132-12962008000400003&lng=es         [ Links ]
8. Rumbo JM, Arantón L, Goas UR, López N, Rivera P, Campos JM. Legibilidad de la documentación escrita en UCI. Neuquén: Federación Argentina de Cardiología; 2005. [citado 2011 Feb 28]. Disponible en URL: http://www.fac.org.ar/ccvc/llave/tl187/tl187.pdf         [ Links ]
9. Barrio I, Simón P, March J, Prieto M. Legibilidad gramatical de los prospectos de los medicamentos de más consumo y facturación en España en 2005. Rev Esp Salud Pública 2008;82(5):559-66.         [ Links ]
10. Sánchez R, Echeverri J. Validación de escalas de medición en salud. Rev Salud pública 2004;6(3):302-18.         [ Links ]
11. Streiner D. Figuring out factors: the use and misuse of factor analysis. Canadian Journal of Psychiatry 1994;39(3):135-40.         [ Links ]
12. Pett MA, Sullivan JJ. Making sense of factor analysis: The use of factor analysis for instrument development in health care research. London: Sage Publications, Inc; 2003.         [ Links ]
13. Schlaepfer L, Infante C. La medición en salud: perspectivas teóricas y metodológicas. Rev Salud Pública de México 1990;32(2):141-55.         [ Links ]
14. Wright BD. A Rasch unidimensionality coefficient. Rasch Measurement Transactions 1994;(8):385.         [ Links ]
15. Ferrando PJ. Evaluación de la unidimensionalidad de los ítems mediante análisis factorial. Psicothema 1996;8(2):397-410.         [ Links ]
16. Pacheco Coral AdP, Quiñones Pinzón ML, Serrato Pomar IM, Rivas Muñoz FA. Evaluación preliminar de la Estrategia de Información, Comunicación y Educación para el control del Aedes aegypti, en La Dorada, Colombia. Rev Salud Pública 2010;12(3):380-90.         [ Links ]
17. Peña J, Corredor M, Orozco L, Serrano M. Evaluación de un material educativo informatizado como herramienta para el aprendizaje del examen cardiovascular. Rev Informatica Educativa 1999;12(1):111-23.         [ Links ]
18. Tristan A. Estudio comparativo de diversos programas de calificación y análisis de reactivos objetivos. 2ª Reunión Regional de Evaluación Educativa; 2007. [Citado 2011 Abr]. Disponible en URL: http://www.ieia.com.mx/principal/descargas/pdf/atl0807.pdf         [ Links ]
19. Hattie J. Methodology Review: Assessing Unidimensionality of Tests and ltenls. Applied Psychological Measurement 1985;9(2):139.         [ Links ]
20. Freitas AAdS, Cabral IE. O cuidado à pessoa traqueostomizada: análise de um folheto educativo. Esc Anna Nery 2008;12(1):84-9.         [ Links ]

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License