ARTÍCULO ORIGINAL / ORIGINAL ARTICLE / ARTIGO ORIGINAL

Avaliação de processos educativos formais para profissionais da saúde

Evaluation of formal educational processes for healthcare professionals

Evaluación de los procesos educativos formales para los profesionales sanitarios

Eloá Otrenti¹; Vera Lúcia Mira²; Sarah Marília Bucchi³; Jairo Eduardo Borges-Andrade⁴

¹Enfermeira, Mestre. Escola de Enfermagem, Universidade de São Paulo – USP. São Paulo (SP), Brasil. email: eloaotrenti@usp.br.

²Enfermeira, Doutora. Professora, USP. São Paulo (SP), Brasil. email: vlmirag@usp.br.

³Enfermeira, Doutoranda USP. São Paulo (SP), Brasil. email: smbucchi@uol.com.br.

⁴Psicólogo, Doutor. Professor, Universidade de Brasília. Brasilia (DF), Brasil. email: jairo@unb.br.

Fecha de Recibido: Febrero 18, 2013. Fecha de Aprobado: Octubre 7, 2013.

Artículo vinculado a investigación: ''Avaliação de processos educativos formais para profissionais da saúde''.

Subvenciones: ninguna.

Conflicto de intereses: ninguno.

RESUMO

Objetivo. Analisar a produção científica sobre avaliação dos processos educativos formais para os profissionais sanitários. Metodologia. Revisão integrativa de literatura, na que foram revisadas as bases de dados BVS, Pubmed e Cochrane, com uma mostra final de 19 artigos em português, inglês e espanhol, publicados desde 2000 a julho de 2010, cujo tema de estudo foi a avaliação dos processos educativos formais para os profissionais da área da saúde e que estiveram disponíveis online ao menos o resumo. Resultados. Não se utiliza uma metodologia sistematizada para avaliar os processos educativos formais neste grupo de estudo. O foco de avaliação é principalmente a aprendizagem do participante, com pouco atendimento ao processo de ensino. Há ausência de avaliações sobre o impacto desta formação nas instituições e no usuário do sistema de saúde, com o que se pode incorrer no risco de reduzir o valor dos processos educativos formais. Conclusão. É importante que se avaliem integralmente os processos educativos formais nos profissionais por um tempo mais prolongado, com o fim de avaliar o impacto destes processos e de dispor de informação de sobre as necessidades de educação continue nessa povoação.

Palavras chaves: literatura de revisão como assunto; capacitação em serviço; recursos humanos de saúde.

ABSTRACT

Objective. Analyzing the scientific literature on the evaluation of formal educational processes for healthcare professionals. Methodology. Integrative literature review in which were reviewed the following databases: VHL, Pubmed and Cochrane. The final sample was composed of 19 articles in Portuguese, English and Spanish published from 2000 to July 2010. The subject of study was the evaluation of formal educational processes for health professionals, which had at least the abstract available online. Results. There is no use of a systematic methodology to evaluate the formal educational processes in this study group. The evaluation focus mainly on the learning of participants, with little attention to the teaching process. There are no evaluations on the impact caused by this type of training in institutions and users of the health system, which can incur the risk of reducing the value of formal education processes. Conclusion. A full evaluation of the formal educational processes for professionals during a longer time is important to assess the impact of these processes and provide information about the necessities of continuing education of this population.

Key words: review literature as topic; inservice training; health manpower.

RESUMEN

Objetivo. Analizar la producción científica sobre evaluación de los procesos educativos formales para los profesionales sanitarios. Metodología. Revisión integrativa de literatura, en la que fueron revisadas las bases de datos BVS, Pubmed y Cochrane, con una muestra final de 19 artículos en portugués, inglés y español, publicados desde 2000 a julio de 2010, cuyo tema de estudio fue la evaluación de los procesos educativos formales para los profesionales del área de la salud, y que, al menos, los resúmenes estuvieron disponibles online. Resultados. No se utiliza una metodología sistematizada para evaluar los procesos educativos formales en este grupo de estudio. El foco de evaluación es principalmente el aprendizaje del participante, con poca atención al proceso de enseñanza. Hay ausencia de evaluaciones sobre el impacto de esta formación en las instituciones y en el usuario del sistema de salud, con lo que se puede incurrir en el riesgo de reducir el valor de los procesos educativos formales. Conclusión. Es importante que se evalúen integralmente los procesos educativos formales en los profesionales por un tiempo más prolongado, con el fin de analizar el impacto de los mismos, así como disponer de información sobre las necesidades de educación continua en esta población.

Palabras clave: literatura de revisión como asunto; capacitación en servicio; recursos humanos en salud.

INTRODUÇÃO

O aumento dos investimentos em atividades educativas formais para profissionais de saúde tem reforçado a importância e necessidade de implementar estratégias avaliativas capazes de mostrar as informações indispensáveis para retroalimentação dos programas e, por conseguinte, melhorar a prática assistencial que é a finalidade precípua das atividades educativas na área da saúde. Para nomear os processos educativos formais para profissionais, encontramos uma grande diversidade de conceitos; por esse motivo, preferimos adotar nesse estudo o termo processos educativos formais abrangendo ações compostas por: Diagnóstico situacional (levantamento e análise de necessidades); Planejamento (elaboração, aprovação, execução) e Avaliação. Essa última etapa deve ser pensada como uma forma de medir a qualidade do ensino, devendo para tanto ser desmistificada para tornar-se importante instrumento de desenvolvimento.¹

A avaliação de treinamento pode ser definida como processo sistemático de levantamento de informações que podem aprimorar atividades educativas formais para profissionais. Sendo assim, os principais objetivos da avaliação de treinamento são controlar o processo, retroalimentar o sistema, tomar decisões sobre o treinamento e torná-lo capaz de promover modificações no ambiente.² Na literatura encontramos diversos modelos de avaliação de treinamento, os mais tradicionais avaliam apenas os resultados de treinamento ao passo que os mais recentes consideram também variáveis ambientais e características dos treinados, entre outras.³

Kirkpatrick propôs, em 1976, o primeiro modelo estruturado de avaliação, em quatro níveis: reações, aprendizagem, comportamento e resultados e sugeriu que os quatro níveis de avaliação propostos fossem sequenciais, lineares e fortemente correlacionáveis entre si; no entanto pesquisas^4-6 questionam esta relação.³ Hamblin⁷ acrescentou um nível ao modelo de Kirkpatrick, no entanto, o autor destaca que algumas vezes essa divisão pode não ser possível, por não apresentar limites claros. O Modelo de Avaliação Integrada e Somativa – MAIS é o mais utilizado no cenário nacional, composto por 5 itens: insumos, procedimentos, processos, resultados e ambientes.⁸

A equipe de enfermagem possui um grande número de profissionais, com diferentes níveis de formação, desempenhando diversas atividades laborais, variando de acordo com a instituição empregadora. Esses trabalhadores, em geral participam de diversas atividades educativas, muitas vezes não relacionadas diretamente às suas necessidades ou interesses. Reconhecendo a importância de avaliar atividades educativas formais e considerando sua inegável complexidade, compreendemos que o primeiro passo para propor uma estratégia de avaliação eficiente é conhecer o que já foi produzido nesse sentido. Sendo assim, os objetivos desse estudo foram analisar a produção científica publicada sobre avaliação de processos educativos formais de profissionais da área da saúde e analisar as características dos instrumentos de avaliação de processos educativos formais para profissionais da saúde encontrados na revisão de literatura.

METODOLOGIA

Para alcançar os objetivos propostos, utilizamos a Revisão Integrativa de Literatura, método pelo qual pesquisas primárias são analisadas para elaboração de uma síntese do conhecimento produzido sobre o tema investigado; é bastante útil quando há poucas pesquisas sobre determinado assunto⁹ pois ao localizar e integrar o produzido por diversos autores sobre determinado tema, a revisão integrativa possibilita identificar em qual estágio está o conhecimento produzido ou até mesmo elucidar assuntos não solucionados. Entre os autores pesquisados^10-16 encontramos relativa diversidade de fases utilizadas para elaborar uma revisão integrativa de literatura. Neste estudo de revisão, optamos por adotar sete etapas, estabelecidas tendo como base essa diversidade de referências ora citadas: I) Identificação do problema e definição da questão de pesquisa da revisão; II) Definição dos critérios de inclusão e exclusão dos artigos; III) Revisão bibliográfica, IV)

Definição das informações a serem extraídas dos estudos revisados; V) Análise dos estudos incluídos na revisão integrativa; VI) Discussão e interpretação dos resultados; VII) Síntese do conhecimento. Nessa revisão integrativa, formulamos a seguinte questão: Como são avaliadas as atividades educativas formais para profissionais da saúde? O problema que disparou essa questão foi a escassez de material produzido sobre o tema, principalmente na área da saúde e principalmente a necessidade de discutir essa temática. Os critérios de inclusão dos artigos selecionados para a presente revisão integrativa foram: Idioma (português, inglês e espanhol); Período de publicação (de 2000 a julho de 2010); Objeto de estudo ( avaliação de atividades educativas formais para profissionais da área da saúde); Disponibilidade (resumo online com acesso gratuito). Como critérios de exclusão, adotamos os seguintes: Publicações em forma de dissertações, teses, monografias, livros e relatórios; abordagem de ações educativas para acadêmicos ou usuários de serviços de saúde; revisões de qualquer estilo, bibliográficas, integrativas, metanálise ou metassíntese, por impossibilitar o preenchimento do instrumento de coleta de dados.

Para seleção dos artigos que atendiam os critérios de inclusão, realizamos leitura exaustiva do título e do resumo de cada estudo, a fim de verificar se respondiam à questão de pesquisa. Em seguida, os artigos incluídos foram acessados na íntegra para o preenchimento do instrumento. Nessa etapa, utilizamo-nos dos critérios de exclusão. O levantamento dos artigos foi realizado entre maio e julho de 2010. O levantamento dos artigos foi realizado na Biblioteca Virtual em Saúde – BVS. Essa biblioteca concentra diversos bancos e bases de dados, entre eles o Medical Literature Analysis and Retrieval Sistem online - MEDLINE, Literatura Latino-Americana e do Caribe em Ciências da Saúde - LILACS e Biblioteca Cochrane, que foram utilizados na presente revisão integrativa.

Os artigos na íntegra foram acessados por meio do Portal de Serviços SIBI-USP, que disponibiliza para a comunidade USP títulos eletrônicos a partir de equipamentos existentes na Universidade. As estratégias de busca foram adaptadas para cada base, considerando as peculiaridades de cada uma, mantendo sempre a questão de pesquisa da revisão integrativa e os critérios de inclusão e exclusão. Sendo assim, foi possível manter a coerência do material selecionado. Para a busca dos artigos, nas bases de dados selecionadas, utilizamos os Descritores em Ciências da Saúde - DeCS: capacitação em serviço, educação continuada, treinamento, desenvolvimento, estudos de avaliação como assunto, equipe de assistência ao paciente, avaliação educacional, avaliação de programas.

Para busca na biblioteca Cochrane, as estratégias precisaram ser adaptadas; para isso utilizamos os termos staff development, continuing education, program evaluation. Também foi realizada busca no Pubmed, biblioteca virtual que agrega o MEDLINE, revistas de ciências da vida e livros. Como essa foi a última base a ser pesquisada, nenhum artigo foi mantido, conforme descrito adiante. Mesmo não se tratando de um descritor, realizamos a busca com o termo educação permanente, considerando o uso significativo na literatura nacional. Esse foi o único termo utilizado, não indexado no DeCS. Ao final da busca e seleção, incluímos 19 artigos, que foram analisados detalhadamente para a presente revisão integrativa. Após leitura dos artigos e definição dos incluídos, realizamos o preenchimento do instrumento de coleta de dados dos artigos selecionados que contempla base de dados de origem; identificação do estudo e dos autores, referência bibliográfica; problema/hipótese ou questão de pesquisa; objetivos; método; resultados; conclusões; recomendações; instrumento de avaliação do processo educativo utilizado no estudo incluído.

A análise dos estudos incluídos, como na pesquisa primária, deve ser crítica e buscar resposta à questão de pesquisa, sustentada por um referencial teórico. Em alguns estudos, o tipo de estudo adotado não estava claro, sendo necessário o uso de um referencial bibliográfico único para nomear os desenhos metodológicos encontrados na revisão. ¹⁷

Para classificar os objetivos de avaliação dos estudos por um nível de avaliação reconhecido na literatura, optamos por usar o referencial de Hamblin.⁷ Aqui se faz importante definir cada nível e o que é avaliado em cada um deles. O nível de Reação diz respeito à opinião do treinando sobre a intervenção educativa, nessa etapa são avaliados o desempenho do facilitador e do aluno, a infraestrutura do local, o relacionamento entre professor e aluno e entre os treinandos, interesse no aprendizado, entre outras tantas variáveis. Em Aprendizagem, segundo nível, o foco está na ampliação ou mudança no conhecimento após o treinamento, para isso, em geral, são utilizados testes cognitivos para mensurar o que foi aprendido após a intervenção. Quanto ao nível de Comportamento no Cargo, busca averiguar se ocorreram mudanças na rotina de trabalho após o treinamento. Organização e Valor Final buscam mensurar efeitos mais estruturais junto à instituição onde os trabalhadores foram treinados, sendo que valor final se preocupa, principalmente, com a relação entre custos e benefícios da ação educativa.

Apesar desse modelo ser antigo, é o mais usado internacionalmente. Outras variáveis precisam ser consideradas ao avaliar um processo educativo formal para profissionais; para isso, existe o Modelo de Avaliação Integrado e Somativo - MAIS, que propõe que os seis componentes, Necessidades, Insumos, Procedimentos, Processos, Disseminação e Suporte predizem dois outros componentes, Resultados imediatos e Resultados a longo prazo.⁸ Por se tratar de uma revisão de literatura, sem envolver seres humanos, esse estudo não foi avaliado por um Comitê de Ética em Pesquisa. Também é importante mencionar que não houve conflito de interesses entre os autores.

RESULTADOS

Com relação ao ano de publicação, não percebemos concentração em nenhum período específico. Quanto à formação do primeiro autor, poucos periódicos apresentaram essa informação, sendo que em apenas oito artigos (42.1%), foi possível identificar a área de atuação do primeiro autor. Destes, quatro eram professores sendo que um destes também era supervisor de enfermagem. Buscamos também a instituição do primeiro autor, informação presente em todos os artigos incluídos na revisão integrativa, sendo que, nove artigos (42.1%) foram realizados por profissionais de universidades, sete (36,8%) foram elaborados por trabalhadores de hospitais. Os outros três estudos foram realizados por profissionais atuantes em programas de saúde, centro de gerenciamento e departamentos de saúde. O problema ou questão de pesquisa do estudo e hipótese foram encontrados explicitamente em apenas quatro estudos (21%).

No que se refere à característica metodológica, oito (42,1%), dos 19 estudos avaliados traziam o desenho ou delineamento de estudo descrito explicitamente. Os outros 11 (57.9%), foram classificados pelo revisor conforme o referencial escolhido.¹⁷ Dos artigos selecionados, dezesseis (84.2%) apresentavam abordagem metodológica quantitativa e outros três (15.8%) utilizaram-se da abordagem quali-quantitativa. Encontramos nove estudos (52.6%) com delineamento não experimental, oito (42.1%) de caráter experimental e dois (10.5%) quase experimental.

Quanto ao local onde a pesquisa foi realizada, houve predominância de instituições hospitalares (47,4%), seguido de unidades básicas de saúde (15.8%) e serviços de saúde como centros médicos (15,8%). Encontramos também estudos realizados em serviços de home care, atendimento de saúde mental e pré hospitalar, casas de repouso para idosos, todos com apenas uma menção (5.2%). Dos dezenove artigos selecionados, seis (31.6%) foram realizados nos Estados Unidos da América; Brasil, Austrália e Canadá sediaram dois (10.5%) estudos cada. Azerbaijão, Holanda, Irlanda, Reino Unido, Paquistão, Taiwan, e Uganda tiveram um estudo cada. Os objetivos das avaliações das ações educativas descritos nos estudos foram agrupados conforme os níveis de avaliação de Hamblin,⁷ como apresentado na Tabela 1.

Tabela 1. Categorização dos objetivos de avaliação dos estudos revisados, segundo níveis de avaliação de Hamblin

Tabela 1.

Apenas um estudo avaliou o impacto do processo educativo, mensurando a mudança na assistência prestada, finalidade precípua das ações educativas na saúde. Impacto é a avaliação da transferência do conteúdo aprendido em treinamento para a prática de trabalho.¹⁸ Já a medida de eficácia busca compreender se o processo educativo contribuiu para aumentar o conhecimento do profissional.

Os 19 artigos incluídos foram agrupados em dois temas, de acordo com o foco da avaliação: processo de ensino e resultado final. Apenas dois voltaram parte da atenção para o processo de ensino, mas ainda assim, também avaliaram eficácia. Com relação ao instrumento de avaliação, inicialmente agrupamos os estudos em três categorias: onze descrevem o instrumento (57.9%), seis não descrevem o instrumento (31.6%) e dois apresentam o instrumento em anexo (10.5%). As informações descritas sobre o instrumento referiam-se ao número e conteúdo das questões; tipo de questões, abertas ou fechadas; se era necessário identificação do treinando e em que momento o instrumento era entregue.

Com relação ao tipo de questão utilizada, questões de múltipla escolha foram utilizadas em seis estudos. Seis estudos se valeram de questões dissertativas e de múltipla escolha. Apenas um estudo utilizou-se de entrevista com os participantes do treinamento. A escala Likert foi mencionada em oito estudos, em dois deles foi a única estratégia utilizada, em três esta escala foi combinada com questões de múltipla escolha. Em outras duas pesquisas, foi combinada com questões dissertativas. Por fim, um estudo realizou uma observação sistematizada somada à escala. Quanto aos métodos de treinamento e tipos de intervenção, na presente revisão, todos os artigos apresentaram ações educativas grupais. Quanto às estratégias, quando possível identificar, encontramos palestras, leitura e discussão de textos, oficinas, role-playing, exercícios.

DISCUSSÃO

Acreditamos que gestores de enfermagem possam se beneficiar dos resultados encontrados para nortear as ações educativas a serem planejadas e aplicadas à equipe de enfermagem, a despeito de o presente estudo não ter como objetivo conhecer ações educativas formais específicas para a estes profissionais. O primeiro nível de avaliação, reação, foi realizado em sete estudos. Neste nível podem ser avaliados o instrutor, o conteúdo, o atendimento às necessidades individuais e coletivas de treinamento, a estrutura física e a participação do sujeito. Em todos estes estudos, esse nível foi combinado com outro; seis combinaram a avaliação de reação com aprendizagem. A aquisição de conhecimento cognitivo, ou seja, a aprendizagem foi medida em 14 estudos. A mudança de comportamento após a ação educativa foi avaliada em onze estudos. Dois estudos mostraram estratégias para avaliar o efeito do treinamento no contexto organizacional.

A utilização das avaliações da aprendizagem e da satisfação oferece resultados importantes, no entanto, constitui-se em um uso restrito das ferramentas de avaliação de ações educativas, e insuficiente para subsidiar mudanças que supram as necessidades do indivíduo, organização e usuário. Não basta olhar para a satisfação do treinando e para a aquisição de conhecimento, é preciso investigar o quanto esse novo conhecimento é aplicado no trabalho e o que isso impacta nos resultados institucionais e na assistência prestada ao usuário do sistema de saúde.

As avaliações de conhecimento pré treinamento poderiam ser utilizadas também como um diagnóstico de necessidades de treinamento. No entanto, essa prática não é comum, ou pelo menos não é relatada na literatura pesquisada. É recomendável avaliar em todos os níveis, avançando em relação à avaliação de satisfação e aprendizagem, somente assim seria possível mensurar os efeitos das ações educativas para profissionais. A análise econômica é outro aspecto importante a ser considerado na avaliação dos programas educativos.

Quanto aos termos adotados pelos autores dos artigos selecionados, para se referir às ações educativas formais para profissionais, encontramos uma grande diversidade. Em nenhum dos estudos foi possível perceber o uso de uma determinada palavra para definir um tipo específico de ação educativa para profissionais. Consideramos que é importante adotar um referencial teórico para nortear as ações educativas formais para profissionais da saúde e urgentemente desmistificar alguns conceitos e estratégias adotados. Disso também depende o tipo de avaliação a ser empregada.

Quando observamos o público treinado, encontramos 7 estudos que realizaram ação educativa com duas ou mais categorias profissionais. Realizar treinamentos em equipe multidisciplinar é uma das principais características da Educação Permanente em Saúde (PNEPS) que aborda ''a equipe e o grupo como estrutura de interação, evitando a fragmentação disciplinar''.¹⁹ É importante levar em consideração o processo de ensino adotado para adultos. O referencial da andragogia reforça as diferenças do processo de ensino-aprendizagem de adultos; para esses, devem ser utilizadas estratégias diferenciadas, que considerem os conhecimentos prévios e que possibilitem intensa correlação com o trabalho cotidiano. O adulto aprende mais quando atribui significado concreto ao objeto ensinado. A PNEPS propõe o uso de metodologia de aprendizagem significativa e problematizadora, que promove transformações nas relações e nas práticas de saúde.¹⁹

A implementação efetiva de estratégias de avaliação de ações educativas formais para profissionais da saúde encontra algumas barreiras, entre elas sobrecarga de trabalho; insegurança quanto à avaliação, como eventual forma de punição; avaliação negativa da instituição. Algumas características organizacionais também podem afetar a implementação das habilidades e conhecimentos adquiridos em treinamento. Mudanças organizacionais também podem ser necessárias para que os profissionais possam aplicar os conhecimentos. Esses aspectos constituem-se em variáveis intervenientes no processo avaliativo. Adotar delineamentos de pesquisa mais rigorosos, como os experimentais, pode auxiliar na elucidação das variáveis envolvidas no processo educativo formal para profissionais e na identificação das variáveis preditoras de aprendizagem e impacto; assim seria possível compreender os determinantes do sucesso de uma ação educativa. É indispensável a adoção de um referencial teórico e metodológico para nortear a elaboração e validação dos instrumentos e técnicas de avaliação, o que tornará possível comparar resultados de distintos processos educativos, a fim de analisar e buscar as melhores práticas.

Com a análise dos resultados foi possível perceber a importância de acompanhar os profissionais treinados por um tempo prolongado, não apenas no sentido de captar a retenção do conhecimento, mas também fornecendo suporte em caso de eventuais dúvidas que surjam na rotina de trabalho. Desse modo, é possível reforçar o conhecimento e proporcionar ações educativas continuadas e de acordo com as necessidades dos profissionais. É importante realizar avaliações de processos educativos formais para profissionais periódica e sistematicamente, sem o que incorremos no risco de reduzir o valor do treinamento, perpetuando ações educativas isoladas e equivocadas.

REFERÊNCIAS