SciELO - Scientific Electronic Library Online

 
vol.34 issue1Classification tree for the assessment of sedentary lifestyle among hypertensiveRelationship between wellness and sociodemographic characteristics of caregivers of people with cancer author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Investigación y Educación en Enfermería

Print version ISSN 0120-5307

Invest. educ. enferm vol.34 no.1 Medellín Jan./Apr. 2016

https://doi.org/10.17533/udea.iee.v34n1a14 

ARTÍCULO ORIGINAL / ORIGINAL ARTICLE / ARTIGO ORIGINAL

 

doi:10.17533/udea.iee.v34n1a14

 

Construção e validação de objeto virtual de aprendizagem sobre estomas intestinais de eliminação

 

Construction and validation of a virtual learning object on intestinal elimination ostomy

 

Construcción y validación de un objeto virtual de aprendizaje sobre estomas intestinales de eliminación

 

Cecílio Soares Rodrigues Braga1;Elaine Maria Leite Rangel Andrade2; Maria Helena Barros Araújo Luz3; Ana Karine da Costa Monteiro4; Moniki de Oliveira de Oliveira Barbosa Campos5; Fernanda Michelle Santos e Silva6; Francisca das Chagas Cunha Gonçalves Neta7; Ana Maria Ribeiro dos Santos8 Antonio Francisco Machado Pereira9

 

1Enfermeiro. Residente Multiprofissional em Saúde, Universidade Federal do Piauí -UFPI-, Brasil. email: csrb_8@hotmail.com

2Enfermeira, Doutora. Professora, UFPI, Brasil. email: elairgel@gmail.com

3Enfermeira, Doutora. Professora, UFPI, Brasil. email: mhelenal@yahoo.com.br

4Enfermeira, Mestre. Hospital Getúlio Vargas, Brasil. email: karinemonteiro2006@hotmail.com

5Enfermeira, Mestre. Professora, Faculdade NOVAUNESC, Brasil. email: monikibarbosa@hotmail.com

6Enfermeira. Residente Multiprofissional em Saúde do idoso, Hospital das Clínicas da Universidade Federal de Minas Gerais, Brasil. email: fmss.fernanda@gmail.com

7Enfermeira. Mestranda, Universidade Federal de Minas Gerais, Brasil. email: franciscaneta20@hotmail.com

8Enfermeira, Doutora. Professora, UFPI, Brasil. email: ana.mrsantos@gmail.com

9Enfermeiro. Mestre. Professor, UFPI, Brasil. email: machado@ufpi.edu.br

 

Fecha de Recibido: Febrero 22, 2015. Fecha de Aprobado: Septiembre 1, 2015.

 

Artículo vinculado a investigación: Objetos virtuais de aprendizagem sobre estomia.

Subvenciones: CNPq.

Conflicto de intereses: Ninguno.

Cómo citar este artículo: Braga CSR, Andrade EMLR, Luz MHBA, Monteiro AKC, Campos MOOB, Silva FMS, et al. Development and validation of a virtual learning object on intestinal elimination ostomy. Invest Educ Enferm. 2016; 34(1): 120-127

 


RESUMO

Objetivo.Construir e validar um objeto virtual de aprendizagem (OVA) sobre estomas intestinais de eliminação. Métodos. Pesquisa aplicada, descritiva e quantitativa. Em 2014 participaram oito Estomaterapeutas e oito especialistas em Informática. O OVA contemplou quatro etapas: i) planejamento, ii) construção do OVA e mudanças dos conteúdos; iii) desenvolvimento da dinâmica, e iv) conclusão e análise. O OVA foi inserido no ambiente virtual de aprendizagem Moodle. Realizou-se a validação ergonômica e pedagógica do OVA. Resultados. Os especialistas apreciaram satisfatoriamente o OVA, o acordo de especialistas pontuou-se entre a boa concordância a concordância plena. Conclusão. O OVA sobre estomas intestinais de eliminação é uma ferramenta que pode ser implementada no Curso de Graduação em Enfermagem e nos programas de educação permanente para enfermeiros na prática clínica, contribuindo significativamente a melhorar a competência teórica necessária para o cuidado de pessoas estomizadas de forma segura, com qualidade e possibilitando o autocuidado.

Palavras chave: : estomia; educação a distância; tecnologia educacional; enfermagem.


ABSTRACT

Objectives.To construct and validate a virtual learning object (VLO) on intestinal elimination stoma. Methods. Applied, descriptive and quantitative study. In 2014, eight stoma therapists and eight experts in computer science took part of the research. The VLO included four steps: i) planning, ii) construction of VLO and changes of content; iii) development of dynamic, and iv) conclusion and analysis. The VLO was inserted into the Moodle virtual learning environment. The ergonomic and pedagogical validation of the VLO was performed. Results. The experts appreciated the VLO satisfactorily, and scored it between good and full agreement. Conclusion. The VLO on intestinal elimination stoma is a tool that can be implemented at undergraduate programs in nursing and continuing education programs for nurses in clinical practice, contributing significantly to improve the theoretical skills necessary for the care of ostomized people safely, with quality and enabling self-care.

Key words: ostomy; distance education; educational technology; nursing.


RESUMEN

Objetivo.Construir y validar un Objeto Virtual de Aprendizaje (OVA) sobre estomas intestinales. Métodos. Investigación aplicada, descriptiva y cuantitativa. En 2014 participaron ocho estomaterapeutas y ocho especialistas en informática. El OVA contempló cuatro etapas: i) planeación, ii) construcción del OVA y cambios de los contenidos, iii) desarrollo de la dinámica, y iv) conclusión y análisis.  El OVA se añadió al ambiente virtual de aprendizaje Moodle. Se realizó la validación ergonómica y pedagógica del OVA. Resultados. Los especialistas apreciaron satisfactoriamente el OVA; de hecho,  el acuerdo de expertos se puntuó entre la buena concordancia a la concordancia plena. Conclusión. El OVA sobre estomas intestinales es una herramienta que puede ser implementada en el Curso de Graduación de Enfermería y en los programas de educación permanente para enfermeros en la práctica clínica, contribuyendo significativamente a mejorar la competencia teórica necesaria para el cuidado de personas estomizadas de forma segura, con calidad y posibilitando el autocuidado.

Palabras clave: estoma; educación a la distancia; tecnología educacional; enfermería.


 

INTRODUÇÃO

O aumento da expectativa de vida e a exposição da população mundial ao tabagismo, sedentarismo, alimentação não saudável e álcool, contribuíram significativamente para o maior risco de desenvolvimento de doenças crônicas não transmissíveis (DCNT).1 No Brasil, as DCNT são responsáveis por 72% dos óbitos, destacando-se entre elas o câncer (16.3%). Estimativas apontam a ocorrência de aproximadamente 518 510 novos casos de câncer, sendo que desses 14 180 serão de câncer do cólon e reto em homens e 15960 em mulheres. Esses valores correspondem a um risco estimado de 15 casos novos a cada 100 mil homens e 16 a cada 100 mil mulheres. No estado do Piauí, região Nordeste do Brasil, essa estimativa é de 4.96 casos para cada 100 mil homens e 3.48 a cada 100 mil mulheres, representando 33% e 21%, respectivamente, da estimativa nacional.1,2

O câncer colorretal é a causa mais comum de confecção de estomas de eliminação intestinal (colostomia ou ileostomia), seguido do trauma, doenças inflamatórias do intestino, polipose adenomatosa familiar e processos inflamatórios agudos tais como a diverticulite.3 As estomias intestinais (colostomia e ileostomia) são resultantes de intervenções cirúrgicas que podem ser realizadas, tanto no intestino grosso como no delgado e consistem na exteriorização de um segmento intestinal, através da parede abdominal, criando uma abertura artificial denominada estoma para a saída de fezes e flatos.4 No Brasil, cerca de 33.864 pessoas são estomizadas e a Portaria 400/09, que trata da atenção à saúde dessa clientela, destaca a promoção da educação de profissionais sobre essa temática em todos os níveis de atenção à saúde para adequada assistência às pessoas com estomias.4,5 Nesse contexto, o enfermeiro encontra na prática clínica pessoas que possuem estomas intestinais de eliminação devendo, portanto, ser capaz de assistir essa clientela, fortalecendo o seu autocuidado e a sua reinserção na sociedade. Mas, estudos apontam a falta de conhecimento entre os enfermeiros sobre estomas intestinais de eliminação, devido principalmente à formação insuficiente em relação à temática na graduação e a inexistência de programas de educação permanente após se formarem.6-8

A literatura destaca os Objetos Virtuais de Aprendizagem (OVAs) que são "todo o tipo de mídia utilizada no processo de ensino e aprendizagem a distância (vídeos, áudios, fóruns de discussão, ambientes simulados, entre outros"9 como uma estratégia eficaz para apoiar o ensino de alunos de graduação e enfermeiros da prática clínica e até mesmo para aumentar o envolvimento do cliente no autocuidado do estoma.10-14 No cenário internacional, muitos autores já reportaram o uso dos OVAs no ensino de clientes, estudantes de enfermagem e enfermeiros da prática clínica sobre estomas intestinais de eliminação.8,13,15 No Brasil, nenhum estudo utilizou os OVAs para o ensino dessa temática, sendo portanto necessárias pesquisas dessa natureza.A realização dessas pesquisas apoiadas em diretrizes que norteiam o cuidado e o tratamento de pessoas estomizadas3,16,17 poderão aumentar o conhecimento de estudantes de enfermagem e enfermeiros da prática clínica sobre a temática, melhorar a assistência de enfermagem no período perioperatório das estomias intestinais de eliminação, diminuir as complicações precoces e tardias e incentivar o autocuidado do cliente. E além disso. a difusão desse conhecimento por meio dos OVAs tornará o aprendizado mais autônomo e sem interferências geográficas ou temporais. Frente ao exposto, a questão de pesquisa deste estudo foi: Qual a avaliação de especialistas em Estomaterapia e Informática em relação a um objeto virtual de aprendizagem sobre estomas intestinais de eliminação? Para responder esta questão, este estudo teve por objetivo construir e validar um objeto virtual de aprendizagem sobre estomas intestinais de eliminação.

 

 

METODOLOGIA

Pesquisa aplicada, descritiva e quantitativa realizada no período de dezembro de 2013 a fevereiro de 2014, por membros do Grupo de Estudo Pesquisa e Extensão em Estomaterapia e Tecnologia (GEPEETEC) de uma Universidade pública e pelo Núcleo de Educação a Distância (NEAD) de um Centro Universitário privado, ambos no Piauí, região Nordeste do Brasil. Em conformidade com a Resolução do Conselho Nacional de Saúde 466/2012, que trata das diretrizes e normas regulamentadoras de estudos envolvendo seres humanos, esta pesquisa teve aprovação de um Comitê de ética (Protocolo n◦ 17831113.4.0000.5214). Para construção e validação do Objeto Virtual de Aprendizagem (OVA) foram utilizadas as etapas de Planejamento (Etapa 1); Construção/Transformação dos Conteúdos (Etapa 2); Desenvolvimento da Dinâmica (Etapa 3) e Conclusão e Análise (Etapa 4).16

Na Etapa 1, foram definidos título; objetivos; conteúdos; cronograma; ferramentas de interação síncronas e assíncronas; método de avaliação e público-alvo. Na Etapa 2, um webmaster do NEAD criou o OVA que foi hospedado no ambiente virtual de aprendizagem (AVA) do Moodle. Após, os professores e os alunos de Graduação e Pós-Graduação em Enfermagem construíram os conteúdos considerando as recomendações das Diretrizes internacionais para o cuidado e tratamento de clientes com estomia,17,18 inseriram este conteúdo no AVA, realizaram os testes de acesso e inscreveram os especialistas em Estomaterapia e Informática que fariam a validação do OVA. Na Etapa 3, o OVA foi disponibilizado para os especialistas em Estomaterapia e Informática. E, na Etapa 4, oito especialistas em Estomaterapia que tinham pelo menos um ano de experiência na área e oito em Informática que tinham pelo menos graduação realizaram as validações ergonômicas (adequação da integração das mídias, funcionamento de links, forma de visualização e grau de liberdade de navegação). Somente os especialistas em Estomaterapia realizaram as validações pedagógicas (adequação dos objetivos e conteúdo propostos ao público-alvo), por possuírem domínio do conteúdo.

Para realizarem a validação os especialistas receberam por e-mail carta convite. Termo de Consentimento Livre e Esclarecido (TCLE), instrumento de caracterização e de validação ergonômica e pedagógica adaptado da literatura.19,20 O instrumento de validação ergonômica contemplava 23 itens. Doze relacionados à navegação, seis a legibilidade, quatro a mídias e um a impressão. Já o instrumento de validação pedagógica contemplava 19 itens. Dezessete relacionadas ao conteúdo e dois aos objetivos. Para cada um dos itens o especialista deveria selecionar uma resposta considerando a seguinte escala: 1= discordo plenamente, 2=discordo, 3= concordo, 4= concordo plenamente. Na escolha dos valores (1) e (2) deveria incluir justificativa. Após darem sua anuência por meio do TCLE assinado, foram inscritos no Moodle e Nome de usuário e senha de acesso ao AVA foram enviados para eles por e-mail. Ao término da validação deveriam retornar via e-mail para o pesquisador como instrumento respondido. Os dados obtidos das validações foram codificados para elaboração de um dicionário de dados. Após, transcritos com o processo de dupla digitação, utilizando-se planilhas do aplicativo Microsoft Excel. Uma vez corrigidos os erros os dados foram exportados e analisados no programa SPSS versão 18.0. Estatísticas descritivas do tipo frequências, porcentagens, médias e desvio padrão foram calculados.

 

 

RESULTADOS

O objeto virtual de aprendizagem

O OVA, intitulado Estomas intestinais de eliminação, foi disponibilizado no endereço eletrônico: http://ead.uninovafapi.edu.br e organizado em sete Unidades. Duas Unidades foram introdutórias (ambientavam e apresentavam para o público-alvo: tutores, objetivos, conteúdos, cronograma de atividades, ferramentas de interação e métodos de avaliação do OVA) e as demais tratavam dos seguintes conteúdos: anatomia e fisiologia do sistema digestório, aspectos conceituais dos estomas de eliminação, assistência de Enfermagem no período perioperatório dos estomas intestinais de eliminação, complicações precoces e tardias, direitos dos estomizados e procedimento de troca do equipamento coletor.
Todas as Unidades tinham a mesma estrutura: conteúdo, objetivos, vídeos, material instrucional, fóruns de discussão e exercícios HotPotatoes do tipo palavras cruzadas.Hot Potatoes, software livre, possibilita a criação de exercícios interativos para World Wide Web (web).

Tabela 1.

Validação do OVA sobre estomas intestinais de eliminação

Participaram da validação 16 (100%) especialistas, sendo 8 (50.0%) em Informática e 8 (50.0%) em Estomaterapia. Dos especialistas, 9 (56.3%) era do sexo masculino, com idades entre 25 e 61 anos. Em relação à titulação 5 (31.3%) eram doutores, 4 (25.0%) mestres, 4 (25.0%) especialistas e 3 (18.75%) graduados; e os anos de experiência profissional variaram de 3 a 30 anos. A validação ergonômica (Navegação. Legibilidade. Mídias e Impressão) dos especialistas em Estomaterapia e Informática é apresentada nas (Tabela 1) e (Tabela 2).

Em relação à navegação, a maioria dos itens validados pelos especialistas em Estomaterapia e Informática obteve média superior a três (concordo). No entanto, um item validado pelos especialistas em Informática teve nota média abaixo de três (concordo) - "O OVA leva cinco segundos ou menos para carregar" 2.57 (s=0.98).

No que se refere à legibilidade, todos os itens validados por especialistas em Estomaterapia obtiveram concordância positiva (notas médias superior a três). Houve discordância (nota média menor que três) por parte dos especialistas em Informática em "A interface é bem elaborada?" 2.88 e nas demais, notas médias iguais ou superiores a três (concordo). Mídias e impressão foram pontuadas com notas médias iguais ou superiores a três (concordo) por ambos os especialistas.

validação pedagógica (conteúdos e objetivos) é apresentada na (Tabela 2).Os 17 itens relacionados ao conteúdo obtiveram média igual ou superior a três (concordo). No que diz respeito aos objetivos verificou-se concordância positiva (média superior a três) em seus itens. O total das médias da navegação. Legibilidade, mídias, impressão, conteúdo e objetivos referentes à validação dos especialistas em Estomaterapia e Informática foram iguais ou superiores a três (concordo). Todavia, nenhum item foi validado com concordância plena (média igual a quatro).

Tabela 2.

 

 

DISCUSSÃO

Em relação aos aspectos ergonômicos, achado significativo na navegação relacionado ao tempo de carregamento do OVA remete a prováveis problemas técnicos durante o acesso dos usuários. Estudos têm demonstrado que tais problemas comprometem a satisfatória aprendizagem virtual, levando à frustração do aluno. Há, então, a necessidade de rever os recursos e ferramentas implementados de modo a simplificar os procedimentos técnicos e maximizar a visibilidade e aproveitamento dos conteúdos.3,20,21A Legibilidade, mídias e impressão são componentes fundamentais para a apresentação do OVA Estomas intestinais de eliminação. Legibilidade é propriedade desejável para este tipo de produto de acordo com a NBR 9241-11,22 no entanto os especialistas em Informática sugeriram a revisão da interface utilizada, pois uma interface bem elaborada proporciona manuseio fácil e proveitoso.23 Mídias foram pontuadas com notas médias iguais ou superiores a três pelos especialistas, promovendo interação e reflexão de maneira dinâmica e progressiva.21 Também, a possibilidade de impressão pode apoiar a aprendizagem por aliar material impresso à tecnologia disponibilizada online.

No que se refere a validação pedagógica, o conteúdo do OVA obteve médias superiores ou igual a três (concordo), refletindo consonância com os objetivos propostos, sendo sua confiabilidade reconhecida por meio de referências pertinentes e atualizadas. A inexistência de média de notas igual a quatro, concordância plena, nos itens da validação do OVA "estomas intestinais de eliminação" reforça a necessidade de seu aprimoramento constante de modo a contemplar todas as exigências impostas e, alcance satisfatório dos seus objetivos. Considera-se como limitação desse estudo o número restrito de avaliadores, devido a indisponibilidade de maior contingente destes no período estipulado para validação do OVA. A amostra de especialistas, aqui utilizada, atingiu apenas o mínimo exigido para validação de produtos digitais como esse, ou seja, oito especialistas de cada área.24 Também, a necessidade de equipe de suporte em Informática para conclusão de etapas propostas na metodologia foi fator limitante, associados ao tempo exíguo para produção e validação.

A validação ergonômica e pedagógica possibilitou após alterações sugeridas pelos especialistas, que o OVA seja implementado em Cursos de graduação em Enfermagem e em programas de educação permanente para enfermeiros da prática clínica. A construção, validação e implementação do OVA "estomias intestinais de eliminação" poderá contribuir significativamente para a prestação de assistência de Enfermagem às pessoas estomizadas de forma segura e com qualidade, possibilitando o seu autocuidado.

 

 

REFERÊNCIAS

1. Brasil. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Análise de Situação de Saúde. Plano de ações estratégicas para o enfrentamento das doenças crônicas não transmissíveis (DCNT) no Brasil 2011-2022/ Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Análise de Situação de Saúde. - Brasília: Ministério da Saúde. 2011.148 p.: il. - (Série B. Textos Básicos de Saúde).         [ Links ]

2. Instituto Nacional de Câncer (INCA). Estimativa de câncer no Brasil 2012. [cited: May 19, 2013]. Availablefrom: http://www.inca.gov.br/estimativa/2012/.         [ Links ]

3. Wound. Ostomy and Continence Nursings Society (WOCN). Management of the patient with a fecal ostomy: best practice guideline for clinicians. Mount Laurel (NJ): Wound. Ostomy and Continence Nursing Society (WOCN); 2010.         [ Links ]

4. Brasil. Ministério da Saúde. Secretária de Atenção à Saúde. Portaria n°400 de 16 de novembro de 2009. (cited May 19 2013). Available from:http://www.mp.rs.gov.br/areas/dirhum/arquivos/p_sas_400_2009_ostomizados.pdf.         [ Links ]

5. Associação Brasileira de Ostomizados (ABRASO). Situação de estomizados no Brasil. Rio de Janeiro. 2007. (cited Jan 15 2013). Available from:http://www.abraso.org.br/estatistica_ostomizados.htm .         [ Links ]

6. Ardigo FS. Amante LN. Conhecimento do profissional acerca do cuidado de enfermagem à pessoa com estomia intestinal e família. Texto-Contexto Enferm. 2013; 22(4):1064-71.         [ Links ]

7. Poggeto MTD. Zuffi FB. Luiz RB. Costa SP. Conhecimento do profissional enfermeiro sobre ileostomia na atenção básica. Rev Min Enferm.2012; 16(4):502-8.         [ Links ]

8. Bohnenkamp SK. McDonald P. Lopez AM. Krupinski E. Blackett A.Traditional versus telenursing outpatient management of patients with cancer with new ostomies.OncolNursForum. 2004; 17(5):1005-10.         [ Links ]

9. Alvarez AG. Dal Sasso GTM. Objetos virtuais de aprendizagem: contribuições para o processo de aprendizagem em saúde e enfermagem. Acta Paul Enferm. 2011; 24(5):707-11.         [ Links ]

10. Gonçalves GR. Peres HHC. Rodrigues RC. Tronchin DMR. Pereira IM. Proposta educacional virtual sobre atendimento da ressuscitação cardiopulmonar no recém-nascido. RevEscEnferm USP. 2010; 44(2):413-20.         [ Links ]

11. Queiroz FM. Aroldi JBC. Oliveira GDS. Perrs HHC. Santos VLCG.úlcera venosa e terapia compressiva para enfermeiros: desenvolvimento de curso online. Acta Paul Enferm. 2012; 25(3):435-40.         [ Links ]

12. Silveira DT. Catalan VM. Neutzling AL.Martinato LHM. Objetos educacionais na consulta de enfermagem: avaliação da tecnologia por estudantes de graduação. Rev Latino-AmEnfermagem. 2010; 18(5): 1-9.         [ Links ]

13. Lo SF.Wang YT. Wu LY. Hsu MY. Chang SC. Hayter M. Multimedia education programme for patients with a stoma effectiveness evaluation. J AdvNurs. 2010; 67(1):68-76.         [ Links ]

14. Teixeira CRS. Kusumota L, Pereira MCA. Braga FTMM. Gaioso VP. Zamarioli CM. et al. Anxiety and performance of nursing students in regard to assessment via clinical simulations in the classroom versus filmed assessments. Invest EducEnferm. 2014; 32(2):270-9.         [ Links ]

15. Bales I. Testing a computer-based care training resource for staff nurses. Ostomy Wound Manag. 2010; 56(5):60-9.         [ Links ]

16. Seixas CA. Mendes IAC. Godoy S. Mazzo A. Trevizan MA.Martins JCA. Ambiente virtual de aprendizagem: estruturação de roteiro para curso online. Rev BrasEnferm. 2012; 65(4):660-6.         [ Links ]

17. Registered Nurses AssociationofOnfatario (RNAO). Ostomy and management. Toronto (ON): Registered Nurses'Association of Ontario (RNAO); 2009. 115p.         [ Links ]

18. Andrade AF. Franciosi B. Beiler A. Wagner PR. Caracterização da modelagem de ambientes de aprendizagem à distância. Anais do Congresso Internacional de Educação à distância; Brasília: ABED,2001.         [ Links ]

19. Whitten P. Holtz B. Cornacchione J. Wirth C. An evaluation of telehealth websites for design.literacy. information and content. J Telemed Telecare. 2011; 17(1):31-5.         [ Links ]

20. Araújo MF. ColetâneaBoletim EAD 1-100. - Campinas - SP - 2008. (cited Aug 20 2014) ISBN 978-85-98058-08-5.Available from:http://www.ggte.unicamp.br/ggte/site_ggte/arquivos/publicacoes/Coletanea_BoletimEADisbn.pdf.         [ Links ]

21. Rodrigues CAF. Schmidt LM. Marinho HRB. Tutoria em educação a distância. Ponta Grossa: NUTEAD/UEPG; 2011. (cited Aug 20 2014). Available from:http://suporte.nutead.org/suporte/wp-content/uploads/2013/02/Tutoria.pdf .         [ Links ]

22. Associação Brasileira de Normas Técnicas. NBR 9241-11 - Requisitos Ergonômicos para Trabalho de Escritórios com Computadores - Parte 11: Orientações sobre usabilidade. Rio de Janeiro: ABNT; 2002.         [ Links ]

23. Correia R. Santos J. A Importância da Tecnologia da Informação e Comunicação (TIC) na Educação a Distância (EAD) do Ensino Superior (IES). Rev Aprendizagem EAD. 2013; 2(1):1-16.         [ Links ]

24. Associação Brasileira de Normas Técnicas. NBR ISO/IEC 14598-6 - Engenharia de Software - Avaliação de produto- Parte 6: Documentação de módulos de avaliação. Rio de Janeiro: ABNT; 2004.         [ Links ]

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License