Introdução

A evolução da pandemia Covid-19, com variantes menos letais, levou à retomada das atividades presenciais. As formas de trabalho no contexto acadêmico, ou não, que foram impostas pela necessidade de isolamento e que levaram a medidas de restrição à circulação de pessoas estão sendo substituídas pelo retorno às atividades regulares nas escolas, universidades e outras instituições de formação profissional ou preparatória.

O uso da Internet ensejou o Ensino Remoto Emergencial (ERE) que permitiu alguma continuidade às atividades de comunicação, acesso à informação, comércio eletrônico, prestação de serviços públicos, incluindo aqueles relacionados ao combate do novo coronavírus, telemedicina, trabalho remoto, ensino a distância e a fruição cultural. Conforme relatado na pesquisa Painel TIC covid-19 realizada pelo Centro Regional De Estudos Para O Desenvolvimento Da Sociedade Da Informação (CETIC), uma análise dos hábitos dos usuários de Internet permitiu compreender como as pessoas se informam e se comunicam, bem como o uso se relaciona com o seu bem-estar (^{CETIC.BR, 2020}).

O Painel TIC covid-19 identificou um aumento expressivo na realização de serviços públicos e financeiros pela Internet durante a pandemia. Também, a pesquisa registrou um aumento das atividades e pesquisas escolares pela Internet, reflexo da suspensão das aulas presenciais. “Fora do ambiente escolar, notou-se uma ampliação da realização de cursos on-line e de estudo por conta própria na rede” (^{CETIC.BR, 2020, p. 6}).

A pesquisa constatou um aumento substancial na busca por informações relacionadas à saúde ou a serviços de saúde durante a pandemia, comparativamente com pesquisas anteriores. A Figura 1 apresenta os dados da pesquisa do ^{CETIC.BR (2020)}, sobre atividades realizadas durante a pandemia usando a Internet. Os dados mostram que 72% das pessoas buscaram informações relacionadas com a saúde na Internet durante o período da pandemia covid-19.

Esta busca por informações relacionadas à saúde foi superior às demais atividades representadas no gráfico da Figura 1, embora tenha sido inferior às atividades realizadas envolvendo assistir vídeos, programas, filmes ou séries (86%) e ouvir música (85%). Este resultado apontou para o crescimento da preocupação sobre informações relacionadas com a saúde.

Fonte: cetic.br, Painel tic covid, (2022).

Figura 1 Gráfico de atividades realizadas na Internet durante a pandemia 

Na pesquisa TIC covid realizada em 2021, a busca por informações relacionadas à saúde aumentou para 77% e a realização de algum serviço público aumentou para 58%. A realização de consultas, pagamentos ou outras transações financeiras permaneceu com 71% das respostas. (^{CETIC.BR, 2022}).

Quando a pandemia atingiu o Brasil, uma das primeiras medidas para reduzir o contágio da covid-19 foi a suspensão das atividades escolares, ocorrida em 16 de março de 2020. Isto demandou o uso de estratégias que permitissem a continuidade da atividade acadêmica através da estratégia ere (Ensino Remoto Emergencial), que envolveu alteração nas rotinas e adoção de novas estratégias pedagógicas onde a intermediação Internet foi a base. A adoção do ere visou recriar um ecossistema educacional capaz de fornecer o acesso temporário a suportes de ensino e de instrução de uma maneira rápida e de fácil configuração, de modo a responder ao fechamento de escolas e universidades em tempos de crises (^{Hodges et al., 2020}). Foram apontados problemas derivados das dificuldades de acesso aos recursos tecnológicos (equipamentos e acesso apropriado à Internet) necessários para a participação dos alunos nas atividades de ensino e aprendizagem remotas, especialmente no caso daqueles com uma realidade sócio-econômica desfavorável.

^{Silveira (2020)} , traz relatos de diferentes estudantes sobre sua experiência em buscar conciliar o ere com as demandas para acomodar diferentes cenários referentes às vidas privadas e relações sociais. A convivência com filhos e familiares idosos que demandam atendimento, além dos cuidados com a casa, a falta de um local apropriado para a realização das atividades acadêmicas (isolado de ruídos e outras interferências), a falta de um acesso à Internet com boa velocidade, além da falta de atividade física e oportunidade de socialização surgem nos relatos como evidências das dificuldades que os estudantes enfrentam neste período de ere. Estes problemas foram minorados ao longo do tempo com iniciativas governamentais envolvendo contratação de serviços de acesso à Internet via celular para alunos e professores. A pesquisa Painel tic covid-19, 4ª edição constatou que 79% dos usuários da Internet entrevistados tiveram a disposição do uso da Internet sempre que quiseram ou precisaram. O percentual de usuários que realizaram atividades ou pesquisas escolares e estudaram na Internet por conta própria foi superior a 50%, aumentando cerca de 10% desde 2020, no que tange a realização de pesquisas escolares e reduzindo 3% no que tange a estudar por conta própria (^{cetic 2022}).

Com a evolução da pandemia, para uma forma endêmica, mais branda, e tendo em vista o aumento da imunidade coletiva que a humanidade adquiriu pela aplicação em massa de vacinas, começou a ocorrer o retorno às atividades presenciais. Mas ainda existe no contexto acadêmico bastante temor e incerteza em relação aos riscos que isto acarreta; não apenas para os próprios estudantes, como também, para aqueles com quem ele convive. Neste sentido, diversos esforços têm sido envidados por órgãos governamentais como Ministério da Saúde e Secretarias da Saúde estaduais, Ministério da Educação e outras instituições governamentais, além de organizações não governamentais e instituições privadas, com vistas a continuar a divulgação de orientações relacionadas ao covid-19 e suas variantes, incluindo orientações relativas à preservação da saúde e autocuidados.

Mas, independentemente da situação de pandemia vivenciada, recomendações concernentes aos objetos de conhecimentos e habilidades a serem desenvolvidas no âmbito do ensino de Ciências no Ensino Fundamental foram incluídas na Base Nacional Comum Curricular (bncc), elaborada pelo Ministério da Educação no Brasil. A bncc é um documento de caráter normativo que define o conjunto orgânico e progressivo de aprendizagens essenciais que todos os alunos devem desenvolver ao longo das etapas e modalidades da Educação Básica, de modo a que tenham assegurados seus direitos de aprendizagem e desenvolvimento, em conformidade com o que preceitua o Plano Nacional de Educação (pne) (^{Brasil, 2017}). Este conjunto de recomendações estabelece objetos de conhecimento aos quais estão associadas habilidades a serem desenvolvidas no Ensino Fundamental na área de Ciências. O projeto de desenvolvimento da agente HÍGIA buscou aportar recursos educacionais digitais para a formação das habilidades previstas mediante a inclusão de conceitos relacionados aos objetos na base de conhecimento do chatbot. A Tabela 1, relaciona objetos de conhecimento e estas habilidades.

Neste contexto de pandemia, a quantidade de informações verdadeiras e falsas, aliada à estratégia da imprensa de disseminação em massa para cobrir o acompanhamento da pandemia, leva uma boa parcela da população a um estado de cansaço e desistência de se manter informado para poder enfrentar a situação em condições de tomar decisões bem fundamentadas. Face a esta situação, foi delineada uma iniciativa de utilizar recursos de tic avançados com vistas a proporcionar educação aos estudantes e à população em geral visando sua conscientização relativa ao autocuidado necessário em relação aos riscos inerentes ao período de pandemia covid-19. Este processo educativo foi delineado e implantado com o uso de uma agente conversacional, capaz de prover informações e elucidar dúvidas sobre covid-19, com vistas a promover o autocuidado visando a preservação da saúde, especialmente na situação de retorno às atividades presenciais nas escolas e universidades. A solução implementada permite expandir o escopo a fim de incorporar informações sobre outras questões de saúde pública. Esta iniciativa propôs uma solução usando recursos de tic avançados, chatbot, para proporcionar oportunidade de educação sobre o autocuidado em relação ao covid-19 e outras questões de saúde inerentes ao campo conceitual de Ciências.

A estratégia selecionada envolveu o uso de uma agente conversacional para ensejar o principal meio de comunicação entre seres humanos que é a linguagem natural. Este é um exemplo de sistema baseado em Inteligência Artificial que pode ajudar a resolver dúvidas relacionadas à saúde, educação, aspecto social e vários outros domínios. Os chatbots, que são exemplos deste tipo de solução, estão sempre disponíveis, garantindo respostas rápidas e fáceis para problemas em diferentes domínios (^{Deshmukh, 2019}).

Assim, no presente artigo é descrito um estudo de caso que envolveu o projeto e implantação de uma agente denominada HÍGIA capaz de oferecer uma interface para interação em linguagem natural, que simula o atendimento por um especialista no assunto para proporcionar à população acadêmica e mesmo a outros usuários informações sobre covid-19, em especial no que tange ao autocuidado para preservação da saúde. O estudo envolveu o teste do sistema implantado com estudantes e o levantamento de reação ao recurso disponibilizado. Os dados resultantes foram analisados com vistas a avaliar e validar a solução proposta. Este desenvolvimento representa um avanço neste campo de conhecimento com potencial para apoiar a aprendizagem nas áreas de educação em Ciências, usando Tecnologia.

Agente Conversacional como Recurso Educacional

Nos últimos anos, um dos ramos da inteligência artificial que tem apresentado constantes desenvolvimentos tecnológicos no âmbito educacional são os assistentes virtuais, conforme descreve o relatório da New Media Consortium (^{Becker et al., 2017}), também denominados como chatbot. Os agentes conversacionais são definidos por ^{AbuShawar e Atwell (2015)} , como sistemas que buscam simular uma conversa por meio da troca de entrada e saída de mensagens de texto, tendo em vista uma comunicação natural e passível de não ser reconhecida como linguagem artificial. Os termos agente conversacionais e chatbot serão usados no presente trabalho como sinônimos. O uso de interfaces conversacionais cresceu bastante nos últimos anos, nas empresas e na educação, seu uso tem envolvido apoiar as práticas educacionais, esclarecendo dúvidas dos alunos, recomendando materiais didáticos, aumentando a motivação dos alunos que têm pouco interesse por determinado conteúdo, entre outros. (^{Paschoal et al., 2020}).

Estudos de ^{Satu et al. (2015)} , apontam alguns chatbots desenvolvidos na linguagem aiml com as mais diferentes finalidades, tais como aplicações relacionadas a e-learning, governo eletrônico, modelo de diálogo, humor, gerenciamento de rede, arquitetura modular adaptativa, recomendação de boas práticas, entre outros. Para essas finalidades, os chatbots interagem com os clientes e podem fornecer soluções aos seus problemas usando tecnologias de inteligência artificial para realizar a compreensão da pergunta e buscar respostas em um banco de dados ou ainda, em outra estrutura de arquivos a(s) resposta(s) apropriada(s).

O chatbot, em tais casos, pode substituir a ação humana no atendimento de perguntas que são frequentemente formuladas. Um dos mais usuais é o uso de chatbot em lugar de Frequently Asked Questions (faq), o que torna possível obter respostas a partir de conversas com a máquina, de forma dialógica, usando linguagem natural (^{Dale et al., 2016}). Uma vantagem derivada deste tipo de serviço é que os chatbots permitem aos estudantes um uso contínuo de 24 horas por dia e sete dias por semana.

O uso de chatbot tem sido apontado como uma das tecnologias com o mais elevado nível de expectativas para serviços de suporte, conforme referido por ^{Jordan (2019)} . Observa-se, de acordo com a figura 2, um conjunto de tecnologias e o nível de expectativa em termos de seu potencial para apoiar serviços de suporte em 2019.

Fonte: Gráfico publicado por Gartner Group, citado em ^{Jordan (2019)} .

Figura 2 Hype Cycle for Customer Service and Support Technologies. 

Na análise do uso de chatbot como recurso educacional, cabe referir o conceito sociointeracionista de ^{Vygotsky (1978)} , sobre o fato de o aprendizado consistir em um procedimento social, já que o desenvolvimento do aluno e das pessoas, de modo geral, sofre influência de seus pares no processo de evolução cognitiva. Baseando-se neste conceito, as interações sociais passam a ser consideradas importantes para a elaboração de conhecimento por parte dos alunos, em especial, as que permitem a conversa, a colaboração, a troca de informações mútuas e o embate sobre diferentes pontos de vista.

Exemplos de Uso de Chatbot

Os Chatbots estão inseridos em redes sociais, sites de empresas, sistemas de recomendação, e também na educação como ferramenta de apoio e motivação à aprendizagem (^{Manfio et al., 2014}). De acordo com ^{Dale (2016}), o uso de chatbots, constituem uma das grandes tendências da tecnologia na atualidade, sendo disponibilizados para interação com usuários de grandes corporações e muitas dessas tecnologias estão presentes e disponíveis no cotidiano das pessoas, tais como, como Apple (Siri), Amazon (Alexa), Microsoft (Cortana), Google (Now), entre outros.

Estudos apontam benefícios derivados do uso de agentes conversacionais como recurso educacional e de suporte. ^{Aguiar, Tarouco e Reategui (2011)} , destacam que face à imensa quantidade de informações disponíveis atualmente na Internet, os estudantes conseguem facilmente encontrar conteúdos, mas precisam de orientações para ajudá-los a colocar tais informações dentro de contextos, selecionar informações confiáveis e desenvolver padrões claros de pensamento, bem como o poder de discernimento.

No presente estudo, foi investigado o uso de uma agente conversacional como recurso educacional e suporte para prover informações com vistas a auxiliar o público acadêmico a lidar com as dúvidas, temores e incertezas em relação aos cuidados a serem tomados para a preservação da saúde no contexto da pandemia covid-19, especialmente tendo em vista o retorno às atividades presenciais.

Na área da saúde, existem diversos trabalhos que avaliam o uso educacional deste tipo de recurso. ^{Sebastian e Richard (2017)} relatam que agentes de conversação incorporados podem desempenhar um papel importante em provocar mudanças na atitude e no comportamento, porque eles potencialmente permitem um acesso personalizado, mas anônimo, livre e conveniente e podem fornecer as informações de uma forma coloquial que supera as barreiras da alfabetização em saúde.

No contexto da pandemia provocada pelo covid-19, Wang et al. (2019) desenvolveram um agente capaz de avaliar, fazer a triagem dos sintomas potenciais da doença e reduzir o número de chamadas para linhas de apoio à saúde pública. O agente foi usado quase 150.000 vezes em poucas semanas e foi reconhecido como uma solução de sucesso.

^{Almalki (2020)} explorou 166 aplicativos de saúde e descobriu que os usuários estavam mais dispostos a usar chatbots de saúde para buscar informações gerais sobre covid-19 em vez de buscar informações sobre tratamentos médicos covid-19. Assim, a conscientização e o uso de chatbots de saúde como recurso educacional e instrucional teve percepções positivas dessas tecnologias emergentes demonstrando assim, que há um grande público que têm interesse e vontade de usá-las.

Desta maneira, obtendo do agente conversacional, interativamente, informações sobre o covid-19, espera-se que os estudantes tornem-se mais preparados para desenvolver melhores hábitos de autocuidado com vistas preservar sua saúde em tempo de pandemia e também, possam dirimir suas dúvidas e temores com base em estudos realizados por instituições confiáveis, oferecendo desta forma suporte para atender objetivos propostos pela bncc: Corpo humano, Microorganismo e Programas indicadores de saúde pública (^{Brasil, 2017}).

A metodologia, usada no presente estudo de caso, envolveu o desenvolvimento de uma agente conversacional a partir de fontes de informação confiáveis e atualizadas, tal como o Ministério da Educação, Ministério da Saúde, Secretarias da Saúde e instituições ou organizações nacionais e internacionais como: o Manual sobre biossegurança para reabertura de escolas no contexto da covid-19 da FIOCRUZ (^{Pereira et al., 2020}); o Protocolo de biossegurança para retorno das atividades nas Instituições Federais de Ensino do^{Brasil (2020)}; o Guia de Implementação de protocolos de retorno das atividades presenciais nas escolas de Educação Básica (^{Brasil, 2020}) e o Relatório gt - Modelo de retorno às atividades presenciais da^{ufrgs (2020)}. Nestas fontes de informação foi selecionado o corpus linguístico a ser apropriado para gerar a base de conhecimento da HÍGIA, no qual foram incluídas informações relevantes aos objetos de conhecimento e habilidades previstas na bncc tal como são indicadas na Tabela 1.

A Agente conversacional, foi denominada HÍGIA, numa alusão à deusa grega da saúde. Sua principal função é proporcionar educação continuada sanando dúvidas sobre o covid-19 e as principais formas de contágio, promovendo assim uma orientação consolidada, além de apontar outras fontes com informações suplementares.

A figura 3 apresenta a tela inicial de conversação da agente HÍGIA.

Fonte: elaborada pelos autores (2020).

Figura 3 Tela inicial da HÍGIA 

Conforme a figura 3, observa-se que a interface da agente HÍGIA é bastante intuitiva, simulando um chat onde o aluno pode digitar um texto com sua pergunta e a agente conversacional devolverá respostas também em forma de texto.

Fonte: elaborada pelos autores (2020).

Figura 4 Uso de chatbot para auxiliar o acesso a informações sobre covid-19 

O uso de agentes conversacionais como elemento de suporte e ajuda para educação no contexto da pandemia covid-19 é esquematizado na Figura 4, na qual são ilustrados os aspectos relevantes considerados no presente estudo de caso que envolveu a implantação de um chatbot preparado para responder perguntas relacionadas com a pandemia covid-19. A agente busca oferecer uma alternativa que, embora limitada em comparação com a interação entre pessoas, ainda assim pode ensejar a ocorrência de conversações que promovam a reflexão e a aprendizagem do sujeito interagindo com este recurso educacional que tem em sua base de conhecimento uma apreciável quantidade de informações sobre assuntos relacionados com a pandemia do covid-19.

Tecnologias para Implantar Chatbot

Existem variadas tecnologias para implantar chatbot, são encontradas algumas tais como: Api.ai (Google), Pandorabots e Watson Conversation (ibm). Há diversos serviços pagos e gratuitos para o desenvolvimento dos respectivos agentes para o uso do contexto educacional.

Uma das soluções para o desenvolvimento de chatbots é o software Alicebot que foi desenvolvido em 1995 por Richard ^{Wallace (2003)} , para o alice (Artificial Linguistic Internet Computer Entity). Trata-se de uma solução que trabalha com a máquina de inferência Alicebot que consulta uma base de conhecimento descrita usando aiml (Artificial Intelligence Markup Language), uma linguagem baseada em xml, para a especificação das classes a serem reconhecidas e as associações com respostas a serem apresentadas. A agente HÍGIA utilizou essa solução de desenvolvimento de chatbot.

Um chatbot deve ter uma boa base de conhecimento, ou seja, quantidade de informações relacionadas a perguntas e respostas associadas capazes de dialogar com o estudante. Alimentar a base de conhecimento é um trabalho extenso para que o chatbot possa prover um serviço de suporte com respostas úteis, corretas e objetivas aos estudantes.

A base de conhecimento utilizada na agente HÍGIA é formada por classes que são estruturadas usando a linguagem de marcação AIML. As classes AIML são implementadas através de <tags> em um documento AIML tais como:

Um exemplo de especificação de conhecimento para ser incluído na base de conhecimento do chatbot usando a solução baseada no Alicebot, está demonstrado na Figura 5.

Fonte: elaborada pelos autores (2020).

Figura 5 Exemplo código na linguagem aiml 

A linguagem aiml é uma linguagem de marcação que pode ser utilizada por professores e estudantes sem a necessidade de ter maiores conhecimentos em uma determinada linguagem de programação. Basta inserir as perguntas e respostas na estrutura prevista no aiml, tal como ilustrado na figura 5, para que o conteúdo do arquivo com estas especificações possa ser inserido na base de conhecimento do Alicebot e ser usado para prover as respostas às consultas dos estudantes.

A Construção da Agente HÍGIA

A implantação de uma agente conversacional oferece inúmeros desafios, tais como, a dificuldade de inserir informações na base de dados, a compreensão das variadas formas que o usuário pode utilizar para formular uma pergunta e a expansão da possibilidade de resposta para além do conteúdo da base de conhecimento, incluindo outras fontes externas.

A construção manual dos arquivos aiml com as suas respectivas categorias, ou ainda a sua atualização e correção, pode ser feita utilizando programas de edição de texto ou programas de desenvolvimento de software. Uma outra solução para facilitar esta parte da tarefa consiste em tratar de forma semi-automática o conjunto de informações que constitui o corpus linguístico relacionado com o campo conceitual em consideração, tal como descrito em (^{Krassmann et al 2019}) e ^{Chalaguini e Hunter (2019)}.

^{De Gasperis (2013)} propõe abordar o problema de construção de agentes conversacionais ou chatbots, a partir de corpus de domínio específico e apresenta uma metodologia para analisar sistematicamente grandes corpora de texto sobre um domínio de conhecimento limitado, com vistas a construir uma base de conhecimento aiml para uso em sistemas de conversação interativos. Neste processo, são extraídas palavras-chave relevantes, expressões com várias palavras e padrões de texto sendo também feita a construção de um glossário para criação de uma base de conhecimento.

No presente estudo de caso educativo, estas duas abordagens foram utilizadas pois se tratam de alternativas que professores poderiam usar para replicar o uso deste tipo de recurso para outras áreas de educação em Ciências.

Construção da Base de Conhecimento

A estratégia de derivar a base de conhecimento a partir de um corpus linguístico, envolveu o uso do software Fast.aiml, segundo ^{Krassmann et al. (2018)} . O Fast.aiml permite que seus usuários registrem possíveis perguntas e respostas, as quais podem ser formatadas com hyperlinks, multimídia e outros recursos que complementam o conhecimento do agente conversacional. Ao término, permite ao usuário gerar um código na linguagem de marcação aiml, salvá-lo e enviá-lo para compor a base de conhecimento da agente conversacional, ampliando assim, a comunicação da agente ao longo da interação com o usuário.

Este sistema possui a funcionalidade de criar semi-automaticamente arquivos para a base de conhecimento de chatterbots que utilizam a máquina de inferência alice, por meio de softwares interpretadores, tal como o Program-O. Assim, o sistema faz a busca de palavras-chaves, que podem ser termos simples ou compostos, em um corpus também indicado pelo usuário selecionando todas as frases que contêm esta palavra. A partir desse resultado, o usuário seleciona as frases mais representativas das palavras-chave. Após esse procedimento, um arquivo aiml é gerado contendo todas as tags da linguagem.

Para a implementação e criação da base de conhecimento da agente HÍGIA, foram utilizados dois tipos de categorias, sendo a primeira relativa à parte social da agente que foi derivada de agentes anteriores que trabalham com a mesma estrutura de arquivos (aiml) para suas bases de conhecimento. A segunda categoria, refere-se ao conteúdo relacionado a covid-19, seus cuidados e orientações sobre o retorno às atividades presenciais. Esta categoria inclui informações sobre os objetos de conhecimento previstos na bncc descritos na Tabela 1.

A parte social envolve diálogos de comprimentos, saudações, cordialidades e respostas adequadas caso a agente HÍGIA ainda não tenha aquele conhecimento.

Os arquivos referentes aos conteúdos relacionados a covid-19, seus cuidados e as orientações sobre o retorno às aulas presenciais, bem como, os objetos de conhecimento referidos na bncc, tiveram sua produção inicial realizada utilizando o programa Fast.aiml.

Teste e Validação da Base de Conhecimento

A metodologia prosseguiu com o teste e validação da base de conhecimento. Existe uma tarefa substancial na criação da base de conhecimento que consiste em prever as variantes para as perguntas que poderão ser formuladas pelos usuários e deverão ser compreendidas pela agente conversacional. Nesta fase da implantação houve a participação de um grupo piloto de 10 estudantes com maior experiência no uso de chatbots, os quais utilizaram a agente conversacional durante um período de 11 dias, formulando perguntas em variadas formas, a fim de testar a capacidade do sistema em prover resposta, identificando variantes de perguntas ainda não reconhecidas pela agente HÍGIA.

Nesta segunda fase da metodologia, usualmente referida como a fase de treinar a agente conversacional, as perguntas e respostas ficam gravadas em um arquivo de log de acesso que é inspecionado para identificar as variantes ainda não reconhecidas pela agente conversacional, a fim de implementar tais informações em sua base de conhecimento. Todas as perguntas digitadas pelo usuário e as respostas informadas pela agente HÍGIA ficam armazenadas e organizadas por data e hora, bem como, pelo número do ip da máquina usada pelo estudante.

Esta fase foi acompanhada de uma avaliação, que constituiu de uma validação inicial do estudo de caso. Para isso, também foi usado um questionário com respostas indicativas da avaliação da experiência pelo usuário, bem como, métricas de avaliação quantitativas (número de interações, comprimento dos diálogos, taxa de respostas corretas, entre outros indicadores) ou qualitativa (parecer com sugestões). Após esta fase, a agente HÍGIA foi posta em produção oferecendo a possibilidade de acesso para um público maior de estudantes e usuários. O processo de aprimoramento da capacidade de resposta da agente continuou através da inspeção dos arquivos de log de acessos dos usuários, de forma que a ir ampliando a capacidade de reconhecimento das variantes das perguntas.

Nesta fase de teste piloto, já foram constatados resultados positivos em quesitos relevantes, apontando ser o serviço da agente HÍGIA útil como recurso de suporte à aprendizagem, dos tópicos abordados, tal como descrito na Tabela 2. O questionário respondido pelo grupo de usuários tinha suas opções organizadas com a escala Likert, com respostas variando de 1 (Discordo Totalmente) até 5 (Concordo Totalmente).

Além dos dados obtidos através das respostas dos usuários ao questionário, também foi possível coletar dados referentes às interações diretamente do log da agente HÍGIA. A análise quantitativa desta fase piloto mostrou que o comprimento médio dos diálogos por parte do usuário foi 19,05 linhas, ou seja, houve uma média de 19 linhas que contabilizam os diálogos entre a agente HÍGIA e o usuário. A taxa de respostas adequadas fornecidas pela agente HÍGIA foi de 53%, sendo 35% com relação ao conteúdo e 18% relacionado às interações sociais.

Avaliação da Agente Conversacional

Após o encerramento da fase de teste piloto (fase de treinamento da agente HÍGIA), foi possível realizar teste e validação mais abrangente usando parâmetros quantitativos e qualitativos. No primeiro caso foram analisados os logs de acesso ao agente conversacional para avaliar o comprimento do diálogo estabelecido pelos usuários e o nível de qualidade das respostas. Adicionalmente, foi solicitado aos usuários que avaliassem a experiência de uso da agente através do mesmo questionário usado na fase piloto, acrescido de outros dois novos questionamentos.

No que tange à análise quantitativa, foi possível constatar que 43 usuários consultaram a agente HÍGIA durante a realização da avaliação. Os diálogos estabelecidos tiveram comprimento médio 9,58 (em número de mensagens). Este comprimento indica que os usuários ficaram interagindo com a agente conversacional em média um pouco mais de 9 mensagens. Através de uma inspeção nos logs onde foram registradas as respostas fornecidas pela agente, foi possível observar que a taxa de respostas apropriadas foi de 32% no que tange ao conteúdo. As respostas sobre informações gerais ou acolhimento da agente representaram 28% das interações, e as interações em que a HÍGIA não conseguiu responder representaram o total de 40% das interações. Entretanto, é preciso ressaltar que este último indicador obteve altos índices por conta da classificação dada para as respostas em que a agente solicitou que o usuário refizesse a sua pergunta, estratégia inerente aos agentes conversacionais por conta do seu mecanismo de inferência e que não representa necessariamente um insucesso ao responder à pergunta do usuário. Também, se adotou uma estratégia similar para classificar as respostas corretas (quando a HÍGIA fornece informações relacionadas com as perguntas sobre Covid), e igualmente, houve respostas classificadas como sociais (quando o usuário tenta entabular uma conversação sobre tópicos gerais com a HÍGIA).

O questionário foi respondido por 60,4% do total de usuários da agente conversacional no período. Das respostas desta amostra foi possível constatar a avaliação dos usuários que indicaram seu grau de concordância com um conjunto de afirmativas contidas no questionário. Os resultados desta avaliação estão apresentados na Tabela 3.

As opiniões registradas na consulta aos estudantes, quando foram questionados se a agente apresentou respostas para as dúvidas, apresentaram um resultado de avaliação de neutra para positiva. Ao serem questionados se a agente apresentou informações relevantes, a tendência central demonstra que a opinião dos estudantes foi de neutro para concordo parcialmente. A base de conhecimento da agente HÍGIA está em contínuo desenvolvimento, mas mesmo em seu estágio na fase do estudo ora descrito, a avaliação dos estudantes no que tange à capacidade de a agente apresentar respostas e estas parecerem corretas, foi positiva. Aliado a isso, o fato da agente HÍGIA consistir em um projeto com um foco na promoção do autocuidado pela população de integrantes do contexto educacional tendo em vista o retorno às atividades presenciais, também pode ter influenciado as avaliações dos usuários no item avaliativo em que foram questionados se a agente contribuiu para seu conhecimento sobre Covid-19.

Foi possível observar avaliações favoráveis ao serviço prestado pela agente HÍGIA. Ao serem questionados se a agente estava acessível e pronta para responder aos questionamentos, 70% dos usuários avaliaram positivamente. E quando questionados se as respostas pareciam corretas, aproximadamente 60% dos usuários responderam de maneira favorável a esta afirmação. Estas avaliações corroboram para demonstrar que a agente conversacional apresentou informações pertinentes para seus usuários e confirmam o objetivo elencado para a presente pesquisa, demonstrando que o uso de agentes conversacionais pode ajudar à população acadêmica a sanar suas dúvidas sobre a pandemia do novo coronavírus, pois consiste num recurso disponível ao acesso de seus usuários e que apresenta informações corretas. Este resultado mostra que o recurso implantado tem condições de apoiar os objetivos de Educação em Ciências previstos na bncc (^{Brasil, 2017}), nos objetos Corpo Humano, Microrganismos e Programas Indicadores de Saúde Pública. A Tabela 4 ilustra conceitos existentes na base de conhecimento da agente HÍGIA voltados à aquisição das habilidades previstas na bncc.

Uma constatação da pesquisa foi a de que os estudantes sem experiência tendem a superestimar a capacidade da agente conversacional para responder perguntas bastante diversificadas, e mesmo fora do escopo previsto para o serviço, tais como, “estou me sentindo mal, tenho Covid?”. Como não é o objetivo do serviço diagnosticar, mas sim apontar recomendações para autocuidado esta limitação ocasionou uma parcela de perguntas que não lograram receber uma resposta tal como esperado o que frustrou alguns usuários. Também, constatou-se que os usuários cometiam erros de digitação usando palavras com pequenas trocas ou omissão de letras. O algoritmo usado na máquina de inferência não possuía a funcionalidade para eliminar stopwords ou deduzir a grafia correta em palavras parecidas com as que estão na base de conhecimento. Foram incluídas variantes para as perguntas, inclusive aceitando consultas que usassem apenas palavras-chaves relacionadas às classes da base de conhecimento.

Conclusões

O uso dos agentes conversacionais na educação oportunizou a realização de um processo educativo fora dos padrões usuais, autodirigido e apoiado por uma agente conversacional. Isto trouxe inúmeros benefícios, especificamente com o oferecimento de informações na forma de diálogo, tornando-se uma fonte potencial de motivação para uma comunicação sustentada para o aprendizado (^{Fryer et al., 2017}) e (^{Crown, 2011}). Resultados deste estudo evidenciaram que o uso de agente conversacional na Educação em Ciências, para oferecer respostas às necessidades de informação dos estudantes, constitui uma tendência em termos de uso de tecnologias do futuro na educação, mostrando-se capaz de contribuir para maior motivação dos estudantes na busca de informações no campo conceitual das Ciências.

Este estudo de caso permitiu evidenciar que a implantação de uma agente conversacional pode oferecer opções em termos de disponibilização de informações que promovam a motivação dos estudantes para o autocuidado em tempo de pandemia. Este recurso pode auxiliar a melhorar os hábitos individuais dos estudantes e servir como um guia para novas atitudes que estão sendo necessárias na manutenção de boas práticas de biossegurança no ambiente educacional, conforme preconizado no que tange às recomendações do Ministério da Educação no Brasil para a área de Educação em Ciências da Natureza, publicadas na bncc (^{Brasil, 2017}).

Este projeto não tem caráter estático e a contínua adaptação da base de conhecimento da agente HÍGIA, com vistas a atender novas situações, é facilitada pela simplicidade do processo de inclusão de novas categorias (classes aiml) na base conferindo escalabilidade ao escopo de conhecimento abrangido.