Introdução

De acordo com a Resolução do Conselho Nacional de Saúde N° 466/12 (^{Conselho Nacional de Saúde, 2012}) os comitês de ética em pesquisa envolvendo seres humanos (CEP) têm como uma de suas atribuições avaliarem protocolos de pesquisa, emitindo seu parecer claro, objetivo, detalhado e dentro de prazos. Essa determinação não impede que os prazos sejam sempre motivo de reclamação por parte dos pesquisadores e patrocinadores.

A partir de setembro de 2013, a o ^{Conselho Nacional de Saúde (2012)} determinou que o prazo para a emissão do parecer inicial pelo comitê de ética é de trinta dias a partir do momento que os documentos forem aceitos na íntegra. Cabe ressaltar que a checagem documental deve ser realizada em até 10 dias após a submissão.

Se o parecer for de pendência, o pesquisador tem o prazo de trinta dias, contados a partir de sua emissão na Plataforma Brasil, para atendê-la. Decorrido este prazo, o CEP terá novamente trinta (30) dias para emitir o parecer final, aprovando ou reprovando o protocolo, segundo a Norma Operacional 1/2013 (^{Conselho da Saúde, 2013}). Apesar dos parâmetros ditados pelo CNS, ainda há reclamações sobre o tempo para a aprovação, bem como sobre os itens de pendência dos projetos.

Segundo ^{Klitzman (2011)} os comitês de ética são às vezes acusados de atuarem como "polícia ética", e os pesquisadores queixam-se frequentemente de conflitos e relações de poder, em especial nos projetos de coparticipação e/ou multicêntricos, nos quais há envolvimento de múltiplos comitês. De acordo com o autor, saber se os comitês de ética estão facilitando ou impedindo a condução das pesquisas, tem sido uma questão acaloradamente debatida, em especial porque o atraso da análise pode refletir na população de forma indireta.

Um recurso metodológico que pode ser utilizado para clarear esta discussão são os indicadores de desempenho. Na visão de ^{Ferreira, Cassiolato e Gonzales (2009)}, os indicadores são recursos metodológicos capazes de gerar medidas quantitativas a serem utilizadas para organizar e captar informações relevantes dos elementos que compõem o objeto da observação. Um indicador de desempenho é uma medida quantitativa de um aspecto específico do desempenho do nível de serviço de um local. É um instrumento de apoio à monitorização da eficiência e da eficácia do serviço, simplificando uma avaliação que de outro modo seria mais complexa e subjetiva (^{Alegre et aí., 2004}).

Os indicadores permitem destacar os pontos fortes e fracos do serviço, e assim, os gestores podem apoiar os pontos fortes e adotar medidas corretivas para a melhoria dos procedimentos e das rotinas de trabalho. Os indicadores devem representar sempre uma relação matemática, normalmente computando-se divisões, proporções ou multiplicações. Assim, um valor puramente não deve ser entendido como indicador, mas como um dado, informação ou informação gerencial (^{Fischmann, 2000}) que é somado às informações complementares.

De acordo com ^{Fischmann e Zilber (2000)}, os dados e informações a serem utilizados para elaboração dos indicadores devem ter consistência e fidedignidade e estarem disponíveis em prazos definidos para refletir comportamentos em períodos de tempo especificados no estudo. Além disso, os indicadores devem refletir valores e variações reais do desempenho.

A utilização de indicadores de desempenho permite prover respostas sobre os elementos essenciais internos que os comitês de ética em pesquisa devem fazer de forma excelente.

Diferentes métricas foram construídas por várias instituições internacionais para coletar informações quantitativas e qualitativas sobre o desempenho dos comitês de ética em pesquisa (Clinical Research Resources Office [CRRO]; Office of Research and Commercialization [ORC], 2012; ^{Institution Review Board, 2008}). E as informações complementares permitem conhecer a perspectiva do pesquisador e como percebe o CEP.

O Research Compliance Office da Universidade de Stanford, na Califórnia, usa suas próprias métricas e compila os dados periodicamente, analisando os relatórios de atividade (^{RCO, 2014}). A Boston University Medical Campus adota procedimentos para rever, avaliar, remediar e melhorar a qualidade dos processos do CEP (CRRO). A Universidade da Flórida Central usa uma lista de verificação -Avaliação de Melhoria da Qualidade dos Procedimentos -, abrangendo itens como o número de membros presentes nas reuniões da comissão, as questões analisadas e discutidas, etc. (^{ORC, 2012}). A Universidade de Missouri-Colúmbia serve-se de Procedimentos Operacionais Padrão (POP) para realizar avaliações e auditorias voltadas à melhoria contínua da qualidade, as quais buscam mensurar a comunicação entre as partes envolvidas na pesquisa para identificar barreiras (^{Institution Review Board, 2008}).

No Brasil, o Hospital de Barretos, na cidade do mesmo nome no Estado de São Paulo, utiliza alguns indicadores que permitem avaliar o desempenho do CEP (Indicadores do Comitê de Ética em Pesquisa). Também há estudos publicados com o objetivo de caracterizar os protocolos de pesquisa apresentados para apreciação do CEP na Universidade Federal do Paraná, na Escola de Enfermagem da Universidade de São Paulo e na Universidade Estadual do Sudoeste da Bahia (^{Labronici et al., 2012}; ^{Massarollo et al., 2009}; ^{Barbosa et al., 2010}).

Apesar da tentativa de utilizar indicadores para melhoria no desempenho, os conflitos entre pesquisadores e os comitês de ética persistem, em especial, no que tange ao intervalo de respostas no processo de apreciação (Abbot, 2011; ^{Klitzman, 2012}). Pensando nesta situação este estudo foi realizado com os objetivos: 1) utilizar os indicadores desenvolvidos como ferramenta de medição para avaliar o desempenho do Comitê de Ética em Pesquisa de uma instituição Federal no Rio de Janeiro, quanto à eficiência e eficácia de sua operação; e 2) determinar os motivos que podem fazer com que a duração do processo de aprovação exceda a meta de 60 dias.

Método

Os indicadores de desempenho utilizados no presente trabalho foram baseados nos estudos incluídos em revisão sistemática realizado por ^{Abbott e Grady (2011)} e os indicadores do estudo de ^{Adams et al. (2014)}. Os indicadores incluíram itens que avaliam estrutura (composição e qualificação dos membros) e processo (variações no tempo para análise, taxas de aprovação e questões de qualidade ética levantadas e comunicadas aos pesquisadores)

Decidiu-se numa primeira etapa testar somente os indicadores de processo. A informação usada foi levantada por uma pessoa autorizada pelo coordenador do CEP a acessar os documentos. Embora a maioria dos indicadores coletados do parecer consubstanciado sejam quantitativos, aqueles relacionados à qualidade da pesquisa, como pertinência da metodologia, risco e benefícios, termo de consentimento informado, não houve interferência subjetiva da pessoa que coletou os dados, ou seja, esta compilou os dados dos pareceres sem altera-los.

As fontes de informação foram os registros dos livros de ata do Comitê de Ética para os projetos que antecederam a implementação da Plataforma Brasil (2009 a 2011) e esta última para os projetos a partir de janeiro de 2012 a dezembro de 2014. Seguindo os preceitos éticos e obedecendo à Norma Operacional CNS-MS 1/2013(2), a pesquisadora que foi ao campo para levantar os dados comprometeu-se por declaração escrita a manter sigilo sobre todos os documentos, inclusive virtuais, sob pena de responsabilidade.

Após a etapa de coleta de dados através dos pareceres emitidos, a pesquisadora realizou uma entrevista de perguntas fechadas com pesquisadores que encaminharam projetos a partir de 2012 com a finalidade de saber qual o conhecimento deles sobre o funcionamento do CEP, documentação necessária e resolução CNS 466/12 (Anexo 1). Para tal foi solicitado termo de consentimento livre e esclarecido dos profissionais.

Resultados

Foram analisados 540 protocolos que tramitaram pelo Comitê de Ética em Pesquisa nos anos de 2009 a 2014. Neste período a taxa de protocolos aprovados foi de 89,6%, ou seja, que 484 pareceres foram aprovados (Tabela 1).

O tempo médio de demora entre a inserção do protocolo no sistema Sisnep/Plataforma Brasil e o aceite dos mesmos no CEP foi de 13,1 dias (mediana: 6; mínimo 0 - máximo 165 dias). Para a análise deste indicador foram excluídos 22 protocolos que não tinham dados sobre data de entrada no sistema, Sistema Nacional de Ética em Pesquisa (Sisnep) e 57 protocolos que eram de coparticipação porque na Plataforma Brasil tais protocolos entram no sistema e são aceitos no mesmo dia, obrigatoriamente.

O tempo médio entre a entrada do protocolo no CEP e a emissão do primeiro parecer foi de 27,4 dias (mediana: 18; min: 0 - máximo: 399 dias). Para este indicador, novamente foram excluídos os protocolos de coparticipação pelo mesmo motivo acima citado.

O tempo médio que o projeto permanece no CEP até o parecer final foi de 61,1 dias (mediana: 41; min: 0 - máximo :558). Ao analisarmos este indicador por ano, observamos que o tempo de duração de aprovação foram excedidos nos anos de 2009 até 2011, período este em que eram utilizados por meio impresso (Tabela 1).

Observamos que 157 protocolos (29% do total) tiveram a duração do processo de aprovação maior que a meta de 60 dias. A demora na emissão do parecer pelo relator do CEP foi identificada como a principal causa do atraso (88 protocolos). Dentre os protocolos cuja demora estava relacionada ao pesquisador, (28 protocolos) necessitaram de mais de duas revisões.

Os principais motivos de pendências dos protocolos incluíram: Termo de Consentimento Livre e Esclarecido ou Termo de Assentimento ausente ou inadequado, falhas metodológicas, ausência de documentos, descrição inadequada de riscos e cronograma defasado ou ausente (Tabela 2).

Foram entrevistados 55 pesquisadores (Anexo 1 - entrevista) e observamos que 10% deles não conhecem o fluxograma de pesquisas dentro da instituição e 18% não sabem quais os documentos necessários para registro dos protocolos. Em relação à Resolução CNS 466/12 somente 5% dos entrevistados afirmaram não conhecer seu conteúdo.

Discussão

A adequada análise do desempenho de uma empresa, instituição ou serviço cria a necessidade de desenvolver padrões que reflitam os objetivos organizacionais. Para obter sucesso no controle desses padrões, é necessário possuir informações válidas e confiáveis que reflitam as diversas medidas de desempenho organizacional (^{Rotta, 2004}). Para tal, utilizam-se indicadores que mostram a situação em que se encontra a gestão e sua evolução ao longo do tempo.

Os indicadores de desempenho são ferramentas úteis para auto avaliação de um CEP, para controlar e prevenir erros e prevenir conflitos (^{Taylor, 2007}). Há na literatura internacional diferentes métricas para coletar informações quantitativas e qualitativas sobre o desempenho dos Comitê de Ética em Pesquisa (^CRRO; ^{ORC, 2012}; ^{Institution Review Board, 2008}) que compreendem principalmente indicadores de desempenho relacionados à composição dos CEPs e ao processo de revisão. Os indicadores utilizados no presente estudo foram baseados nos já desenvolvidos e publicados e os resultados deste artigo compreendem aqueles relacionados ao processo de revisão.

Nosso CEP até o momento da pesquisa não utilizava nenhum indicador de forma continua, e toda e qualquer modificação no modus operandi acontecia de forma intuitiva. Por se tratar de um Instituto Nacional, onde são desenvolvidas pesquisas e atividades de ensino, a necessidade de auto- avaliação do CEP se tornou necessária.

A maioria dos estudos sobre o desempenho dos comitês de ética em pesquisa concentraram-se principalmente nos processos dos mesmos. Neles, entre as considerações éticas levantadas, a que teve o maior percentual foi a inadequação ou ausência de Termo de Consentimento Livre Esclarecido (min 30% - max 90%). Em nosso estudo, observamos que 43,3% dos motivos de pendência para aprovação dos protocolos foi inadequação nos Termos de Consentimento, mesmo após a publicação da resolução 466/12 onde no item IV.3 determina e descreve o conteúdo dos Termos de Consentimento, o que nos levou a perceber a necessidade de questionar aos pesquisadores sobre o conhecimento de tal resolução para depois planejar estratégias para instruir e ajudar os pesquisadores neste sentido.

Outra causa no atraso da aprovação dos protocolos nos estudos já publicados dizem respeito a falhas na metodologia dos estudos (min 20% - max 89,1%) (^{Labronici et al., 2012}; ^{Masarrollo et al., 2009}; ^{Barbosa et al., 2010}; ^{Adams et al., 2014}; ^{Novaes et al., 2009}; ^{Paiva et al., 2009}; ^{Silva et al., 2012}; ^{Pales et al., 2014}). ^{Adams e colaboradores (2014)} afirmam que os resultados dos indicadores do comitê de ética sobre análise da metodologia não dizem respeito ao protocolo em si, mas ao tamanho da amostra, dados e coleta de espécimes, critérios de inclusão/exclusão, confidencialidade e privacidade.

Uma das queixas mais frequentes por parte dos pesquisadores diz respeito ao fato do Comitê de Ética questionar aspectos metodológicos dos estudos. Esta questão que exige uma maior consideração entre os membros dos comitês de ética, visto que muitos pesquisadores acreditam que esse não é atribuição dos comitês.

No Brasil, a resolução 466/2012 (^{Conselho Nacional de Saúde, 2012}) em seu artigo 3°, diz que a eticidade da pesquisa, entre outras coisas, implica em utilizar os métodos adequados para responder às questões estudadas, especificando-os, seja a pesquisa qualitativa, quantitativa ou quali-quantitativa.

Da mesma forma que em nosso estudo, pesquisadores observaram também pendências éticas na relação ricos/benefício (^{Pales et al., 2014}), ausência de documentos importantes (^{Novaes et al., 2009}; ^{Pales et al., 2014}) e erros no cronograma (^{Silva et al., 2012}).

Outra questão polêmica relatada por ^{Guillemin et al. (2012)} em seu estudo diz respeito as reclamações dos pesquisadores em relação aos atrasos na aprovação dos protocolos, em especial, aqueles que necessitam de aprovação de mais de um comitê de ética. Neste sentido, os comitês de ética que possuem indicadores de tempo de resposta e tempo de processamento podem avaliar se as reclamações realmente procedem.

^{Dyrbye e colaboradores (2007)} compararam os resultados da avaliação de uma pesquisa multicêntrica em comitês de ética de seis instituições e relataram haver variabilidade na pontualidade e consistência das críticas dos mesmos.

^{Lantero (2011)} em seu estudo sobre o uso de indicadores em um programa de proteção à pesquisa humana no Centro de Ciências da Saúde da Universidade do Texas, considerou-os muito úteis. Os comitês de ética das instituições estabelecem suas metas e usam seus próprios indicadores para estabelecê-las de forma a cumprirem as normas e/ ou resoluções de cada país, que variam de 30 a 60 dias (^{RCO, 2014}; ^{Barbosa et al., 2010}; ^{Adams et al., 2014}; ^{Novaes et al., 2009}; ^{Paiva et al., 2009}; ^{Silva et al., 2012}; ^{Pales et al., 2014}; ^{Mayo Clinic Human Research Protection Program, 2012}).

O comitê de ética do presente estudo utilizou indicadores para identificar os pontos críticos dos seus processos e assim melhorar as operações. Observamos que 29% dos protocolos tiveram a duração do processo de aprovação maior que a meta de 60 dias. Verificou-se que as pendências estão relacionadas ao termo de consentimento livre e esclarecidas, metodologias de pesquisa e descrição de riscos e benefícios inadequados.

Após os resultados de nosso estudo serem analisados, eles foram discutidos internamente pelos membros do CEP com a finalidade de revisar o processo e assim evitar potenciais conflitos com os pesquisadores. Além disso, foi organizada uma atividade de atualização sobre considerações éticas.

Apesar dos esforços dos comitês de ética em aprovar os estudos em prazos menores, ^{Adams et al. (2014)} ressalta que nem todos os estudos devem ser aprovados em menos tempo, em especial aqueles que contém dilemas éticos e os multicêntricos. Os autores chamam atenção para o uso dos resultados analíticos dos indicadores para avaliar seu desempenho e garantir que o processo de aprovação seja devido a preocupações éticas genuínas.