SciELO - Scientific Electronic Library Online

 
vol.35 número1Knowledge audit. Domain analysis in the data base Scopus and WoKBetween information literacy and the digital divide: Exploring a reconceptualization of the digital exclusion phenomenon índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Compartilhar


Revista Interamericana de Bibliotecología

versão impressa ISSN 0120-0976

Rev. Interam. Bibliot vol.35 no.1 Medellín jan./jun. 2012

 

INVESTIGACIÓN

 

O uso da técnica cliente oculto como ferramenta de avaliação do atendimento aos usuários de bibliotecas públicas: uma experiência brasileira na graduação de Biblioteconomia

 

The 'mistery shopping' technique used as a tool of service assesment in public libraries: a Brazilian experience involving Biblioteconomy undergraduates

 

 

Ariadne Chloe Mary Furnival*; Marcos Teruo Ouchi**; Euzébio Luiz Pinto***

*Professora Adjunta. Departamento de Ciência da Informação, Centro de Educação e Ciências Humanas. Universidade Federal de São Carlos, S.P. Brasil. São Paulo, Brasil. chloe@ufscar.br

**Aluno de graduação do Curso de Bacheralado em Biblioteconomia e Ciência da Informação. Universidade Federal de São Carlos. São Paulo, Brasil. teruo@ufscar.br

***Aluno de graduação do Curso de Bacheralado em Biblioteconomia e Ciência da Informação. Universidade Federal de São Carlos. São Paulo, Brasil. elpifch@gmail.com

 


Resumo

No contexto de uma síntese de alguns métodos e técnicas de avaliação de serviços encontrados na literatura sobre o assunto, este artigo relata a experiência da aplicação da técnica de cliente oculto, ou mystery shopping, para a avaliação de atendimento ao público numa rede de bibliotecas públicas no interior do estado de São Paulo, Brasil. Detalhase como a técnica foi aplicada e os resultados tabulados são apresentados. Excluindo o grupo de controle, 60% das bibliotecas avaliadas conseguiram uma avaliação de 'excelente' para a variável 'informar', que se refere à capacidade do funcionário atendente em resolver as perguntas e as pesquisas dos usuários, resultado esse muito satisfatório. Em relação à forma com a qual os 'clientes ocultos' foram atendidos, a avaliação global foi igualmente boa, tendo 50% das bibliotecas alcançado o valor 'excelente' para a função 'acolhimento'. A aplicação da técnica se deu no contexto da oferta da disciplina de 'Serviço de Referência e Informação' no curso de graduação em Biblioteconomia e Ciência da Informação de uma universidade federal brasileira, com os alunos da supracitada disciplina agindo como 'clientes ocultos' dos serviços prestados aos usuários nas bibliotecas públicas avaliadas. Nesse sentido, espera–se que o exercício contribua para a formação de profissionais bibliotecários reflexivos que possam futuramente propor ações baseadas em evidências.

Palavras–chave: bibliotecas públicas; avaliação de serviços; atendimento ao usuário final; técnica cliente oculto; Serviço de Referência.

Cómo citar este artículo: FURNIVAL, Ariadne Chloe; PINTO, Eusebio Luiz; OUCHI, Marcos Teruo. The 'mistery shopping' technique used as a tool of service assesment in public libraries: a Brazilian experience involving Biblioteconomy undergraduates Revista Interamericana de Bibliotecología. 2012, vol. 35, n° 1; pp. 27–38.


Abstract

In the context of a brief review of some methods and techniques found in the literature on the subject of service evaluation, this article reports the experience of the application of the mystery shopping technique for the assessment of service attendance to the public in a network of public libraries in the state of São Paulo, Brazil. Details of how the technique was applied and the tabulated results are presented. Excluding the control group, 60% of the evaluated libraries attained the value of 'excellent' for the variable 'informing', which refers to the ability of the professional helping the user to solve his questions and searches. This result is considered to be highly satisfactory. In relation to the form employed by the personal in charge with the mystery shoppers, the overall evaluation was also very good, with 50% of the libraries attaining the value 'excellent' for the attribute 'greeting//welcoming approach'. The application of the technique occurred in the context of the course module 'Reference and Information Services' offered on the undergraduate LIS course in a federal university in Brazil, with the students of the course acting as the mystery shoppers for the services provided by the assessed public libraries. In this way it was hoped that the exercise might contribute to forming reflexive librarians with the future ability to propose new evidence–based services, procedures and measures.

Keywords: public libraries; service evaluation; enduser service; mystery shopping; reference service

How to cite this article: FURNIVAL, Ariadne Chloe; PINTO, Eusebio Luiz; OUCHI, Marcos Teruo. o uso da técnica cliente oculto como uma ferramenta de avaliação no atendimento aos usuários de bibliotecas públicas: uma experiência brasileira na graduação de Biblioteconomia. Revista Interamericana de Bibliotecología. 2012, vol. 35, n° 1; pp. 27–38.


Resumen

En el contexto de una breve síntesis sobre algunos de los métodos y técnicas para la evaluación de servicios que se encuentran en la literatura sobre el tema, este artículo relata la experiencia de aplicación de la técnica de cliente oculto o mystery shopping para evaluar el servicio de atención al cliente de una red de bibliotecas públicas en el estado de São Paulo, Brasil. Se detalla cómo se ha aplicado la técnica y se presentan los resultados tabulados. Excluyendo el grupo de control, un 60% de las bibliotecas evaluadas obtuvo calificación de 'excelente' para la variable 'informar', que se refiere a la capacidad del profesional para resolver las preguntas y consultas de los usuarios. En relación con la manera como los 'compradores misteriosos' fueron tratados, la evaluación general fue también muy buena, 50% de las bibliotecas alcanzaron la calificación de 'excelente' para la variable 'recepción'. la técnica se aplicó gracias a los estudiantes del curso Servicio de Referencia e Información, en la licenciatura en Bibliotecología y Ciencia de la Información de una universidad federal de Brasil, quienes actuaron como los 'compradores misteriosos' de los servicios que se prestan a los usuarios en las bibliotecas públicas evaluadas. Se espera que el ejercicio contribuya a la formación de bibliotecarios reflexivos que pueden sugerir acciones futuras basadas en evidencias.

Palabras clave: bibliotecas públicas; evaluación de los servicios; servicio al usuario; técnica cliente oculto; servicio de referencia


 

1. Introdução

Dentro do contexto da disciplina 'Serviços de Referência e Informação' ofertada no curso de graduação em Biblioteconomia e Ciência da Informação na Universidade Federal de São Carlos – UFSCar e ministrada pelo primeiro autor deste artigo, foi solicitado aos alunos da disciplina que realizassem um exercício de aplicação prática da técnica cliente oculto como forma de avaliação de qualidade de serviço no atendimento ao usuário de uma biblioteca. Esta técnica de avaliação da qualidade de serviço – conhecida como cliente oculto, do inglês mystery shopping – tem sido usada por organizações (predominantemente comerciais) para adquirir insights pontuais da experiência e percepção dos usuários e ou consumidores de seus serviços de atendimento. No entanto, há pouco uso desta técnica em bibliotecas e unidades de informação, sendo que, baseado na revisão da literatura, não houve emprego da técnica em bibliotecas brasileiras até o presente momento. A técnica não deixa de ser um tipo de pesquisa nos moldes de observação não participante, mas ao mesmo tempo, não há necessidade de um treinamento muito especializado, pois a maioria das pessoas consegue, intuitivamente, se colocar na posição de um cliente ou usuário de um serviço. Seu uso no contexto de um trabalho de disciplina acadêmica na graduação foi motivado mais pelo objetivo de sensibilizar os alunos de graduação do que pelo seu pioneirismo. Nesse sentido, esperava–se prioritariamente contribuir com a formação de profissionais reflexivos, com a consciência de que podem e devem praticar a profissão e inovar em serviços com base na evidência – 'evidence–based, reflective practitioners' (Grant, 2007).

Diante do exposto, o presente artigo primeiramente discorrerá sobre a técnica de avaliação mystery shopping no contexto de outros métodos de avaliação de serviços usados em bibliotecas. Em seguida, apresenta–se como a técnica foi aplicada numa rede de bibliotecas públicas no Brasil, além de apresentar alguns resultados e discussão dessa execução da técnica.

 

2. Avaliação da qualidade de serviços

O contexto da avaliação da qualidade em serviços vem mostrando, nos últimos anos, um deslocamento de foco por parte das empresas e corporações. Tem havido uma maior preocupação em se considerar, para além das ambições e objetivos internos institucionais, os anseios dos usuários e clientes finais. Particularmente, os trabalhos pioneiros realizados por Parasuraman (1985) e Berry (1992; 1997) alude à busca do 'defeito zero' e a problemática que existe quanto à sua realização no âmbito de serviços. Diferentemente do caso da produção de bens materiais – na qual é possível separar facilmente as peças boas das defeituosas e identificar as fases do processo produtivo em que houve erro visando–se o consumo final – no caso de se avaliar serviços, tornase mais complexa a identificação dos defeitos, uma vez que a produção dos serviços e o consumo dos mesmos se dão simultaneamente, confundindo–se. Desta forma, o controle de qualidade voltado para a realização de serviços – dada a sua característica de intangibilidade – possui critérios mais subjetivos do que no caso da produção de bens materiais.

A mudança de foco das empresas que se restringem a um anseio institucional interno àquelas que efetivamente se focam no usuário implica mudanças na postura profissional do quadro funcional e na estrutura organizacional, envolvendo organogramas pautados menos na sobreposição de funções hierárquicas e mais na autonomia de gestão do quadro funcional. Neste sentido, a responsabilidade pela qualidade de serviço prestado pela empresa chega ao nível operacional, recaindo sobre os funcionários que se encontram na linha de frente, interagindo diretamente com os usuários e clientes finais do serviço. Tal postura organizacional possibilita a melhoria dos serviços pela identificação e manutenção das boas práticas, que caracteriza a técnica de gestão conhecida como benchmarking, que constitui uma forma de se comparar com o que se reconhece como a 'melhor prática' (o benchmark) num dado ramo de serviços.

No contexto das bibliotecas, costuma ser no Serviço de Referência (SR) que acontece a interação direta com os usuários. Das diversas definições encontradas na literatura para os serviços de referência optamos, neste trabalho, entendê–lo como uma função de atendimento às necessidades informacionais dos usuários da biblioteca, de forma a satisfazê–los como 'clientes' desses serviços e produtos. A avaliação de serviços desta natureza torna–se necessária à medida que a informação ganha cada vez mais importância na sociedade:

Sejam quais forem as necessidades ou as características de cada organização, a avaliação de serviços é fundamental para o planejamento, como auxiliar na tomada de decisão e, principalmente, para a gestão da qualidade. Sem qualidade, corre–se o risco de se perder o cliente/usuário. (Rozados, 2005)

O tema de avaliação de serviços de bibliotecas é mais recente no Brasil, quando comparado com América do Norte e Europa, onde há uma produção expressiva de avaliações quantitativas e qualitativas de serviços, no setor público, além de serviços prestados nas bibliotecas públicas e universitárias (Dilevko, 2000; Lee, 2010; Ball, 2008). No Brasil, tem predominado avaliações de serviços de bibliotecas universitárias (Melo, 2010; Baptista, 2011), e embora haja um crescente interesse na avaliação dos serviços em bibliotecas públicas, Almeida Jr. (2003) faz duras críticas aos procedimentos profissionais comumente encontrados nas bibliotecas do setor público, particularmente no que diz respeito ao atendimento e à estruturação e qualificação dos Serviços de Referência e Informação (SRIs). Esse autor menciona a atitude passiva e paternalista de muitos profissionais das bibliotecas públicas, que se contrapõe à efetivação de mecanismos de avaliação nessas bibliotecas.

O surgimento das metodologias de avaliação foi fortemente motivado pelas mudanças na área da gestão empresarial, que visam um maior enfoque no cliente, especialmente na área da prestação de serviços, sendo considerado o caráter intangível de tal atividade. Tratava–se – e ainda trata–se – de se buscar parâmetros que permitam mensurar, por indicadores e por referências qualitativas, a qualidade do atendimento prestado pelas corporações a seus clientes, visando a maximização do grau de satisfação destes.

Parasuraman (1985) propõe uma metodologia de avaliação de serviços, intitulada SERVQUAL, organizada em dimensões objetivas de sua prestação e no enfoque no ponto de vista dos usuários. A metodologia surge dos estudos que estes autores fizeram sobre a prestação de serviços enquanto algo intangível, mas passível de avaliação, e foca as questões relativas às discrepâncias (gaps) entre as perspectivas institucionais das corporações e as expectativas dos usuários dos serviços destas. Em 1999, a Association of Research Libraries (ARL), em parceria com a Texas A&M University, fez uma adaptação do SERVQUAL voltada especialmente para a avaliação de bibliotecas, como forma de 'apoiar os bibliotecários e gestores de informação a conhecer a percepção dos utilizadores' (Melo, 2010). Surgia desta maneira a ferramenta LIBQUAL® que mantém os mesmos pressupostos de aplicação utilizados para o SERVQUAL; porém, adapta os indicadores de desempenho conforme o contexto das bibliotecas. As versões mais atuais do LIBQUAl® utilizam em torno de 20 indicadores, agrupados em três dimensões fundamentais: Valor afetivo do atendimento; Biblioteca como local; Controle (acesso) da informação.

Outras técnicas de avaliação de serviços adaptadas para utilização em bibliotecas são as do Balanced Scorecard (BSC) (Melo, 2010), a qual se reporta a diretrizes colocadas pela International Federation of Library Associations and Institutions (IFLA) e aquela descrita por Olszewski (2010), o Question Point. Esta última tem seu uso caracterizado pela grande abrangência, tanto na interatividade do levantamento das questões relevantes nas bibliotecas em estudo como na diversidade destas. O propósito manifesto desses autores era o de avaliar como as diferenças de contexto cultural afetam o funcionamento dos SRIs no número substancial (19) de bibliotecas (públicas e universitárias) que avaliaram de 10 países de continentes diversos. levantaram–se dados estatísticos diversos sobre a demanda de atendimento dos SRIs, tais como: tipos de material procurados por assunto; tipos de busca por material (aberta ou fechada); perfis de usuários que utilizam o serviço; reações a certos tipos de questão do atendimento, entre outras questões.

Mais outro método de avaliação, também citado por Melo (2010) e aplicado por Lee (2010), e bastante utilizado no meio empresarial atual, é a Avaliação Contingencial. Esse método consiste na avaliação de um produto ou serviço situado num mercado hipotético, dentro do qual se avaliam a disposição dos usuários de pagar a mais por um serviço em função de melhorias que aumentam seu valor agregado (willingness to pay – WTP) e a disposição de ter um serviço de qualidade limitada em prol da manutenção do custo do mesmo (willingness to accept – WTA). Através destas duas medições, avalia–se a possibilidade de um incremento, ou de um novo serviço (ou produto) ser aceito por um determinado perfil de público.

 

3. A técnica de Mystery Shopping para a avaliação de serviço de atendimento

A técnica do cliente oculto (mystery shopping) remonta à década de oitenta, quando foi desenvolvida no setor comercial para a avaliação de serviços envolvendo contato direto com os clientes, tais como os setores bancário, hotelaria e venda a varejo (Wilson, 1998). É uma técnica qualitativa, uma forma de observação participante na qual o pesquisador (o cliente oculto, o 'mystery shopper'), interage com o sujeito sendo observado (Hudson, 2001), embora seja realizada de modo ocultado (Calvert, 2005). De fato, podemos afirmar que, sem usar o termo 'mystery shopping', lancaster (2004) descrevia algo muito semelhante quando sugeriu (originalmente em 1985) que, para a avaliação de SRIs em bibliotecas, fosse aplicado o método de estudo não–participante, no qual:

[...] as questões escolhidas para o teste são apresentadas à biblioteca de tal forma que sejam aceitas como questões 'reais' formuladas por usuários 'reais'. [...] Os Voluntários utilizados nesse tipo de estudo devem receber treinamento adequado. Devem apresentar a questão de forma natural, devem compreendê–la e estar preparados para mostrar por que precisam da resposta caso lhes seja pedida esta informação. (op cit. p.162–163).

É usual que se distribui pedidos típicos de um cliente/ usuário para o cliente oculto colocar na aplicação da técnica: no caso de um usuário de biblioteca, estes poderiam incluir a busca por um item no catálogo e posterior localização física do mesmo com a solicitação de ajuda de um funcionário, ou o pedido de sugestões de itens bibliográficos ao bibliotecário, sobre um determinado assunto (Calvert, 2005). Thomas (2000) fornece uma lista de possíveis questões para um roteiro de mystery shopping numa biblioteca universitária que poderiam ser adaptadas ao contexto de bibliotecas públicas. É normal aplicar a técnica dentro de 10 a 15 minutos, que representa o tempo gasto numa interação 'verdadeira' entre um bibliotecário e um usuário, mas isso dependerá, evidentemente, do tipo de pedido feito pelo cliente oculto. Uma razão importante para circunscrever rigidamente o tempo da aplicação é que o cliente oculto tem que guardar as suas impressões e observações na memória, para depois registrá–las numa ficha de controle, fora da visão do funcionário e afastado do lugar físico do serviço sendo avaliados. Entre os itens na ficha a ser preenchida pelo cliente oculto logo após a sessão de atendimento, poderia haver 'primeiras impressões': limpeza do ambiente, acessibilidade física, banheiros, afabilidade dos funcionários, tamanho de filas, além de aspectos que diretamente dizem respeito ao atendimento do bibliotecário sendo avaliado.

Como Thomas (2000) e Calvert (2005) observam, o que o cliente oculto avaliará dependerá do objetivo do exercício. Ou seja, se a organização quer avaliar o comportamento dos seus funcionários no balcão de atendimento, então esta organização evidentemente já deveria ter uma ideia clara daquilo que considera ser comportamento bom e ideal para os seus funcionários que ocupam tais postos. Por outro lado, o checklist do cliente oculto deveria ser construído do ponto de vista do usuário/cliente e não do ponto de vista da gerência da organização (biblioteca), do contrário o exercício poderia cometer o erro de verificar 'o que fazemos' (funcionalidade) ao invés de 'como somos percebidos em termos de atendimento ao público' (prestação de serviço) (Lowndes, 2001). Um exemplo de avaliação da qualidade de atendimento aos usuários de uma biblioteca poderia ser, por exemplo, se o bibliotecário acrescenta, por exemplo, a simples pergunta: 'Há algo mais em que posso ajudar?' ao fim de um atendimento de referência.

Entre as vantagens levantadas da técnica é a de que é a mais representativa da experiência real do cliente/ usuário, pois mede o serviço 'enquanto isto se desenrola' (Wilson, 1998, p.415). Dessa forma, coleta menos uma impressão geral do serviço prestado, e mais os 'fatos' ocorridos durante o evento (Wilson, 1998). É uma forma de coleta mais natural, quando comparada com outras técnicas de avaliação, nas quais pode haver maior probabilidade de interferência pela própria 'artificialidade' da situação de aplicação (p.ex. as respostas dadas num survey podem representar as respostas que o respondente 'acha' melhor colocar, mas que não necessariamente melhor reflitam seu pensamento e/ ou memória do serviço prestado). É uma técnica relativamente simples a ser elaborada e aplicada, e assim sendo, não é custosa. Os resultados da sua aplicação fornecem dados à gerência sobre o processo de serviço de atendimento ao público e não apenas no resultado deste, e assim, ajuda identificar as necessidades de treinamento e capacitação do pessoal, potencialmente acarretando em melhorias imediatas do atendimento aos usuários (GB. Cabinet Office apud Douglas e Douglas, 2006). Como nota Calvert (2005), que a usou em três bibliotecas públicas na Nova Zelândia, a técnica também pode ser utilizada para realizar o benchmarking entre organizações, para comparar o padrão de serviço no atendimento à clientela.

Os principais 'pontos fracos' da técnica apontados na literatura são que, já que o objetivo da técnica é de avaliar o serviço em visitas não anunciadas, existe a possiblidade de pegar o funcionário do atendimento num dia e horário particularmente ruim em termos das circunstâncias externas e, até, internas ao funcionário. A 'amostra' da avaliação é aquele funcionário naquele momento apenas – é uma 'foto' momentânea tirada do serviço naquele instante – e os avaliadores devem ser bem cientes disso, idealmente procurando, se os recursos permitirem, enviar diferentes clientes ocultos em outros dias e horários distintos. A técnica também revela um viés em favor de avaliar a resposta dado a questões mais 'fatuais' e menos complexos e subjetivos, uma tendência comum às avaliações de SRIs em geral (Murfin apud Thomas, 2000). Outra fraqueza da técnica é que depende muito da memória (potencialmente falível) do cliente oculto: Calvert (2005) fala da dependência nos 'processos e capacidades cognitivos' do cliente oculto, incluindo, além da memória deste, a possibilidade de sua percepção parcial devido às condições ambientais do lugar (luz, espaço) e cansaço físico e mental. Há de se considerar também que a experiência de serviço resultante da 'interação oculta' não poderá ser uma experiência 'real' do cliente/usuário, justamente porque a técnica foca uma dada experiência de atendimento e também porque, como Lowndes (2001) nos lembra, a formação do conceito de qualidade de um dado serviço é algo que o cliente forma ao longo do tempo baseado em interações repetidas: é uma atitude que o cliente constrói no tempo e frequentemente com base na experiência prévia e não a partir da impressão de uma única interação. Finalmente, um ponto levantado em toda a literatura consultada sobre a técnica é aquele que se refere à dimensão potencialmente não ética da avaliação de funcionários sem estes serem cientes da mesma. Nesse sentido, a técnica é às vezes entendida como uma forma de 'vigiar' no sigilo, o desempenho de funcionários, o que poderia ser desmotivador.

 

4. Exercício de aplicação da técnica cliente oculta em Bibliotecas Públicas

Pretendeu–se com a atividade, aplicar os conceitos expostos em aula sobre as ferramentas de avaliação de serviços em unidades de informação, utilizando–se da técnica mystery shopping em bibliotecas públicas de uma região do interior do estado de São Paulo, especialmente em seus SRs, por se tratar do serviço com maior aproximação dos usuários. Para sua realização, foi solicitada a anuência da diretoria do Sistema Integrado de Bibliotecas (SIBi) do município alvo da pesquisa que, prontamente, autorizou sua execução, mediante a condição de que teriam acesso aos seus resultados e que, até e durante a aplicação do exercício, nenhum funcionário do sistema de bibliotecas deveria ser informado da atividade. Para aplicação deste levantamento, que pode ser realizada de forma participante, onde o funcionário avaliado está ciente da avaliação e 'não participante', quando o funcionário não está ciente (Lancaster, 2004), optamos pela segunda opção, de acordo com a solicitação da diretoria do sistema de bibliotecas.

Ao todo, dispuseram–se ao exercício, quarenta e dois alunos do curso de Biblioteconomia e Ciência da Informação da Universidade Federal de São Carlos (UFS–Car), dentre eles, dois dos autores do presente artigo. Todos, alunos da disciplina de SRI, neste exercício, clientes ocultos voluntários. É importante salientar que, a despeito dos pesquisadores serem estudantes universitários, todos eles foram orientados a observarem e agirem como usuários comuns, ou seja, membros da comunidade da qual pertencem. Os 'clientes ocultos' foram divididos em grupos de 3 a 5, e cada grupo escolheu uma biblioteca para a aplicação do exercício. Foram selecionadas 11 bibliotecas pertencentes ao SiBi do município, sendo 3 bibliotecas públicas e 8 bibliotecas escolares que também atendem à comunidade. Cada grupo escolheu a biblioteca que mais lhe conviesse para a pesquisa devido às suas preferências pessoais, localização, simpatia, etc. Alguns escolheram pela distância de suas residências, outras por acreditarem que naquela biblioteca haveria de se obter a satisfação de suas necessidades e é claro, pela facilidade e comodidade. A pesquisa foi aplicada também em duas bibliotecas públicas de distintas cidades vizinhas que serviram como bibliotecas de controle para fins de comparação. Nesta divisão, apenas uma das bibliotecas das 11 do SiBi não foi escolhida e, então, 10 bibliotecas foram visitadas pelos grupos entre os dias 7 e 30 de novembro de 2011. As visitas ocorreram de diversas formas: individualmente, em duplas e em grupos. Foram realizadas visitas em dias e horários diversos.

Vale ressaltar que o objetivo principal não foi o de avaliar a qualidade dos serviços e muito menos os funcionários ou os procedimentos das bibliotecas. O exercício objetivou muito mais verificar como os alunos do curso se portariam em situações onde fosse necessário organizar e aplicar uma técnica ou ferramenta específica para avaliação de um serviço de informação. Procurouse observar o quão criticamente os alunos avaliaram as bibliotecas, atentando–se para como pesquisaram sobre a técnica do mystery shopping, elaboraram o roteiro do exercício e levantaram os critérios a serem avaliados e, por fim, como se deu sua aplicação.

4.1 A escolha dos indicadores

De acordo com Rozados (2005):

É objetivo básico dos indicadores servir de ferramenta para avaliar a qualidade e a eficácia dos serviços prestados, assim como valorizar a eficiência dos recursos destinados pelas unidades de informação para estes serviços e atividades. O estabelecimento de indicadores, portanto, é prioritário num processo de implementação e avaliação da gestão da qualidade em qualquer serviço de informação. (Rozados, 2005)

Encontramos na literatura alguns indicadores destinados a avaliar os SRs e em sua grande maioria, estes indicadores são de natureza quantitativa. Por exemplo: entre outros indicadores que podem ser utilizados para avaliação de um SRI, a ISO11620:2008, recomenda o indicador B.3.3.2 Correct Answer Fill Rate, que tem por objetivo avaliar em que medida os funcionários são capazes de fornecer respostas corretas às perguntas dos usuários. Uma avaliação real procuraria determinar quantas das perguntas formuladas à biblioteca são respondidas completa e corretamente (Lancaster, 2004).

O roteiro básico da pesquisa procurou simular a visita de um cliente, dupla ou grupo de clientes com uma determinada necessidade a cada uma das bibliotecas e obter, do bibliotecário ou funcionário responsável pelo SR ou atendimento com respostas. Cogitou–se utilizar uma questão genérica e direta, bem como questões que suscitassem algum tipo de pesquisa, porém, como o objetivo principal não era avaliar o bibliotecário optou–se por uma abordagem mais simplificada e que fosse, digamos, o mínimo que se espera deste serviço: conhecer sua coleção e localização dos itens no acervo. Para tanto, buscamos alguns títulos na base de dados do sistema de bibliotecas, disponibilizada na internet, cujos exemplares estivessem catalogados e disponíveis em apenas uma das unidades. Como resposta correta, esperávamos que o funcionário nos indicasse a localização e a disponibilidade da obra e, em caso excepcional, oferecesse um serviço de empréstimo entre bibliotecas ou comutação bibliográfica.

No entanto, os alunos–voluntários consideraram que outros fatores também deveriam ser observados. Tais fatores, de cunho mais subjetivos contribuiriam tanto, ou até mais para a satisfação do usuário do que uma simples resposta correta. Para estruturar melhor tais fatores, os critérios foram inspirados por Mangas (2007), que atribui ao SR as funções de acolhimento, informação, formação e orientação como essenciais para que se consiga atingir o objetivo de satisfazer as expectativas dos usuários/clientes. Tabela 1.

Por se tratar de um exercício cuja avaliação tem por base opiniões e, portanto, baseado em conceitos subjetivos, optou–se por não atribuir valores ou pontuações e sim, convencionar, entre os participantes, o que cada conceito representaria nesta avaliação.

O requisito para que os indicadores sejam úteis à gestão implica, necessariamente, que estejam normalizados e que sua produção histórica (temporalidade) se atenha sempre à mesma norma ou forma de medida, a fim de permitir a comparabilidade. (Rozados, 2005, p.63)

Convencionaram–se entre o grupo dos clientes ocultosalunos os seguintes critérios:

 

5. Resultado e discussão

Com base nos 'valores' (de 'excelente' a 'ruim') atribuídos pelos clientes ocultos a cada função do SR, a partir do evento da interação no atendimento, foram tabulados os resultados a seguir (Tabela 3 e Tabela 4):

 

O caso da Biblioteca de Controle número dois (C2) foi particularmente impressionante, como o seguinte trecho de texto avaliativo que os clientes ocultos (alunos do curso) ilustram:

É decepcionante saber que há profissionais tão mal preparados na nossa área, no referente a serviços de informação e referência [...] É ao mesmo tempo fortalecedor, pois sabemos que estamos tendo todo o treinamento necessário [...] seremos bibliotecários capacitados e saberemos tratar de forma correta nossos usuários, não deixando os mesmos passarem pelo o que eu passei e estarmos sempre cientes de que cada usuário é diferente, têm necessidades diferentes, têm dificuldades diferentes, e o bibliotecário precisa ter consciência disso, ter consciência de que dificuldades podem surgir [...] (Pesquisa, 2011)

Tais observações e reflexões, baseadas em uma experiência de atendimento extremamente negativa em vários sentidos contrasta com a registrada por outro grupo:

'O grupo foi unânime em afirmar que a Biblioteca X possui um serviço adequado para os fins os quais foi concebido. Fomos positivamente surpreendidos pela simpatia e cortesia dos funcionários e pela estrutura da Biblioteca.'

 

Agregando e convertendo esses resultados representados por valores não numéricos atribuídos a cada função para cada unidade (Biblioteca) da Tabela 4, excetuando–se os valores da Tabela 3, em porcentagens, para facilitar uma apreciação mais global e comparativa do Sistema como um todo se tem então a seguinte situação.

Vemos destes resultados que em 60% das bibliotecas avaliadas, as funções 'Informar' e 'Orientar' foram considerados 'excelentes' pelos avaliadores. Uma possível explicação para o fato de que as duas funções alcançaram a mesma porcentagem é que no momento da aplicação da técnica, a distinção entre as duas não se mostrou nítida, fato mais relevante ainda quando lembrarmos que o avaliador atribuiu uma nota pós–ato, dependendo exclusivamente da sua memória de curto prazo (short term memory). A função 'Formar' mostra que o funcionário optou por fornecer a informação ao invés de orientar o usuário na busca. Isto talvez se dê pela política da instituição. É também positivo o fato de que em 50% das bibliotecas avaliadas a função 'Acolhimento' foi considerada 'excelente'. Como observado por Mangas (2007): tal acolhimento constitui a ponte entre a biblioteca e sua comunidade de usuários, e assim, o acolhimento e primeiras impressões serão decisivos para as boas relações públicas da biblioteca em questão.

 

Considerações Finais

Um forte entrave que se encontra ao aprimoramento da realização dos serviços voltados aos usuários é a estrutura hierárquica característica das instituições pertencentes ao setor público, estrutura esta que privilegia, no interior do quadro funcional, uma postura paternalista – expressa numa política preservacionista e tecnicista de materiais de um acervo de livros, que atua em detrimento de uma postura mais voltada ao atendimento direto das demandas informacionais dos usuários, bem como à identificação e legitimação de boas práticas (benchmarking). Algumas características mais negativas das bibliotecas públicas são objeto do trabalho de Almeida Júnior (2003), que faz forte crítica à postura assumida pelas bibliotecas públicas de estilo mais tradicional, apontando a inadequação da composição do quadro funcional, a postura apática de grande parte dos bibliotecários deste setor e o descaso a que vem sendo relegadas, ao longo dos anos, as atividades dos chamados SRIs – os quais, muitas vezes, não são nem sequer estruturados, ficando o atendimento ao usuário a encargo de auxiliares e funcionários de função deslocada na estrutura pública, geralmente sem preparo adequado.

Muitos usuários das bibliotecas públicas brasileiras concordariam com tal delineação lamentável da situação desse setor. Entretanto, os resultados da avaliação do atendimento ao público das bibliotecas públicas compondo a amostra do estudo aqui relatado parecem revelar um quadro menos pessimista: por um lado, se o acervo, ambiente físico, infraestrutura, tamanho do quadro do pessoal deixem a desejar, parece haver compensação positiva, na maioria dos casos, no que diz respeito ao atendimento ao público. Não se pretende inferir disso que não há necessidade de aprimoramento na qualidade dos serviços prestados nas bibliotecas públicas avaliadas; mas o positivo disso é que aquele aspecto que 'faz a diferença' para o usuário – a saber, o 'toque humano' – parece ser algo alcançável com uma sensibilização apropriada.

Vimos que a técnica de mystery shopping – cliente oculto – é eficaz em captar aspectos da qualidade de serviço prestado aos usuários, manifestada na postura, comportamento e ações do funcionário na linha de frente de atendimento ao público. Os resultados da aplicação da técnica – idealmente conjugados com outros métodos de avaliação – constituirão um feedback valioso para a organização em questão, tipicamente para o aperfeiçoamento dos procedimentos de serviço ou melhorias no comportamento do staff, e sempre com a intenção de melhorar a experiência de atendimento que o cliente recebe/experimenta.

Há um consenso na literatura de que a técnica de cliente oculto pode ser tão precisa quanto outros métodos de pesquisa de avaliação (como, por exemplo, entrevistas telefônicas, surveys), e como com estes, a confiabilidade da técnica dependerá muito nos preparativos, por exemplo, no treinamento dos 'clientes ocultos' (mystery shoppers) e, inclusive, a própria forma de elaborar as perguntas e/ou escalas na ficha de controle preenchida pelo cliente oculto.

Finalmente, é importante lembrar que os objetivos principais da aplicação da técnica de mystery shopping foram os de permitir que a professora da disciplina SRI avaliasse como os alunos se portariam em situações nas quais fosse necessário organizar e aplicar uma técnica ou ferramenta específica para avaliação de um serviço de informação e procurar suscitar nos alunos de graduação do curso de Biblioteconomia uma postura crítica diante de uma realidade na qual futura e possivelmente, atuarão, esperando–se, assim, contribuir para a formação de profissionais de informação reflexivos que possam propor ações baseadas na evidência.

 

Agradecimentos

Nossos agradecimentos a Claudete Sacomano, Diretora do Sistema Integrado de Bibliotecas (SIBI) de São Carlos, SP, Brasil, pelo apoio na realização da pesquisa. Aos alunos da turma 2011 do curso de graduação em Biblioteconomia e Ciência da Informação da UFSCar, SP, Brasil.

 

Referencias Bibliográficas

1. ALMEIDA JUNIOR, oswaldo Francisco de. Biblioteca pública: avaliação de serviços. Londrina: Eduel, 2003. 288 p.         [ Links ]

2. BALL, Rafael. User satisfaction: the key to a library's success. En: Series III: e Publications of the Institute ILS of the Jagiellonian University [en línea]. [s.l.]: Maria Kocójowa, [200?]. [Consulting date: 10 enero 2012]. no 5. Library: the key to users' success. Available at: http://eprints.rclis.org/bitstream/10760/13994/1/ball–n.pdf        [ Links ]

3. BAPTISTA, Michele Marques. A qualidade dos serviços prestados e a satisfação dos usuários em uma Biblioteca Universitária. Bibliotecas Universitárias: pesquisas, experiências e perspectivas [em línea]. 2011, vol. 1, no. 1. [fecha de consulta: 02 outubro 2012]. Disponível em: http://www.bu.ufmg.br/rbu/index.php/localhost/article/viewFile/9/14        [ Links ]

4. BERRY, Leonard L & PARASURAMAN, A. Listening to the customer: the concept of a service quality information system. Sloan Management Review, 38 (3): 65–76, 1997.         [ Links ]

5. BERRY, Leonard L & PARASURAMAN, A. Serviços de marketing: competindo através da qualidade. São Paulo, Maltese–Norma, 1992. 20p.         [ Links ]

6. CALVERT, Philip. It's a mystery: mystery shopping in New Zealand's public libraries. Library Review [en línea]. 2005, vol. 54, no. 1. [Consulting date: 28 may 2012]. Available at: www.emeraldinsight.com/0024–2535.htm        [ Links ]

7. DOUGLAS, Alex & DOUGLAS, Jacqueline. Campus spies? Using mystery students to evaluate university performance. Educational Research, 48 (1): 111 – 119, 2006.         [ Links ]

8. DILEVKO, Juris & DOLAN, Elizabeth. Government documents reference service in Canada: a nationwide unobtrusive study of public and academic depository libraries. Library and Information Science Research [en línea]. 2000, vol. 22, no. 2. [Consulting date: 28 may 2012]. Available at: http://www.moyak.com/papers/referenceservice–depository–libraries.pdf        [ Links ]

9. GRANT, Maria J. The role of reflection in the library and information sector: a systematic review. Health Information and Libraries Journal [en línea]. 2007, vol. 24, no. 3. [Consulting date: 28 may 2012]. Available at: http://onlinelibrary.wiley.com/doi/10.1111/j.1471–1842.2007.00731.x/ full         [ Links ]

10. GREENWooD, Judy T. Ten years of libQual: a study of qualitative and quantitative survey results at the University of Mississippi 2001–2010. The Journal of Academic Librarianship [en línea]. 2011, vol. 37, no. 4. [Consulting date: 28 may 2012]. Available at: http://connection.ebscohost.com/c/articles/63191938/ten–yearslibqual–study–qualitative–quantitative–survey–resultsuniversity–mississippi–2001–2010        [ Links ]

11. HARIRI, Nadjla & AFNANI, Farideh. LibQUAL+ TM in Iran: a subgroup analysis by gender. Performance Measurement and Metrics [en línea]. 2008, vol. 9, no. 2. [Consulting date: 28 may 2012] Available at: http://www.emeraldinsight.com/journals.htm?issn=14678047volume=9issue=2        [ Links ]

12. HERRERA–VIEDMA, Enrique, LÓPEZ– GIJÓN, Javier & ÁVIlA, Belén. Satisfacción de usuarios y calidad: El modelo LibQual y su aplicación en bibliotecas españolas e iberoamericanas [en línea]. [200?]. [Fecha de consulta: 28 mayo 2012]. Disponible en: http://eprints.rclis.org/bitstream/10760/12389/1/C6_Lopez–Gijon.pdf        [ Links ]

13. HUDSON, Simon [et al.]. Distribution channels in travel: using mystery shoppers to understand the influence of travel agency recommendations. Journal of Travel Research [online]. 2001, vol. 40, no. 2. [Consulting date: 28 may 2012]. Available at: http://jtr.sagepub.com.ez31.periodicos.capes.gov.br/content/40/2.toc        [ Links ]

14. LANCASTER, Frederick Wilfrid. Avaliação de serviços de bibliotecas. Brasília: Briquet de Lemos, 2004. 356p.         [ Links ]

15. LEE, Soon–Jae, CHUNG, Hye–Kyung & JUNG, Eun–Joo. Assessing the warm glow effect in contingent valuations for public libraries. Journal of Librarianship and Information Science [en línea]. 2010, vol. 42, no. 4. [Consulting date: 28 may 2012]. Available at: http://lis.sagepub.com/content/42/4/236.full.pdf+html        [ Links ]

16. LOWNDES, Michelle. Do distinct SERVQUAL dimensions emerge from mystery shopping data – a test of convergent validity. Canadian Journal of Program Evaluation [en línea]. 2001, vol. 16, no. 2. [Consulting date: 15 January 2012]. Available at: http://www.johndawes.com.au/page9/files/SERVQUAL%20Dawes%20Avery%202001.pdf        [ Links ]

17. MANGAS, Sérgio Filipe Agostinho. Como planificar e gerir um serviço de referência. Revista Biblios [em línea]. 2007, no. 28. [fecha de consulta: 11 dezembro 2011]. Disponível em: http://www.scielo.org.pe/pdf/biblios/n28/a02n28.pdf        [ Links ]

18. MELO, Luiza Baptista & SAMPAIO, Maria Imaculada Cardoso. Medição da qualidades em bibliotecas e centros de informação: novos indicadores de desempenho. BAD Actas: Congresso nacional de bibliotecários, arquivistas e documentalistas [em línea]. 2010, no. 10. [fecha de consulta: 09 fevereiro 2012]. Disponível em: http://www.bad.pt/publicacoes/index.php/congressosbad/article/view/184/180        [ Links ]

19. OLSZEWSKI, lawrence & RUMBAUGH, Paula. An international comparison of virtual reference services. Reference & User Services Quarterly, 49 (4): 360–368, 2010.         [ Links ]

20. PARASURAMAN, A., ZEÌTHAML, Valarie A. & BERRY, Leonard L. A conceptual model of service quality and its implications for future research. Journal of Marketing, 49: 41–50, 1985.         [ Links ]

21. ROZADOS, Helen Beatriz Frota. Uso de indicadores na gestão de recursos de informação. Revista Digital de Biblioteconomia e Ciência da Informação [em línea]. 2005, vol. 3, no. 1. [fecha de consulta: 12 fevereiro 2012]. Disponível em: http://www.sbu.unicamp.br/seer/ojs/index.php/sbu_rci/article/viewFile/316/195        [ Links ]

22. SILVA, Sílvio Ceroni da & RIBEIRo, José luis Duarte. A qualidade assegurada através da prestação, recuperação e correção de serviços [em línea]. [200?] [fecha de consulta: 12 fevereiro 2012]. Disponível em: http://www.abepro.org.br/biblioteca/ENEGEP1998_ART082.pdf        [ Links ]

23. THOMAS, Joy. Mystery shoppers at the library: a planning report [en línea]. 2000. [Date consulting: 24 may 2012]. Available at: http://www.docstoc.com/docs/47341407/ Mystery–Shoppers–at–the–Library        [ Links ]

24. WILSON, Alan M. The role of mystery shopping in the measurement of service performance. Managing Service Quality, 8 (6): 414–420, 1998.         [ Links ]