DESARROLLO DE UN INSTRUMENTO PARA EVALUAR PRERREQUISITOS EN EL SISTEMA HACCP
DEVELOPMENT OF AN INSTRUMENT TO EVALUATE PREREQUISITES TO HACCP SYSTEM
DESENVOLVIMENTO DE UM INSTRUMENTO PARA AVALIAR PRÉ-REQUISITOS NO SISTEMA HACCP
2Ing. Agrícola. PhD en Ciencia y Tecnología de Alimentos. Docente Univ. Surcolombiana Neiva.
3Ing. Agrícola Univ. Surcolombiana Neiva.
Correspondencia: ngutierrezg@.usco.edu.co
Recibido para evaluación: 27 de abril de 2010, Aprobado para publicación 22 de junio 2010
]]>RESUMEN
En este artículo se presenta la construcción y validación inicial del instrumento GHYCAL (Gestión de la Higiene y Calidad), aplicable en el diagnóstico de los 7 planes previos de higiene y trazabilidad, necesarios para implantar un protocolo Análisis de Peligros y Puntos Críticos de Control (HACCP) en cualquier empresa del sector agroalimentario. Para su construcción se elaboró un primer instrumento que contenía 78 criterios relacionados con gestión de la higiene en la industria agroalimentaria, que fue sometido a un proceso de validación de contenido por expertos conocedores de temas relacionados con inocuidad, seguridad alimentaria e higiene de alimentos, utilizando la metodología conocida como sesiones Delphi; posteriormente, se realizó el cálculo de confiabilidad utilizando como medida de consistencia interna el coeficiente Alfa de Cronbach, mediante la aplicación del instrumento en 53 empresas del sector agroalimentario; por último, se determinó la validez de criterio, comparando los resultados de aplicación del instrumento GHYCAL con los resultados de aplicación del instrumento Safety and Quality on Food (S&Q), en las mismas 53 empresas del sector agroalimentario. El instrumento final compuesto por 77 ítems contenidos en 7 sets de preguntas que corresponden a los mismos prerrequisitos establecidos en el protocolo HACCP, obtuvo valores de alfa de Cronbach entre 0,83 y 0,94 para los sets de preguntas y de 0,98 para el total del cuestionario, con respecto a la evidencia relacionada con el criterio, los resultados similares permiten adoptar el concepto de validez concurrente.
PALABRAS CLAVE:
Instrumento de evaluación, HACCP, Validez, Confiabilidad.
ABSTRACT
This article presents the construction and initial validation of the instrument "GHYCAL" (Hygiene and Quality Management) which allows preliminary assessment of the 7 previous hygiene and traceability plans, needed to implement a protocol of Hazard Analysis and Critical Control Points (HACCP) in any company in the food industry to construct it, an initial instrument containing 78 criteria related to hygiene management in the food industry was developed, and it was subject of a process of content validation by experts on innocuity issues, food safety and food hygiene, using the methodology known as Delphi sessions, and thereafter, the calculation of reliability was performed using as a measure of internal consistency the Cronbach's Alpha coefficient, by applying the instrument in 53 food businesses and, finally the criterion validity was determined by comparing the results of the application of the GHYCAL instrument with the results of application of the instrument on Food Safety and Quality (S & Q) in the same 53 food businesses. The final instrument consists of 77 Ítems contained in 7 sets of questions that correspond to the same prerequisites established in the HACCP protocol, getting Cronbach's alpha values between 0.83 and 0.94 for the set of questions and 0.98 for total instrument, regarding the evidence related to the criteria, similar results can adopt the concept of concurrent validity.
KEYWORDS:
Assessment Tool, HACCP, Validity, Reliability.
]]>RESUMO
Neste artigo se apresenta a construção e validação inicial do instrumento GHYCAL (Gestão da Higiene e Qualidade); aplicável no diagnóstico dos 7 planos prévios de higiene e rastreabilidade, necessários para implantar um protocolo de Análise de Perigos e Pontos Críticos de Controle (HACCP) em qualquer empresa do setor agroalimentício. Para a sua construção foi elaborado um prímeiro instrumento que continha 78 criterios relacionados com a gestão da higiene na indústria agroalimentícia, que foi submetido a um processo de validação do conteúdo por expertos conhecedores de temas relacionados com a inocuidade, segurança alimentar e higiene de alimentos, utilizando a metodología conhecida como sessões Delphi; posteriormente foi realizado o cálculo de confiabilidade utilizando como medida de consist&etilde;ncia interna o coeficiente Alfa de Cronbach, mediante a aplicação do instrumento em 53 empresas do setor alimentício; por último, foi determinada a validade do critério, comparando os resultados de aplicação do instrumento GHYCAL com os resultados de aplicação do instrumento Safety and Quality on Food (S&Q), nas mesmas 53 empresas do setor agroalimentício. No instrumento final conformado por 77 itens distribuídos em 7 sets de perguntas que correspondem aos mesmos pré-requisitos establecidos no protocolo HACCP, se obtiveram valores de alfa de Cronbach entre 0,83 e 0,94 nos sets de perguntas y de 0,98 no total do questionário, ao respeito á evidencia relacionada com o criterio, os resultados similares permitem adotar o conceito de validade concurrente.
PALAVRAS-CHAVE:
Instrumento de avallação, HACCP, Validade, Confiabilidade.
INTRODUCCIÓN
El Análisis de Peligros y Puntos Críticos de Control (HACCP por sus siglas en Inglés), es un procedimiento sistemático y preventivo, reconocido internacionalmente para abordar los peligros biológicos, químicos y físicos que pueden afectar los alimentos, mediante la previsión y la prevención, en vez de la inspección y comprobación de los productos finales [1]. En la actualidad, es considerado el protocolo de referencia cuando se trata de asegurar la inocuidad de los alimentos, razón por la cual ha sido adoptado como un programa de obligatorio cumplimiento en casi todos los países del mundo. Para que la implantación del sistema HACCP sea efectiva, la empresa agroalimentaria debe operar de acuerdo con una serie de prácticas higiénicas y condiciones ambientales y operativas que abarquen todo el proceso de producción. Estos procedimientos se conocen con el nombre de prerrequlsitos o requisitos previos del HACCP basados en los principios generales de higiene de los alimentos del Codex Alimentarius. Podría decirse que existen dos concepciones para el establecimiento de un programa de prerrequisltos en una industria agroallmentaria: el programa de prerrequisitos basado en los Procedimientos Operacionales Estándar (POES) y el programa de prerrequisitos basado en los planes previos de higiene y trazabilidad, aunque el primero puede estar incluido en el segundo [2].
El conocimiento del estado en que se encuentran las empresas del sector agroalimentario en materia de gestión de la higiene y la calidad, a manera de diagnóstico del nivel de cumplimiento de los prerrequlsitos, es indispensable para la implantación del sistema HACCP. El fallo en muchos programas de gestión de la calidad se debe en gran parte a la incertidumbre que se tiene en los momentos previos a la implantación, debido a que se descuidan aspectos decisivos para la operativldad del protocolo y sus consecuencias son notorias demasiado tarde, requiriéndose nuevas inversiones para corregir el rumbo del programa [3].
El cumplimiento de los prerrequisitos en un sistema HACCP viene siendo evaluado mediante la verificación de listas de chequeo que incluyen aspectos relacionados con higiene e inocuidad de los alimentos que están incluidos en los programas de Buenas Prácticas de Fabricación (BPM) y en los POES específicos para cada tipo de industria alimentaria [4, 5, 6], pero precisamente la especificidad de estos instrumentos, dificultan su aplicación en otras industrias del sector agroalimentario. Lo anterior planteó la necesidad de desarrollar un instrumento que pueda ser aplicado de forma genérica para evaluar a manera de diagnóstico, los programas de prerrequlsitos en diferentes industrias del sector alimentario facilitando de paso la realización de análisis comparativos en las industrias evaluadas.
]]>METODOLOGÍA
El diseño de instrumentos de evaluación requiere de un procedimiento ordenado asociado con el rigor científico que le confiere ciertas características de estructura, contabilidad, validez y objetividad; de manera general, la metodología utilizada para la construcción del instrumento GHYCAL, corresponde a la metodología utilizada en la construcción de instrumentos para evaluar la gestión de la calidad en la industria alimentaria [7, 8, 9,16], que incluye un extenso proceso de revisión de literatura para la formulación del instrumento preliminar, validación de contenido utilizando sesiones Delphi, análisis de contabilidad interna y validación de criterio.
Formulación de un instrumento preliminar. En primer lugar se definió la variable a medir que en este caso correspondió a "Gestión de la higiene", con unidades porcentuales para poder presentar los resultados en función de los niveles de cumplimiento de cada empresa evaluada. Seguidamente se definió la forma del instrumento, que correspondió a una estructura basada en sets de criterios [7], por lo que el instrumento preliminar tendría 7 conjuntos de criterios, uno por cada uno de los siete planes previos de higiene y trazabilidad en un sistema HACCP; posteriormente y después de un extenso proceso de revisión bibliográfica, se definieron 79 ítems que corresponden a aquellos aspectos enmarcados en los siete planes de higiene y trazabilidad que definen el programa de prerrequisitos de un sistema HACCP.
La definición de la escala de valoración es tal vez uno de los aspectos considerados clave dentro del proceso de construcción de cualquier instrumento de evaluación, debido a que por un lado se debe conseguir una escala de fácil interpretación por los evaluadores y los evaluados, pero por otro lado se debe de seleccionar una escala que permita medir la variable en toda su extensión, puesto que cuantos más valores sean permitidos a la variable, mayor provecho puede ser obtenido en la evaluación del instrumento, porque podrá determinarse con mayor exactitud la varianza entre las diferentes respuestas obtenidas de diferentes empresas evaluadas. La escala seleccionada para el instrumento GHYCAL, correspondió a una escala discreta de cinco categorías (Tabla 2) que durante el proceso de evaluación de cada empresa, deben ser asignadas según el nivel de cumplimiento de cada criterio evaluado, ponderando la información suministrada por la empresa y el resultado de una inspección visual realizada en la planta de producción de alimentos.
Validación de contenido. La versión inicial del instrumento fue valorada por 8 académicos y consultores en HACCP en seguridad alimentaria y gestión de la calidad en industrias de alimentos; la metodología utilizada para mejorar la validez de contenido del instrumento correspondió al método Delphi [10], buscando mediante consultas sucesivas al grupo de expertos, reunir información y construir consenso sin requerir reuniones [11]. Los aspectos consultados estaban referidos al número de preguntas que conforman cada uno de los siete sets, así como la forma en que están redactadas, permitiéndose eliminar, adicionar o modificar preguntas.
Confiabilidad del Instrumento. La confiabilidad de un instrumento de evaluación está asociada a la consistencia de las mediciones cuando se hacen repeticiones o mediciones sucesivas; la contabilidad del instrumento GHYCAL se determinó por medio del análisis de consistencia interna tanto para el instrumento en su conjunto, como para cada uno de los siete sets de preguntas que lo componen. Se conformó una matriz nxP (53 x 77) con los resultados de la aplicación del instrumento en 53 empresas del sector agroalimentario ubicadas en el Departamento del Huila en Colombia, los 77 ítems del instrumento GHYCAL ubicados en el eje horizontal representaron las Columnas (P) y los niveles de cumplimiento de cada una de las empresas evaluadas correspondieron a las filas (n); con el programa estadístico SPSS 17.0 se calculó el índice Alfa de Cronbach para cada uno de los siete sets de preguntas y para el instrumento en conjunto; este índice viene siendo utilizado por muchos autores para evaluar la contabilidad de consistencia interna de una escala [12,13,14,15,16] y corresponde al promedio de las correlaciones entre los ítems que hacen parte de un instrumento.
Validez de criterio. La evidencia relacionada con el criterio corresponde a la capacidad que tiene un instrumento de medición, de entregar resultados similares al compararlo con otro instrumento o con algún criterio externo que pretende medir la misma variable [17]. En este caso, se realizó un análisis comparativo de los resultados de aplicación del instrumento GHYCAL en 53 empresas del sector agroalimentarlo ubicadas en el Departamento del Huila en Colombia, con los resultados de aplicación del instrumento Safety and Quallty on Food (S&Q) [18], en las mismas 53 empresas evaluadas. El instrumento S&Q es una aplicación informática desarrollada en el Departamento de Tecnología de Alimentos de la Universidad Politécnica de Valencia, España, con el fin de evaluar preliminarmente la gestión de la higiene y la calidad en empresas del sector agroalimentario.
]]>RESULTADOS
Estructura del instrumento inicial. Después de un extenso proceso de revisión de literatura, los aspectos más relevantes relacionados con la gestión de la higiene y la inocuidad en empresas del sector Agroalimentario fueron incluidos en cada uno de los siete planes previos que componen el programa de prerrequisltos en un sistema HACCP con lo que se obtuvo un instrumento inicial con 78 ítems cuya estructura se presenta en la Tabla 1.
La escala seleccionada para el instrumento GHYCAL, correspondió a una escala discreta de cinco categorías que durante el proceso de evaluación de cualquier empresa, debe ser asignada según el nivel de cumplimiento de cada ítem, ponderando la información suministrada por la empresa y el resultado de una inspección visual realizada en la planta de producción. La escala seleccionada, junto con sus descriptores, se presenta en la Tabla 2.
Validación de contenido. Fueron necesarias dos sesiones Delphi (Tabla 3) para obtener consenso entre los expertos consultados, en la primera sesión, la versión Inicial del instrumento conformado por 78 ítems fue modificada así: en el set I no se aprobó ningún ítem como inicialmente estaba redactado, se modificaron todos los ítems y se adicionó el ítem 1.11, en el set II se modificaron todos los ítems, excepto el ítem 2.10, en el set III se modificaron los ítems 3.1, 3.2, 3.3, 3.4, 3.5,3.7, 3.9, 3.11,3.12, 3.13, 3.15, y se eliminó el ítem 3.14, en el set IV se modificaron los ítems 4.1, 4.2,4.3,4.4,4.5,4.6,4.7,4.10, en el set V se aprobó el ítem 5.9 como estaba planteado, se eliminó el ítem 5.5 y se modificaron el resto de los ítems, en el set VI se modificaron los ítems 6.1, 6.2, 6.3, 6.5, 6.6, 6.7, 6.9,6.10,6.11,6.13 y en el set VII, solamente sufrieron modificación los ítems 7.4 y 7.6
Como resultado de la primera sesión Delphi, se obtuvo un instrumento modificado, conformado por 77 ítems, este instrumento fue enviado a la segunda sesión en la que se aprobaron 67 ítems y se modificaron 10 ítems así: en el set I se modificaron los ítems 1.2,1.3,1.4, en el set II se modificaron los ítems 2.1, 2.2, 2.12, en el set III se modificaron los ítems 3.4, 3.15, en el set IV se aprobaron todos los ítems, en el set V se modificó el ítem 5.7, en el set VI se mejoró el ítem 6.10 y en el set Vil se aprobaron todos los ítems. No se agregó ni eliminó algún ítem en los siete sets de criterios.
La Tabla 3 presenta el resumen de las modificaciones sufridas por el instrumento durante las dos sesiones Delphi que se realizaron. El instrumento GHYCAL definitivo, compuesto por 77 ítems contenidos en los 7 sets de preguntas que corresponden a los mismos prerrequisltos establecidos en el protocolo HACCR se presenta como Anexo.
Confiabilidad del Instrumento. La Tabla 4 presenta los valores de Alfa de Cronbach encontrados mediante el análisis multivariante de la matriz n x P (53 x 77) con el programa estadístico SPSS 17.0, para cada uno de los siete sets de preguntas y para el instrumento completo. Valores de Alfa de Cronbach superiores a 0,7 son considerados adecuados y otorgan alta confiabilidad a un Instrumento [19].
]]>Validación de criterio. Teniendo en cuenta que los instrumentos GHYCAL y S&Q tienen como objetivo principal evaluar la gestión de la higiene en empresas del sector agroalimentario, y que además de haber sido diseñados en diferentes circunstancias y con metodologías diferentes, la comparación de los resultados obtenidos tras la aplicación de los dos instrumentos en las mismas 53 empresas evaluadas, permitió conferir validez relacionada con el criterio al Instrumento GHYCAL.
El análisis comparativo de los resultados de aplicación de los instrumentos GHYCAL y S&Q se realizó comparando los resultados obtenidos en cada una de las 53 empresas evaluadas, en el denominado diagrama de perfil gráfico de los niveles de cumplimiento. La figura 1 presenta el diagrama de perfil gráfico correspondiente a los niveles de cumplimiento de la variable "gestión de la higiene" para las 53 empresas evaluadas, utilizando los instrumentos GHYCAL y S&Q. Como puede verse, en casi todas las empresas evaluadas, los resultados son muy similares, indicando una alta correlación entre los resultados obtenidos con los dos Instrumentos.
CONCLUSIONES
Se diseñó y construyó un instrumento (GHYCAL) cuya función es la de evaluar los niveles de gestión de la higiene en empresas del sector agroalimentarlo, permitiendo conocer a manera de diagnóstico, el nivel de cumplimiento del programa de prerrequlsitos requerido para implantación de un protocolo HACCP.
La metodología utilizada para la validación de contenido del instrumento inicial permitió, mediante valoraciones sucesivas realizadas por un grupo de expertos, corregir, refinar, depurar y complementar las preguntas o ítems que conforman el instrumento.
]]> El índice de contabilidad del instrumento, calculado por medio del Alfa de Cronbach, presentó un valor de 0,98 y para los siete sets de preguntas arrojó valores superiores a 0,80, lo que indica altas correlaciones existentes entre los ítems de cada set de preguntas y del instrumento en su conjunto, que aportan a la variable gestión de la higiene que se pretende medir.La comparación de los resultados de la aplicación del Instrumento GHYCAL con los resultados obtenidos al aplicar el instrumento S&Q en el mismo grupo de empresas, otorgaron validez de criterio al instrumento GHYCAL, pues apesar de haber sido diseñados en diferentes circunstancias y con metodologías diferentes expresaron la misma magnitud para la variable medida.
REFERENCIAS
[1] FAO. Sistemas de Calidad e Inocuidad de los Alimentos. Grupo Editorial - Dirección de Información de la FAO, Roma; 204p. (2002) [ Links ]
[2] ALLÍ, I. Food Quality Assurance. Principies and Practices. CRC Press, New York, p 87-119. (2004) [ Links ]
[3] KANNAN, V. et al. S. Tools and techniques of quality management: An empirical investigation of their impact on performance. En: Quality Management Journal. Vol. 6-3, p 34-49. (1999) [ Links ]
[4] SUÁREZ FERNÁNDEZ, Y et al. Procedimientos Evaluativos de algunos prerrequisitos para la aplicación del Sistema de Análisis de Peligros y Puntos Críticos de Control (HACCP) en mataderos. [Internet]. REDVET. Vol. VIII, No. 8, Agosto/2007. Gerona, España. 2007. [Consultado: 15 de enero de 2010]. Disponible en: http://www.veterinaria.org/revistas/redvet/n080807.html . [ Links ]
[5] ROSAS, R y REYES G. Evaluación de los programas pre-requisltos del plan HACCP en una planta de sardinas congeladas. En: Archivos Latinoamericanos de Nutrición. Vol. 58 No. 2, p 174-181(2008) [ Links ]
[6] CALZADILLA, C. 2006. Bases Técnicas Metodológicas para la aplicación del Sistema de Análisis de peligros y Puntos Críticos de Control (HACCP) en mataderos bovinos. [Tesis de Maestría]. La Habana, Cuba: Universidad Agraria de La Habana: 80p, (2006) [ Links ]
[7] VAN DER SPIEGEL, M. et al. Development of the instrument IMAQE-Food to measure effectiveness of quality management. En: International Journal of Quality & Rellability Management. Vol. 22 No. 3, p. 234-255, (2005) [ Links ]
[8] JIJU, A. et al. Critical success factors of TQM implementation in Hong Kong Industries. En: International Journal of quality and reliability management. Vol. 19, No 5, p 551-566, (2002) [ Links ]
[9] FOTOPOLOUS, C.V.; KAFETZOPOULOS, D. y PSOMAS, E. Assessing the critical factors and their impact on the effective implementation of a food safety management system. En: International journal of quality and reliability management. Vol. 26, No 9, p 894- 910, (2009) [ Links ]
[10] WENTHOLT, M.T. et al. The views of key stake-holders on an evolving food risk governance framework: Results from a Delphi study. Food policy. Vol.34 No.6, p 539-548, (2009) [ Links ]
[11] GEIST M.R. Using the Delphi method to engage stakeholders: A comparison of two studies. En: Evaluation and Program Planning, Volume 33, Issue 2, p 147-154, (2010) [ Links ]
[12] ÁLVAREZ, M. et al. Validación de escala de la seguridad alimentaria doméstica en Antioquia, Colombia. [Internet]. [Consultado 18 marzo 2010]. http://www.scielosp.org/pdf/spm/v48n6/a05v48n6.pdf .p4.(2006) [ Links ]
[13] LAZCANO, M, SALAZAR, B y GÓMEZ, M. Validación del Instrumento: afrontamiento y proceso de adaptación de Roy en pacientes con diabetes mellitus tipo 2 [Internet]. [Consultado el 5 Agosto. 2009].http://aquichan.unisabana.edu.co p 5-6 (2008) [ Links ]
[14] MELIÁ, J. L. et al. Estructura factorial, fiabilidad y validez del cuestionario de satisfacción s21/26: un instrumento con formato dicotómico orientado al trabajo profesional.[Internet] [Cons.14ago. 2009]. http://www.uv.es/meliail/Research/Art_Satisf/ArtS21_26.PDF. p 4-9. (1990) [ Links ]
[15] LEDESMA, R, MOLINA, G y VALERO, R Análisis de consistencia interna mediante Alfa de Cronbach: un programa basado en gráficos dinámicos. [Internet]. [Consultado 29 jul. 2009] http://pepsic.bvs-psi.org.br/pdf/psicousf/v7n2/v7n2a03.pdf p 1-2. (2002) [ Links ]
[16] OVIEDO, H., CAMPO, A. Aproximación al uso del coeficiente alfa de Cronbach.[Internet]. [Consultado 19 ago. 2009]. http://www.scielo.org.co/scielo.php?pid=S003474502005000400009&script=sci_arttext (2005). [ Links ]
[17] HERNÁNDEZ, R.; FERNÁNDEZ, C. y BAPTISTA, R Metodología de la Investigación. Cuarta edición. McGraw-Hill Interamericana Editores S.A. México, p121-408 (2008) [ Links ]
[18] GUTIÉRREZ, N., PASTRANA, E. y SERRA, J.A. Evaluación de prerrequisitos en un sistema HACCP. Editora Universidad Surcolombiana. Neiva, Colombia.p . 91. (2010) [ Links ]
[19] VAN DER SPIEGEL, M. Validation of the instrument IMAQE-Food to measure effectiveness of food quiality management. En: International Journal of Quality and Reliability Management. Volume: 24 Issue: 4, p 386 - 403 (2007). [ Links ] ]]>