EVALUACIÓN DE PRERREQUISITOS EN EL SISTEMA HACCP EN EMPRESAS DEL SECTOR AGROALIMENTARIO
EVALUATION OF PREREQUISITES IN HACCP SYSTEM IN AGRO-FOOD INDUSTRY
AVALIAÇÃO DE PRERREQUISITOS NO SISTEMA HACCP EM EMPRESAS DO SETOR AGROALIMENTAR
Nelson Gutiérrez*, Eduardo Pastrana**, Jennifer Katiusca Castro***
* Ingeniero Agrícola, Doctor en Tecnología de Alimentos, Universidad Politécnica de Valencia, España. Docente, Facultad de Ingeniería, Universidad Surcolombiana. Neiva, Colombia. ngutierezg@usco.edu.co
** Ingeniero Agrícola, PhD. Food Science University of Georgia. Docente, Facultad de Ingeniería, Universidad Surcolombiana. Neiva, Colombia. pastrana@usco.edu.co
*** Ingeniera Agrícola. Investigadora, Grupo Agroindustria USCO, Universidad Surcolombiana. Neiva, Colombia. agricola@usco.edu.co
Artículo recibido 22-XI-2010. Aprobado 22-III-2011 ]]>
Discusión abierta hasta diciembre de 2011RESUMEN
En este artículo se presenta un diagnóstico de la gestión de la higiene basado en el cumplimiento de los prerrequisitos de un sistema HACCP, en 53 empresas del sector agroalimentario que operan en el departamento del Huila en Colombia. La metodología de evaluación correspondió a la verificación del cumplimiento de las listas de chequeo de dos instrumentos: GHYCAL (Gestión de la Higiene y Calidad) y S&Q (Safety and Quality on Food). Los resultados permitieron encontrar niveles de gestión de la higiene en una escala porcentual y clasificar 34 empresas en nivel de cumplimiento bajo, que incluye niveles entre el 0 % y el 75 %; 12 empresas en nivel de cumplimiento básico, al obtener valoraciones entre el 75 % y el 95 %, y 7 empresas con nivel de cumplimiento superior, por resultar con evaluaciones superiores al 95 %; adicionalmente se valoraron similitudes y diferencias entre empresas y entre sectores estudiados, haciendo uso de técnicas de estadística multivariada.
PALABRAS CLAVE: Listas de chequeo; higiene de los alimentos; HACCP.
ABSTRACT
This paper presents an analysis of the hygiene management based on the compliance with the prerequisites of a HACCP system in 53 agri-food industries operating in the department of Huila in Colombia. The evaluation methodology corresponded to the verification of the compliance of checklists for two instruments: GHYCAL (Management of Hygiene and Quality) and S&Q (Safety and Quality on Food). The results allowed to find levels of hygiene management on a percentage scale and classify 34 companies in low level of compliance, including levels between 0 % and 75 %; 12 companies in basic compliance level, to obtain ratings from 75 % to 95 %, and 7 companies with higher compliance level, with evaluations higher than 95 %; additionally the similarities and differences between companies and between the sectors studied, using multivariate statistical analysis, were assessed.
KEY WORDS: Checklists; food hygiene; HACCP.
RESUMO
Neste artigo apresenta-se um diagnóstico da gestão da higiene baseado no cumprimento dos prerrequisitos do sistema HACCP, em 53 empresas do setor agroalimentar que operam no departamento do Huila, na Colombia. A metodologia de avaliação correspondeu a verificação do cumprimento das listas de verificação de dois instrumentos: GHYCAL (Gestáo da Higiene e Qualidade) e S&Q (Safety and Quality on Food). Os resultados permitiram achar níveis da gestáo da higiene em uma escala percentual e classificar 34 empresas no nível baixo de cumprimento, que inclui níveis entre 0 % e 75 %; 12 empresas com nível de cumprimento básico, com valoragoes entre 75 % e 95 %, e 7 empresas com nível de cumprimento superior, com avaliagoes acima do 95 %; adicionalmente, foram valorizadas as semelhangas e as diferengas entre as empresas e os setores estudados, utilizando técnicas da estatística multivariada.
PALAVRAS-CÓDIGO: Lista de verificação; higiene dos alimentos; HACCP.
El sistema de análisis de peligros y control de puntos críticos (HACCP) es considerado el protocolo de referencia cuando se trata de asegurar la inocuidad de los alimentos, razón por la cual ha sido adoptado como un programa de obligatorio cumplimiento en casi todos los países del mundo. Para que la implantación del sistema HACCP sea efectiva, la empresa debe operar de acuerdo con una serie de prácticas higiénicas y operativas que abarquen todo el proceso de producción; estos procedimientos se conocen con el nombre de prerrequisitos del protocolo HACCP, basados en los principios generales de higiene de los alimentos del Codex Alimentarius (Hulebak y Schlosser, 2002). El conocimiento del estado en que se encuentra una empresa del sector agroalimentario en materia de gestión de la higiene y la calidad, a manera de diagnóstico del nivel de cumplimiento de los prerrequisitos, es indispensable para la implantación del sistema HACCP, debido a que el fallo en muchos programas de gestión de la higiene y la calidad se debe en gran parte a la incertidumbre que se tiene en los momentos previos a la implantación, porque se descuidan aspectos decisivos para la operatividad del protocolo, y sus consecuencias son notorias demasiado tarde, requiriéndose nuevas inversiones para corregir el rumbo del programa (Kannan et al., 1999).
La evaluación de los sistemas HACCP es un elemento clave para asegurar la gestión eficaz de la inocuidad de los alimentos, sin embargo, según Wallace, Powell y Holyoak (2005), no existe ningún enfoque aceptado o metodología común disponible para ser utilizados por industriales, auditores u organismos reguladores; en investigaciones realizadas por Abernathy y Hart (2004), Van der Spiegel et al. (2004), Calzadilla (2006), Suárez-Fernández et al. (2007), Luning et al. (2008 y 2009); Rosas y Reyes (2008) y Veiros et al. (2009) usaron listas de verificación para evaluar el cumplimiento de los prerrequisitos relacionados con higiene, inocuidad y, en general, gestión de la calidad en la industria alimentaria; en todos los casos reportados los resultados permitieron concluir que la utilización de listas de chequeo permiten extraer información valiosa sobre aspectos relacionados con la capacidad de las organizaciones para gestionar la higiene y la calidad y permiten determinar la eficiencia de los protocolos evaluados.
En Colombia, el Decreto 1500 de 2007, expedido por el Ministerio de la Protección Social, responsabiliza al Instituto Nacional de Vigilancia de Medicamentos y Alimentos (Invima) para que realice las labores de inspección, vigilancia y control sanitario de los establecimientos encargados de la producción y manipulación de alimentos; en virtud de lo anterior, el Invima desarrolló tres instrumentos a manera de listas de chequeo para evaluar el nivel sanitario de cumplimiento en plantas de desposte de bovinos y bufalinos, plantas de beneficio porcino y plantas de beneficio de aves (Invima, 2010). Como sus nombres lo indican, estos instrumentos de evaluación fueron desarrollados para la verificación de requisitos sanitarios en plantas de desposte de bovinos, porcinos y aves, aunque la mayoría de los ítems podrían aplicarse en otros sectores agroalimentarios.
El objetivo de este estudio fue evaluar la gestión de la higiene a partir de la evaluación de los programas de prerrequisitos en un sistema HACCP, en 53 empresas del sector agroalimentario ubicadas en el departamento del Huila en Colombia, utilizando simultáneamente dos instrumentos de evaluación: GHYCAL (Gestión de la Higiene y Calidad) y S&Q (Safety and Quality on Food), que tienen como característica común su estructura en grupos de preguntas a manera de listas de chequeo, dotadas de escalas de evaluación que permiten una valoración porcentual.
El instrumento GHYCAL fue diseñado por Gutiérrez, Pastrana y Ramírez (2010) para diagnosticar el cumplimiento de los prerrequisitos exigidos en un protocolo HACCP. Está compuesto por 77 ítems que se encuentran contenidos en los 7 planes generales de higiene que soportan la implantación de un protocolo HACCP, reportados por Alli (2004), Fedacova (2005) y Arispe y Tapia (2007), y que corresponden a control de aguas; limpieza y desinfección; formación y control de manipuladores; mantenimiento preventivo; control de plagas y sistemas de vigilancia; control de la trazabilidad; gestión de residuos. El instrumento GHYCAL cuenta con una escala discreta de cinco categorías, que se asignan según el nivel de cumplimiento de cada criterio evaluado.
El instrumento S&Q corresponde a una aplicación informática desarrollada en el Departamento de Tecnología de Alimentos de la Universidad Politécnica de Valencia, España, con el fin de evaluar preliminarmente la gestión de la higiene y la gestión de la calidad en empresas del sector agroalimentario. La sección dedicada a la gestión de la higiene está estructurada en 6 grupos de preguntas que contienen aspectos relacionados con los edificios y su entorno, equipamiento, transporte y almacenamiento, control de aguas y limpieza, desinfección y desratización e higiene personal; en total son 75 preguntas que corresponden a una evaluación de los aspectos relevantes que permiten establecer los niveles de gestión de la higiene en cada empresa objeto de estudio (Gutiérrez, Pastrana y Serra, 2010).
Los resultados obtenidos por cada empresa evaluada, con cualquiera de los dos instrumentos mencionados, permiten la agrupación de acuerdo con los niveles de cumplimiento de gestión de la higiene alcanzados, expresados en valores porcentuales, mediante la aplicación del modelo estándar de auditoría de la calidad en las fases de producción y manipulación de los alimentos del protocolo International Food Standard (IFS) (Cobos et al., 2004; IFS, 2008); una adaptación a la escala del IFS presenta tres grupos de empresas, así: nivel de cumplimiento bajo, que incluye empresas que obtienen evaluaciones entre el 0 y el 75 %; nivel de cumplimiento básico, en el que se clasifican las empresas que obtienen evaluaciones entre el 75 % y el 95 %, y nivel de cumplimiento superior, para empresas que resulten con evaluaciones superiores al 95 %.
2. MATERIALES Y MÉTODOS
La población objeto de estudio correspondió a empresas que procesan y manipulan alimentos y bebidas, que realizan su actividad económica en el departamento del Huila en Colombia; se consideraron todas las empresas del sector legalmente constituidas y que estaban operando con un mínimo nivel de organización; a partir de una población de 79 empresas y usando un muestreo aleatorio simple, se obtuvo una muestra de 53 empresas pertenecientes a los sectores de lácteos, panificación artesanal (achiras), envasadoras de aguas y refrescos, plantas de beneficio de ganado (mataderos municipales), fabricación de chocolates, salas de proceso de la industria piscícola y empresas de procesamiento y transformación de frutas.
]]> El procedimiento empleado para la recolección de la información correspondió a un método directo que consiste en realizar una visita en forma de auditoría a cada una de las empresas que fueron previamente seleccionadas; dos evaluadores externos se encargaron de aplicar de forma simultánea los dos instrumentos utilizados en la investigación, GHYCAL y S&Q; el valor resultante de ponderar la información entregada por el responsable de gestionar la higiene en la empresa y la inspección visual realizada por el evaluador externo fue usado para calificar cada uno de los aspectos evaluados según las escalas de cada instrumento evaluado.2.1 Determinación de los niveles de cumplimiento
Con la información resultante tras la aplicación de los instrumentos GHYCAL y S&Q en las 53 empresas evaluadas, se construyeron los diagramas descriptivos de cumplimiento de los niveles de gestión de la higiene para cada empresa evaluada; el valor porcentual de cumplimiento para cada empresa corresponde a la relación entre la puntuación total obtenida con respecto a la máxima puntuación posible que puede otorgar el instrumento. Teniendo en cuenta los niveles de gestión de la higiene obtenidos por las empresas, fueron clasificadas, de acuerdo con la escala adaptada del protocolo International Food Standard, en empresas con nivel de cumplimiento superior, básico y bajo. Adicionalmente, el análisis descriptivo de los resultados obtenidos tras la aplicación del instrumento GHYCAL permitió determinar cuáles son los ítems que presentan mayor nivel de incumplimiento para el total de las empresas evaluadas, destacando cuáles son los aspectos que deberán ser atendidos de manera prioritaria para mejorar los niveles de gestión de la higiene en las empresas evaluadas.
2.2 Agrupación de empresas por niveles de cumplimiento
Mediante la realización de un análisis clúster en 8 empresas seleccionadas al azar fue posible agrupar diferentes empresas según su nivel de cumplimiento, lo que permite comprobar de manera indirecta la eficiencia de los instrumentos utilizados; para lo anterior, con los resultados obtenidos al aplicar el instrumento GHYCAL, se conformó una matriz n x P (8 x 77); los ítems del instrumento representaron las 77 columnas (P), y los niveles de cumplimiento de cada una de las empresas seleccionadas correspondieron a las filas (n); mediante los programas estadísticos SPSS 15-0 y Statgraphics Plus Version 5.1, se generaron los diagramas de dispersión clúster y sus respectivos dendogramas, los cuales ofrecieron los mismos resultados con los dos programas.
3. RESULTADOS Y DISCUSIÓN
La figura 1 presenta el diagrama de perfil de cumplimiento de las 53 empresas evaluadas con los dos instrumentos utilizados (GHYCAL y S&Q); la puntuación obtenida por cada empresa corresponde al valor porcentual resultante de relacionar el total de puntos obtenidos con respecto al total de puntos que podría haber obtenido si todas los ítems hubiesen sido valorados con cumplimiento óptimo. Como puede verse, en casi todas las empresas evaluadas, los resultados son muy similares, indicando una alta correlación entre los resultados obtenidos con los dos instrumentos. Teniendo en cuenta la figura 1, se puede determinar que las empresas del sector de panificación tradicional presentan los más bajos niveles de cumplimiento, ya que 6 de 15 empresas evaluadas no alcanzan el 50 % de cumplimiento; en el sector de lácteos, 4 de 22 empresas obtuvieron niveles inferiores al 50 % de cumplimiento, y en los sectores de aguas y refrescos, piscícolas, plantas de beneficio, chocolate y frutas, ninguna empresa obtuvo niveles de cumplimiento por debajo del 50 %.
Así mismo y con respecto a niveles de cumplimiento altos, se pudo establecer que en el sector de lácteos resultaron 4 empresas con porcentajes superiores al 90 %; en el sector aguas y refrescos, una empresa obtuvo un 95,84 % de cumplimiento; en el sector piscícola, dos empresas registraron niveles de cumplimiento superiores al 90 %, y en el sector de plantas de beneficio de ganado, dos empresas alcanzaron un 97,40 % y 95,58 % respectivamente en cumplimiento de los niveles de gestión de la higiene.
Agrupando los resultados obtenidos por todas las empresas de un mismo sector (figura 2), se confirma la tendencia anterior, en la cual el sector de panificación tradicional (achiras) presenta los más bajos niveles de cumplimiento a los aspectos evaluados, seguido de la industria de productos lácteos; así mismo, el sector que presenta los mayores niveles de cumplimiento es el piscícola, y en general, los otros sectores presentan niveles de cumplimiento superiores al 50 %. Las diferencias en los resultados de las evaluaciones que pueden encontrarse entre empresas de un mismo sector, que en el caso del sector lácteo llegan a ser superiores al 60 %, pueden estar asociadas principalmente al tamaño de las empresas y la posibilidad de destinar un empleado responsable de la gestión de la higiene (Castro y Ramírez, 2009).
]]>
Los resultados de ANOVA permiten comprobar las diferencias significativas entre los sectores evaluados, al nivel de confianza del 95 %; en la figura 3, el sector 1 corresponde a panificación tradicional, el 2 a plantas de lácteos, el 3 es el de aguas y refrescos, el sector 4 son los mataderos municipales y el 5 incluye las empresas del sector piscícola; los sectores frutícola y chocolates no se tuvieron en cuenta para este análisis, debido a ausencia de varianza por contar con una sola empresa evaluada.
La figura 4 presenta los ítems del instrumento GHYCAL que, para el conjunto de las 53 empresas evaluadas, resultaron con mayores niveles de incumplimiento; solamente se muestran aquellos ítems con niveles de incumplimiento superiores al 50 %; este resultado permite resaltar cuáles son los aspectos que deberán ser atendidos de manera prioritaria para mejorar los niveles de gestión de la higiene en las empresas evaluadas. Los ítems que presentan mayores porcentajes de incumplimiento son el 4.5, que corresponde a "registros que soporten el cumplimiento de los procesos de calibración y verificación de los equipos de medidas", el ítem 2.10 referido a "documentos que permiten comparar los límites permisibles en la normatividad con los resultados obtenidos en los análisis de superficies", el ítem 5.3 relacionado con los "planos de localización de todas las estaciones de control de plagas" y el 7.4 referido a que en la empresa "se encuentren correctamente identificados los elementos utilizados para el control y prevención de la presencia de plagas y registros de evacuación de residuos que incluya tipo de residuo y volumen retirado"; todos ellos obtuvieron niveles de incumplimiento superiores al 65 % y tienen relación directa con la "toma y mantenimiento de registros", que corresponde a un aspecto que ha sido identificado como factor crítico para la implantación de programas de gestión de la calidad y la inocuidad en empresas del sector agroalimentario (Gutiérrez, 2008).
Con los resultados obtenidos con la aplicación del instrumento GHYCAL en las 53 empresas evaluadas, fue posible clasificarlas en tres grupos de acuerdo con su nivel de cumplimiento (figura 5), lo que permite de manera análoga definir el grado de esfuerzo que requiere cada empresa para implantar adecuadamente el protocolo HACCP. Los resultados permitieron clasificar 34 empresas en nivel cumplimiento bajo, que incluye niveles entre el 0 y el 75 %; 12 empresas en nivel de cumplimiento básico, al obtener valoraciones entre el 75 % y el 95 %, y 7 empresas con nivel de cumplimiento superior, al resultar con evaluaciones superiores al 95 %, lo que indica que estas 7 empresas requieren un mínimo esfuerzo para implantar un protocolo HACCP.
3.1 Determinación de similitudes entre empresas mediante análisis clúster
Para comprobar las bondades y el ajuste de la evaluación de los prerrequisitos del sistema HACCP, se construyó una matriz de datos con los resultados de la aplicación del instrumento GHYCAL en 8 de las empresas evaluadas seleccionadas al azar (tabla 1). La matriz formada por los 77 criterios del instrumento GHYCAL en el eje horizontal (columnas) y los niveles de cumplimiento de cada criterio para las 8 empresas seleccionadas en el eje vertical (filas) fue sometida a un análisis clúster mediante dos programas estadísticos (SPSS 15-0 y Statgraphics 5.1), los cuales presentaron los mismos resultados.
El dendograma resultante del análisis se presenta en la figura 6, en la que se pueden observar tres subgrupos perfectamente separados, el primero formado por las empresas 1, 2, 3, 4 y 5, todas las cuales habían obtenido valoraciones en su nivel de gestión de la higiene superiores al 80 %; el segundo está formado por las empresas 7 y 8 que, tras la evaluación con el instrumento GHYCAL, obtuvieron niveles de gestión de la higiene inferiores al 50 %, y por último, aparece un tercer clúster con una única empresa (empresa 6) que obtuvo un nivel de higiene cercano al 70 %.
]]>
El diagrama de dispersión (figura 7) de las empresas seleccionadas confirma la agrupación de las 8 empresas evaluadas en los tres subgrupos mencionados.
4. CONCLUSIONES
La evaluación de las mismas 53 empresas, aplicando dos instrumentos diferentes desarrollados en distintas circunstancias y dotados de escalas de medición diferentes, arrojó resultados similares para los niveles de cumplimiento de los aspectos relacionados con la gestión de la higiene requeridos para implantar adecuadamente un protocolo HACCP, lo que permite otorgar validez a los resultados de la investigación, debido al principio de la validez de criterio en el cual dos instrumentos tienen validez concurrente cuando arrojan resultados similares al ser utilizados para evaluar la misma variable.
Los resultados obtenidos por cada una de las 53 empresas evaluadas permitieron su separación en tres grupos de acuerdo con su nivel de cumplimiento, lo que permite de manera análoga definir el grado de esfuerzo que requiere cada empresa para implantar adecuadamente el protocolo HACCP. Los resultados permitieron clasificar 34 empresas en nivel de cumplimiento bajo, que incluye niveles entre el 0 y el 75 %; 12 empresas en nivel de cumplimiento básico, al obtener valoraciones entre el 75 % y el 95 %, y 7 empresas con nivel de cumplimiento superior, al resultar con evaluaciones superiores al 95 %, lo que indica que estas 7 empresas requieren un mínimo esfuerzo para implantar un protocolo HACCP. Las anteriores comparaciones fueron realizadas sobre la base de que los aspectos que se requieren para implantar un adecuado programa de prerrequisitos en un protocolo HACCP son estándares para cualquier industria del sector agroalimentario.
El análisis comparativo realizado por sectores también permite observar una alta correlación al evaluar cada sector de la industria agroalimentaria con los dos instrumentos (GHYCAL y S&Q). El sector piscícola es el que presenta los más altos niveles de cumplimiento de los aspectos relacionados con la gestión de la higiene en un sistema HACCP, y el sector con más bajos niveles de cumplimiento es el de panificación tradicional, que en promedio no supera el 50 % de cumplimiento.
El uso de técnicas de estadística multivariante permitió comprobar las bondades y el ajuste de la evaluación de los prerrequisitos del sistema HACCP y su posterior clasificación según el cumplimiento en nivel superior, básico y bajo, resultados que de manera análoga definen el grado de esfuerzo requerido por cada empresa para implantar de forma adecuada el protocolo HACCP. Según los resultados, 34 empresas de las 53 estudiadas en esta investigación se encuentran en un nivel de cumplimiento bajo y tienen que realizar un gran esfuerzo y dedicar mayores recursos para implantar con éxito el protocolo HACCP.
REFERENCIAS
]]>Abernathy, Tom and Hart, Robert (2004). "Evaluation of a HACCP pilot program for the food service industry". Canadian Journal of Public Health, vol. 95, No. 6, pp. 470-472. [ Links ]
Alli, Inteaz. Food quality assurance. Principies and practices. New York: CRC, 2004. 140 p. [ Links ]
Arispe, Ivelio y Tapia, María Soledad (2007)."Inocuidad y calidad: requisitos indispensables para la protección de la salud de los consumidores". Agroalimentaria, vol. 12, No. 24 (junio), pp.105-118. [ Links ]
Calzadilla, Carlos. Bases técnicas metodológicas para la aplicación del sistema de análisis de peligros y puntos críticos de control (HACCP) en mataderos bovinos. Tesis de maestría, Universidad Agraria de La Habana, 2006. 80 p. [ Links ]
Castro, Jennifer y Ramírez, Edwin. Diagnóstico de los niveles de gestión de la higiene y de la calidad en empresas del sector agroalimentario del departamento del Huila. Tesis de pregrado. Universidad Surcolombiana, Neiva, Colombia, 2009. 117 p. [ Links ]
Cobos, Blanca; Cruz, José Carlos; Méndez, Miguel y Cáceres, Francisco (2004). "Sistemas de certificación de la calidad en el sector agroalimentario español". Distribución y Consumo, vol. 14, No. 76, pp. 23-41. [ Links ]
Fedacova (Federación Empresarial de Agroalimentación de la Comunidad Valenciana). Manual para la implantación de sistemas de autocontrol basados en el APPCC en la industria agroalimentaria. Valencia, España: Fedacova, 2005, 110 p. [ Links ]
Gutiérrez, Nelson. Identificación y priorización de factores críticos para implantar buenas prácticas agrícolas en productores de café y frutas en el departamento del Huila en Colombia. Tesis de doctorado. Departamento de Tecnología de Alimentos, Universidad Politécnica de Valencia, 2008. 313 p. [ Links ]
Gutiérrez, Nelson; Pastrana, Eduardo y Ramírez, Edwin (2010). "Desarrollo de un instrumento para evaluar prerrequisitos en el sistema HACCP". Biotecnología en el Sector Agropecuario y Agroindustrial, vol. 8, No. 1, pp. 106-119. [ Links ]
Gutiérrez, Nelson; Pastrana, Eduardo y Serra, Juan Antonio. Evaluación de prerrequisitos en un sistema HACCP. Neiva: Universidad Surcolombiana, 2010. 112 p. [ Links ]
Hulebak, Karen and Schlosser, Wayne (2002). "Hazard analysis and critical control point (HACCP) history and conceptual overview". Risk Analysis, vol. 22, No. 3, pp. 547-552. [ Links ]
IFS International Food Standard, 2008. IFS Food Version 5. [Consulted on August 18, 2010]. Available in: <http://www.ifs-certification.com/index.php>. [ Links ]
Invima (Instituto Nacional de Vigilancia de Medicamentos y Alimentos). 2010. Formato de evaluación del nivel sanitario de cumplimiento para plantas de desposte de bovinos y bufalinos. [Consultado el 18 de marzo de 2011]. Disponible en: <http://web.invima.gov.co/portal/faces/index.jsp?id=6987>. [ Links ]
Kannan, Vijay; Tan, Keah; Handfield, Robert and Ghosh, Soumen (1999). "Tools and techniques of quality management: An empirical investigation of their impact on performance". Quality Management Journal, vol. 6, No. 3, pp. 34-49. [ Links ]
Luning, P. A.; Bango, L.; Kussaga, J.; Rovira, J. and Marcelis, W. J. (2008). "Comprehensive analysis and differentiated assessment of food safety control systems: A diagnostic instrument". Trends in Food Science & Technology, vol. 19, issue 10 (October), pp. 522-534. [ Links ]
Luning, P. A.; Marcelis, W. J.; Rovira, J.; Van der Spiegel, M.; Uyttendaele, M. and Jacxsens, L. (2009). "Systematic assessment of core assurance activities in a company specific food safety management system". Trends in Food Science & Technology, vol. 20, issues 6-7 (July), pp. 300-312. [ Links ]
Rosas, Patricia y Reyes, Genara (2008). "Evaluación de los programas pre-requisitos del plan HACCP en una planta de sardinas congeladas". Archivos Latinoamericanos de Nutrición, vol. 58, No. 2, pp. 174-181. [ Links ]
Suárez-Fernández, Yolanda; Suasnavas, Nelly; Calzadilla, Carlos; Cepero, Omelio y Castillo, Julio César (2007). "Procedimientos evaluativos de algunos prerrequisitos para la aplicación del Sistema de Análisis de Peligros y Puntos Críticos de Control (HACCP) en mataderos". REDVET, Revista Electrónica de Veterinaria, vol. VIII, No. 8 (agosto), pp. 1-11. [ Links ]
Van der Spiegel, M.; Luning, P. A.; Ziggers, G. W. and Jongen, W. M. (2004). "Evaluation of performance measurement instruments on their use for food quality systems". Critical Reviews in Food Science and Nutrition, vol. 44, No. 7-8, pp. 501-512. [ Links ]
Veiros, M. B.; Proença, R. P. C.; Santos, M. C.; Kenth-Smith, L. and Rocha A. (2009). "Food safety practices in a Portuguese canteen". Food Control, vol. 20, No. 10 (October), pp. 936-941. [ Links ]
Wallace, Carol; Powell, Susan and Holyoak, Lynda (2005). "Development of methods for standardised HACCP assessment". British Food Journal, vol. 107, No. 10, pp. 723-742. [ Links ] ]]>
