SciELO - Scientific Electronic Library Online

 
vol.48 issue1Knowledge, attitudes and practice on human papilloma virus (HPV) and cervix cancer in women who were 30 years old or more, from a riverside neighborhood of Asuncion, (Bañado Sur). 2012Fitness profile in a group of university students: Boyacá 2014 author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Revista de la Universidad Industrial de Santander. Salud

Print version ISSN 0121-0807

Rev. Univ. Ind. Santander. Salud vol.48 no.1 Bucaramanga Jan.Apr. 2016

https://doi.org/10.18273/revsal.v48n1-2016005 

DOI: http://dx.doi.org/10.18273/revsal.v48n1-2016005

Concordancia interexaminador de
hallazgos periodontales utilizando
radiografía periapical convencional

Miguel Simancas-Pallares1, Luisa Arévalo-Tovar1, Antonio Díaz-Caballero1

1. Universidad de Cartagena. Cartagena, Colombia
Correspondencia: Miguel Simancas. Dirección: Departamento de Investigación. Oficina 301. Facultad de Odontología.
Universidad de Cartagena. Avenida del Consulado # 48-172. Campus Ciencias de la Salud (Zaragocilla). Universidad de Cartagena.
Correo electrónico:
msimancasp@unicartagena.edu.co. Teléfono: +57 (5) 6698172. Ext. 110.
Recibido: Enero 15 de 2015 Aprobado: Junio 26 de 2015


Forma de citar: Simancas-Pallares M, Arévalo-Tovar L, Díaz-Caballero A. Concordancia interexaminador de hallazgos periodontales utilizando radiografía periapical convencional. Rev Uni Ind Santander Salud. 2016; 48(1): 45-50.


RESUMEN

Introducción: la enfermedad periodontal afecta más de la mitad de la población en Colombia siendo estimada una de las primeras causas de morbilidad oral. Las ayudas diagnósticas que permitan la evaluación de su extensión y severidad resultan de importancia puesto que así se tendrán herramientas confiables para cuantificar la gravedad del problema. Objetivo: determinar la concordancia interexaminador para la detección de hallazgos radiográficos en pacientes con periodontitis crónica localizada empleando radiografía periapical convencional. Métodos: estudio de pruebas diagnósticas incluyendo pacientes con periodontitis crónica localizada, sobre el diente con peor nivel de inserción clínico y a través de una sola radiografía convencional por órgano dentario empleando técnica de paralelismo. Las valoraciones radiográficas fueron realizadas por dos evaluadores independientes y cegados para los hallazgos: lámina dura, defectos óseos y tipo de defecto. El acuerdo obtenido se estimó a través de Kappa de Cohen. Resultados: se tomaron en total 125 radiografías. La edad promedio fue 38,8±9,9 años, y 61,6% eran mujeres. La concordancia para lámina dura fue 0,08 (IC 95 %: -0,04 - 0,21), defectos óseos 1,00 (IC 95 %: 1,00 - 1,00); tipo de defecto presente 0,31 (IC 95 %: 0,29 - 0,38). Conclusiones: la concordancia se evaluó como nula, casi perfecta y aceptable para los hallazgos lámina dura, presencia de defectos óseos y tipo de defecto respectivamente. Para algunos hallazgos y dada la importancia de los procesos diagnósticos y terapéuticos se necesitan valoraciones más exactas que se traduzcan en un mayor grado de acuerdo.

Palabras clave: Reproducibilidad de resultados, diagnóstico, periodoncia, radiografía dental.

Interexaminer reproducibility for periodontal findings using conventional periapical radiography

ABSTRACT

Introduction: periodontal disease affects more than 50% of the Colombian population being considered as one of the main causes of oral morbidity. Diagnostic tests that could evaluate its extension and severity are important since we can account then for reliable tools to quantify the disease severity. Objective: To estimate the interrater reliability for the detection of radiographic findings in chronic periodontitis patients using conventional periapical radiography. Methods: It was performed a diagnostic test study including patients diagnosed with untreated localized chronic periodontitis including the worst prognosis tooth and performing a single conventional radiography using parallelism technique. We assigned a code for each radiograph and two independent and blinded assessors performed radiographic measurements for the following findings: lamina dura, presence of bone defects and defect type. Agreement evaluation was performed through Cohen's Kappa statistic. Results: We evaluated 125 radiographs. Average age was 38,8±9,9 years from whose 61,6 % were female patients. Reproducibility for lamina dura was 0,08 (95% CI: -0,04 - 0,21); bone defects 1,00 (95% CI: 1,00 - 1,00) and type of bone defects 0,31 (95% CI: 0,29 - 0,38). Conclusions: reliability for lamina dura assessment was considered null, for bone defects almost perfect while for type of bone defect acceptable. For some findings it is necessary accurate assessments, which could reflect higher agreement due to the importance of diagnostic and treatment plan establishment.

Keywords: reproducibility of results; diagnostic; periodontics; dental radiography.


INTRODUCCIÓN

La enfermedad periodontal se reconoce por inflamación gingival en sitios donde ocurrió migración del epitelio de unión a través de la superficie radicular, sumado a pérdida de tejido conectivo y hueso alveolar debido a invasión bacteriana1. La forma más prevalente es la periodontitis crónica, con hallazgos clínicos y radiográficos característicos que permiten diferenciarla de las demás formas de periodontitis2. En Colombia se estima que ~75 % de la población mayor de 35 años padece alguna forma de pérdida de inserción3, cuyo diagnóstico se basa en la valoración clínica y radiográfica de los tejidos periodontales4.

Tradicionalmente, la forma de detectar cambios óseos es determinar la altura ósea a través de exámenes radiográficos, siendo capaz de detectar cambios cualitativos y cuantitativos y representando entonces una de las ayudas diagnósticas de mayor importancia en Odontología. La radiografía periapical, disponible en filmes (convencional) y computarizada (digital) es entonces la más utilizada debido a sus múltiples bondades.

Clínicamente, los parámetros evaluados para el diagnóstico periodontal incluyen profundidad al sondaje, sangrado al sondaje y niveles de inserción clínicos. En cuanto más exactas sean las herramientas de medición, más reproducibles serán las valoraciones realizadas; adicionalmente, se alcanzará un mayor control de las variables que afecten la identificación de los hallazgos periodontales a nivel radiográfico. Además, la precisión de estas herramientas permitirá información más confiable para el diagnóstico y la detección temprana de la enfermedad, lo cual a su vez, promoverá el tratamiento adecuado y oportuno, así como el control periodontal a largo plazo5.

Los clínicos al interior de las Escuelas de Odontología, muestran variaciones en la interpretación de las pruebas diagnósticas. Lewis et al. reportaron acuerdo bajo entre Odontólogos en modelos de estudio para estabilidad oclusal y pérdida de tejido en casos de maloclusión6. Así mismo Marbach et al., reportaron variación considerable entre instructores clínicos al evaluar modelos para la valoración de la severidad del bruxismo7. Investigaciones recientes revelaron falta de exactitud y amplia variabilidad entre odontólogos periodoncistas e higienistas orales al valorar la pérdida ósea radiográfica. Los hallazgos periodontales a nivel radiográfico recobran importancia debido a que sumados a la evidencia clínica conllevan al establecimiento de adecuados diagnósticos, planes de tratamiento y pronósticos así como también evaluación a largo plazo del periodonto8.

En este sentido, el objetivo del presente estudio fue estimar la concordancia interexaminador de hallazgos periodontales utilizando radiografía periapical convencional en pacientes con periodontitis crónica localizada sin tratar.

MATERIALES Y MÉTODOS

Se realizó un estudio de pruebas diagnósticas concordancia en pacientes adultos; el cual contó con aprobación por parte del comité de investigaciones de la Facultad de Odontología de la Universidad de Cartagena. Se tuvieron en cuenta los aspectos éticos expresados en la declaración de Helsinky en 2008, la resolución 008430 de 1993 y se solicitó consentimiento informado escrito a todos los pacientes.

La muestra estuvo constituida por pacientes mayores de 18 años, de sexo masculino o femenino con diagnóstico de periodontitis crónica (leve, moderada y/o severa) localizada y que aceptaron ingresar al estudio incluidos a través de un muestreo consecutivo hasta completar el tamaño de la muestra. Se excluyeron los siguientes pacientes: mujeres embarazadas debido a la imposibilidad de recibir radiaciones ionizantes; pacientes con enfermedades tiroideas, diabetes mellitus, con tratamiento periodontal seis meses antes o que reportaran la ingesta de antibióticos y/o antiinflamatorios no esteroideos (AINE's) seis semanas antes debido a la posible alteración del metabolismo óseo y por tanto, generar alto grado de variabilidad en las mediciones al identificar los puntos anatómicos de referencia para las mediciones.

El tamaño de muestra se calculó teniendo como parámetros: coeficiente de Kappa esperado de 0,85 asumiendo confianza de 95 % y poder de 80 % en el paquete estadístico GenStat V.12.1.0.3278 (VSN International Ltd., U.K). Fueron necesarias 57 replicaciones por método (114 mediciones en total). Anticipando un 10% de pérdidas de seguimiento y 10% de error de medición se requirió una muestra final de 136 mediciones.

La evaluación de los criterios de selección, examen clínico periodontal y recolección de datos fue realizada por un Odontólogo General calibrado en sistemas diagnósticos en periodoncia. El diagnóstico periodontal se efectuó teniendo en cuenta los criterios sugeridos por la Asociación Americana de Periodoncia9. Para el examen y diagnóstico periodontal se utilizó sonda periodontal tipo Marquis Hu-Friedy® (N. Rockwell, Chicago, IL. USA). El protocolo del estudio siguió el orden: examen clínico, toma de radiografía en todos los pacientes seleccionados.

Para la toma de la radiografía periapical convencional se empleó la técnica de paralelismo. Se seleccionó sólo un diente por sujeto y se tomó una radiografía por paciente en el sitio con peor nivel de inserción clínico (NIC), debido a que los casos más severos son los que reflejan el real estado de destrucción tisular10, en dientes posteriores (premolares o molares) superiores e inferiores, derechos e izquierdos y con presencia de periodontitis crónica. En caso de existir dos o más dientes con igual NIC, se escogió el diente más posterior. Estos criterios fueron estructurados por el equipo de investigación.

Las radiografías fueron obtenidas por un sólo profesional de radiología oral y maxilofacial, con experiencia comprobada (>10 años) en toma y procesamiento de radiografías; quien preparó el equipo de radiografía de acuerdo a las especificaciones técnicas.

Se utilizaron posicionadores de cono y película específicos para el tipo de diente (XCP Rinn Film Holder, Dentsply®, Dentsply International., Philadelphia, PA, USA); se obtuvo un registro de mordida con el posicionador y silicona para registro de mordida JET BLUE (Coltène/Whaledent AG, Altstätten, Switzerland), para asegurar la oclusión del paciente y estandarizar la proyección geométrica de la imagen. Se utilizó equipo de radiología periapical (RAIOS X TIMEX 70C PAREDE GELO 127V +4%, Rod Abrao Assed. Km53 +450m - Ribeirao Preto - Sao Paulo - Brasil) preestableciendo el miliamperaje y películas radiográficas periapicales tipo E (Kodak Dental Intraoral E-Speed Film. Carestream Health INC., Rochester., NY., U.S.A.). Una vez proyectada la radiografía, se realizó revelado teniendo en cuenta las especificaciones según el protocolo recomendado por la casa fabricante para el tipo de película.

Para la evaluación de las condiciones radiográficas se seleccionaron dos evaluadores ampliamente experimentados (≥15 años de práctica periodontal y práctica docente clínica) y previamente entrenados en técnicas de medición radiográfica periapical. A fin de sensibilizar a los evaluadores con el formato de recolección de la información, se realizó una prueba piloto con el 10% del tamaño de la muestra; en la cual, los evaluadores midieron las variables objeto de estudio y registraron la información en el formato diseñado para tal fin. Esta prueba no arrojó resultados que indicaran la necesidad de realizar ajustes en los formatos de registro y recolección de la información. Asimismo, estos sujetos no pertenecieron a la muestra estudiada finalmente.

Una vez obtenidas las radiografías y consecutivamente codificadas, se procedió a aplicar un método estadístico aleatorio simple a través de Microsoft Excel® para determinar el orden de presentación de las radiografías de manera cegada e independiente para cada evaluador. Para la presentación de las radiografías, se seleccionó una sala de evaluación de pacientes con negatoscopio de mesa de dimensiones 40 cm de base, 30 cm de alto, y luz blanca en condiciones de luz artificial controlada.

Las radiografías fueron dispuestas en esqueletos de cartón, sin que se cubriera la totalidad de la película.

Posterior a esto, se evaluó la continuidad de la lámina dura (continua o discontinua), defectos óseos (presente o ausente) y tipo de defectos óseos encontrados (vertical u horizontal). Luego, los evaluadores procedieron a registrar en el instrumento diseñado la información obtenida de la medición. Una vez obtenidos los datos, se procedió a tabular la información en una tabla matriz diseñada por los investigadores en el programa Microsoft Excel versión 2010 para Windows. La digitación de la información contó con verificación periódica y cegada a fin de minimizar errores.

El análisis de los datos se hizo inicialmente a través de estadística descriptiva: media, mediana, desviación estándar para datos cuantitativos y proporciones e intervalos de confianza para datos cualitativos. Adicionalmente, se verificaron supuestos de normalidad con la prueba Shapiro Wilk para variables continuas. La concordancia entre los examinadores se estimó con el estadístico Kappa de Cohen (κ) e intervalos de confianza al 95%. Los estadísticos obtenidos se evaluaron teniendo en cuenta los criterios propuestos por Landis y Koch11. El análisis estadístico se realizó en el paquete estadístico IBM SPSS Statistics v.20 para Microsoft Windows (IBM Corporation - Armond, NY, USA).

RESULTADOS

Se tomaron en total 136 radiografías. Sin embargo, debido a pérdida de la calidad postprocesamiento se incluyeron 125 radiografías para un total de 250 observaciones. El promedio de edad fue 38,8 años (DE: 9,9). En cuanto al sexo se encontró que 61,6 % de los pacientes pertenecían al sexo femenino. Por otro lado, 47,2% de los sujetos padecían la forma severa; mientras que la forma moderada y leve estuvo representada con 39,2 % y 13,6 % respectivamente.

En las tablas 1, 2, 3 se muestran los acuerdos observados y esperados para cada uno de los hallazgos periodontales evaluados; observándose mejor acuerdo para el hallazgo defecto óseo (presencia /ausencia) seguido de lámina dura.

Finalmente, los resultados de la concordancia obtenida muestran para lámina dura 0,08 (IC 95 %: -0,04 - 0,21 - P=0.08), defectos óseos 1,00 (IC 95 %: 1,00 - 1,00 - P<0.01) y tipo de defectos óseos 0,31 (IC 95 %: 0,29 - 0,38 - P<0.01). Los resultados del grado de acuerdo para estos hallazgos fueron 61,6 %, 100 % y 54,4 % respectivamente.

DISCUSIÓN

Los resultados de esta investigación teniendo en cuenta los hallazgos presencia de defectos óseos y tipo de defectos muestran diferencias significativas en la concordancia entre los dos evaluadores. Sin embargo, para lámina dura, la concordancia resultó resultó nula y sin significancia estadística; lo cual a su vez cuestiona su aplicación en el contexto clínico.

El protocolo del presente estudio no contempló la realización de procedimientos de calibración suponiendo buen acuerdo previo entre los observadores de acuerdo a su experiencia en práctica periodontal (>15 años) y su perfil profesional. Wolf et al. evidenciaron que la concordancia presenta diferencias estadísticamente significativas cuando existe más de un evaluador12, siendo los resultados del presente estudio consistentes con estos hallazgos ya que se encontraron diferencias en la interpretación de la concordancia reportada por los evaluadores.

En los estudios de pruebas diagnósticas resulta anticipable una amplia variación inter-observador lo cual es concordante con los resultados de este estudio. Una explicación para estos hallazgos es que al contar con más de un evaluador, la definición de los puntos anatómicos de referencia para realizar la medición resulta divergente aun cuando existan procedimientos de calibración13,14. Tewary, Luzzo y Hartwell en 2011, a través de un estudio de pruebas diagnósticas para evaluar la concordancia intra e interexaminador en lesiones periapicales, compararon especialistas experimentados (5 a 40 años), especialistas en formación y especialistas entrenados en radiología oral. Cada evaluador examinó las imágenes en el mismo computador y en las mismas condiciones de luz. Los resultados revelaron que la interpretación por parte de los evaluadores careció de la exactitud, precisión y consistencia que se esperaría a partir de evaluadores entrenados y altamente experimentados; lo cual es consistente con los resultados del presente estudio. Sin embargo, es importante tener en cuenta que esta investigación no evaluó exactitud ni precisión de los métodos empleados15. También reportaron que la diferencia en la concordancia entre evaluadores puede atribuirse a que la interpretación o mediciones realizadas sobre las radiografías orales no son inherentes a la técnica empleada; existen factores que modifican la concordancia como la experiencia del evaluador y su familiaridad con la técnica empleada15,16.

En general, a mayor experiencia por parte del examinador, mayor sería la concordancia esperada17; sin embargo esto no sucedió debido a algunos factores como falta de calibración o estandarización previa aun cuando existiera una alta experiencia profesional. Por otro lado, aspectos adicionales que pueden explicar la diferencia entre evaluadores como falta de entrenamiento especializado en los sistemas de medición radiográficos. En este sentido, Tewary et al. en 2011 reportaron que es necesario una experiencia mínima de al menos un año para obtener una concordancia moderada entre examinadores15. En el presente estudio, los evaluadores recibieron sólo las instrucciones sobre los procedimientos técnicos de cómo realizar las mediciones más no los procedimientos de calibración.

Pecoraro et al. sugirieron la evaluación única de las mediciones para así minimizar diferencias entre los observadores18. Otros autores sugieren consensuar mediciones con el propósito de minimizar los efectos inherentes a los observadores las cuales entonces, generarían diferencia en la concordancia19,20.

Lanning et al. en 2006 determinaron que el diseño y ejecución de programas de entrenamiento específicos pueden mejorar la exactitud y consistencia de las mediciones hechas por diferentes examinadores y así la concordancia entre ellos. Reportaron que el acuerdo general para estimar la pérdida ósea en una categoría (sin pérdida ósea) cambió de 64,5 % a 85,2 % después de 3 meses. Así la concordancia mejoró pasando de moderada (0,52) a casi perfecta (0,80)20.

Poniendo todos estos hallazgos de manifiesto, resulta importante que ante la introducción de tecnologías diagnósticas en periodoncia se tenga en cuenta procedimientos adicionales que permitan disminuir la diferencia entre observadores lo cual también se reflejaría en la toma de decisiones (diagnósticas, terapéuticas y/o pronósticas) en la práctica clínica diaria. También, en la formación recibida por parte de los estudiantes de Odontología toda vez que la misión es formar profesionales con adecuadas competencias clínicas.

Diversos autores sugieren la realización de estudios adicionales para la obtención de curvas de aprendizaje los cuales en el contexto del presente estudio recobran importancia puesto que se tendrá como objetivo estimar el número de casos que cada evaluador debe para realizar una medición de altura ósea con el método en estudio21,22, en la llamada curva de aprendizaje. Estas constituirán una herramienta metodológica la cual propenderá por: 1) mejorar el desempeño interobservador en estudios (de pruebas diagnósticas) y 2) facilitar la transición entre tecnologías diagnósticas con lo cual los criterios diagnósticos, terapéuticos y pronósticos no serán empleados subjetivamente23.

Con los resultados del presente estudio es posible inferir que existen algunos factores que podrían tener un posible impacto sobre la concordancia tales como: experiencia del evaluador con el sistema radiográfico y calibración de examinadores para la realización de las mediciones. Logrando esto, se espera aceptable capacidad diagnóstica de los instructores clínicos; esto se traduce entonces en adecuadas competencias diagnósticas para los profesionales en formación.


REFERENCIAS

1. Teles R, Teles F, Frias Lopez J, Paster B, Haffajee A. Lessons learned and unlearned in periodontal microbiology. Periodontol 2000. 2013; 62(1): 95- 162. 10.1111/prd.12010.         [ Links ]

2. Contreras A, Moreno SM, Jaramillo A, Pelaez M, Duque A, Botero JE, et al. Periodontal microbiology in Latin America. Periodontol 2000. 2015; 67(1): 58-86. DOI: 10.1111/prd.12074.         [ Links ]

3. Health Ministery. 4th National Study on Oral Health. Communication. Bogotá DC (Colombia): Health Ministery, 2015 Contract No. 7.         [ Links ]

4. Armitage GC. The complete periodontal examination. Periodontol 2000. 2004; 34: 22-33.         [ Links ]

5. Andrade R, Espinoza M, Gomez EM, Espinoza JR, Cruz E. Intra- and inter-examiner reproducibility of manual probing depth. Braz Oral Res. 2012; 26(1): 57-63.         [ Links ]

6. Lewis EA, Albino JE, Cunat JJ, Tedesco LA. Reliability and validity of clinical assessments of malocclusion. Am J Orthod. 1982; 81(6): 473-477.         [ Links ]

7. Marbach JJ, Raphael KG, Janal MN, Hirschkorn- Roth R. Reliability of clinician judgements of bruxism. J Oral Rehabil. 2003; 30(2): 113-118.         [ Links ]

8. Lanning SK, Pelok SD, Williams BC, Richards PS, Sarment DP, Oh TJ, et al. Variation in periodontal diagnosis and treatment planning among clinical instructors. J Dent Educ. 2005; 69(3): 325-337.         [ Links ]

9. Armitage GC. Development of a classification system for periodontal diseases and conditions. Ann Periodontol. 1999; 4(1): 1-6.         [ Links ]

10. Page RC, Eke PI. Case definitions for use in population-based surveillance of periodontitis. J Periodontol. 2007; 78(7 Suppl): 1387-1399.         [ Links ]

11. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977; 33(1): 159-174.         [ Links ]

12. Wolf B, von Bethlenfalvy E, Hassfeld S, Staehle HJ, Eickholz P. Reliability of assessing interproximal bone loss by digital radiography: intrabony defects. J Clin Periodontol. 2001; 28(9): 869-878.         [ Links ]

13. Hildebolt CF, Pilgram TK, Yokoyama Crothers N, Fletcher G, Helbig JL, Bartlett TQ, et al. Reliability of linear alveolar bone loss measurements of mandibular posterior teeth from digitized bitewing radiographs. J Clin Periodontol. 1998; 25(11 Pt 1): 850-856.         [ Links ]

14. Hildebolt CF, Bartlett TQ, Brunsden BS, Hente NL, Gravier MJ, Walkup RK, et al. Bitewingbased alveolar bone densitometry: digital imaging resolution requirements. Dentomaxillofac Radiol. 1994; 23(3): 129-134.         [ Links ]

15. Tewary S, Luzzo J, Hartwell G. Endodontic radiography: who is reading the digital radiograph? J Endod. 2011; 37(7): 919-921. 10.1016/j. joen.2011.02.027.         [ Links ]

16. Rechmann P, Featherstone JD. Quality assurance study of caries risk assessment performance by clinical faculty members in a school of dentistry. J Dent Educ. 2014; 78(9): 1331-1338.         [ Links ]

17. Patel A, Tee BC, Fields H, Jones E, Chaudhry J, Sun Z. Evaluation of cone-beam computed tomography in the diagnosis of simulated small osseous defects in the mandibular condyle. Am J Orthod Dentofacial Orthop. 2014; 145(2): 143-156.         [ Links ]

18. Pecoraro M, Azadivatan le N, Janal M, Khocht A. Comparison of observer reliability in assessing alveolar bone height on direct digital and conventional radiographs. Dentomaxillofac Radiol. 2005; 34(5): 279-284.         [ Links ]

19. Pepelassi EA, Tsiklakis K, Diamanti-Kipioti A. Radiographic detection and assessment of the periodontal endosseous defects. J Clin Periodontol. 2000; 27(4): 224-230.         [ Links ]

20. Lanning SK, Best AM, Temple HJ, Richards PS, Carey A, McCauley LK. Accuracy and consistency of radiographic interpretation among clinical instructors using two viewing systems. J Dent Educ. 2006; 70(2): 149-159.         [ Links ]

21. Delamare EL, Liedke GS, Vizzotto MB, da Silveira HL, Ribeiro JL, Silveira HE. Influence of a programme of professional calibration in the variability of landmark identification using cone beam computed tomography-synthesized and conventional radiographic cephalograms. Dentomaxillofac Radiol. 2010; 39(7): 414-423.         [ Links ]

22. Franceschetti G, Trombelli L, Minenna L, Franceschetti G, Farina R. Learning Curve of a Minimally Invasive Technique for Transcrestal Sinus Floor Elevation: A Split-Group Analysis in a Prospective Case Series With Multiple Clinicians. Implant Dent. 2015; 24(5): 517-526. doi: 10.1097/ ID.0000000000000270.         [ Links ]

23. Luz PB, Stringhini CH, Otto BR, Port AL, Zaleski V, Oliveira RS, et al. Performance of undergraduate dental students on ICDAS clinical caries detection after different learning strategies. Eur J Dent Educ. 2015; 19(4): 235-241. 10.1111/eje.12131        [ Links ]