<?xml version="1.0" encoding="ISO-8859-1"?><article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<front>
<journal-meta>
<journal-id>0012-7353</journal-id>
<journal-title><![CDATA[DYNA]]></journal-title>
<abbrev-journal-title><![CDATA[Dyna rev.fac.nac.minas]]></abbrev-journal-title>
<issn>0012-7353</issn>
<publisher>
<publisher-name><![CDATA[Universidad Nacional de Colombia]]></publisher-name>
</publisher>
</journal-meta>
<article-meta>
<article-id>S0012-73532010000400022</article-id>
<title-group>
<article-title xml:lang="es"><![CDATA[ENTRENAMIENTO DISCRIMINATIVO POR DISTANCIA DE MAHALANOBIS PARA DETECCIÓN DE PATOLOGÍAS DE VOZ]]></article-title>
<article-title xml:lang="en"><![CDATA[DISCRIMINATIVE TRAINING BASED ON MAHALANOBIS DISTANCE FOR PATHOLOGIC VOICE DETECTION]]></article-title>
</title-group>
<contrib-group>
<contrib contrib-type="author">
<name>
<surname><![CDATA[SARRIA-PAJA]]></surname>
<given-names><![CDATA[M.]]></given-names>
</name>
<xref ref-type="aff" rid="A01"/>
</contrib>
<contrib contrib-type="author">
<name>
<surname><![CDATA[CASTELLANOS-DOMÍNGUEZ]]></surname>
<given-names><![CDATA[G.]]></given-names>
</name>
<xref ref-type="aff" rid="A02"/>
</contrib>
</contrib-group>
<aff id="A01">
<institution><![CDATA[,Universidad Nacional de Colombia Sede Manizales ]]></institution>
<addr-line><![CDATA[ ]]></addr-line>
</aff>
<aff id="A02">
<institution><![CDATA[,Universidad Nacional de Colombia Sede Manizales ]]></institution>
<addr-line><![CDATA[ ]]></addr-line>
</aff>
<pub-date pub-type="pub">
<day>00</day>
<month>12</month>
<year>2010</year>
</pub-date>
<pub-date pub-type="epub">
<day>00</day>
<month>12</month>
<year>2010</year>
</pub-date>
<volume>77</volume>
<numero>164</numero>
<fpage>220</fpage>
<lpage>228</lpage>
<copyright-statement/>
<copyright-year/>
<self-uri xlink:href="http://www.scielo.org.co/scielo.php?script=sci_arttext&amp;pid=S0012-73532010000400022&amp;lng=en&amp;nrm=iso"></self-uri><self-uri xlink:href="http://www.scielo.org.co/scielo.php?script=sci_abstract&amp;pid=S0012-73532010000400022&amp;lng=en&amp;nrm=iso"></self-uri><self-uri xlink:href="http://www.scielo.org.co/scielo.php?script=sci_pdf&amp;pid=S0012-73532010000400022&amp;lng=en&amp;nrm=iso"></self-uri><abstract abstract-type="short" xml:lang="es"><p><![CDATA[Este artículo presenta una técnica de entrenamiento discriminativo para Modelos Ocultos de Markov, orientado a identificación de patologías de voz. Esta técnica busca maximizar el área que encierra la Curva ROC (Receiver Operating Characteristic) ajustando los parámetros del modelo, empleando como función objetivo la distancia de Mahalanobis. Los resultados muestran que la técnica propuesta mejora significativamente la precisión en un sistema de clasificación comparado con otros criterios de entrenamiento. Los resultados son obtenidos empleando la base de datos de patologías de voz MEEIVL.]]></p></abstract>
<abstract abstract-type="short" xml:lang="en"><p><![CDATA[This paper presents an approach that improves discriminative training criterion for Hidden Markov Models, and oriented to voice pathological identification. This technique aims at maximizing the Area under Curve of a Receiver Operating Characteristic curve by adjusting the model parameters using as objective function the Mahalanobis distance. The results show that the proposed technique outperforms significantly the accuracy in a classification system comparing with other training criteria. Results are provided using the MEEIVL voice disorders database.]]></p></abstract>
<kwd-group>
<kwd lng="es"><![CDATA[HMM]]></kwd>
<kwd lng="es"><![CDATA[MLE]]></kwd>
<kwd lng="es"><![CDATA[Entrenamiento discriminativo]]></kwd>
<kwd lng="es"><![CDATA[patologías de voz]]></kwd>
<kwd lng="es"><![CDATA[curva ROC]]></kwd>
<kwd lng="en"><![CDATA[HMM]]></kwd>
<kwd lng="en"><![CDATA[MLE]]></kwd>
<kwd lng="en"><![CDATA[Discriminative training]]></kwd>
<kwd lng="en"><![CDATA[voice pathology]]></kwd>
<kwd lng="en"><![CDATA[ROC curve]]></kwd>
</kwd-group>
</article-meta>
</front><body><![CDATA[ <p align="center"><font size="4" face="Verdana, Arial, Helvetica, sans-serif"><b>ENTRENAMIENTO   DISCRIMINATIVO POR DISTANCIA DE MAHALANOBIS PARA DETECCI&Oacute;N DE PATOLOG&Iacute;AS DE VOZ</b></font></p>     <p align="center"><i><font size="3" face="Verdana, Arial, Helvetica, sans-serif"><b>DISCRIMINATIVE   TRAINING BASED ON MAHALANOBIS DISTANCE FOR PATHOLOGIC VOICE DETECTION</b></font></i></p>     <p align="center">&nbsp;</p>     <p align="center"><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>M. SARRIA-PAJA</b>    <br>   </font><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><i>Universidad Nacional de Colombia   - Sede Manizales, <a href="mailto:mosarriap@unal.edu.co">mosarriap@unal.edu.co</a></i></font></p>     <p align="center"><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>G.   CASTELLANOS-DOM&Iacute;NGUEZ</b>    <br>   </font><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><i>Universidad Nacional de Colombia   - Sede Manizales, <a href="mailto:cgcastellanosd@unal.edu.co">cgcastellanosd@unal.edu.co</a></i></font></p>     <p align="center">&nbsp;</p>     <p align="center"><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>Recibido para revisar Marzo 17 de 2009, aceptado   Septiembre 8 de 2009, versi&oacute;n final Octubre 13 de 2009</b></font></p>     <p align="center">&nbsp;</p> <hr>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>RESUMEN:</b> Este art&iacute;culo presenta una t&eacute;cnica de   entrenamiento discriminativo para Modelos Ocultos de Markov, orientado a   identificaci&oacute;n de patolog&iacute;as de voz. Esta t&eacute;cnica busca maximizar el &aacute;rea que   encierra    la Curva ROC (<i>Receiver   Operating Characteristic</i>) ajustando los par&aacute;metros del modelo, empleando   como funci&oacute;n objetivo la distancia de Mahalanobis. Los resultados muestran que   la t&eacute;cnica propuesta mejora significativamente la precisi&oacute;n en un sistema de   clasificaci&oacute;n comparado con otros criterios de entrenamiento. Los resultados   son obtenidos empleando la base de datos de patolog&iacute;as de voz MEEIVL.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>PALABRAS CLAVE: </b>HMM, MLE, Entrenamiento discriminativo, patolog&iacute;as   de voz, curva ROC. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>ABSTRACT:</b> This paper   presents an approach that improves discriminative training criterion for Hidden   Markov Models, and oriented to voice pathological identification. This   technique aims at maximizing the Area under Curve of a Receiver Operating Characteristic   curve by adjusting the model parameters using as objective function the Mahalanobis   distance. The results show that the proposed technique outperforms   significantly the accuracy in a classification system comparing with other   training criteria. Results are provided using the MEEIVL voice disorders database.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>KEYWORDS:</b> HMM, MLE,   Discriminative training, voice pathology, ROC curve.</font></p> <hr>     <p>&nbsp;</p>     <p><font size="3" face="Verdana, Arial, Helvetica, sans-serif"><b>1. INTRODUCCI&Oacute;N</b></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Los Modelos   Ocultos de Markov (<i>Hidden Markov Models - HMM</i>) han sido ampliamente utilizados   en sistemas de reconocimiento de voz, especialmente en la soluci&oacute;n de problemas   tales como identificaci&oacute;n o verificaci&oacute;n de hablante, ubic&aacute;ndose como una   herramienta est&aacute;ndar para modelar las variaciones estoc&aacute;sticas presentes en   este tipo de señales [1]. Un problema de especial inter&eacute;s en aplicaciones biom&eacute;dicas es la   detecci&oacute;n de patolog&iacute;as en señales de voz, donde el principal objetivo es   generar herramientas de diagn&oacute;stico asistido mediante t&eacute;cnicas no invasi</font><font size="2" face="Verdana, Arial, Helvetica, sans-serif">vas [2]. El   proceso autom&aacute;tico de voz para detecci&oacute;n de patolog&iacute;as tiene sus ventajas: el   an&aacute;lisis es cuantitativo y no invasivo, permitiendo identificar y monitorear   enfermedades del tracto vocal, y adicionalmente reducir costos.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Durante la   fonaci&oacute;n sostenida de vocales, la voz normal es una señal regular y cuasi-peri&oacute;dica,   y cambios abruptos en su forma de onda se pueden percibir como posibles   trastornos. Emplear medidas de distorsi&oacute;n cl&aacute;sicas complementadas con otro tipo   de caracter&iacute;sticas din&aacute;micas, como se ha señalado en algunos estudios [3], es   una de las formas m&aacute;s eficientes de capturar la mayor </font><font size="2" face="Verdana, Arial, Helvetica, sans-serif">cantidad de   informaci&oacute;n disponible en las señales ac&uacute;sticas, considerando tambi&eacute;n los   cambios en su estructura temporal, permitiendo modelar de forma adecuada estos   fen&oacute;menos. Este tipo de caracter&iacute;sticas combinadas con clasificadores din&aacute;micos,   (por ejemplo HMM), se han empleado en la detecci&oacute;n de patolog&iacute;as de voz de   forma satisfactoria [4].</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">El entrenamiento   de los HMM implica el ajuste de los par&aacute;metros de un modelo, tal que se extraiga   la m&aacute;xima informaci&oacute;n de las secuencias de observaci&oacute;n. Entre los m&eacute;todos   conocidos est&aacute;n el criterio basado en la estimaci&oacute;n de m&aacute;xima verosimilitud (<i>Maximum   Likelihood Estimation</i> - MLE) [5], donde se optimiza la descripci&oacute;n del   respectivo modelo para un conjunto dado de observaciones (<i>funci&oacute;n de   verosimilitud</i>), sin tener relaci&oacute;n expl&iacute;cita con el rendimiento del   clasificador, por lo cual este es un criterio de entrenamiento generativo. Por otro   lado est&aacute;n los m&eacute;todos de entrenamiento discriminativo, por ejemplo, la t&eacute;cnica   de M&aacute;xima Informaci&oacute;n Mutua (<i>Maximum Mutual Information</i> - MMI) [6],   donde se busca optimizar la probabilidad a posteriori de los datos de entrenamiento   y, por lo tanto la separabilidad entre clases, o el criterio de M&iacute;nimo Error de   Clasificaci&oacute;n (<i>Minimum Classification Error</i> - MCE) [7] donde se minimiza   el error de clasificaci&oacute;n mediante la formulaci&oacute;n de una funci&oacute;n de error   emp&iacute;rica.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En   cuanto a las medidas de desempeño, en el caso de los sistemas de diagn&oacute;stico   asistido, se ha sugerido el empleo de medidas de desempeño mucho m&aacute;s robustas   que el error de clasificaci&oacute;n o la precisi&oacute;n, por ejemplo, el empleo de la curva   ROC <i>(Receiver Operating Characteristic curve)</i> [8]<i>,</i> que tiene la   capacidad de representar el desempeño global del sistema en diferentes puntos   de operaci&oacute;n, un indicador muy importante es el del &aacute;rea bajo la curva ROC &oacute;   ABC, lo cual ha llevado a la formulaci&oacute;n de nuevos criterios de entrenamiento   discriminativos que emplean la maximizaci&oacute;n del ABC como funci&oacute;n objetivo. </font></p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Un   ejemplo concreto de entrenamiento discriminativo, que optimiza el ABC ajustando   los par&aacute;metros del modelo, se presenta en [9], conocido como <i>FOM training</i> y propuesto para ajustar los par&aacute;metros de modelos de mezclas de Gaussianas, mostrando   que la capacidad discriminativa del sistema mejora significativamente. Sin embargo,   no se presenta una funci&oacute;n anal&iacute;tica directamente asociada a la misma ABC. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Otro   enfoque propone integrar a la etapa de entrenamiento algunas m&eacute;tricas de   inter&eacute;s adem&aacute;s del error de clasificaci&oacute;n (especificidad, sensibilidad)[10].   Criterio conocido como MfoM (<i>Maximal Figure of Merit</i>), y aunque trabaja   sobre medidas muy relacionadas a la curva ROC, no optimiza una funci&oacute;n relacionada   directamente con la curva o construcci&oacute;n de la misma. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En   estos dos trabajos el principal inconveniente es la ausencia de una funci&oacute;n que   est&eacute; relacionada directamente con la curva ROC o el ABC. Esta dificultad es la   que no ha permitido que el enfoque haya sido formalizado, restringiendo su uso. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En   este sentido y para superar este inconveniente, se propone emplear como   criterio de entrenamiento discriminativo la optimizaci&oacute;n de una medida de   distancia, que este mas relacionada al &aacute;rea que encierra la curva ROC, esto debido a que el ABC, es directamente   proporcional a la separaci&oacute;n que tienen las distribuciones de probabilidad para   cada una de las clases, generadas a partir de los HMM. Por lo que se emplea   como criterio de entrenamiento la optimizaci&oacute;n de la distancia de Mahalanobis,   mediante una t&eacute;cnica basada en el c&aacute;lculo de gradientes para ajustar los par&aacute;metros   del modelo.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">La comparaci&oacute;n de los m&eacute;todos de entrenamiento empleados (MLE, MMI, MCE   y MFoM), con el m&eacute;todo propuesto, se realiza sobre la base de datos de   patolog&iacute;as de voz desarrollada por <i>The   Massachusetts Eye and Ear Infirmary Voice Laboratory (MEEIVL). </i>Y los   resultados obtenidos muestran que la t&eacute;cnica de entrenamiento propuesta mejora   sustancialmente las t&eacute;cnicas de entrenamiento conocidas tanto generativas como   discriminativas.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Este manuscrito esta estructurado de la siguiente manera: En la secci&oacute;n   2 se hace una revisi&oacute;n del estado del   arte sobre las t&eacute;cnicas de entrenamiento generativo y discriminativo,   aplicables a HMM. En la secci&oacute;n 3 se   describe el ajuste experimental, como la parametrizaci&oacute;n de la base de datos,   la metodolog&iacute;a de validaci&oacute;n y la arquitectura del modelo. Las dos   ultimas secciones presentan los resultados y conclusiones del trabajo.</font></p>     <p>&nbsp;</p>     <p><font size="3" face="Verdana, Arial, Helvetica, sans-serif"><b>2. MATERIALES Y M&Eacute;TODOS</b></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Sea un conjunto de <sub><img src="/img/revistas/dyna/v77n164/a22eq002.gif"></sub> observaciones   de entrenamiento <sub><img src="/img/revistas/dyna/v77n164/a22eq004.gif"></sub>, con sus correspondientes categor&iacute;as o etiquetas, <sub><img src="/img/revistas/dyna/v77n164/a22eq006.gif"></sub>, donde <sub><img src="/img/revistas/dyna/v77n164/a22eq008.gif"></sub>, siendo <sub><img src="/img/revistas/dyna/v77n164/a22eq010.gif"></sub> el   n&uacute;mero total de clases. Cada registro <sub><img src="/img/revistas/dyna/v77n164/a22eq012.gif"></sub> se   representa por una secuencia de longitud <sub><img src="/img/revistas/dyna/v77n164/a22eq014.gif"></sub> de   vectores de caracter&iacute;sticas <sub><img src="/img/revistas/dyna/v77n164/a22eq016.gif"></sub>. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Los modelos ocultos   de Markov describen procesos estoc&aacute;sticos doblemente   anidados, compuestos de una capa oculta que controla la evoluci&oacute;n temporal   de las caracter&iacute;sticas espectrales de una capa observable.</font></p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">El conjunto total   de par&aacute;metros de los HMM se denota por <sub><img src="/img/revistas/dyna/v77n164/a22eq018.gif"></sub> y se   compone por <sub><img src="/img/revistas/dyna/v77n164/a22eq010.gif"></sub>modelos, es decir,<sub><img src="/img/revistas/dyna/v77n164/a22eq020.gif"></sub>, donde <sub><img src="/img/revistas/dyna/v77n164/a22eq022.gif"></sub> denota   los par&aacute;metros del HMM que representa la   categor&iacute;a o clase<sub><img src="/img/revistas/dyna/v77n164/a22eq024.gif"></sub>.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Un Modelo Oculto   de Markov para una clase en particular esta definido por el conjunto de par&aacute;metros <sub><img src="/img/revistas/dyna/v77n164/a22eq026.gif"></sub> , donde <sub><img src="/img/revistas/dyna/v77n164/a22eq028.gif"></sub> es la   matriz de transici&oacute;n de estados, y esta compuesta por las probabilidades   discretas <sub><img src="/img/revistas/dyna/v77n164/a22eq030.gif"></sub> que   representa la probabilidad de pasar del estado <sub><img src="/img/revistas/dyna/v77n164/a22eq032.gif"></sub> al   estado <sub><img src="/img/revistas/dyna/v77n164/a22eq034.gif"></sub>, <sub><img src="/img/revistas/dyna/v77n164/a22eq036.gif"></sub> corresponde a la funci&oacute;n densidad de   probabilidad de observaci&oacute;n, que en este caso corresponde a un modelo de   mezclas de Gaussianas por estado, definido como:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq038.gif"></sub> (1)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Donde <sub><img src="/img/revistas/dyna/v77n164/a22eq040.gif"></sub> es el vector de medias   y <sub><img src="/img/revistas/dyna/v77n164/a22eq042.gif"></sub> la matriz de   covarianzas de la <i>k</i>-&eacute;sima mezcla del   estado <sub><img src="/img/revistas/dyna/v77n164/a22eq034.gif"></sub>, que por simplicidad se asume diagonal, es decir,<sub><img src="/img/revistas/dyna/v77n164/a22eq045.gif"></sub>, y <i>p</i> la dimensi&oacute;n   del vector de observaci&oacute;n <sub><img src="/img/revistas/dyna/v77n164/a22eq047.gif"></sub>, adem&aacute;s, <sub><img src="/img/revistas/dyna/v77n164/a22eq049.gif"></sub> corresponde al vector de probabilidad   de estado inicial [1-5]. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">A continuaci&oacute;n, se   explica cada uno de los criterios de entrenamiento y las funciones que se   emplean para ajustar los par&aacute;metros de los HMM, la m&eacute;trica de desempeño, y el   m&eacute;todo propuesto.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>2.1 Criterios de entrenamiento    <br>   </b></font><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><i>Criterio MLE</i>. Se asume que la forma funcional de <sub><img src="/img/revistas/dyna/v77n164/a22eq051.gif"></sub> es   conocida, y puede estimarse al ajustar el conjunto de par&aacute;metros del modelo   para de esta forma optimizar la descripci&oacute;n del respectivo modelo para un   conjunto dado de observaciones. La funci&oacute;n objetivo ML se define como:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq053.gif"></sub> (2)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Cuya optimizaci&oacute;n   se alcanza ajustando los par&aacute;metros de cada modelo, por separado, con los datos   de entrenamiento de cada clase, de tal forma, que el valor de (2) alcance un m&aacute;ximo [5].</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><i>Criterio MMI</i>. Dada una secuencia de observaci&oacute;n,   se debe escoger la clase <sub><img src="/img/revistas/dyna/v77n164/a22eq024.gif"></sub>que tenga el m&iacute;nimo de incertidumbre. &Eacute;sta   condici&oacute;n puede alcanzarse minimizando la entrop&iacute;a condicional,<sub><img src="/img/revistas/dyna/v77n164/a22eq055.gif"></sub>, cuya optimizaci&oacute;n implica minimizar la   entrop&iacute;a <sub><img src="/img/revistas/dyna/v77n164/a22eq057.gif"></sub>, o bien maximizar la informaci&oacute;n mutua <sub><img src="/img/revistas/dyna/v77n164/a22eq059.gif"></sub>. La primera tarea corresponde a hallar el   modelo con el m&iacute;nimo de entrop&iacute;a, que anal&iacute;ticamente es complejo e intratable.   En la segunda aproximaci&oacute;n, se maximiza la informaci&oacute;n mutua [6]:</font></p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq061.gif"></sub> (3)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><i>Criterio MCE</i>. Incluye una funci&oacute;n de p&eacute;rdida, proporcional al error de   clasificaci&oacute;n, <sub><img src="/img/revistas/dyna/v77n164/a22eq063.gif"></sub>, y que se asocia al costo de asignar la secuencia <sub><img src="/img/revistas/dyna/v77n164/a22eq012.gif"></sub> a la   clase <sub><img src="/img/revistas/dyna/v77n164/a22eq066.gif"></sub>, se </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Define como:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq068.gif"></sub></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Debido a que &eacute;sta   no es una funci&oacute;n derivable, se ha propuesto en cambio la siguiente funci&oacute;n:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq070.gif"></sub> (4)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Donde <sub><img src="/img/revistas/dyna/v77n164/a22eq072.gif"></sub> es de   la forma:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq074.gif"></sub> (5)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">con <sub><img src="/img/revistas/dyna/v77n164/a22eq076.gif"></sub> definido como la funci&oacute;n de verosimilitud   condicional para la clase <sub><img src="/img/revistas/dyna/v77n164/a22eq066.gif"></sub> y <sub><img src="/img/revistas/dyna/v77n164/a22eq079.gif"></sub> es una   constante positiva [7].</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>2.2 Curva ROC    ]]></body>
<body><![CDATA[<br>   </b></font><font size="2" face="Verdana, Arial, Helvetica, sans-serif">La toma de   decisiones cl&iacute;nicas exige la valoraci&oacute;n de la utilidad de cualquier prueba   diagn&oacute;stica, es decir, su capacidad para clasificar correctamente a los   pacientes en categor&iacute;as o estados en relaci&oacute;n con la enfermedad (t&iacute;picamente   dos: estar o no estar enfermo, respuesta positiva o negativa). La curva m&aacute;s   utilizada en la literatura m&eacute;dica para la toma de decisiones es    la ROC , que representa la tasa de falso acierto o falsa aceptaci&oacute;n (FP) en   funci&oacute;n de la tasa de acierto o aceptaci&oacute;n verdadera (VP), para diferentes valores   del umbral de decisi&oacute;n. La disposici&oacute;n de    la ROC (<a href="#fig01">figura 1</a>) depende de la forma y del solapamiento de las   distribuciones subyacentes de las clases (patol&oacute;gica, normal - positiva, negativa)   [8].</font></p>     <p align="center"><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b><a name="fig01"></a><img src="/img/revistas/dyna/v77n164/a22fig01.gif">    <br>   Figura.   1.</b> Curva ROC    <br>   </font><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>Figure.   1.</b> ROC Curve</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En el caso de HMM,   el c&aacute;lculo de la curva ROC se hace mediante los cocientes o <i>scores</i> de   verosimilitud estimados de cada registro con los modelos para cada clase. Con   los <i>scores</i> obtenidos se crea un histograma, que para los registros que   pertenecen a la clase positiva (clase 0) deber&iacute;a estar situado en su mayor   parte a la derecha y para los que pertenecen a la clase negativa (clase 1) en   su mayor parte a la izquierda. As&iacute;, la puntuaci&oacute;n para la secuencia <sub><img src="/img/revistas/dyna/v77n164/a22eq012.gif"></sub> est&aacute;   dada por:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq082.gif"></sub> (6)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Donde <sub><img src="/img/revistas/dyna/v77n164/a22eq084.gif"></sub> est&aacute;   asociado a la clase <sub><img src="/img/revistas/dyna/v77n164/a22eq086.gif"></sub>. El histograma normalizado se puede   interpretar como una versi&oacute;n discreta de las funciones densidad de probabilidad   de las clases.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Una mayor   precisi&oacute;n diagn&oacute;stica de la prueba se traduce en el desplazamiento hacia arriba   y a la izquierda de la curva ROC (<a href="#fig01">figura 1</a>), lo que sugiere que el ABC se puede   emplear como un &iacute;ndice conveniente de la exactitud global de la prueba; el   mejor indicador corresponder&iacute;a a un   valor de 1 y el m&iacute;nimo a uno de 0.5 (si fuera menor de 0.5 deber&iacute;a invertirse   el criterio de decisi&oacute;n de la prueba). En este sentido, se ha propuesto emplear   como criterio de entrenamiento la optimizaci&oacute;n del &aacute;rea que encierra    la ROC , teniendo como restricci&oacute;n la no existencia de una funci&oacute;n anal&iacute;tica que represente el ABC. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><i>Criterio   MFoM    <br>   </i></font><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Una primera   aproximaci&oacute;n de soluci&oacute;n propone utilizar medidas indirectas, de tal forma que   al optimizarlas sea posible maximizar el ABC de la curva ROC [10].</font></p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Debido a que el ABC   de la curva ROC est&aacute; directamente relacionado con el rendimiento del sistema de   clasificaci&oacute;n, es posible emplear medidas de desempeño de forma similar a como   se plantea el criterio MCE, pero con medidas m&aacute;s complejas y globales.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Dada una clase <sub><img src="/img/revistas/dyna/v77n164/a22eq088.gif"></sub>, teniendo en cuenta que <i>VP<sub>j</sub></i> son las aceptaciones correctas, <sub><img src="/img/revistas/dyna/v77n164/a22eq090.gif"></sub>son las falsas aceptaciones y <sub><img src="/img/revistas/dyna/v77n164/a22eq092.gif"></sub> son los falsos   rechazos, se pueden definir las siguientes medidas de precisi&oacute;n:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq094.gif"></sub>(7)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Generalmente, la   exactitud diagn&oacute;stica se expresa como sensibilidad y especificidad diagn&oacute;sticas.   Cuando se utiliza una prueba dicot&oacute;mica (una cuyos resultados se puedan   interpretar directamente como positivos o negativos), la <b>sensibilidad </b>(7b)   es la probabilidad de clasificar correctamente a un individuo, cuyo estado real   sea el definido como positivo respecto a la condici&oacute;n que estudia la prueba. El <b>valor predictivo positivo</b> (7a) Es la probabilidad de padecer la   enfermedad si se obtiene un resultado positivo en el test. El valor predictivo   positivo puede estimarse, por tanto, a partir de la proporci&oacute;n de pacientes con   un resultado positivo en la prueba que finalmente resultaron estar enfermos. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Debido a que las medidas de (7)   no son funciones derivables, es necesario aproximar la clasificaci&oacute;n correcta o   incorrecta de un registro mediante una funci&oacute;n sigmoidal igual a la definida   anteriormente para el criterio MCE: </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq096.gif"></sub>(8)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Donde <sub><img src="/img/revistas/dyna/v77n164/a22eq098.gif"></sub> corresponde a una secuencia de observaciones   en particular, <sub><img src="/img/revistas/dyna/v77n164/a22eq100.gif"></sub>es una funci&oacute;n   de indicaci&oacute;n y es 1 si <sub><img src="/img/revistas/dyna/v77n164/a22eq102.gif"></sub> es verdadero y 0 de otra forma. El criterio MFoM   emplea la aproximaci&oacute;n de (8) en (7c). </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Por medio de estas medidas tambi&eacute;n se puede llegar a una forma del   criterio MCE, tomando la expresi&oacute;n para los falsos negativos (falsos rechazos),   y recordando la funci&oacute;n de p&eacute;rdida (4), se tiene la siguiente expresi&oacute;n:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq104.gif"></sub> (9)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Para este caso la   optimizaci&oacute;n no se realiza en l&iacute;nea (<i>online</i>) sino por lotes (<i>batch</i>),   y la actualizaci&oacute;n de los par&aacute;metros se realiza en direcci&oacute;n contraria al   gradiente acumulado [11]. </font></p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>2.3 M&eacute;todo Propuesto    <br>   </b></font><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Cuando las   distribuciones de probabilidad est&aacute;n separadas, tanto como es posible (<a href="#fig01">figura 1</a>)   se puede asumir que el ABC alcanzara un valor m&aacute;ximo, por lo tanto, se propone   utilizar una medida de distancia entre las distribuciones, cuya optimizaci&oacute;n indirectamente   debe mejorar el ABC. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">La distancia de   Mahalanobis es la opci&oacute;n m&aacute;s clara, y la distancia entre distribuciones que mejor   se ajusta a los requerimientos:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq106.gif"></sub> (10)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Donde <sub><img src="/img/revistas/dyna/v77n164/a22eq108.gif"></sub> y <sub><img src="/img/revistas/dyna/v77n164/a22eq110.gif"></sub> son las   medias y varianzas respectivamente, de las distribuciones de cada clase (<sub><img src="/img/revistas/dyna/v77n164/a22eq112.gif"></sub>), <sub><img src="/img/revistas/dyna/v77n164/a22eq114.gif"></sub> se calcula   de la siguiente forma:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq116.gif"></sub> (11)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Donde <sub><img src="/img/revistas/dyna/v77n164/a22eq118.gif"></sub> es el   n&uacute;mero de registros de la clase 0, <sub><img src="/img/revistas/dyna/v77n164/a22eq120.gif"></sub> los registros de la clase 1, y<sub><img src="/img/revistas/dyna/v77n164/a22eq122.gif"></sub>.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Analizando (10) es claro que existen al menos tres formas de hacer que   la distancia <sub><img src="/img/revistas/dyna/v77n164/a22eq124.gif"></sub> sea m&aacute;xima, bien maximizando la distancia   entre medias (<sub><img src="/img/revistas/dyna/v77n164/a22eq108.gif"></sub>) de cada   distribuci&oacute;n, minimizando <sub><img src="/img/revistas/dyna/v77n164/a22eq114.gif"></sub> de (11); por &uacute;ltimo, maximizando directamente la distancia <sub><img src="/img/revistas/dyna/v77n164/a22eq124.gif"></sub>, tal como est&aacute; definida (10). </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En este trabajo se implementan dos formas: minimizar   (11), FOM1 y maximizar (10), FOM2, en las cuales la media y varianza para la clase <i>i</i>-esima est&aacute;n definidas de la   siguiente forma: </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq128.gif"></sub>(12)</font></p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><i>Optimizaci&oacute;n:    <br>   </i></font><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Para actualizar los par&aacute;metros de cada uno de los modelos se emplea el   algoritmo GPD (<i>Generalized Probabilistic   Descend</i>) [12], es una t&eacute;cnica de optimizaci&oacute;n basada en el c&aacute;lculo de   gradientes, donde se definen las siguientes transformaciones sobre los par&aacute;metros   a actualizar, que permiten mantener las restricciones probabil&iacute;sticas de los HMM durante la adaptaci&oacute;n: </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq130.gif"></sub>(13)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Las   transformaciones que se hacen sobre las componentes Gaussianas del modelo, se   definen como:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq132.gif"></sub>(14)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">La actualizaci&oacute;n de un par&aacute;metro <sub><img src="/img/revistas/dyna/v77n164/a22eq134.gif"></sub> en particular, se   realiza de la siguiente forma:</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sub><img src="/img/revistas/dyna/v77n164/a22eq136.gif"></sub> (15)</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Donde <sub><img src="/img/revistas/dyna/v77n164/a22eq138.gif"></sub> es la tasa de   aprendizaje, <sub><img src="/img/revistas/dyna/v77n164/a22eq140.gif"></sub> indica la iteraci&oacute;n   actual y <sub><img src="/img/revistas/dyna/v77n164/a22eq142.gif"></sub> es la derivada parcial   de la funci&oacute;n objetivo con respecto al par&aacute;metro <sub><img src="/img/revistas/dyna/v77n164/a22eq144.gif"></sub>. Finalmente para calcular el par&aacute;metro <sub><img src="/img/revistas/dyna/v77n164/a22eq134.gif"></sub> se emplean en (13) y (14).</font></p>     <p>&nbsp;</p>     <p><font size="3" face="Verdana, Arial, Helvetica, sans-serif"><b>3. MARCO   EXPERIMENTAL</b></font></p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Los experimentos son llevados a cabo sobre la base de datos <i>MEEIVL. </i>Debido a la heterogeneidad de la   base de datos (diferente frecuencia de muestreo en la adquisici&oacute;n de los   registros), los registros utilizados fueron re-muestreados a una frecuencia de   muestreo de 25 kHz y con una resoluci&oacute;n de 16 bits. Corresponden a pronunciaciones   de la vocal sostenida <i>/ah/</i>. Se utilizaron   173 muestras de pacientes patol&oacute;gicos (con una amplia gama de patolog&iacute;as   vocales org&aacute;nicas, neurol&oacute;gicas, traum&aacute;ticas y ps&iacute;quicas) y 53 muestras de   pacientes normales, de acuerdo con los registros enumerados en [13] y como se sugiere   en [14]. Los registros de pacientes patol&oacute;gicos tienen una duraci&oacute;n aproximada   de 1 s, mientras que en los registros de pacientes normales la duraci&oacute;n es alrededor   de 3 s.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Cada registro fue ventaneado uniformemente con una ventana Hanning de   40 ms, con un traslape del 50%. A cada ventana se le extrae un vector de <i>p=16</i> caracter&iacute;sticas, 12 MFCC (<i>Mel-Frequency Cepstrum Coefficients</i>), la   energ&iacute;a de la ventana (<i>En</i>), la relaci&oacute;n arm&oacute;nico ruido <i>(Harmonic-to-Noise Ratio - HNR)</i> [15], la   energ&iacute;a de ruido normalizada (<i>Normalized   Noise Energy</i> - NNE) [16] y la relaci&oacute;n excitaci&oacute;n glottal ruido (<i>Glottal to Noise Excitation Ratio</i> - GNE)   [17].</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Los MFCC son derivados del c&aacute;lculo de    la FFT (<i>Fast Fourier   Transform</i>) [18]. Esta aproximaci&oacute;n no param&eacute;trica permite modelar los   efectos de las patolog&iacute;as en la excitaci&oacute;n (pliegues vocales) y en el sistema   (tracto vocal), mientras que un enfoque param&eacute;trico como <i>Linear Predictive Coefficients</i> (LPC) presenta problemas debido a   que las patolog&iacute;as introducen no linealidades en el modelo [19]. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Los par&aacute;metros relacionados con mediciones de ruido (HNR, NNE, GNE),   est&aacute;n diseñados para medir la componente de ruido relativo en las señales de   voz. Debido a que estas medidas dan una   idea de la calidad y grado de normalidad de la voz [20].</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Para determinar la capacidad de generalizaci&oacute;n de los sistemas se emplea   un esquema de validaci&oacute;n cruzada, con diferentes conjuntos de entrenamiento-validaci&oacute;n   (<i>k-fold</i>), escogidos de forma aleatoria   del conjunto completo de datos. En este trabajo se emplean 9 conjuntos, utilizando   para el entrenamiento el 70% de los ficheros y para la validaci&oacute;n el 30%   restante.</font></p>     <p align="center"><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b><a name="fig02"></a><img src="/img/revistas/dyna/v77n164/a22fig02.gif">    <br>   Figura 2.</b> Vector de caracter&iacute;sticas extra&iacute;das de cada   ventana    <br>   </font><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>Figure   2</b>.   Feature vector extracted from each window</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Para el entrenamiento de los HMM se emplea la arquitectura de un modelo   erg&oacute;dico (<i>full connected</i>) con 3   mezclas Gaussianas y 2 estados, puesto que fue la arquitectura que mostr&oacute; los   mejores resultados al entrenar el sistema mediante MLE. El algoritmo de   optimizaci&oacute;n empleado es el GPD [7] para todos los criterios de entrenamiento   analizados, con excepci&oacute;n del criterio MLE, que usa el algoritmo de Baum-Welch [5]. Adicionalmente para el criterio MCE se   emplea la configuraci&oacute;n <i>batch</i>, que   representa un menor coste computacional y rendimiento similar a la   configuraci&oacute;n <i>online</i>[11].</font></p>     <p>&nbsp;</p>     ]]></body>
<body><![CDATA[<p><font size="3" face="Verdana, Arial, Helvetica, sans-serif"><b>4. RESULTADOS Y   DISCUSION</b></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Las pruebas   iniciales se realizan con la t&eacute;cnica de entrenamiento est&aacute;ndar (MLE) que ser&aacute;   la base de comparaci&oacute;n para los dem&aacute;s criterios de entrenamiento. En    la <a href="#tab01">Tabla 1</a>, se muestran los   resultados obtenidos con el conjunto de entrenamiento. En este caso se observa   que no hay una diferencia sustancial entre los diferentes m&eacute;todos de   entrenamiento. En    la <a href="#tab02">Tabla 2</a>, se muestran los resultados obtenidos con el conjunto de validaci&oacute;n.   Donde se observa que en general todas las t&eacute;cnicas de entrenamiento discriminativo   superan la t&eacute;cnica de entrenamiento generativo y adicionalmente que la t&eacute;cnica   de entrenamiento propuesta, basada en optimizar directamente la distancia de   Mahalanobis (FOM2) es superior a todas las dem&aacute;s t&eacute;cnicas, mostrando que el ABC   y la precisi&oacute;n son los mas grandes, mostrando una clara superioridad en cuanto   a capacidad de generalizaci&oacute;n.</font></p>     <p align="center"><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b><a name="tab01"></a>Tabla 1. </b>ABC   y precisi&oacute;n (Conjunto de entrenamiento)    <br>   </font><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>Table   1. </b>AUC   and accuracy ( Training set)</font>    <br>   <img src="/img/revistas/dyna/v77n164/a22tab01.gif"></p>     <p align="center"><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b><a name="tab02"></a>Tabla 2. </b>ABC y precisi&oacute;n (Conjunto de validaci&oacute;n)    <br>   </font><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>Table 2. </b>AUC and accuracy   (validation set)</font>    <br>   <img src="/img/revistas/dyna/v77n164/a22tab02.gif"></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Debido a que estos   criterios de entrenamiento se basan en algoritmos de optimizaci&oacute;n iterativos,   el coste computacional es ligeramente mayor que el del criterio MLE, a   excepci&oacute;n del criterio basado en las m&eacute;tricas de desempeño (MFoM) el cual logra   el desempeño mostrado en s&oacute;lo una iteraci&oacute;n, no obstante el costo computacional   es justificable al obtenerse una ganancia en el desempeño del sistema de clasificaci&oacute;n.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">De igual forma en   las <a href="#tab01">Tablas 1</a> y <a href="#tab02">2</a> se muestran los porcentajes de acierto (precisi&oacute;n), que se   calculan empleando la regla MAP (<i>Maximum A Posteriori</i>). Sin embargo esta   medida no es suficiente para establecer claras diferencias entre los criterios   de entrenamiento, y tampoco para estimar de forma adecuada el rendimiento de un   sistema de clasificaci&oacute;n, esto debido a que es posible obtener una tasa de   acierto err&oacute;nea al emplear un umbral de decisi&oacute;n mal seleccionado, por esta raz&oacute;n   los resultados se complementan con la curva ROC (<a href="#fig03">figura 3</a>) y el ABC (<a href="#tab02">tabla 2</a>).</font></p>     ]]></body>
<body><![CDATA[<p align="center"><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b><a name="fig03"></a><img src="/img/revistas/dyna/v77n164/a22fig03.gif">    <br>   Figura   3.</b> Curva ROC para los diferentes criterios de entrenamiento    <br>   </font><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>Figure 3. </b>ROC   Curve for all different training criteria</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Otro aspecto a resaltar es que la otra   estrategia de aprendizaje propuesta (FOM1), que consiste en minimizar (11),   presenta buenos resultados, incluso superando la t&eacute;cnica de entrenamiento   est&aacute;ndar y por un margen muy m&iacute;nimo las t&eacute;cnicas de entrenamiento   discriminativo. De esta forma se sustentan las suposiciones hechas con respecto   a asociar una medida de distancia al &aacute;rea de la curva ROC.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Los resultados obtenidos son concluyentes demostrando de forma clara que   las t&eacute;cnicas de entrenamiento discriminativo son superiores y pueden lograr una   mayor capacidad de generalizaci&oacute;n en un sistema de clasificaci&oacute;n basado en HMM,   que la t&eacute;cnica de entrenamiento est&aacute;ndar, y adem&aacute;s que el desempeño de un   sistema de clasificaci&oacute;n puede mejorarse significativamente al emplear como   criterio de entrenamiento la maximizaci&oacute;n de una medida de distancia entre las   distribuciones de las clases, con el fin de incrementar el &aacute;rea que encierra la curva ROC.</font></p>     <p>&nbsp;</p>     <p><font size="3" face="Verdana, Arial, Helvetica, sans-serif"><b>5. CONCLUSIONES</b></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Se mejora el desempeño de clasificaci&oacute;n del m&eacute;todo b&aacute;sico de   entrenamiento MLE, mediante el uso de un criterio de entrenamiento discriminativo,   para el cual se sugiere el empleo de una funci&oacute;n de costo que relaciona   indirectamente el &aacute;rea que encierra una curva de desempeño, en particular se   propone la curva ROC, con una distancia entre modelos de clases. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">La funci&oacute;n de costo empleada es la distancia de Mahalanobis, sin   embargo se abordan dos aproximaciones para lograr su optimizaci&oacute;n. Mostrando en   los dos casos de forma satisfactoria la estrecha relaci&oacute;n que existe entre la   medida de distancia empleada y el &aacute;rea   de la curva ROC.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Las pruebas realizadas presentan como resultado un desempeño   satisfactorio empleando una arquitectura HMM relativamente simple, mejorando no   solo el desempeño del m&eacute;todo de entrenamiento est&aacute;ndar, sino tambi&eacute;n, los otros   criterios de entrenamiento discriminativo que se tienen en cuenta. Esto   demuestra que para mejorar el desempeño de un sistema de detecci&oacute;n de patolog&iacute;as   de voz, adem&aacute;s de ser muy necesario contar con un buen conjunto de   caracter&iacute;sticas, tambi&eacute;n se debe tener un criterio de entrenamiento adecuado   que se enfoque en la generaci&oacute;n de una frontera de decisi&oacute;n &oacute;ptima, para que de   esta forma no sea necesario incrementar la complejidad del modelo, y esto   permita que la etapa de entrenamiento sea m&aacute;s eficiente</font></p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Como trabajo futuro se propone emplear una etapa de reducci&oacute;n de   espacios de caracter&iacute;sticas mediante transformaciones lineales que tengan en   cuenta la informaci&oacute;n cambiante en el tiempo como DPCA, para reducir el coste   computacional en la etapa de entrenamiento. Adem&aacute;s llevar esta comparaci&oacute;n a   otro tipo de señales biom&eacute;dicas como PCG, EEG y ECG. Adicionalmente, se propone   emplear como medida de desempeño la curva DET (<i>Detection Error Tradeoff</i>) para tener un marco de comparaci&oacute;n m&aacute;s   amplio.</font></p>     <p>&nbsp;</p>     <p><font size="3" face="Verdana, Arial, Helvetica, sans-serif"><b>6. AGRADECIMIENTOS</b></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Este trabajo se enmarca dentro del proyecto 1127-40520232   "Identificacion de posturas labiales en pacientes con labio y/o paladar hendido   corregido", financiado por Colciencias y el programa J&oacute;venes Investigadores.</font></p>     <p>&nbsp;</p>     <p><font size="3" face="Verdana, Arial, Helvetica, sans-serif"><b>REFERENCIAS</b></font></p>     <!-- ref --><p><font face="Verdana, Arial, Helvetica, sans-serif"><b><font size="2">[1]</font></b><font size="2"> RABINER, L. A TUTORIAL ON HIDDEN MARKOV Models and selected applications in speech recognition. PROCEEDINGS OF THE IEEE, vol. 77 (2), 257-286 (1989).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000129&pid=S0012-7353201000040002200001&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[2]</b> JIANGLIN WANG, CHEOLWOO JO. Vocal Folds Disorder Detection using Pattern Recognition Methods. EMBS'07 29th Annual International Conference of the IEEE. 3253 - 3256 (2007).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000130&pid=S0012-7353201000040002200002&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[3]</b> P. G&Oacute;MEZ, J. I. GODINO, F. RODR&Iacute;GUEZ, F. D&Iacute;AZ, V. NIETO, A. &Aacute;LVAREZ, V. RODELLAR. Evidence of Vocal Cord Pathology From the Mucosal Wave Cepstral Contents. Acoustics, Speech, and Signal Processing, vol 5, pp 437 - 440. (2004).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000131&pid=S0012-7353201000040002200003&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[4]</b> GENARO DAZA-SANTACOLOMA, Juli&aacute;n David Arias-Londoño, Juan Ignacio Godino-Llorente, Nicol&aacute;s S&aacute;enz-Lech&oacute;n, V&iacute;ctor Osma-Ru&iacute;z, and C&eacute;sar Germ&aacute;n Castellanos-Dom&iacute;nguez. Dynamic feature extraction: an application to voice pathology detection. Intelligent Automation and Soft Computing, 2009. To appear.     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000132&pid=S0012-7353201000040002200004&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[5]</b> BLIMES, J. A gentle tutorial of the EM algorithm and its applications to parameter estimation for Gaussian mixture and Hidden Markov Models. International Computer Science Institute, Bekerly CA, USA . (1998).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000133&pid=S0012-7353201000040002200005&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[6]</b> BAHL L.R., BROWN, P.F., SOUZA, P. V. and MERCER, R.L. Maximum mutual information estimation of Hidden Markov Models parameters for speech recognition. Proceedings ICASSP, vol. 11, 49- 52 (1986).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000134&pid=S0012-7353201000040002200006&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[7]</b> JUANG, B.H., CHOU W. and LEE, C.H. Minimum classification error rate methods for speech recognition. IEEE transaction on Speech and Audio Processing, vol. 5 (3), 257-265, (1997).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000135&pid=S0012-7353201000040002200007&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[8]</b> HANLEY, J.A. and MCNEIL, B.J. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, vol. 143 (1), 29-36, (1982).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000136&pid=S0012-7353201000040002200008&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[9]</b> LI, X., CHANG, E. and DAI, B.. Improving speaker verification with figure of Merit training. Acoustics, Speech, and Signal Processing, Proceedings. (ICASSP'02), vol. 1, 693- 696, (2002).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000137&pid=S0012-7353201000040002200009&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[10]</b> GAO, S., WU., W., LEE, C. H. and CHUA, T.S. A Maximal Figure-of-Merit Learning Approach to Text Categorization. Annual ACM Conference on Research and Development in Information Retrieval. 174-181, (2003).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000138&pid=S0012-7353201000040002200010&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[11]</b> JONATHAN L. ROUX AND ERIK MCDERMOTT, Optimization methods for discriminative training, Interspeech, septiembre 4 - 5, lisboa portugal (2005).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000139&pid=S0012-7353201000040002200011&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[12]</b> B.-H. JUANG AND S. KATAGIRI, Discriminative learning for minimum error classification, IEEE Transactions on Signal Processing, vol. 40 (12), 3043 - 3053, (1992).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000140&pid=S0012-7353201000040002200012&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[13]</b> V. PARSA and D.G. JAMIESON, Identification of pathological voices using glottal noise measures, Journal of Speech, Language and Hearing Research, vol 43(2), 469-485, (2000)     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000141&pid=S0012-7353201000040002200013&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[14]</b> N. S&Aacute;ENZ-LECH&Oacute;N, J. I. GODINO-LLORENTE, V. OSMA-RUIZ and P. G&Oacute;MEZ-VILDA, Methodological issues in the development of automatic systems for voice pathology detection, Biomedical Signal Processing and Control, vol. 1(2), 120-128. (2006).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000142&pid=S0012-7353201000040002200014&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[15]</b> G. DE KROM, A cepstrum-based technique for determining a harmonics-to-noise ratio in speech signals, Journal of Speech and Hearing Res.,vol 36(2), 254-266, (1993).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000143&pid=S0012-7353201000040002200015&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[16]</b> H. KASUYA, S. OGAWA, K. MASHIMA, and S. EBIHARA, Normalized noise energy as an acoustic measure to evaluate pathologic voice, Journal of the Acoustical Society of America, vol. 80 (5), 1329-1334, (1986).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000144&pid=S0012-7353201000040002200016&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[17]</b> D. MICHAELIS, T. GRAMMS, and H. W. Strube, Glottal-to-noise excitation ratio - a new measure for describing pathological voices, Acustica/Acta acustica, vol. 83, 700-706, (1997).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000145&pid=S0012-7353201000040002200017&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[18]</b> L. RABINER AND B. JUANG, Fundamentals of Speech Recognition. PTR Prentice Hall, (1993).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000146&pid=S0012-7353201000040002200018&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[19]</b> J. I. GODINO-LLORENTE, P. G&Oacute;MEZ-VILDA, N. S&Aacute;ENZ-LECH&Oacute;N, M. BLANCO-VELASCO, F. CRUZ-ROLD&Aacute;N, and M. A. FERRER-BALLESTER, Discriminative methods for the detection of voice disorders. Proceedings of the 3th International Conference on Non-Linear speech processing, Barcelona, Spain , (2005).     &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000147&pid=S0012-7353201000040002200019&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><br>   <b>[20]</b> Sa&eacute;nz-Lechon, N., Osma-Ruiz, V., Godino-Llorente, J.I., Blanco-Velasco, M., Cruz-Rold&aacute;n, F. and Arias-Londoño, J.D., Effects of Audio Compression in Automatic Detection of Voice Pathologies, IEEE Transactions on Biomedical Engineering, vol. 55 (12), 2381-2385, (2008). </font></font>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000148&pid=S0012-7353201000040002200020&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --> ]]></body><back>
<ref-list>
<ref id="B1">
<label>1</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[RABINER]]></surname>
<given-names><![CDATA[L.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[A TUTORIAL ON HIDDEN MARKOV Models and selected applications in speech recognition]]></article-title>
<source><![CDATA[PROCEEDINGS OF THE IEEE]]></source>
<year>1989</year>
<volume>77</volume>
<numero>2</numero>
<issue>2</issue>
<page-range>257-286</page-range></nlm-citation>
</ref>
<ref id="B2">
<label>2</label><nlm-citation citation-type="confpro">
<person-group person-group-type="author">
<name>
<surname><![CDATA[WANG]]></surname>
<given-names><![CDATA[JIANGLIN]]></given-names>
</name>
<name>
<surname><![CDATA[JO.]]></surname>
<given-names><![CDATA[CHEOLWOO]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Vocal Folds Disorder Detection using Pattern Recognition Methods]]></article-title>
<source><![CDATA[]]></source>
<year>2007</year>
<conf-name><![CDATA[29th Annual International Conference of the IEEE]]></conf-name>
<conf-loc> </conf-loc>
<page-range>3253 - 3256</page-range></nlm-citation>
</ref>
<ref id="B3">
<label>3</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[GÓMEZ]]></surname>
<given-names><![CDATA[P.]]></given-names>
</name>
<name>
<surname><![CDATA[GODINO]]></surname>
<given-names><![CDATA[J. I.]]></given-names>
</name>
<name>
<surname><![CDATA[RODRÍGUEZ]]></surname>
<given-names><![CDATA[F.]]></given-names>
</name>
<name>
<surname><![CDATA[DÍAZ]]></surname>
<given-names><![CDATA[F.]]></given-names>
</name>
<name>
<surname><![CDATA[NIETO]]></surname>
<given-names><![CDATA[V.]]></given-names>
</name>
<name>
<surname><![CDATA[ÁLVAREZ]]></surname>
<given-names><![CDATA[A.]]></given-names>
</name>
<name>
<surname><![CDATA[RODELLAR.]]></surname>
<given-names><![CDATA[V.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Evidence of Vocal Cord Pathology From the Mucosal Wave Cepstral Contents]]></article-title>
<source><![CDATA[Acoustics, Speech, and Signal Processing]]></source>
<year>2004</year>
<volume>5</volume>
<page-range>437 - 440</page-range></nlm-citation>
</ref>
<ref id="B4">
<label>4</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[DAZA-SANTACOLOMA]]></surname>
<given-names><![CDATA[GENARO]]></given-names>
</name>
<name>
<surname><![CDATA[Arias-Londoño]]></surname>
<given-names><![CDATA[Julián David]]></given-names>
</name>
<name>
<surname><![CDATA[Godino-Llorente]]></surname>
<given-names><![CDATA[Juan Ignacio]]></given-names>
</name>
<name>
<surname><![CDATA[Sáenz-Lechón]]></surname>
<given-names><![CDATA[Nicolás]]></given-names>
</name>
<name>
<surname><![CDATA[Osma-Ruíz]]></surname>
<given-names><![CDATA[Víctor]]></given-names>
</name>
<name>
<surname><![CDATA[Castellanos-Domínguez]]></surname>
<given-names><![CDATA[César Germán]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Dynamic feature extraction: an application to voice pathology detection]]></article-title>
<source><![CDATA[Intelligent Automation and Soft Computing]]></source>
<year>2009</year>
</nlm-citation>
</ref>
<ref id="B5">
<label>5</label><nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[BLIMES]]></surname>
<given-names><![CDATA[J.]]></given-names>
</name>
</person-group>
<source><![CDATA[A gentle tutorial of the EM algorithm and its applications to parameter estimation for Gaussian mixture and Hidden Markov Models]]></source>
<year>1998</year>
<publisher-loc><![CDATA[Bekerly^eCA CA]]></publisher-loc>
<publisher-name><![CDATA[International Computer Science Institute]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B6">
<label>6</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[BAHL]]></surname>
<given-names><![CDATA[L.R.]]></given-names>
</name>
<name>
<surname><![CDATA[BROWN]]></surname>
<given-names><![CDATA[P.F.]]></given-names>
</name>
<name>
<surname><![CDATA[SOUZA]]></surname>
<given-names><![CDATA[P. V.]]></given-names>
</name>
<name>
<surname><![CDATA[MERCER]]></surname>
<given-names><![CDATA[R.L.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Maximum mutual information estimation of Hidden Markov Models parameters for speech recognition]]></article-title>
<source><![CDATA[Proceedings ICASSP]]></source>
<year>1986</year>
<volume>11</volume>
<page-range>49- 52</page-range></nlm-citation>
</ref>
<ref id="B7">
<label>7</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[JUANG]]></surname>
<given-names><![CDATA[B.H.]]></given-names>
</name>
<name>
<surname><![CDATA[CHOU]]></surname>
<given-names><![CDATA[W.]]></given-names>
</name>
<name>
<surname><![CDATA[LEE]]></surname>
<given-names><![CDATA[C.H.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Minimum classification error rate methods for speech recognition]]></article-title>
<source><![CDATA[IEEE transaction on Speech and Audio Processing]]></source>
<year>1997</year>
<volume>5</volume>
<numero>3</numero>
<issue>3</issue>
<page-range>257-265</page-range></nlm-citation>
</ref>
<ref id="B8">
<label>8</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[HANLEY]]></surname>
<given-names><![CDATA[J.A.]]></given-names>
</name>
<name>
<surname><![CDATA[MCNEIL]]></surname>
<given-names><![CDATA[B.J.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[The meaning and use of the area under a receiver operating characteristic (ROC) curve]]></article-title>
<source><![CDATA[Radiology]]></source>
<year>1982</year>
<volume>143</volume>
<numero>1</numero>
<issue>1</issue>
<page-range>29-36</page-range></nlm-citation>
</ref>
<ref id="B9">
<label>9</label><nlm-citation citation-type="confpro">
<person-group person-group-type="author">
<name>
<surname><![CDATA[LI]]></surname>
<given-names><![CDATA[X.]]></given-names>
</name>
<name>
<surname><![CDATA[CHANG]]></surname>
<given-names><![CDATA[E.]]></given-names>
</name>
<name>
<surname><![CDATA[DAI]]></surname>
<given-names><![CDATA[B.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Improving speaker verification with figure of Merit training: Acoustics, Speech, and Signal Processing]]></article-title>
<source><![CDATA[]]></source>
<year>2002</year>
<volume>1</volume>
<conf-name><![CDATA[ Proceedings. ( ICASSP'02)]]></conf-name>
<conf-loc> </conf-loc>
<page-range>693- 696</page-range></nlm-citation>
</ref>
<ref id="B10">
<label>10</label><nlm-citation citation-type="confpro">
<person-group person-group-type="author">
<name>
<surname><![CDATA[GAO]]></surname>
<given-names><![CDATA[S.]]></given-names>
</name>
<name>
<surname><![CDATA[WU.]]></surname>
<given-names><![CDATA[W.]]></given-names>
</name>
<name>
<surname><![CDATA[LEE]]></surname>
<given-names><![CDATA[C. H.]]></given-names>
</name>
<name>
<surname><![CDATA[CHUA]]></surname>
<given-names><![CDATA[T.S.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Maximal Figure-of-Merit Learning Approach to Text Categorization]]></article-title>
<source><![CDATA[]]></source>
<year>2003</year>
<conf-name><![CDATA[ Annual ACM Conference on Research and Development in Information Retrieval]]></conf-name>
<conf-loc> </conf-loc>
<page-range>174-181</page-range></nlm-citation>
</ref>
<ref id="B11">
<label>11</label><nlm-citation citation-type="confpro">
<person-group person-group-type="author">
<name>
<surname><![CDATA[ROUX]]></surname>
<given-names><![CDATA[JONATHAN L.]]></given-names>
</name>
<name>
<surname><![CDATA[MCDERMOTT]]></surname>
<given-names><![CDATA[ERIK]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Optimization methods for discriminative training]]></article-title>
<source><![CDATA[]]></source>
<year></year>
<conf-name><![CDATA[ Interspeech]]></conf-name>
<conf-date>2005</conf-date>
<conf-loc>lisboa </conf-loc>
</nlm-citation>
</ref>
<ref id="B12">
<label>12</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[JUANG]]></surname>
<given-names><![CDATA[B.-H.]]></given-names>
</name>
<name>
<surname><![CDATA[KATAGIRI]]></surname>
<given-names><![CDATA[S.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Discriminative learning for minimum error classification]]></article-title>
<source><![CDATA[IEEE Transactions on Signal Processing]]></source>
<year>1992</year>
<volume>40</volume>
<numero>12</numero>
<issue>12</issue>
<page-range>3043 - 3053</page-range></nlm-citation>
</ref>
<ref id="B13">
<label>13</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[PARSA]]></surname>
<given-names><![CDATA[V.]]></given-names>
</name>
<name>
<surname><![CDATA[JAMIESON]]></surname>
<given-names><![CDATA[D.G.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Identification of pathological voices using glottal noise measures]]></article-title>
<source><![CDATA[Journal of Speech, Language and Hearing Research]]></source>
<year>2000</year>
<volume>43</volume>
<numero>2</numero>
<issue>2</issue>
<page-range>469-485</page-range></nlm-citation>
</ref>
<ref id="B14">
<label>14</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[SÁENZ-LECHÓN]]></surname>
<given-names><![CDATA[N.]]></given-names>
</name>
<name>
<surname><![CDATA[GODINO-LLORENTE]]></surname>
<given-names><![CDATA[J. I.]]></given-names>
</name>
<name>
<surname><![CDATA[OSMA-RUIZ]]></surname>
<given-names><![CDATA[V.]]></given-names>
</name>
<name>
<surname><![CDATA[GÓMEZ-VILDA]]></surname>
<given-names><![CDATA[P.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Methodological issues in the development of automatic systems for voice pathology detection]]></article-title>
<source><![CDATA[Biomedical Signal Processing and Control]]></source>
<year>2006</year>
<volume>1</volume>
<numero>2</numero>
<issue>2</issue>
<page-range>120-128</page-range></nlm-citation>
</ref>
<ref id="B15">
<label>15</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[DE KROM]]></surname>
<given-names><![CDATA[G.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[A cepstrum-based technique for determining a harmonics-to-noise ratio in speech signals]]></article-title>
<source><![CDATA[Journal of Speech and Hearing Res.]]></source>
<year>1993</year>
<volume>36</volume>
<numero>2</numero>
<issue>2</issue>
<page-range>254-266</page-range></nlm-citation>
</ref>
<ref id="B16">
<label>16</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[KASUYA]]></surname>
<given-names><![CDATA[H.]]></given-names>
</name>
<name>
<surname><![CDATA[OGAWA]]></surname>
<given-names><![CDATA[S.]]></given-names>
</name>
<name>
<surname><![CDATA[MASHIMA]]></surname>
<given-names><![CDATA[K.]]></given-names>
</name>
<name>
<surname><![CDATA[EBIHARA]]></surname>
<given-names><![CDATA[S.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Normalized noise energy as an acoustic measure to evaluate pathologic voice]]></article-title>
<source><![CDATA[Journal of the Acoustical Society of America]]></source>
<year>1986</year>
<volume>80</volume>
<numero>5</numero>
<issue>5</issue>
<page-range>1329-1334</page-range></nlm-citation>
</ref>
<ref id="B17">
<label>17</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[MICHAELIS]]></surname>
<given-names><![CDATA[D.]]></given-names>
</name>
<name>
<surname><![CDATA[GRAMMS]]></surname>
<given-names><![CDATA[T.]]></given-names>
</name>
<name>
<surname><![CDATA[Strube]]></surname>
<given-names><![CDATA[H. W.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Glottal-to-noise excitation ratio: a new measure for describing pathological voices]]></article-title>
<source><![CDATA[Acustica/Acta acustica]]></source>
<year>1997</year>
<volume>83</volume>
<page-range>700-706</page-range></nlm-citation>
</ref>
<ref id="B18">
<label>18</label><nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[RABINER]]></surname>
<given-names><![CDATA[L.]]></given-names>
</name>
<name>
<surname><![CDATA[JUANG]]></surname>
<given-names><![CDATA[B.]]></given-names>
</name>
</person-group>
<source><![CDATA[Fundamentals of Speech Recognition]]></source>
<year>1993</year>
<publisher-name><![CDATA[Prentice Hall]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B19">
<label>19</label><nlm-citation citation-type="confpro">
<person-group person-group-type="author">
<name>
<surname><![CDATA[GODINO-LLORENTE]]></surname>
<given-names><![CDATA[J. I.]]></given-names>
</name>
<name>
<surname><![CDATA[GÓMEZ-VILDA]]></surname>
<given-names><![CDATA[P.]]></given-names>
</name>
<name>
<surname><![CDATA[SÁENZ-LECHÓN]]></surname>
<given-names><![CDATA[N.]]></given-names>
</name>
<name>
<surname><![CDATA[BLANCO-VELASCO]]></surname>
<given-names><![CDATA[M.]]></given-names>
</name>
<name>
<surname><![CDATA[CRUZ-ROLDÁN]]></surname>
<given-names><![CDATA[F.]]></given-names>
</name>
<name>
<surname><![CDATA[FERRER-BALLESTER]]></surname>
<given-names><![CDATA[M. A.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Discriminative methods for the detection of voice disorders]]></article-title>
<source><![CDATA[]]></source>
<year></year>
<conf-name><![CDATA[3th International Conference on Non-Linear speech processing]]></conf-name>
<conf-date>2005</conf-date>
<conf-loc>Barcelona Spain</conf-loc>
</nlm-citation>
</ref>
<ref id="B20">
<label>20</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Saénz-Lechon]]></surname>
<given-names><![CDATA[N.]]></given-names>
</name>
<name>
<surname><![CDATA[Osma-Ruiz]]></surname>
<given-names><![CDATA[V.]]></given-names>
</name>
<name>
<surname><![CDATA[Godino-Llorente]]></surname>
<given-names><![CDATA[J.I.]]></given-names>
</name>
<name>
<surname><![CDATA[Blanco-Velasco]]></surname>
<given-names><![CDATA[M.]]></given-names>
</name>
<name>
<surname><![CDATA[Cruz-Roldán]]></surname>
<given-names><![CDATA[F.]]></given-names>
</name>
<name>
<surname><![CDATA[Arias-Londoño]]></surname>
<given-names><![CDATA[J.D.]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Effects of Audio Compression in Automatic Detection of Voice Pathologies]]></article-title>
<source><![CDATA[IEEE Transactions on Biomedical Engineering]]></source>
<year>2008</year>
<volume>55</volume>
<numero>12</numero>
<issue>12</issue>
<page-range>2381-2385</page-range></nlm-citation>
</ref>
</ref-list>
</back>
</article>
