DESARROLLO DE UN SISTEMA DE AUDICIÓN VIBROTÁCTIL PARA EL ACCESO A LA MÚSICA. FASE I

Adriana Villa Moreno^1,2, Felipe García Quiroz¹, Paula Castaño Jaramillo¹, Nathalia Londoño Jaramillo¹

1 Programa de Ingeniería Biomédica EIA-CES. Líneas de Boinstrumentación, Señales e Imágenes Médicas; Ingeniería en Rehabilitación.
2 Dirección para correspondencia: bmadriv@eia.edu.co.

Recibido 30 de octubre de 2006. Aceptado 8 de diciembre de 2006.

RESUMEN

Mediante el sentido del tacto es posible transmitir gran cantidad de información al sistema nervioso central, que se procesa en la corteza cerebral de manera similar a como se realiza en las áreas específicas para la audición y la visión. Los dispositivos de estimulación táctil utilizan dos modalidades básicas: vibrátil o eléctrica, de las cuales la primera ha sido elegida para el sistema presentado. Los sistemas de audición vibrotáctil se han enfocado al desarrollo de habilidades comunicativas, sin embargo con este trabajo se busca la construcción de un dispositivo que permita evaluar la posibilidad de lograr habilidades musicales y artísticas reflejadas en la capacidad de identificación e interpretación de piezas musicales, a partir de la estimulación vibrotáctil.

PALABRAS CLAVE: Audición, Mecanorreceptores, Transformada rápida de Fourier, Tacto, estimulación vibrotáctil, Vibrador, Realimentación.

ABSTRACT

The sense of touch transmits not only isolated tactile sensations also information that can be processed at the cerebral cortex in a similar way as it is in the brain areas for audition or vision. Both vibratile and electrical stimuli have been used for tactile stimulation devices, and the former was chosen for the system presented. The tactile auditory-substitution systems have focused on communication skills, but this work pretends the construction of a device for developing musical and artistic skills. These should be reflected in the capacity to identify musical pieces through tactile stimulation.

The graphical user interface of the system was programmed using the virtual instrumentation software LabVIEW 7.0. It includes tools for the learning of the system, which were developed to help increasing the sensitivity of the user. Besides, to ensure a clear association with music theory and acoustic concepts some visual feedback systems were implemented.

KEY WORDS: Audition, Mechanoreceptors, Fast Fourier Transform, Sense of touch, Vibrotactile stimulation, Vibrator, Feedback.

I. INTRODUCCIÓN

Los crecientes desarrollos realizados en el campo de la estimulación táctil, tanto para la sustitución del sentido de la visión como para los sistemas de audición táctil, han permitido verificar la capacidad de la piel para transmitir gran cantidad de información al sistema nervioso central. Dichos sistemas de estimulación utilizan dos modalidades básicas, vibrátil o eléctrica, y en ambos casos la transducción del estímulo en la piel se da a través de receptores táctiles o mecanorreceptores de rápida y lenta adaptación (FAII, FAI, FA, SAII, entre otros), cuyos umbrales de estimulación y rangos dinámicos determinan la capacidad del dispositivo táctil para sustituir alguna de las funciones sensoriales. Así, en el caso de los sistemas vibrotáctiles, el rango de frecuencias de respuesta es de 20Hz-1000Hz, inferior al rango del sistema auditivo que oscila entre 20Hz y 20000Hz [1].

Sin embargo, se ha dado poca importancia a las aplicaciones artísticas y de sensibilización musical que se pueden lograr con este tipo de dispositivos. Por lo tanto, el sistema de audición táctil (Fase I) fue diseñado para lograr habilidades artísticas permitiendo la identificación e interpretación de piezas musicales, con posibles aplicaciones para el desarrollo de herramientas de composición para personas con deficiencias auditivas serias.

II. MATERIALES Y MÉTODOS

A. Materiales

Software: LabVIEW 7.0 (National Instruments), MATLAB 7.1.

Hardware: computador personal (disco duro: 40Gb, procesador: 500MHz, RAM: 256Mb), tarjeta de adquisición de datos (NI 6014, National Instruments), Transistor (TIP31C, On Semiconductor), adaptador 12V DC, motor DC de masa excéntrica (D_base: 2cm, Altura: 1.3cm), sistema de sujeción (bandas y Velcro).

B. Métodos

• Principios básicos para la reproducción táctil de archivos .WAV

En la Fig. 1 se observa el esquema general para lograr la codificación de los archivos de sonido en estímulos táctiles. El proceso se basa en la obtención del conjunto de notas que componen la pieza y su posterior representación en cambios de frecuencia de vibración. En forma resumida, el archivo WAV seleccionado se segmenta en pequeños paquetes de datos y se analiza utilizando la transformada rápida de Fourier (FFT) para calcular el espectro de frecuencias. Este análisis permite encontrar la frecuencia de mayor amplitud en el segmento, que corresponde a la frecuencia estimada de la nota musical. Luego, las frecuencias encontradas se comparan con la escala temperada de notas en el sistema dodecafónico, que se obtuvo según (1), empezando con La4 (440Hz, ver Tabla1), esto para asignar la nota correspondiente a la frecuencia encontrada en cada paquete de datos según los rangos establecidos para cada una.

El número de datos o muestras por segmento analizado determina la resolución temporal con la que es posible encontrar cada una de las notas, es decir, si la detección se da en figuras musicales como blancas, negras, o fusas, entre otras. En otras palabras, como el paquete de datos corresponde a una duración determinada en segundos dependiente de la frecuencia de muestreo, mientras menos datos sean contenidos en cada paquete, la detección se va a dar en figuras musicales de más corta duración, y por lo tanto se obtiene mejor resolución temporal. En una pieza musical los tiempos de cada nota se definen de acuerdo con el concepto del compás como espacio de tiempo, subdivisiones y la figura equivalente a la duración de cada parte. Entonces, la duración de cada nota en particular con respecto a los conceptos de la teoría de la música dependerá del tipo de compás utilizado en la pieza [3].

Si bien para efectos de estimulación no es necesaria una asociación directa entre la figura musical y la duración real de la nota (medida en milisegundos), para efectos de composición musical y correlación con conceptos de solfeo, dicha relación es importante. Se definió una relación entre las muestras por segmento y la frecuencia de muestreo del archivo (2) de modo que la resolución de las notas identificadas se diera en fusas calculadas para un compás de 4/4. En este tipo de compás binario cada unidad de tiempo del compás (4 en total) equivale a 8 fusas, para un total de 32 fusas por compás [3].

Sin embargo, dicha aproximación sólo será válida cuando el compás de la pieza para reproducir sea de 4/4.

Finalmente, el número de paquetes asociados a una misma nota determina la duración real tanto en milisegundos como en figuras musicales equivalentes, tomando la fusa como unidad de medida para la duración de cada nota. Esto permite establecer relaciones, por ejemplo, que 8 fusas equivalen a una negra. Pero para efectos de programación se trabaja con una única constante de tiempo k para cada paquete. Entonces en el caso del compás de 4/4 cada nota identificada se sostiene durante 125ms (equivalente a fusa), logrando estimulaciones controladas en función del total de notas identificadas.

• Interfaz gráfica y aprendizaje del sistema
]]>

Una vez se ha logrado extraer la información del archivo de sonido, el código de notas obtenido debe reproducirse de manera táctil. Además, se requiere utilizar estrategias de realimentación que permitan aumentar la sensibilidad y capacidad del usuario para detectar pequeños cambios de vibración [1]. El programa implementa una serie de ayudas visuales que incluyen (ver Fig. 2):



• Activación de LED (light emitting diode) según la nota actual de reproducción.
• Modificación de la nota escrita en un pentagrama como primera aproximación al solfeo.
• Gráfico para mostrar los cambios en frecuencia de una señal cuadrada con la misma frecuencia que la nota que se estimula (ver Tabla 1).

Con el objetivo de facilitar la utilización de los diferentes modos de realimentación, el sistema permite modificar las opciones de visibilidad de estos elementos. Es posible utilizar ninguna, dos o todas las ayudas, según las habilidades y necesidades del usuario.

En la Fig. 2 se observa un bloque para la reproducción del archivo de sonido, cuya función no corresponde directamente con el objetivo del trabajo. La reproducción convencional del archivo, que se da de manera simultánea con la estimulación táctil, tiene por objeto ampliar las aplicaciones del sistema de audición vibrotáctil desarrollado. Dicha función tendría aplicación en sistemas pensados para aumentar la experiencia auditiva en el cine [4].

Considerando la alta velocidad de reproducción de gran parte de las piezas musicales y la inexperiencia del usuario para procesar la información (ritmo y frecuencias) de manera táctil, es fundamental incluir herramientas para el aprendizaje del sistema de audición. En la Fig. 3 se representan las dos metodologías disponibles para el aprendizaje del sistema táctil. En un primer nivel (Fig. 3. A), el usuario inexperto tiene la posibilidad de seleccionar la nota para su estimulación continua. Esto permite que el usuario memorice las frecuencias de vibración y las relacione con cada una de las notas. En un segundo nivel (Fig. 3. B), el sistema permite comprobar los conocimientos adquiridos por el usuario. El proceso se basa en la generación aleatoria de frecuencias de vibración en el motor, luego el usuario debe elegir la nota que considera está siendo reproducida.

]]>
• Hardware del sistema vibrotáctil

Los dos componentes principales del sistema efector son la tarjeta de adquisición de datos NI6014 y el motor DC de masa excéntrica. De hecho, las variaciones de voltaje en el pin DAC1OUT programadas, utilizando los instrumentos virtuales predeterminados de LabVIEW y la información contenida en el vector de notas (FFT), permiten controlar de manera directa el motor. Sin embargo, para proteger la tarjeta y lograr el máximo rango dinámico de éste, se requiere una etapa de amplificación de corriente (Fig. 4). El montaje tiene como fuente externa un adaptador DC de 12V. Las tierras de la tarjeta y la fuente, deben unificarse.



Además se requiere definir la parte del cuerpo para la estimulación vibrátil y el método de sujeción utilizado para asegurar la correcta transmisión del estímulo y la comodidad del usuario. Buscando una adecuada sensibilidad y flexibilidad se eligió el antebrazo a nivel de la muñeca, debido a que esta zona presenta buena respuesta a los estímulos mecánicos y permite la fácil utilización del sistema. Para responder a las vibraciones, la piel utiliza los mecanorreceptores de rápida adaptación conocidos cono FA (Fast adaptation) a los que pertenecen los corpúsculos de Meissner y Paccini [5, 6]. Estos receptores nerviosos son más sensibles en el rango de vibraciones de 20 a 300Hz aunque sus fibras nerviosas aferentes son mielínicas de tipo Aβ y pueden conducir hasta 1000 impulsos por segundo [5, 7]. Otros puntos de estimulación reportados son la yema de los dedos, la palma de la mano (zona tenar), el abdomen y la espalda [1, 7]. En cada caso, la sujeción del dispositivo depende del tipo de transductores utilizados y el número de puntos de contacto requeridos. Cabe aclarar que las frecuencias de vibración del motor no corresponden exactamente a las frecuencias naturales de las notas musicales, sino que se utiliza un escalamiento de frecuencias propio del sistema, que fue realizado de acuerdo con los voltajes máximo y mínimo de alimentación del motor. Esto se debe a que, aparentemente, el hecho de que las frecuencias de las notas y las frecuencias de estimulación sean las mismas no presenta ninguna ventaja, y por el contrario sí presenta la dificultad de construir un hardware que permita alcanzar frecuencias tan altas de vibración. Además, las frecuencias de las notas musicales están por fuera del rango en que los receptores para la vibración son más sensibles, aun teniendo en cuenta que el ancho de banda de la respuesta de los receptores de la piel a la vibración está más cercano al rango musical que el de respuesta a otros tipos de estimulación [4]. Si bien no se sabe con claridad cómo afectaría esto el desempeño del sistema, podría presentar inconvenientes en fases posteriores de su desarrollo o en aplicaciones similares de mayor complejidad.

 

III. RESULTADOS

El sistema de vibración utilizado es un motor DC de masa excéntrica con un sistema de brazalete construido para la sujeción a nivel de la muñeca (ver Fig. 5). El número de frecuencias de vibración que se logró obtener es 11, las cuales se ven limitadas por el rango dinámico del motor que impidió la codificación de un mayor número de notas. Con el objetivo de cubrir un mayor rango en la escala temperada (Tabla 2), el sistema de estimulación no reconoce diferencias de semitonos. Entonces, para el sistema de audición vibrotáctil desarrollado la resolución es de ± 2 semitonos, es decir, un tono completo en la escala musical, y por tanto no se aplican las notas sostenidas ("#") o bemoles ("β").



]]> En la Fig. 6A, se observan en la interfaz gráfica los diferentes métodos de realimentación implementados, señales luminosas de activación de nota, señal gráfica con las variaciones frecuenciales de la pieza musical y aproximación al solfeo con escritura en pentagrama de la pieza en reproducción.



Además, en la Fig. 6B, se muestran los métodos de estimulación controlada para el aprendizaje del sistema de audición táctil, incluyendo la selección de notas para estimular (sistema tipo piano) y un método de verificación de la percepción correcta de la frecuencia del estímulo (generación aleatoria de notas). La interfaz gráfica con el usuario, tanto para la reproducción como el aprendizaje, es agradable para el usuario, tiene explicaciones emergentes en los principales botones, y permite el fácil uso de las herramientas para la reproducción táctil y el aprendizaje del sistema.

La importancia de un sistema apropiado para el entrenamiento del usuario en el manejo del "lenguaje" táctil implementado, radica en la capacidad del usuario para alcanzar el máximo desempeño del sistema de audición [2]. En este aspecto, las herramientas disponibles permiten el auto-aprendizaje del sistema y la verificación de los conocimientos adquiridos por el usuario. Esto elimina la necesidad de personal calificado que guíe el entrenamiento durante las etapas iniciales e intermedias de las experiencias táctiles.

El mínimo tiempo de estimulación para una nota dada X es 125ms, de acuerdo con la constante de tiempo k definida para un compás de 4/4 y una resolución de fusas (Fig. 2). Entonces, suponiendo una pieza allegro escrita principalmente en fusas, se debe asegurar que es posible percibir cambios de nota con dicha resolución temporal. Gescheider (1967) afirma que mediante estimulación vibrotáctil es posible diferenciar cambios de frecuencia con una resolución temporal de 5ms-10ms [8]. Entonces el sistema aún puede ser optimizado para lograr una mayor resolución temporal que permita incluir la reproducción de semifusas.

En el estado actual del sistema, el problema de optimización ocurre en el hardware. De hecho, el reconocimiento de semifusas en el software sólo requiere disminuir el tamaño del paquete de datos que se codifica como nota. Sin embargo, el tipo de vibrador utilizado no permite disminuir fácilmente la mínima duración del estímulo. Esto se debe a la elevada inercia del motor, producida por la masa excéntrica.

Otro punto para mejorar, en este caso en el software, sería disminuir el desfase que existe entre la reproducción de las canciones en el sistema táctil y la reproducción tradicional en sonido. Aunque, como se ha mencionado, esto no tiene especial importancia en la presente aplicación, podría ser ventajoso para ampliar el uso del sistema. Esta diferencia tendría que refinarse a valores inferiores a un segundo, siendo este último el máximo grado de simultaneidad logrado.

 

IV. CONCLUSIÓN

Según los primeros ensayos realizados en el sistema, se considera que éste permite el aprendizaje y adaptación a él, mejorando la sensibilidad del usuario para procesar la información táctil en la medida en que hace uso de las herramientas de realimentación. Estas, sumadas a la asociación con conceptos de acústica musical y solfeo, permiten un mayor acercamiento a la experiencia auditiva de este dispositivo táctil. Sin embargo, para comprobar este aprendizaje sería necesario realizar pruebas en una muestra significativa de sujetos que permita hacer un análisis estadístico.

]]> La reproducción de los archivos se logró satisfactoriamente para sonidos monofónicos, además el software permite reproducir de igual manera el primer canal de los sonidos estereofónicos, que podrían ser reproducidos en su totalidad agregando un segundo canal de estimulación.

La codificación de la cantidad de notas diferenciables se ve limitada por el rango dinámico del motor. Para ampliar el rango musical se podría pensar en una variación espacial de las notas mediante la utilización de un arreglo de vibradores. Esto permitiría abarcar un mayor número de notas de la escala temperada para lograr una mejor reproducción de canciones en tonos muy altos o muy bajos, que con el sistema en actual no serían reproducibles ya que no habría diferenciación entre sus notas. También se podrían incluir las codificaciones en frecuencia para los semitonos logrando mayor exactitud en la reproducción táctil de las canciones.

Además, se deben buscar actuadores con características más apropiadas para la aplicación. Algunas de las más importantes son: baja inercia, amplio rango dinámico en frecuencias, bajo consumo de energía y tamaño reducido. Utilizar vibradores de baja inercia permitiría mejorar la resolución temporal del sistema, lo cual puede ser incluido en un trabajo futuro para reproducir piezas musicales rápidas que incluyan notas con duración de semifusas. Obtener una velocidad mayor a la de semifusas presentaría, además de la restricción del hardware, la dificultad de los mecanorreceptores para diferenciar estímulos de tan corta duración.

El sistema logra reproducir adecuadamente piezas musicales compuestas en un compás de 4/4, sin embargo habría errores en la reproducción de piezas que estén en otro compás musical. Para obtener mejores resultados sería recomendable conocer el tipo de compás real de la pieza, utilizando archivos en formato MIDI y otras herramientas informáticas para extraer dicha información del archivo.

Implementar sistemas de estimulación táctil utilizando un número mayor de vibradores o electroestimuladores tendría aplicaciones adicionales a la de aumentar el número de notas reproducibles. Los arreglos de estimuladores en una o dos dimensiones permitirían la aplicación del sistema para la reproducción de sonidos polifónicos, incluso en avances futuros para la transmisión de voz. Para estos casos es necesario definir para cada fila o columna una banda de frecuencias, lo que da como resultado un amplio rango de frecuencias reproducibles.

Incluso, los estimuladores podrían presentar una variación adicional a las variaciones frecuencial y espacial: la variación en intensidad. Esta permitiría reproducir el volumen de las canciones o codificarse para representar alguna otra característica.

Finalmente, en la fase II del sistema de audición vibrotáctil se pueden considerar futuras aplicaciones para el desarrollo de herramientas de composición musical. Esto puede lograrse mediante el desarrollo de un software que adicionalmente a la reproducción táctil permita el ingreso y almacenamiento de las notas con su respectiva duración.

 

AGRADECIMIENTO

A la Escuela de Ingeniería de Antioquia (EIA), Universidad CES, ingeniero biomédico Juan Carlos Ramírez Giraldo, ingeniero electrónico Fernando García Quiroz.

]]>  

REFERENCIAS

[1] Gunther E. Skinscape: A tool for composition in the tactile modality. Tesis Magistral. MIT. 2001. Noviembre 2006. Disponible en: http://mf.media.mit.edu/pubs/thesis/guntherMS.pdf.         [ Links ]

[2] Reed C.M., Rabinowitz W. M., Durlach N. I., Braida L. D. Research on the Tadoma method of speech communication. J. Acoust. Am. 77(1). June 1985.         [ Links ]

[3] Randel D. Diccionario Harvard de Música. Madrid, Alianza Diccionarios, 1997.         [ Links ]

[4] Gunther E., Davenport G., O'Modhrain S. Cutaneous Grooves: Composing for the Sense of Touch. Memorias de la Conferencia en Nuevos Instrumentos para la Expresión Musical de 2002., Dublín, Irlanda, May 2002.         [ Links ]

]]>

[5] Guyton A. C., Hall J. E., Tratado de Fisiología Médica, Mc Graw Hill, 2001, Capítulo 47, 656-657.         [ Links ]

[6] Jonson K. O. The roles and functions of cutaneous mechanoreceptors. Current Opinion in Neurobiology, 11, 455-461, 2001.         [ Links ]

[7] Kaczmarek K. A., Webster J. G., Bach-y-Rita P., Tompkins W. J. Electrotactile and vibrotactile displays for sensory substitution systems. IEEE Transactions in Biomedical Engineering, 38 (1), 1-16, January 1991.         [ Links ]

[8] Gescheider, G.A. Auditory and cutaneous temporal resolution of successive brief stimuli. Journal of Experimental Psychology, 75, 570-572, 1967.         [ Links ]

]]> 1 2 June 1 98 77 1 1 3 4 May 2002 Dublín 5 6 2001 11 455-461 7 Janu ar y 38 1 1 1-16 8 1967 75 570-572