Estudio translingüístico de pistas del manejo de turnos en diálogos hablados

Institución otorgante:

Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales

Fecha:

2021-03-16

Tipo de documento: 

info:eu-repo/semantics/doctoralThesis
 

Formato:

application/pdf

Idioma:

spa

Temas:

DIALOGO - PROSODIA - ESLOVACO - INGLES - ESPAÑOL - APRENDIZAJE AUTOMATICO - EEG - TRANSICIONES DE TURNO - DIALOGUE - PROSODY - SLOVAK - ENGLISH - SPANISH - MACHINE LEARNING - EEG - TURN TRANSITIONS

Descripción:

Cuando conversamos, los hablantes producimos una serie de indicios acústico-prosódicos, sintácticos e incluso gestuales que de manera combinada contribuyen al flujo y la naturalidad del manejo de turnos en las conversaciones. Por ejemplo, sabemos que la duración de una palabra en el final de una frase o el incremento abrupto del tono de voz unos milisegundos antes de una pausa, juegan un papel clave para determinar quién continuará hablando luego de una pequeña pausa en la conversación. A estos indicios se los conoce como pistas del manejo de turnos. El estudio de estas pistas constituye un tema de creciente interés en la comunidad del procesamiento del habla, siendo la principal razón su aplicación directa sobre los sistemas de diálogo hablado. Estos sistemas han sufrido enormes avances en su implementación y en su utilidad, permitiendo su popularización tanto en dispositivos móviles como en los, cada vez más cotidianos, asistentes virtuales. Sin embargo, aún es necesario avanzar sobre aspectos relacionados a la mejora en la naturalidad de las conversaciones, y en particular, a través del entendimiento de la percepción y la producción de patrones paralingüísticos, como puede ser el manejo del tono de voz para inducir respuestas específicas por parte de los usuarios. En esta tesis enfrentamos preguntas relacionadas al manejo de turnos en diálogos, a través de la utilización de tres conjuntos de datos tomados bajo el mismo diseño experimental, y en tres idiomas distintos: inglés norteamericano, eslovaco y español argentino. Mediante la aplicación de técnicas de visualización de datos, aprendizaje automático y registro de actividad cerebral, realizamos experimentos que permiten ampliar nuestro entendimiento sobre el funcionamiento de las pistas de manejo de turnos. Nuestros resultados sugieren que los tres idiomas, a pesar de pertenecer a familias lingüísticas distintas, comparten el uso general de un conjunto de atributos acústico-prosódicos en el manejo de turnos. Llegamos a la conclusión de que la explotación de atributos tales como la velocidad del habla, el alargamiento de palabras antes de una pausa, el tono de voz en los últimos 200 ms, la intensidad en los últimos 1000 ms y la relación ruido/armónicos (relacionada con la calidad de la voz) podría resultar útil para mejorar aún más la precisión de los módulos de manejo de turnos que se encuentran en los sistemas modernos de diálogo hablado. También nos interesa estudiar el tema desde una perspectiva neurolingüística. Para ello, realizamos experimentos de aprendizaje automático para clasificar automáticamente el tipo de transición de turno, en función de los atributos extraídos de la señal de electroencefalograma (EEG) de los participantes. Los resultados sugieren que la señal EEG del oyente contiene información útil para predecir si el hablante actual cederá el turno o continuará hablando. Estos resultados pueden conducir a nuevas herramientas valiosas para el desarrollo de interfaces cerebro-computadora. Por último, investigamos la factibilidad de construir una herramienta de etiquetado automático del tipo de transiciones de turno en grabaciones de conversaciones enteras, en modo offline. Para ello utilizamos herramientas del estado del arte, tales como redes neuronales recurrentes bidireccionales. Este tipo de sistemas puede contribuir a la creación de herramientas automatizadas de análisis de grandes volúmenes de conversaciones.

Identificador:

https://hdl.handle.net/20.500.12110/tesis_n6868_Brusco