Multi-Speaker and Multi-Lingual Text-to-Speech

Abstract

Los sistemas dedicados a la síntesis del habla, popularmente conocidos como sistemas Text-to-Speech (TTS) han experimentado notables mejoras durante los últimos años gracias al desarrollo y el crecimiento de la inteligencia artificial. Las aplicaciones de estos modelos son múltiples: desde el uso en asistentes de voz hasta el doblaje de producciones cinematográficas. Los objetivos a la hora de entrenar un modelo de este tipo son cada vez más sofisticados. Este proyecto repasa los diferentes retos que hay que resolver a la hora de diseñar un sistema de síntesis de voz así como las diferentes técnicas normalmente usadas en los últimos años para conseguirlo. Además tiene como objetivo principal desarrollar un modelo bilingüe que sea capaz de generar una voz natural a partir de textos tanto en español como en catalán. Por último, se presentan y se prueban distintas soluciones para tratar de conseguir generar una voz de cualquier locutor que no esté presente en las bases de datos utilizadas durante el entrenamiento del sistema. Se exponen todas las dificultades y problemas encontrados dadas las limitaciones de los datos disponibles para desarrollar el sistema.

Systems dedicated to speech synthesis, popularly known as Text-to-Speech (TTS) systems, have experienced notable improvements in recent years thanks to the development and growth of artificial intelligence. The applications of these models are multiple: from the use in voice assistants to the dubbing of film productions. The objectives when training a model of this type are increasingly sophisticated. This project reviews the different challenges that must be solved when designing a speech synthesis system as well as the different techniques normally used during the last years to achieve it. In addition, its main objective is to develop a bilingual model that is capable of generating a natural voice from texts in both Spanish and Catalan. Finally, different solutions are presented and tested in order to try to generate any voice that is not in the databases used to train the system. The difficulties and problems encountered due to the limitations of the available data to develop the system are exposed.