Il panorama della sintesi vocale ha raggiunto nuovi orizzonti grazie all’introduzione di Amazon BASE TTS. Questo modello, acronimo di Big Adaptive Streamable TTS with Emergent abilities, rappresenta il culmine delle attuali tecnologie nel convertire testo in voce. Addestrato su un vasto dataset di 100.000 ore di dati vocali di dominio pubblico, Amazon BASE TTS ha conseguito un nuovo primato nella naturalezza del parlato. Utilizzando un autoregressivo Transformer da 1 miliardo di parametri, il sistema converte i testi grezzi in codici discreti, chiamati “speechcodes”, i quali vengono poi decodificati in forma d’onda in modo incrementale e streamable attraverso un decoder basato su convoluzioni. Inoltre, i speechcodes sono costruiti utilizzando una nuova tecnica di tokenizzazione del linguaggio che include il disentanglement dell’identificazione del parlante e la compressione con encoding byte-pair. Richiamando le ampiamente riportate “abilità emergenti” dei grandi modelli linguistici quando addestrati su volumi crescenti di dati, si dimostra che le varianti di Amazon BASE TTS, addestrate su più di 10.000 ore e con oltre 500 milioni di parametri, iniziano a mostrare una prosodia naturale anche su frasi testualmente complesse. Per valutare queste abilità emergenti nel contesto della sintesi vocale, è stato progettato e condiviso un dataset specializzato. La naturalezza all’avanguardia di Amazon BASE TTS è stata messa alla prova confrontandola con altri sistemi di sintesi vocale su larga scala come YourTTS, Bark e TortoiseTTS.
________
BASE TTS: Lessons from building a billion-parameter text-to-speech model on 100K hours of data
